pve系统崩溃，ceph集群节点不能加入问题处理

本次故障缘起，pve系统盘突然坏了，导致ceph集群降级，重装pve系统后，发现ceph不能加入原有的集群，需要清除所有配置才可完成

首先需要从集群中删除故障ceph

ceph的配置文件路径 /etc/ceph/ceph.conf

此次故障的节点是pve3，在一个正常的节点配置文件中删除故障的节点

同时需要在web页面 监视器中销毁之前故障的节点

osd销毁

cephfs 销毁

全部销毁完成后，通过shell命令行操作

登录集群任意物理正常节点系统，执行如下命令查看ceph osd状态： ceph osd tree

离线有问题的ceph osd,执行的操作如下   ceph osd out osd.X  X 代表 osd数字

删除已经离线osd认证信息，执行的操作如下： ceph auth del osd.X 

彻底删除故障osd，操作如下：ceph osd rm osd.X

查看集群osd状态，操作如下： ceph osd tree

查看故障节点的ceph监视器，操作如下：ceph mon stat

删除故障节点的ceph监视器，操作如下：ceph mon rm pve3

擦除故障节点的ceph磁盘：dmsetup remove ceph--557aXXXXXX

这样就删除了之前的旧的信息，然后就可以重新加入集群，通过web页面一一创建监视器、OSD、CephFS