αž‚αž“αŸ’αž›αžΉαŸ‡ αž“αž·αž„αž›αŸ’αž”αž·αž…αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž’αŸ’αžœαžΎαž€αžΆαžšαž‡αžΆαž˜αž½αž™ Ceph αž“αŸ…αž€αŸ’αž“αž»αž„αž‚αž˜αŸ’αžšαŸ„αž„αž˜αž˜αžΆαž‰αžΉαž€

αž‚αž“αŸ’αž›αžΉαŸ‡ αž“αž·αž„αž›αŸ’αž”αž·αž…αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž’αŸ’αžœαžΎαž€αžΆαžšαž‡αžΆαž˜αž½αž™ Ceph αž“αŸ…αž€αŸ’αž“αž»αž„αž‚αž˜αŸ’αžšαŸ„αž„αž˜αž˜αžΆαž‰αžΉαž€

αž€αžΆαžšαž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹ Ceph αž‡αžΆαž€αž“αŸ’αž›αŸ‚αž„αž•αŸ’αž‘αž»αž€αž”αžŽαŸ’αžαžΆαž‰αž“αŸ…αž€αŸ’αž“αž»αž„αž‚αž˜αŸ’αžšαŸ„αž„αžŠαŸ‚αž›αž˜αžΆαž“αž”αž“αŸ’αž‘αž»αž€αž•αŸ’αžŸαŸαž„αŸ—αž‚αŸ’αž“αžΆ αž™αžΎαž„αž’αžΆαž…αž‡αž½αž”αž”αŸ’αžšαž‘αŸ‡αž“αžΉαž„αž€αž·αž…αŸ’αž…αž€αžΆαžšαž•αŸ’αžŸαŸαž„αŸ—αžŠαŸ‚αž›αž“αŸ… glance αžŠαŸ†αž”αžΌαž„αž αžΆαž€αŸ‹αžŠαžΌαž…αž‡αžΆαž˜αž·αž“αžŸαžΆαž˜αž‰αŸ’αž‰ αž¬αž˜αž·αž“αžŸαŸ†αžαžΆαž“αŸ‹αŸ” αž§αž‘αžΆαž αžšαžŽαŸ:

  • αž€αžΆαžšαž•αŸ’αž‘αŸαžšαž‘αž·αž“αŸ’αž“αž“αŸαž™αž–αžΈ Ceph αž…αžΆαžŸαŸ‹αž‘αŸ…αžαŸ’αž˜αžΈαž˜αž½αž™αž‡αžΆαž˜αž½αž™αž“αžΉαž„αž€αžΆαžšαž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹αž•αŸ’αž“αŸ‚αž€αžαŸ’αž›αŸ‡αž“αŸƒαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž–αžΈαž˜αž»αž“αž“αŸ…αž€αŸ’αž“αž»αž„αž…αž„αŸ’αž€αŸ„αž˜αžαŸ’αž˜αžΈ;
  • αžŠαŸ†αžŽαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž…αŸ†αž–αŸ„αŸ‡αž”αž‰αŸ’αž αžΆαž“αŸƒαž€αžΆαžšαž”αŸ‚αž„αž…αŸ‚αž€αž‘αŸ†αž αŸ†αžαžΆαžŸαž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αŸ”

αž€αžΆαžšαžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž”αž‰αŸ’αž αžΆαž”αŸ‚αž”αž“αŸαŸ‡ αž™αžΎαž„αžαŸ’αžšαžΌαžœαž”αŸ’αžšαžˆαž˜αž˜αž»αžαž“αžΉαž„αžαž˜αŸ’αžšαžΌαžœαž€αžΆαžšαž€αŸ’αž“αž»αž„αž€αžΆαžšαž›αž»αž” OSD αž±αŸ’αž™αž”αžΆαž“αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœαžŠαŸ„αž™αž˜αž·αž“αž”αžΆαžαŸ‹αž”αž„αŸ‹αž‘αž·αž“αŸ’αž“αž“αŸαž™ αžŠαŸ‚αž›αž˜αžΆαž“αžŸαžΆαžšαŸˆαžŸαŸ†αžαžΆαž“αŸ‹αž‡αžΆαž–αž·αžŸαŸαžŸαž“αŸ…αž–αŸαž›αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž‡αžΆαž˜αž½αž™αž“αžΉαž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αž’αŸ†αŸ” αž“αŸαŸ‡αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž–αž·αž—αžΆαž€αŸ’αžŸαžΆαž“αŸ…αž€αŸ’αž“αž»αž„αž’αžαŸ’αžαž”αž‘αŸ”

αžœαž·αž’αžΈαžŸαžΆαžŸαŸ’αžšαŸ’αžαžŠαŸ‚αž›αž”αžΆαž“αž–αž·αž–αžŽαŸŒαž“αžΆαžαžΆαž„αž€αŸ’αžšαŸ„αž˜αž‚αžΊαž–αžΆαž€αŸ‹αž–αŸαž“αŸ’αž’αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž€αŸ†αžŽαŸ‚αžŽαžΆαž˜αž½αž™αž“αŸƒ Ceph αŸ” αž›αžΎαžŸαž–αžΈαž“αŸαŸ‡ αž€αžΆαžšαž–αž·αžαžŠαŸ‚αž›αžαžΆ Ceph αž’αžΆαž…αž•αŸ’αž‘αž»αž€αž‘αž·αž“αŸ’αž“αž“αŸαž™αž”αžΆαž“αž…αŸ’αžšαžΎαž“αž“αžΉαž„αžαŸ’αžšαžΌαžœαž™αž€αž˜αž€αž–αž·αž…αžΆαžšαžŽαžΆαŸ– αžŠαžΎαž˜αŸ’αž”αžΈαž€αžΆαžšαž–αžΆαžšαž€αžΆαžšαž”αžΆαžαŸ‹αž”αž„αŸ‹αž‘αž·αž“αŸ’αž“αž“αŸαž™ αž“αž·αž„αž”αž‰αŸ’αž αžΆαž•αŸ’αžŸαŸαž„αž‘αŸ€αž αžŸαž€αž˜αŸ’αž˜αž—αžΆαž–αž˜αž½αž™αž…αŸ†αž“αž½αž“αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“ "αž”αŸ†αž”αŸ‚αž€" αž‘αŸ…αž‡αžΆαž˜αž½αž™αž…αŸ†αž“αž½αž“αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαŸ”

αž”αž»αž–αŸ’αžœαž€αžαžΆαž’αŸ†αž–αžΈ OSD

αžŠαŸ„αž™αžŸαžΆαžšαžšαžΌαž”αž˜αž“αŸ’αžαž–αžΈαžšαž€αŸ’αž“αž»αž„αž…αŸ†αžŽαŸ„αž˜αžšαžΌαž”αž˜αž“αŸ’αžαž‘αžΆαŸ†αž„αž”αžΈαžŠαŸ‚αž›αž”αžΆαž“αž–αž·αž—αžΆαž€αŸ’αžŸαžΆαžαŸ’αžšαžΌαžœαž”αžΆαž“αž§αž‘αŸ’αž‘αž·αžŸαžŠαž›αŸ‹ OSD (αžŠαŸαž˜αž·αž“αž•αŸ’αž‘αž»αž€αžœαžαŸ’αžαž») αž˜αž»αž“αž–αŸαž›αž…αžΌαž›αž‘αŸ…αž€αŸ’αž“αž»αž„αž•αŸ’αž“αŸ‚αž€αž‡αžΆαž€αŸ‹αžŸαŸ’αžαŸ‚αž„ - αž“αž·αž™αžΆαž™αžŠαŸ„αž™αžŸαž„αŸ’αžαŸαž”αž’αŸ†αž–αžΈαž’αŸ’αžœαžΈαžŠαŸ‚αž›αžœαžΆαž˜αžΆαž“αž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αž“αž·αž„αž αŸαžαž»αž’αŸ’αžœαžΈαž”αžΆαž“αž‡αžΆαžœαžΆαžŸαŸ†αžαžΆαž“αŸ‹αŸ”

αž‡αžΆαžŠαŸ†αž”αžΌαž„ αžœαžΆαž‚αž½αžšαžαŸ‚αžαŸ’αžšαžΌαžœαž”αžΆαž“αž“αž·αž™αžΆαž™αžαžΆ αž…αž„αŸ’αž€αŸ„αž˜ Ceph αž‘αžΆαŸ†αž„αž˜αžΌαž›αž˜αžΆαž“ OSD αž‡αžΆαž…αŸ’αžšαžΎαž“αŸ” αž˜αžΆαž“αž€αžΆαž“αŸ‹αžαŸ‚αž…αŸ’αžšαžΎαž“ αž”αžšαž·αž˜αžΆαžŽαž‘αž·αž“αŸ’αž“αž“αŸαž™αž₯αžαž‚αž·αžαžαŸ’αž›αŸƒαž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αž€αžΆαž“αŸ‹αžαŸ‚αž…αŸ’αžšαžΎαž“αŸ” αžœαžΆαž„αžΆαž™αžŸαŸ’αžšαž½αž›αž™αž›αŸ‹αž–αžΈαž‘αžΈαž“αŸαŸ‡ αž˜αž»αžαž„αžΆαžš OSD αž…αž˜αŸ’αž”αž„αŸ– αžœαžΆαž•αŸ’αž‘αž»αž€αž‘αž·αž“αŸ’αž“αž“αŸαž™αžœαžαŸ’αžαž» Ceph αž“αŸ…αž›αžΎαž”αŸ’αžšαž–αŸαž“αŸ’αž’αž―αž€αžŸαžΆαžšαž“αŸƒαžαŸ’αž“αžΆαŸ†αž„αž…αž„αŸ’αž€αŸ„αž˜αž‘αžΆαŸ†αž„αž’αžŸαŸ‹ αž“αž·αž„αž•αŸ’αžαž›αŸ‹αž“αžΌαžœαž€αžΆαžšαž…αžΌαž›αž”αŸ’αžšαžΎαž”αžŽαŸ’αžαžΆαž‰αž‘αŸ…αžœαžΆ (αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž€αžΆαžšαž’αžΆαž“ αž€αžΆαžšαžŸαžšαžŸαŸαžš αž“αž·αž„αžŸαŸ†αžŽαžΎαž•αŸ’αžŸαŸαž„αž‘αŸ€αž)αŸ”

αž“αŸ…αž€αž˜αŸ’αžšαž·αžαžŠαžΌαž…αž‚αŸ’αž“αžΆ αž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžšαž…αž˜αŸ’αž›αž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž€αŸ†αžŽαžαŸ‹αžŠαŸ„αž™αž€αžΆαžšαž…αž˜αŸ’αž›αž„αžœαžαŸ’αžαž»αžšαžœαžΆαž„ OSD αž•αŸ’αžŸαŸαž„αŸ—αž‚αŸ’αž“αžΆαŸ” αž αžΎαž™αž“αŸ…αž‘αžΈαž“αŸαŸ‡αž’αŸ’αž“αž€αž’αžΆαž…αž‡αž½αž”αž”αŸ’αžšαž‘αŸ‡αž”αž‰αŸ’αž αžΆαž•αŸ’αžŸαŸαž„αŸ— αžŠαŸ†αžŽαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αžŠαŸ‚αž›αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž–αž·αž—αžΆαž€αŸ’αžŸαžΆαž”αž“αŸ’αžαŸ‚αž˜αŸ”

αž€αžšαžŽαžΈαž‘αžΈαŸ‘. αž™αž€ OSD αž…αŸαž‰αž–αžΈ Ceph cluster αžŠαŸ„αž™αžŸαž»αžœαžαŸ’αžαž·αž—αžΆαž–αžŠαŸ„αž™αž˜αž·αž“αž”αžΆαžαŸ‹αž”αž„αŸ‹αž‘αž·αž“αŸ’αž“αž“αŸαž™

αžαž˜αŸ’αžšαžΌαžœαž€αžΆαžšαžŠαžΎαž˜αŸ’αž”αžΈαž™αž€ OSD αž…αŸαž‰αž’αžΆαž…αž”αžŽαŸ’αžαžΆαž›αž˜αž€αž–αžΈαž€αžΆαžšαžŠαž€ server αž…αŸαž‰αž–αžΈ cluster - αž§αž‘αžΆαž αžšαžŽαŸ αžŠαžΎαž˜αŸ’αž”αžΈαž‡αŸ†αž“αž½αžŸαžœαžΆαž‡αžΆαž˜αž½αž™ server αž•αŸ’αžŸαŸαž„αž‘αŸ€αž - αžŠαŸ‚αž›αž‡αžΆαž’αŸ’αžœαžΈαžŠαŸ‚αž›αž”αžΆαž“αž€αžΎαžαž‘αžΎαž„αž…αŸ†αž–αŸ„αŸ‡αž–αž½αž€αž™αžΎαž„ αžŠαŸ‚αž›αž’αŸ’αžœαžΎαž’αŸ„αž™αž˜αžΆαž“αž€αžΆαžšαžŸαžšαžŸαŸαžšαž’αžαŸ’αžαž”αž‘αž“αŸαŸ‡αŸ” αžŠαžΌαž…αŸ’αž“αŸαŸ‡ αž‚αŸ„αž›αžŠαŸ…αž…αž»αž„αž€αŸ’αžšαŸ„αž™αž“αŸƒαž§αž”αžΆαž™αž€αž›αž‚αžΊαžŠαžΎαž˜αŸ’αž”αžΈαž‘αžΆαž‰αž™αž€ OSDs αž“αž·αž„ mons αž‘αžΆαŸ†αž„αž’αžŸαŸ‹αž“αŸ…αž›αžΎ server αžŠαŸ‚αž›αž”αžΆαž“αž•αŸ’αžαž›αŸ‹αž±αŸ’αž™ αžŠαžΌαž…αŸ’αž“αŸαŸ‡αžœαžΆαž’αžΆαž…αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αž‰αŸ’αžˆαž”αŸ‹αŸ”

αžŠαžΎαž˜αŸ’αž”αžΈαž—αžΆαž–αž„αžΆαž™αžŸαŸ’αžšαž½αž› αž“αž·αž„αžŠαžΎαž˜αŸ’αž”αžΈαž‡αŸ€αžŸαžœαžΆαž„αžŸαŸ’αžαžΆαž“αž—αžΆαž–αžŠαŸ‚αž›αž“αŸ…αž–αŸαž›αž”αŸ’αžšαžαž·αž”αžαŸ’αžαž·αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ αž™αžΎαž„αž’αŸ’αžœαžΎαžαž»αžŸαž€αŸ’αž“αž»αž„αž€αžΆαžšαž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰ OSD αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž€αžΆαžš αž™αžΎαž„αž“αžΉαž„αž€αŸ†αžŽαžαŸ‹αž’αžαŸαžšαžŠαžΆαž…αŸ‹αžŠαŸ„αž™αž‘αŸ‚αž€αž˜αž½αž™ αžŠαŸ‚αž›αžαž˜αŸ’αž›αŸƒαž“αžΉαž„αž‡αžΆαž…αŸ†αž“αž½αž“ OSD αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž›αž»αž”αŸ” αžαŸ„αŸ‡αž αŸ…αž“αžΆαž„ ${ID} β€” αž“αŸ…αž‘αžΈαž“αŸαŸ‡ αž“αž·αž„αžαžΆαž„αž€αŸ’αžšαŸ„αž˜ αž’αžαŸαžšαž”αŸ‚αž”αž“αŸαŸ‡αž‡αŸ†αž“αž½αžŸαž…αŸ†αž“αž½αž“ OSD αžŠαŸ‚αž›αž™αžΎαž„αž€αŸ†αž–αž»αž„αž’αŸ’αžœαžΎαž€αžΆαžšαŸ”

αžαŸ„αŸ‡αž˜αžΎαž›αž›αž€αŸ’αžαžαžŽαŸ’αžŒαž˜αž»αž“αž–αŸαž›αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αž€αžΆαžšαž„αžΆαžšαŸ–

root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF
-1       0.46857 root default
-3       0.15619      host hv-1
-5       0.15619      host hv-2
 1   ssd 0.15619      osd.1     up     1.00000  1.00000
-7       0.15619      host hv-3
 2   ssd 0.15619      osd.2     up     1.00000  1.00000

αžŠαžΎαž˜αŸ’αž”αžΈαž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αž€αžΆαžšαžŠαž€ OSD αž’αŸ’αž“αž€αž“αžΉαž„αžαŸ’αžšαžΌαžœαž’αž“αž»αžœαžαŸ’αžαžŠαŸ„αž™αžšαž›αžΌαž“ reweight αž“αŸ…αž›αžΎαžœαžΆαž‘αŸ…αžŸαžΌαž“αŸ’αž™αŸ” αžœαž·αž’αžΈαž“αŸαŸ‡αž™αžΎαž„αž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αž”αžšαž·αž˜αžΆαžŽαž‘αž·αž“αŸ’αž“αž“αŸαž™αž“αŸ…αž€αŸ’αž“αž»αž„ OSD αžŠαŸ„αž™αž’αŸ’αžœαžΎαžŸαž˜αžαž»αž›αŸ’αž™αžœαžΆαž‘αŸ… OSD αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαŸ” αžŠαžΎαž˜αŸ’αž”αžΈαž’αŸ’αžœαžΎαžŠαžΌαž…αž“αŸαŸ‡αžšαžαŸ‹αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαžŠαžΌαž…αžαžΆαž„αž€αŸ’αžšαŸ„αž˜:

ceph osd reweight osd.${ID} 0.98
ceph osd reweight osd.${ID} 0.88
ceph osd reweight osd.${ID} 0.78

... αž αžΎαž™αž”αž“αŸ’αžαžšαž αžΌαžαžŠαž›αŸ‹αžŸαžΌαž“αŸ’αž™αŸ”

αžαž˜αŸ’αžšαžΌαžœαž±αŸ’αž™αž˜αžΆαž“αžαž»αž›αŸ’αž™αž—αžΆαž–αžšαž›αŸ„αž„αžŠαžΎαž˜αŸ’αž”αžΈαž€αž»αŸ†αž±αŸ’αž™αž”αžΆαžαŸ‹αž”αž„αŸ‹αž‘αž·αž“αŸ’αž“αž“αŸαž™αŸ” αž“αŸαŸ‡αž‡αžΆαž€αžΆαžšαž–αž·αžαž‡αžΆαž–αž·αžŸαŸαžŸαž”αŸ’αžšαžŸαž·αž“αž”αžΎ OSD αž˜αžΆαž“αž‘αž·αž“αŸ’αž“αž“αŸαž™αž…αŸ’αžšαžΎαž“αŸ” αžŠαžΎαž˜αŸ’αž”αžΈαž±αŸ’αž™αž”αŸ’αžšαžΆαž€αžŠαžαžΆαž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž”αŸ’αžšαžαž·αž”αžαŸ’αžαž·αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ reweight αž’αŸ’αžœαžΈαŸ—αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž”αžΆαž“αž›αŸ’αž’ αž’αŸ’αž“αž€αž’αžΆαž…αž”αŸ†αž–αŸαž‰αžœαžΆαž”αžΆαž“ ceph -s αž¬αž“αŸ…αž€αŸ’αž“αž»αž„αž”αž„αŸ’αž’αž½αž…αžŸαŸ’αžαžΆαž“αžΈαž™αžŠαžΆαž…αŸ‹αžŠαŸ„αž™αž‘αŸ‚αž€αž˜αž½αž™αžŠαŸ†αžŽαžΎαžšαž€αžΆαžš ceph -w αžŠαžΎαž˜αŸ’αž”αžΈαžŸαž„αŸ’αž€αŸαžαž˜αžΎαž›αž€αžΆαžšαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαž€αŸ’αž“αž»αž„αž–αŸαž›αžœαŸαž›αžΆαž‡αžΆαž€αŸ‹αžŸαŸ’αžαŸ‚αž„αŸ”

αž“αŸ…αž–αŸαž›αžŠαŸ‚αž› OSD αžαŸ’αžšαžΌαžœαž”αžΆαž“ "αž‘αž‘αŸ" αž’αŸ’αž“αž€αž’αžΆαž…αž”αž“αŸ’αžαž”αŸ’αžšαžαž·αž”αžαŸ’αžαž·αž€αžΆαžšαžŸαŸ’αžαž„αŸ‹αžŠαžΆαžšαžŠαžΎαž˜αŸ’αž”αžΈαž›αž»αž”αžœαžΆαž…αŸαž‰αŸ” αžŠαžΎαž˜αŸ’αž”αžΈαž’αŸ’αžœαžΎαžŠαžΌαž…αž“αŸαŸ‡αž•αŸ’αž‘αŸαžš OSD αžŠαŸ‚αž›αž…αž„αŸ‹αž”αžΆαž“αž‘αŸ…αžšαžŠαŸ’αž‹ down:

ceph osd down osd.${ID}

αžαŸ„αŸ‡ "αž‘αžΆαž‰" OSD αž…αŸαž‰αž–αžΈαž…αž„αŸ’αž€αŸ„αž˜αŸ–

ceph osd out osd.${ID}

αž…αžΌαžšαž”αž‰αŸ’αžˆαž”αŸ‹αžŸαŸαžœαžΆαž€αž˜αŸ’αž˜ OSD αž αžΎαž™αž’αžΆαž“αŸ‹αž˜αŸ‰αŸ„αž“αž—αžΆαž‚αžαžΆαžŸαžšαž”αžŸαŸ‹αžœαžΆαž“αŸ…αž€αŸ’αž“αž»αž„ FSαŸ–

systemctl stop ceph-osd@${ID}
umount /var/lib/ceph/osd/ceph-${ID}

αž™αž€ OSD αž…αŸαž‰αž–αžΈ αž•αŸ‚αž“αž‘αžΈ CRUSH:

ceph osd crush remove osd.${ID}

αžαŸ„αŸ‡αž›αž»αž”αž’αŸ’αž“αž€αž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹ OSDαŸ–

ceph auth del osd.${ID}

αž αžΎαž™αž…αž»αž„αž€αŸ’αžšαŸ„αž™ αž…αžΌαžšαž™αžΎαž„αžŠαž€ OSD αž…αŸαž‰αžŠαŸ„αž™αžαŸ’αž›αž½αž“αž―αž„αŸ–

ceph osd rm osd.${ID}

αž€αžΆαžšαž€αžαŸ‹αžŸαž˜αŸ’αž‚αžΆαž›αŸ‹αŸ– αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž’αŸ’αž“αž€αž€αŸ†αž–αž»αž„αž”αŸ’αžšαžΎαž€αŸ†αžŽαŸ‚ Ceph Luminous αž¬αžαŸ’αž–αžŸαŸ‹αž‡αžΆαž„αž“αŸαŸ‡ αž“αŸ„αŸ‡αž‡αŸ†αž αžΆαž“αž“αŸƒαž€αžΆαžšαžŠαž€αž…αŸαž‰ OSD αžαžΆαž„αž›αžΎαž’αžΆαž…αžαŸ’αžšαžΌαžœαž”αžΆαž“αž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αž‘αŸ…αž‡αžΆαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαž–αžΈαžšαŸ–

ceph osd out osd.${ID}
ceph osd purge osd.${ID}

αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž”αž‰αŸ’αž…αž”αŸ‹αž‡αŸ†αž αžΆαž“αžŠαŸ‚αž›αž”αžΆαž“αž–αž·αž–αžŽαŸŒαž“αžΆαžαžΆαž„αž›αžΎ αž’αŸ’αž“αž€αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ ceph osd treeαž”αž“αŸ’αž‘αžΆαž”αŸ‹αž˜αž€αžœαžΆαž‚αž½αžšαžαŸ‚αž…αŸ’αž”αžΆαžŸαŸ‹αžαžΆαž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαžŠαŸ‚αž›αž€αžΆαžšαž„αžΆαžšαžαŸ’αžšαžΌαžœαž”αžΆαž“αž’αž“αž»αžœαžαŸ’αžαž˜αž·αž“αž˜αžΆαž“ OSDs αžŠαŸ‚αž›αž”αŸ’αžšαžαž·αž”αžαŸ’αžαž·αž€αžΆαžšαžαžΆαž„αž›αžΎαžαŸ’αžšαžΌαžœαž”αžΆαž“αž’αž“αž»αžœαžαŸ’αžαž‘αŸ€αžαž‘αŸαŸ–

root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT  TYPE NAME     STATUS REWEIGHT PRI-AFF
-1       0.46857      root default
-3       0.15619      host hv-1
-5       0.15619      host hv-2
-7       0.15619      host hv-3
 2   ssd 0.15619      osd.2    up     1.00000  1.00000

αž“αŸ…αžαžΆαž˜αž•αŸ’αž›αžΌαžœαžŸαžΌαž˜αž€αžαŸ‹αžŸαž˜αŸ’αž‚αžΆαž›αŸ‹αžαžΆαžŸαŸ’αžαžΆαž“αž—αžΆαž–αž“αŸƒαž…αž„αŸ’αž€αŸ„αž˜ Ceph αž“αžΉαž„αž‘αŸ… HEALTH_WARNαž αžΎαž™αž™αžΎαž„αž€αŸαž“αžΉαž„αžƒαžΎαž‰αž€αžΆαžšαžαž™αž…αž»αŸ‡αž“αŸƒαž…αŸ†αž“αž½αž“ OSD αž“αž·αž„αž…αŸ†αž“αž½αž“αž‘αŸ†αž αŸ†αžαžΆαžŸαžŠαŸ‚αž›αž˜αžΆαž“αž•αž„αžŠαŸ‚αžšαŸ”

αžαžΆαž„αž€αŸ’αžšαŸ„αž˜αž“αŸαŸ‡αž“αžΉαž„αžšαŸ€αž”αžšαžΆαž”αŸ‹αž’αŸ†αž–αžΈαž‡αŸ†αž αžΆαž“αžŠαŸ‚αž›αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž‘αžΆαž˜αž‘αžΆαžš αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž’αŸ’αž“αž€αž…αž„αŸ‹αž”αž‰αŸ’αžˆαž”αŸ‹αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž‘αžΆαŸ†αž„αžŸαŸ’αžšαž»αž„ αž αžΎαž™αžαžΆαž˜αž“αŸ„αŸ‡ αž™αž€αžœαžΆαž…αŸαž‰αž–αžΈ CephαŸ” αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαž“αŸαŸ‡αžœαžΆαž‡αžΆαž€αžΆαžšαžŸαŸ†αžαžΆαž“αŸ‹αž€αŸ’αž“αž»αž„αž€αžΆαžšαž…αž„αž…αžΆαŸ†αžœαžΆαŸ” αž˜αž»αž“αž–αŸαž›αž”αž·αž‘αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸ αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαžαŸ‚αž›αž»αž” OSD αž‘αžΆαŸ†αž„αž’αžŸαŸ‹αŸ” αž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž“αŸαŸ‡αŸ”

αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž˜αž·αž“αž˜αžΆαž“ OSD αž‘αŸ€αžαž‘αŸαž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž“αŸαŸ‡ αž“αŸ„αŸ‡αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž›αž»αž”αž–αž½αž€αžœαžΆαž…αŸαž‰ αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαžŠαž€αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž…αŸαž‰αž–αžΈαž•αŸ‚αž“αž‘αžΈ OSD hv-2αžŠαŸ„αž™αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαžαžΆαž„αž€αŸ’αžšαŸ„αž˜αŸ–

ceph osd crush rm hv-2

αž›αž»αž” mon αž–αžΈαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸ hv-2αžŠαŸ„αž™αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαžαžΆαž„αž€αŸ’αžšαŸ„αž˜αž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž•αŸ’αžŸαŸαž„αž‘αŸ€αž (αž§αž‘αžΆαž αžšαžŽαŸ αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαž“αŸαŸ‡ αž”αžΎαž€ hv-1):

ceph-deploy mon destroy hv-2

αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž“αŸαŸ‡ αž’αŸ’αž“αž€αž’αžΆαž…αž”αž‰αŸ’αžˆαž”αŸ‹αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸ αž αžΎαž™αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αžŸαž€αž˜αŸ’αž˜αž—αžΆαž–αž‡αžΆαž”αž“αŸ’αžαž”αž“αŸ’αž‘αžΆαž”αŸ‹ (αžŠαžΆαž€αŸ‹αž–αž„αŸ’αžšαžΆαž™αžœαžΆαž‘αžΎαž„αžœαž·αž‰αŸ” αž›αŸ” )αŸ”

αž€αžšαžŽαžΈβ€‹αž‘αžΈβ€‹αŸ’. αž€αžΆαžšαž…αŸ‚αž€αž…αžΆαž™αž‘αŸ†αž αŸ†αžαžΆαžŸαž“αŸ…αž€αŸ’αž“αž»αž„αž…αž„αŸ’αž€αŸ„αž˜ Ceph αžŠαŸ‚αž›αž”αžΆαž“αž”αž„αŸ’αž€αžΎαžαžšαž½αž…αž αžΎαž™

αžαŸ’αž‰αž»αŸ†αž“αžΉαž„αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αžšαžΏαž„αž‘αžΈαž–αžΈαžšαž‡αžΆαž˜αž½αž™αž“αžΉαž„αž”αž»αž–αŸ’αžœαž€αžαžΆαž’αŸ†αž–αžΈ PG (αž€αŸ’αžšαž»αž˜αž‘αžΈαžαžΆαŸ†αž„) αžαž½αž“αžΆαž‘αžΈαžŸαŸ†αžαžΆαž“αŸ‹αžšαž”αžŸαŸ‹ PG αž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αž‚αžΊαž‡αžΆαž…αž˜αŸ’αž”αž„αž€αŸ’αž“αž»αž„αž€αžΆαžšαž”αŸ’αžšαž˜αžΌαž›αž•αŸ’αžαž»αŸ†αžœαžαŸ’αžαž» Ceph αž“αž·αž„αž…αž˜αŸ’αž›αž„αž–αž½αž€αžœαžΆαž”αž“αŸ’αžαŸ‚αž˜αž‘αŸ€αžαž“αŸ…αž€αŸ’αž“αž»αž„ OSD αŸ” αžšαžΌαž”αž˜αž“αŸ’αžαžŠαŸ‚αž›αž’αŸ’αž“αž€αž’αžΆαž…αž‚αžŽαž“αžΆαž…αŸ†αž“αž½αž“αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž€αžΆαžšαž“αŸƒ PG αž‚αžΊαž“αŸ…αž€αŸ’αž“αž»αž„ αž•αŸ’αž“αŸ‚αž€αž–αžΆαž€αŸ‹αž–αŸαž“αŸ’αž’ αž―αž€αžŸαžΆαžš Ceph αŸ” αž”αž‰αŸ’αž αžΆαž“αŸαŸ‡αžαŸ’αžšαžΌαžœαž”αžΆαž“αž–αž·αž—αžΆαž€αŸ’αžŸαžΆαž“αŸ…αž‘αžΈαž“αŸ„αŸ‡αž•αž„αžŠαŸ‚αžšαž‡αžΆαž˜αž½αž™αž“αžΉαž„αž§αž‘αžΆαž αžšαžŽαŸαž‡αžΆαž€αŸ‹αž›αžΆαž€αŸ‹αŸ”

αžŠαžΌαž…αŸ’αž“αŸαŸ‡αŸ– αž”αž‰αŸ’αž αžΆαž‘αžΌαž‘αŸ…αž˜αž½αž™αž“αŸ…αž–αŸαž›αž”αŸ’αžšαžΎ Ceph αž‚αžΊαž…αŸ†αž“αž½αž“ OSD αž“αž·αž„ PG αžŠαŸ‚αž›αž˜αž·αž“αž˜αžΆαž“αžαž»αž›αŸ’αž™αž—αžΆαž–αžšαžœαžΆαž„αž’αžΆαž„αž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αŸ”

αž‘αžΈαž˜αž½αž™ αžŠαŸ„αž™αžŸαžΆαžšαž”αž‰αŸ’αž αžΆαž“αŸαŸ‡ αžŸαŸ’αžαžΆαž“αž—αžΆαž–αž’αžΆαž…αž€αžΎαžαž‘αžΎαž„αž“αŸ…αž–αŸαž›αžŠαŸ‚αž› PGs αž…αŸ’αžšαžΎαž“αž–αŸαž€αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αž‰αŸ’αž‡αžΆαž€αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αžαžΌαž…αž˜αž½αž™ αžŠαŸ‚αž›αž‡αžΆαž€αžΆαžšαž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹αž˜αž·αž“αžŸαž˜αž αŸαžαž»αž•αž›αž“αŸƒαž‘αŸ†αž αŸ†αžαžΆαžŸαž“αŸ…αž€αŸ’αž“αž»αž„αž…αž„αŸ’αž€αŸ„αž˜αŸ” αž‘αžΈαž–αžΈαžš αž“αŸ…αž€αŸ’αž“αž»αž„αž€αžΆαžšαž’αž“αž»αžœαžαŸ’αž αž˜αžΆαž“αž”αž‰αŸ’αž αžΆαž’αŸ’αž„αž“αŸ‹αž’αŸ’αž„αžšαž‡αžΆαž„αž“αŸαŸ‡αŸ– αž‘αž·αž“αŸ’αž“αž“αŸαž™αž›αžΎαžŸαž…αŸ†αžŽαž»αŸ‡αž“αŸ…αž€αŸ’αž“αž»αž„ OSDs αž˜αž½αž™αŸ” αž“αŸαŸ‡β€‹αž’αŸ’αžœαžΎβ€‹αž²αŸ’αž™β€‹αž…αž„αŸ’αž€αŸ„αž˜β€‹αž•αŸ’αž›αžΆαžŸαŸ‹β€‹αž”αŸ’αžαžΌαžšβ€‹αžŠαŸ†αž”αžΌαž„β€‹αž‘αŸ…β€‹αžšαžŠαŸ’αž‹ HEALTH_WARN, αž αžΎαž™β€‹αž”αž“αŸ’αž‘αžΆαž”αŸ‹β€‹αž˜αž€ HEALTH_ERR. αž αŸαžαž»αž•αž›αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž“αŸαŸ‡αž‚αžΊαžαžΆ Ceph αž“αŸ…αž–αŸαž›αž‚αžŽαž“αžΆαž…αŸ†αž“αž½αž“αž‘αž·αž“αŸ’αž“αž“αŸαž™αžŠαŸ‚αž›αž˜αžΆαž“ (αž’αŸ’αž“αž€αž’αžΆαž…αžŸαŸ’αžœαŸ‚αž„αžšαž€αžœαžΆαž”αžΆαž“αžŠαŸ„αž™ MAX AVAIL αž“αŸ…αž€αŸ’αž“αž»αž„αž›αž‘αŸ’αž’αž•αž›αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ ceph df αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž’αžΆαž„αž“αžΈαž˜αž½αž™αŸ—αžŠαžΆαž…αŸ‹αžŠαŸ„αž™αž‘αŸ‚αž€) αž‚αžΊαž•αŸ’αž’αŸ‚αž€αž›αžΎαž…αŸ†αž“αž½αž“αž‘αž·αž“αŸ’αž“αž“αŸαž™αžŠαŸ‚αž›αž˜αžΆαž“αž“αŸ…αž€αŸ’αž“αž»αž„ OSD αŸ” αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž˜αž·αž“αž˜αžΆαž“αž€αž“αŸ’αž›αŸ‚αž„αž‘αŸ†αž“αŸαžšαž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαžΆαž“αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„ OSD αž˜αž½αž™αž‘αŸαž“αŸ„αŸ‡ αž˜αž·αž“αž’αžΆαž…αžŸαžšαžŸαŸαžšαž‘αž·αž“αŸ’αž“αž“αŸαž™αž‘αŸ€αžαž‘αŸ αžšαž αžΌαžαžŠαž›αŸ‹αž‘αž·αž“αŸ’αž“αž“αŸαž™αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αŸ‚αž€αž…αžΆαž™αž™αŸ‰αžΆαž„αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœαž€αŸ’αž“αž»αž„αž…αŸ†αžŽαŸ„αž˜ OSD αž‘αžΆαŸ†αž„αž’αžŸαŸ‹αŸ”

αžœαžΆαž‚αžΊαž˜αžΆαž“αžαŸ†αž›αŸƒαž”αž‰αŸ’αž‡αžΆαž€αŸ‹αž±αŸ’αž™αž…αŸ’αž”αžΆαžŸαŸ‹αžαžΆαž”αž‰αŸ’αž αžΆαž‘αžΆαŸ†αž„αž“αŸαŸ‡ αžαŸ’αžšαžΌαžœαž”αžΆαž“αžŸαž˜αŸ’αžšαŸαž…αž…αž·αžαŸ’αžαž—αžΆαž‚αž…αŸ’αžšαžΎαž“αž“αŸ…αžŠαŸ†αžŽαžΆαž€αŸ‹αž€αžΆαž›αž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’ Ceph. αž§αž”αž€αžšαžŽαŸαž˜αž½αž™αž€αŸ’αž“αž»αž„αž…αŸ†αžŽαŸ„αž˜αž§αž”αž€αžšαžŽαŸαžŠαŸ‚αž›αž’αŸ’αž“αž€αž’αžΆαž…αž”αŸ’αžšαžΎαž‚αžΊ Ceph PGCalc. αžŠαŸ„αž™αž˜αžΆαž“αž‡αŸ†αž“αž½αž™αžšαž”αžŸαŸ‹αžœαžΆαž”αžšαž·αž˜αžΆαžŽ PG αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž€αžΆαžšαžαŸ’αžšαžΌαžœαž”αžΆαž“αž‚αžŽαž“αžΆαž™αŸ‰αžΆαž„αž…αŸ’αž”αžΆαžŸαŸ‹αŸ” αž‘αŸ„αŸ‡αž‡αžΆαž™αŸ‰αžΆαž„αžŽαžΆαž€αŸαžŠαŸ„αž™ αž’αŸ’αž“αž€αž€αŸαž’αžΆαž…αž„αžΆαž€αž‘αŸ…αžšαž€αžœαžΆαž“αŸ…αž€αŸ’αž“αž»αž„αžŸαŸ’αžαžΆαž“αž—αžΆαž–αž˜αž½αž™αžŠαŸ‚αž›αž…αž„αŸ’αž€αŸ„αž˜ Ceph αžšαž½αž…αž‘αŸ…αž αžΎαž™ αž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž˜αž·αž“αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœαŸ” αžœαžΆαž˜αžΆαž“αžαž˜αŸ’αž›αŸƒαž€αŸ’αž“αž»αž„αž€αžΆαžšαž”αž‰αŸ’αž‡αžΆαž€αŸ‹αž“αŸ…αž‘αžΈαž“αŸαŸ‡αžαžΆαž‡αžΆαž•αŸ’αž“αŸ‚αž€αž˜αž½αž™αž“αŸƒαž€αžΆαžšαž„αžΆαžšαž‡αž½αžŸαž‡αž»αž› αž’αŸ’αž“αž€αž‘αŸ†αž“αž„αž‡αžΆαžαŸ’αžšαžΌαžœαž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αž…αŸ†αž“αž½αž“ PGs αž αžΎαž™αž˜αž»αžαž„αžΆαžšαž“αŸαŸ‡αž˜αž·αž“αž˜αžΆαž“αž“αŸ…αž€αŸ’αž“αž»αž„ Ceph αž‡αŸ†αž“αžΆαž“αŸ‹αž…αžΆαžŸαŸ‹αž‘αŸ (αžœαžΆαž”αž„αŸ’αž αžΆαž‰αžαŸ‚αž“αŸ…αž€αŸ’αž“αž»αž„αž€αŸ†αžŽαŸ‚αž”αŸ‰αž»αžŽαŸ’αžŽαŸ„αŸ‡ Nautilus).

αžŠαžΌαž…αŸ’αž“αŸαŸ‡ αž…αžΌαžšαž™αžΎαž„αžŸαŸ’αžšαž˜αŸƒαž˜αžΎαž›αžšαžΌαž”αž—αžΆαž–αžαžΆαž„αž€αŸ’αžšαŸ„αž˜αŸ– αž…αž„αŸ’αž€αŸ„αž˜αž˜αžΆαž“αžŸαŸ’αžαžΆαž“αž—αžΆαž– HEALTH_WARN αžŠαŸ„αž™αžŸαžΆαžšαžαŸ‚ OSD αž˜αž½αž™αž’αžŸαŸ‹αž€αž“αŸ’αž›αŸ‚αž„αŸ” αžœαžΆαž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰αžŠαŸ„αž™αž€αŸ†αž αž»αžŸ HEALTH_WARN: 1 near full osd. αžαžΆαž„αž€αŸ’αžšαŸ„αž˜αž“αŸαŸ‡αž‚αžΊαž‡αžΆαž€αŸ’αž”αž½αž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž€αžΆαžšαž…αŸαž‰αž–αžΈαžŸαŸ’αžαžΆαž“αž—αžΆαž–αž“αŸαŸ‡αŸ”

αžŠαŸ†αž”αžΌαž„αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαž…αŸ‚αž€αž…αžΆαž™αž‘αž·αž“αŸ’αž“αž“αŸαž™αžŠαŸ‚αž›αž˜αžΆαž“αžšαžœαžΆαž„ OSDs αžŠαŸ‚αž›αž“αŸ…αžŸαž›αŸ‹αŸ” αž™αžΎαž„αž”αžΆαž“αž’αž“αž»αžœαžαŸ’αžαž”αŸ’αžšαžαž·αž”αžαŸ’αžαž·αž€αžΆαžšαžŸαŸ’αžšαžŠαŸ€αž„αž‚αŸ’αž“αžΆαžšαž½αž…αž αžΎαž™αž“αŸ…αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαžŠαŸ†αž”αžΌαž„αž“αŸ…αž–αŸαž›αžŠαŸ‚αž›αž™αžΎαž„ "αž”αž„αŸ’αž αžΌαžš" αžαŸ’αž“αžΆαŸ†αž„ - αž‡αžΆαž˜αž½αž™αž“αžΉαž„αž—αžΆαž–αžαž»αžŸαž‚αŸ’αž“αžΆαžαŸ‚αž˜αž½αž™αž‚αžαŸ‹αžŠαŸ‚αž›αž₯αž‘αžΌαžœαž“αŸαŸ‡αž™αžΎαž„αž“αžΉαž„αžαŸ’αžšαžΌαžœαž€αžΆαžšαž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αž”αž“αŸ’αžαž·αž…αŸ” reweight. αž§αž‘αžΆαž αžšαžŽαŸαžšαž αžΌαžαžŠαž›αŸ‹ 0.95αŸ–

ceph osd reweight osd.${ID} 0.95

αžœαžΆαž”αž„αŸ’αž€αžΎαž“αž‘αŸ†αž αŸ†αžαžΆαžŸαž“αŸ…αž€αŸ’αž“αž»αž„ OSD αž“αž·αž„αž‡αž½αžŸαž‡αž»αž›αž€αŸ†αž αž»αžŸαž€αŸ’αž“αž»αž„αžŸαž»αžαž—αžΆαž– ceph αŸ” αž‘αŸ„αŸ‡αž‡αžΆαž™αŸ‰αžΆαž„αžŽαžΆαž€αŸαžŠαŸ„αž™ αžŠαžΌαž…αžŠαŸ‚αž›αž”αžΆαž“αž”αž‰αŸ’αž‡αžΆαž€αŸ‹αžšαž½αž…αž˜αž€αž αžΎαž™ αž”αž‰αŸ’αž αžΆαž“αŸαŸ‡αž€αžΎαžαž‘αžΎαž„αž‡αžΆαž…αž˜αŸ’αž”αž„αžŠαŸ„αž™αžŸαžΆαžšαžαŸ‚αž€αžΆαžšαž€αŸ†αžŽαžαŸ‹αž˜αž·αž“αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœαž“αŸƒ Ceph αž“αŸ…αžŠαŸ†αžŽαžΆαž€αŸ‹αž€αžΆαž›αžŠαŸ†αž”αžΌαž„αŸ– αžœαžΆαž˜αžΆαž“αžŸαžΆαžšαŸˆαžŸαŸ†αžαžΆαž“αŸ‹αžαŸ’αž›αžΆαŸ†αž„αžŽαžΆαžŸαŸ‹αž€αŸ’αž“αž»αž„αž€αžΆαžšαž’αŸ’αžœαžΎαž€αžΆαžšαž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž‘αžΎαž„αžœαž·αž‰ αžŠαžΎαž˜αŸ’αž”αžΈαž€αž»αŸ†αž±αŸ’αž™αžœαžΆαž›αŸαž…αž‘αžΎαž„αž“αŸ…αž–αŸαž›αž’αž“αžΆαž‚αžαŸ”

αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαž–αž·αžŸαŸαžŸαžšαž”αžŸαŸ‹αž™αžΎαž„ αžœαžΆαž‘αžΆαŸ†αž„αž’αžŸαŸ‹αž”αžΆαž“αž’αŸ’αž›αžΆαž€αŸ‹αž…αž»αŸ‡αž˜αž€αŸ–

  • αžαž˜αŸ’αž›αŸƒαžαŸ’αž–αžŸαŸ‹αž–αŸαž€ replication_count αž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αž‘αžΉαž€αž˜αž½αž™,
  • PG αž…αŸ’αžšαžΎαž“αž–αŸαž€αž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αž˜αž½αž™ αž“αž·αž„αžαž·αž…αž–αŸαž€αž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αž˜αž½αž™αž‘αŸ€αžαŸ”

αžαŸ„αŸ‡αž”αŸ’αžšαžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž‚αž·αžαž›αŸαžαžŠαŸ‚αž›αž”αžΆαž“αžšαŸ€αž”αžšαžΆαž”αŸ‹αžšαž½αž…αž αžΎαž™αŸ” αžœαžΆαž”αž„αŸ’αž αžΆαž‰αž™αŸ‰αžΆαž„αž…αŸ’αž”αžΆαžŸαŸ‹αž“αžΌαžœαž’αŸ’αžœαžΈαžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž”αž‰αŸ’αž…αžΌαž› αž αžΎαž™αž‡αžΆαž‚αŸ„αž›αž€αžΆαžšαžŽαŸαž˜αž·αž“αž˜αžΆαž“αž’αŸ’αžœαžΈαžŸαŸ’αž˜αž»αž‚αžŸαŸ’αž˜αžΆαž‰αž“αŸ„αŸ‡αž‘αŸαŸ” αžŠαŸ„αž™αž”αžΆαž“αž€αŸ†αžŽαžαŸ‹αž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžšαž…αžΆαŸ†αž”αžΆαž…αŸ‹αž™αžΎαž„αž‘αž‘αž½αž›αž”αžΆαž“αž’αž“αž»αžŸαžΆαžŸαž“αŸαžŠαžΌαž…αžαžΆαž„αž€αŸ’αžšαŸ„αž˜:

αž€αžΆαžšαž€αžαŸ‹αžŸαž˜αŸ’αž‚αžΆαž›αŸ‹αŸ– αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž’αŸ’αž“αž€αž€αŸ†αž–αž»αž„αžŠαŸ†αž‘αžΎαž„ Ceph cluster αž–αžΈαžŠαŸ†αž”αžΌαž„ αž˜αž»αžαž„αžΆαžšαž˜αžΆαž“αž”αŸ’αžšαž™αŸ„αž‡αž“αŸαž˜αž½αž™αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαžšαž”αžŸαŸ‹αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž‚αž·αžαž›αŸαžαž‚αžΊαž€αžΆαžšαž”αž„αŸ’αž€αžΎαžαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαžŠαŸ‚αž›αž“αžΉαž„αž”αž„αŸ’αž€αžΎαžαž€αŸ’αžšαž»αž˜αž–αžΈαž‘αž‘αŸαž‡αžΆαž˜αž½αž™αž“αžΉαž„αž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžšαžŠαŸ‚αž›αž”αžΆαž“αž”αž‰αŸ’αž‡αžΆαž€αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αžαžΆαžšαžΆαž„αŸ”

αž‡αž½αžšαž…αž»αž„αž€αŸ’αžšαŸ„αž™αž‡αž½αž™αž’αŸ’αž“αž€αžšαž»αž€αžšαž€ - αž…αŸ†αž“αž½αž“ PG αžŠαŸ‚αž›αž”αžΆαž“αžŽαŸ‚αž“αžΆαŸ†. αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαžšαž”αžŸαŸ‹αž™αžΎαž„ αž‘αžΈαž–αžΈαžšαž€αŸαž˜αžΆαž“αž”αŸ’αžšαž™αŸ„αž‡αž“αŸαž•αž„αžŠαŸ‚αžš αžŠαŸ‚αž›αž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžšαž…αž˜αŸ’αž›αž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰ αž…αžΆαž”αŸ‹αžαžΆαŸ†αž„αž–αžΈαž™αžΎαž„αž”αžΆαž“αžŸαž˜αŸ’αžšαŸαž…αž…αž·αžαŸ’αžαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαž˜αŸαž‚αž»αžŽαž…αž˜αŸ’αž›αž„αŸ”

αžŠαžΌαž…αŸ’αž“αŸαŸ‡αžŠαŸ†αž”αžΌαž„αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžšαž…αž˜αŸ’αž›αž„ - αž“αŸαŸ‡αž˜αžΆαž“αžαž˜αŸ’αž›αŸƒαž’αŸ’αžœαžΎαž‡αžΆαž˜αž»αž“αžŸαž·αž“αž–αŸ’αžšαŸ„αŸ‡αžŠαŸ„αž™αž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αž˜αŸαž‚αž»αžŽαž™αžΎαž„αž“αžΉαž„αž”αž„αŸ’αž€αžΎαž“αž‘αŸ†αž αŸ†αžαžΆαžŸαŸ” αž“αŸ…αž–αŸαž›αžŠαŸ‚αž›αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆαž”αŸ’αžšαžαž·αž”αžαŸ’αžαž· αž’αŸ’αž“αž€αž“αžΉαž„αžŸαž˜αŸ’αž‚αžΆαž›αŸ‹αžƒαžΎαž‰αžαžΆ αž‘αŸ†αž αŸ†αžαžΆαžŸαžŠαŸ‚αž›αž˜αžΆαž“αž“αžΉαž„αž€αžΎαž“αž‘αžΎαž„αŸ–

ceph osd pool $pool_name set $replication_size

αž αžΎαž™αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž€αžΆαžšαž”αž‰αŸ’αž…αž”αŸ‹αžšαž”αžŸαŸ‹αžœαžΆαž™αžΎαž„αž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαžαž˜αŸ’αž›αŸƒαž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžš pg_num ΠΈ pgp_num αžŠαžΌαž…αžαž„αŸαŸ’αžšαž€αž˜:

ceph osd pool set $pool_name pg_num $pg_number
ceph osd pool set $pool_name pgp_num $pg_number

αžŸαŸ†αžαžΆαž“αŸ‹αŸ– αž™αžΎαž„αžαŸ’αžšαžΌαžœαžαŸ‚αž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαž…αŸ†αž“αž½αž“ PGs αž‡αžΆαž”αž“αŸ’αžαž”αž“αŸ’αž‘αžΆαž”αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αž“αžΈαž˜αž½αž™αŸ— αž αžΎαž™αž˜αž·αž“αžαŸ’αžšαžΌαžœαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαžαž˜αŸ’αž›αŸƒαž“αŸ…αž€αŸ’αž“αž»αž„αž’αžΆαž„αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαžšαž αžΌαžαžŠαž›αŸ‹αž€αžΆαžšαž–αŸ’αžšαž˜αžΆαž“αž”αžΆαžαŸ‹αŸ” "αž€αžΆαžšαž”αž„αŸ’αžαžΌαž…αž‘αž·αž“αŸ’αž“αž“αŸαž™αž‘αžΎαž„αžœαž·αž‰" ΠΈ "n-αž…αŸ†αž“αž½αž“ pgs αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αž“αŸ’αž‘αžΆαž”αž”αž“αŸ’αžαŸ„αž€".

αž’αŸ’αž“αž€αž€αŸαž’αžΆαž…αž–αž·αž“αž·αžαŸ’αž™αž˜αžΎαž›αžαžΆαž’αŸ’αžœαžΈαŸ—αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž”αžΆαž“αž›αŸ’αž’αžŠαŸ„αž™αž”αŸ’αžšαžΎαž›αž‘αŸ’αž’αž•αž›αž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ ceph health detail ΠΈ ceph -s.

αž€αžšαžŽαžΈαž‘αžΈαŸ£. αž€αžΆαžšαž•αŸ’αž‘αŸαžšαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαž–αžΈ LVM αž‘αŸ… Ceph RBD

αž“αŸ…αž€αŸ’αž“αž»αž„αžŸαŸ’αžαžΆαž“αž—αžΆαž–αžŠαŸ‚αž›αž‚αž˜αŸ’αžšαŸ„αž„αž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαžŠαŸ‚αž›αž”αžΆαž“αžŠαŸ†αž‘αžΎαž„αž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαžŠαŸ‚αž€αž‘αž‘αŸαžŠαŸ‚αž›αž”αžΆαž“αž‡αž½αž›αž“αŸ„αŸ‡ αž”αž‰αŸ’αž αžΆαž“αŸƒαž€αžΆαžšαž•αŸ’αž‘αž»αž€αžŠαŸ‚αž›αž˜αž·αž“αž’αžαŸ‹αž±αž“αž…αŸ†αž–αŸ„αŸ‡αž€αŸ†αž αž»αžŸαž€αžΎαžαž‘αžΎαž„αž‡αžΆαž‰αžΉαž€αž‰αžΆαž”αŸ‹αŸ” αžœαžΆαž€αŸαž‚αž½αžšαž±αŸ’αž™αž…αž„αŸ‹αž”αžΆαž“αž•αž„αžŠαŸ‚αžšαžŠαŸ‚αž›αž˜αžΆαž“αž‘αŸ†αž αŸ†αž•αŸ’αž‘αž»αž€αž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαžΆαž“αŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αž€αž“αŸ’αž›αŸ‚αž„αž•αŸ’αž‘αž»αž€αž“αŸαŸ‡... αžŸαŸ’αžαžΆαž“αž—αžΆαž–αž‘αžΌαž‘αŸ…αž˜αž½αž™αž‘αŸ€αžαŸ– αž˜αžΆαž“αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαž˜αž½αž™αžŠαŸ‚αž›αž˜αžΆαž“αž€αžΆαžšαž•αŸ’αž‘αž»αž€αž˜αžΌαž›αžŠαŸ’αž‹αžΆαž“αž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸ αž αžΎαž™αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαž–αž„αŸ’αžšαžΈαž€αžαžΆαžŸ αž”αŸ‰αž»αž“αŸ’αžαŸ‚αž‚αŸ’αž˜αžΆαž“αž€αž“αŸ’αž›αŸ‚αž„αžŽαžΆαžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž‘αŸ…αž‘αŸ αž–αŸ’αžšαŸ„αŸ‡αž˜αž·αž“αž˜αžΆαž“ αž‘αŸ†αž αŸ†αžαžΆαžŸαž‘αŸ†αž“αŸαžšαž‘αž»αž€αž“αŸ…αž›αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαŸ”

αž”αž‰αŸ’αž αžΆαž’αžΆαž…αžαŸ’αžšαžΌαžœαž”αžΆαž“αžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αžαžΆαž˜αžœαž·αž’αžΈαž•αŸ’αžŸαŸαž„αŸ—αž‚αŸ’αž“αžΆ - αž§αž‘αžΆαž αžšαžŽαŸαžŠαŸ„αž™αž€αžΆαžšαž•αŸ’αž‘αŸαžšαž‘αŸ…αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαž•αŸ’αžŸαŸαž„αž‘αŸ€αž (αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž˜αžΆαž“αž˜αž½αž™) αž¬αž”αž“αŸ’αžαŸ‚αž˜αžαžΆαžŸαžαŸ’αž˜αžΈαž‘αŸ…αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸαŸ” αž”αŸ‰αž»αž“αŸ’αžαŸ‚αžœαžΆαž˜αž·αž“αžαŸ‚αž„αžαŸ‚αž’αžΆαž…αž’αŸ’αžœαžΎαžŠαžΌαž…αŸ’αž“αŸαŸ‡αž”αžΆαž“αž‘αŸ αžŠαžΌαž…αŸ’αž“αŸαŸ‡αž€αžΆαžšαž’αŸ’αžœαžΎαž…αŸ†αžŽαžΆαž€αžŸαŸ’αžšαž»αž€αž–αžΈ LVM αž‘αŸ… Ceph αž’αžΆαž…αž‡αžΆαžŠαŸ†αžŽαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αžŠαŸαž›αŸ’αž’αž…αŸ†αž–αŸ„αŸ‡αž”αž‰αŸ’αž αžΆαž“αŸαŸ‡αŸ” αžαžΆαž˜αžšαž™αŸˆαž€αžΆαžšαž‡αŸ’αžšαžΎαžŸαžšαžΎαžŸαž‡αž˜αŸ’αžšαžΎαžŸαž“αŸαŸ‡ αž™αžΎαž„αž€αŸαžŸαž˜αŸ’αžšαž½αž›αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž”αž“αŸ’αžαŸ‚αž˜αž‘αŸ€αžαž“αŸƒαž€αžΆαžšαž•αŸ’αž‘αŸαžšαžšαžœαžΆαž„αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž˜αŸ αž–αŸ’αžšαŸ„αŸ‡αžœαžΆαž“αžΉαž„αž˜αž·αž“αž…αžΆαŸ†αž”αžΆαž…αŸ‹αž•αŸ’αž›αžΆαžŸαŸ‹αž‘αžΈαž€αž“αŸ’αž›αŸ‚αž„αž•αŸ’αž‘αž»αž€αž€αŸ’αž“αž»αž„αž˜αžΌαž›αžŠαŸ’αž‹αžΆαž“αž–αžΈ hypervisor αž˜αž½αž™αž‘αŸ…αž˜αž½αž™αž‘αŸ€αžαž‘αŸαŸ” αž€αžΆαžšαž…αžΆαž”αŸ‹αžαŸ‚αž˜αž½αž™αž‚αžαŸ‹αž‚αžΊαžαžΆαž’αŸ’αž“αž€αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αž‰αŸ’αžˆαž”αŸ‹ VM αžαžŽαŸˆαž–αŸαž›αžŠαŸ‚αž›αž€αžΆαžšαž„αžΆαžšαž€αŸ†αž–αž»αž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž’αž“αž»αžœαžαŸ’αžαŸ”

αžšαžΌαž”αž˜αž“αŸ’αžαžαžΆαž„αž€αŸ’αžšαŸ„αž˜αžαŸ’αžšαžΌαžœαž”αžΆαž“αž™αž€αž…αŸαž‰αž–αžΈ αž’αžαŸ’αžαž”αž‘αž–αžΈαž”αŸ’αž›αž€αŸ‹αž“αŸαŸ‡αŸ”αž€αžΆαžšαžŽαŸ‚αž“αžΆαŸ†αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž”αžΆαž“αžŸαžΆαž€αž›αŸ’αž”αž„αž€αŸ’αž“αž»αž„αžŸαž€αž˜αŸ’αž˜αž—αžΆαž–αŸ” αž“αž·αž™αžΆαž™β€‹αž’αž‰αŸ’αž…αžΉαž„, αžœαž·αž’αžΈαžŸαžΆαžŸαŸ’αžšαŸ’αžαž“αŸƒαž€αžΆαžšαž’αŸ’αžœαžΎαž…αŸ†αžŽαžΆαž€αžŸαŸ’αžšαž»αž€αžŠαŸ„αž™αž˜αž·αž“αž˜αžΆαž“αž€αžΆαžšαžšαŸ†αžαžΆαž“αž€αŸαžαŸ’αžšαžΌαžœαž”αžΆαž“αž–αž·αž–αžŽαŸŒαž“αžΆαž“αŸ…αž‘αžΈαž“αŸ„αŸ‡αž•αž„αžŠαŸ‚αžšαŸ”αž‘αŸ„αŸ‡αž™αŸ‰αžΆαž„αžŽαžΆαž€αŸαžŠαŸ„αž™ αž€αŸ’αž“αž»αž„αž€αžšαžŽαžΈαžšαž”αžŸαŸ‹αž™αžΎαž„ αžœαžΆαž˜αž·αž“αž…αžΆαŸ†αž”αžΆαž…αŸ‹αž‘αŸ αžŠαžΌαž…αŸ’αž“αŸαŸ‡αž™αžΎαž„αž˜αž·αž“αž”αžΆαž“αž–αž·αž“αž·αžαŸ’αž™αžœαžΆαž‘αŸαŸ” αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž“αŸαŸ‡αž˜αžΆαž“αžŸαžΆαžšαŸˆαžŸαŸ†αžαžΆαž“αŸ‹αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž‚αž˜αŸ’αžšαŸ„αž„αžšαž”αžŸαŸ‹αž’αŸ’αž“αž€ αž™αžΎαž„αž“αžΉαž„αžšαžΈαž€αžšαžΆαž™αž€αŸ’αž“αž»αž„αž€αžΆαžšαžŸαŸ’αžαžΆαž”αŸ‹αž’αŸ†αž–αžΈαž›αž‘αŸ’αž’αž•αž›αž“αŸ…αž€αŸ’αž“αž»αž„αž˜αžαž·αž™αŸ„αž”αž›αŸ‹αŸ”

αž…αžΌαžšαž”αž“αŸ’αžαž‘αŸ…αž•αŸ’αž“αŸ‚αž€αž‡αžΆαž€αŸ‹αžŸαŸ’αžαŸ‚αž„αŸ” αž€αŸ’αž“αž»αž„αž§αž‘αžΆαž αžšαžŽαŸαž™αžΎαž„αž”αŸ’αžšαžΎ virsh αž αžΎαž™αžαžΆαž˜αž“αŸ„αŸ‡ libvirt αŸ” αž‡αžΆαžŠαŸ†αž”αžΌαž„ αžαŸ’αžšαžΌαžœαž”αŸ’αžšαžΆαž€αžŠαžαžΆαž’αžΆαž„ Ceph αžŠαŸ‚αž›αž‘αž·αž“αŸ’αž“αž“αŸαž™αž“αžΉαž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž•αŸ’αž‘αŸαžšαžαŸ’αžšαžΌαžœαž”αžΆαž“αž—αŸ’αž‡αžΆαž”αŸ‹αž‘αŸ… libvirtαŸ–

virsh pool-dumpxml $ceph_pool

αž€αžΆαžšαž–αž·αž–αžŽαŸŒαž“αžΆαž’αžΆαž„αžαŸ’αžšαžΌαžœαžαŸ‚αž˜αžΆαž“αž‘αž·αž“αŸ’αž“αž“αŸαž™αžαž—αŸ’αž‡αžΆαž”αŸ‹αž‘αŸ… Ceph αž‡αžΆαž˜αž½αž™αž“αžΉαž„αž‘αž·αž“αŸ’αž“αž“αŸαž™αž€αžΆαžšαž’αž“αž»αž‰αŸ’αž‰αžΆαžαŸ”

αž‡αŸ†αž αžΆαž“αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž‚αžΊαžαžΆαžšαžΌαž”αž—αžΆαž– LVM αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αŸ†αž”αŸ’αž›αŸ‚αž„αž‘αŸ…αž‡αžΆ Ceph RBD αŸ” αž–αŸαž›β€‹αžœαŸαž›αžΆβ€‹αž’αž“αž»αžœαžαŸ’αžβ€‹αž’αžΆαžŸαŸ’αžšαŸαž™β€‹αž›αžΎβ€‹αž‘αŸ†αž αŸ†β€‹αžšαžΌαž”αž—αžΆαž–β€‹αž‡αžΆβ€‹αž…αž˜αŸ’αž”αž„αŸ–

qemu-img convert -p -O rbd /dev/main/$vm_image_name rbd:$ceph_pool/$vm_image_name

αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž€αžΆαžšαž”αŸ†αž”αŸ’αž›αŸ‚αž„ αžšαžΌαž”αž—αžΆαž– LVM αž“αžΉαž„αž“αŸ…αžαŸ‚αž˜αžΆαž“ αžŠαŸ‚αž›αž“αžΉαž„αž˜αžΆαž“αž”αŸ’αžšαž™αŸ„αž‡αž“αŸ αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž€αžΆαžšαž•αŸ’αž‘αŸαžš VM αž‘αŸ… RBD αž”αžšαžΆαž‡αŸαž™ αž αžΎαž™αž’αŸ’αž“αž€αžαŸ’αžšαžΌαžœαžαŸ’αžšαž‘αž”αŸ‹αž€αžΆαžšαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžαžΌαžšαžœαž·αž‰αŸ” αž•αž„αžŠαŸ‚αžš αžŠαžΎαž˜αŸ’αž”αžΈαž’αžΆαž…αžαŸ’αžšαž‘αž”αŸ‹αž€αžΆαžšαž•αŸ’αž›αžΆαžŸαŸ‹αž”αŸ’αžŠαžΌαžšαžœαž·αž‰αž”αžΆαž“αž™αŸ‰αžΆαž„αž†αžΆαž”αŸ‹αžšαž αŸαžŸ αžŸαžΌαž˜αž’αŸ’αžœαžΎαž€αžΆαžšαž”αž˜αŸ’αžšαž»αž„αž‘αž»αž€αž“αŸƒαž―αž€αžŸαžΆαžšαž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαŸ–

virsh dumpxml $vm_name > $vm_name.xml
cp $vm_name.xml $vm_name_backup.xml

... αž“αž·αž„αž€αŸ‚αžŸαž˜αŸ’αžšαž½αž›αžŠαžΎαž˜ (vm_name.xml) αž…αžΌαžšαž™αžΎαž„αžŸαŸ’αžœαŸ‚αž„αžšαž€αž”αŸ’αž›αž»αž€αž‡αžΆαž˜αž½αž™αž“αžΉαž„αž€αžΆαžšαž–αž·αž–αžŽαŸŒαž“αžΆαž’αŸ†αž–αžΈαžαžΆαžŸ (αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αžŠαŸ„αž™αž”αž“αŸ’αž‘αžΆαžαŸ‹ <disk type='file' device='disk'> αž“αž·αž„αž”αž‰αŸ’αž…αž”αŸ‹αžŠαŸ„αž™ </disk>) αž αžΎαž™αž€αžΆαžαŸ‹αž”αž“αŸ’αžαž™αžœαžΆαž‘αŸ…αž‡αžΆαž‘αž˜αŸ’αžšαž„αŸ‹αžαžΆαž„αž€αŸ’αžšαŸ„αž˜αŸ–

<disk type='network' device='disk'>
<driver name='qemu'/>
<auth username='libvirt'>
  <secret type='ceph' uuid='sec-ret-uu-id'/>
 </auth>
<source protocol='rbd' name='$ceph_pool/$vm_image_name>
  <host name='10.0.0.1' port='6789'/>
  <host name='10.0.0.2' port='6789'/>
</source>
<target dev='vda' bus='virtio'/> 
<alias name='virtio-disk0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>

αžαŸ„αŸ‡αž˜αžΎαž›αž–αŸαžαŸŒαž˜αžΆαž“αž›αž˜αŸ’αž’αž·αžαžαŸ’αž›αŸ‡αŸ–

  1. αž‘αŸ…αž–αž·αž’αžΈαž€αžΆαžš source αž’αžΆαžŸαž™αžŠαŸ’αž‹αžΆαž“αž‘αŸ…αž€αž“αŸ’αž›αŸ‚αž„αž•αŸ’αž‘αž»αž€αž“αŸ…αž€αŸ’αž“αž»αž„ Ceph RBD αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰ (αž“αŸαŸ‡αž‚αžΊαž‡αžΆαž’αžΆαžŸαž™αžŠαŸ’αž‹αžΆαž“αžŠαŸ‚αž›αž”αž„αŸ’αž αžΆαž‰αž–αžΈαžˆαŸ’αž˜αŸ„αŸ‡αž“αŸƒαž’αžΆαž„ Ceph αž“αž·αž„αžšαžΌαž”αž—αžΆαž– RBD αžŠαŸ‚αž›αžαŸ’αžšαžΌαžœαž”αžΆαž“αž€αŸ†αžŽαžαŸ‹αž“αŸ…αžŠαŸ†αžŽαžΆαž€αŸ‹αž€αžΆαž›αžŠαŸ†αž”αžΌαž„) αŸ”
  2. αž“αŸ…αž€αŸ’αž“αž»αž„αž”αŸ’αž›αž»αž€ secret αž”αŸ’αžšαž—αŸαž‘αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰ cephαž€αŸαžŠαžΌαž…αž‡αžΆ UUID αž“αŸƒαž’αžΆαžαŸŒαž€αŸ†αž”αžΆαŸ†αž„αžŠαžΎαž˜αŸ’αž”αžΈαž—αŸ’αž‡αžΆαž”αŸ‹αž‘αŸ…αžœαžΆαŸ” uuid αžšαž”αžŸαŸ‹αžœαžΆαž’αžΆαž…αžαŸ’αžšαžΌαžœαž”αžΆαž“αžšαž€αžƒαžΎαž‰αžŠαŸ„αž™αž”αŸ’αžšαžΎαž–αžΆαž€αŸ’αž™αž”αž‰αŸ’αž‡αžΆ virsh secret-list.
  3. αž“αŸ…αž€αŸ’αž“αž»αž„αž”αŸ’αž›αž»αž€ host αž’αžΆαžŸαž™αžŠαŸ’αž‹αžΆαž“αž‘αŸ…αž˜αŸ‰αžΌαž“αžΈαž‘αŸαžš Ceph αžαŸ’αžšαžΌαžœαž”αžΆαž“αž…αž„αŸ’αž’αž»αž›αž”αž„αŸ’αž αžΆαž‰αŸ”

αž”αž“αŸ’αž‘αžΆαž”αŸ‹αž–αžΈαž€αŸ‚αžŸαž˜αŸ’αžšαž½αž›αž―αž€αžŸαžΆαžšαž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’ αž“αž·αž„αž”αž‰αŸ’αž…αž”αŸ‹αž€αžΆαžšαž”αŸ†αž”αŸ’αž›αŸ‚αž„ LVM αž‘αŸ… RBD αž’αŸ’αž“αž€αž’αžΆαž…αž’αž“αž»αžœαžαŸ’αžαž―αž€αžŸαžΆαžšαž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αžŠαŸ‚αž›αž”αžΆαž“αž€αŸ‚αž”αŸ’αžšαŸ‚ αž αžΎαž™αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαŸ–

virsh define $vm_name.xml
virsh start $vm_name

αžœαžΆαžŠαž›αŸ‹αž–αŸαž›αž αžΎαž™αžŠαžΎαž˜αŸ’αž”αžΈαž–αž·αž“αž·αžαŸ’αž™αž˜αžΎαž›αžαžΆαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαž”αžΆαž“αž…αžΆαž”αŸ‹αž•αŸ’αžαžΎαž˜αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœαŸ– αž’αŸ’αž“αž€αž’αžΆαž…αžŸαŸ’αžœαŸ‚αž„αž™αž›αŸ‹αž§αž‘αžΆαž αžšαžŽαŸαžŠαŸ„αž™αž—αŸ’αž‡αžΆαž”αŸ‹αž‘αŸ…αžœαžΆαžαžΆαž˜αžšαž™αŸˆ SSH αž¬αžαžΆαž˜αžšαž™αŸˆ virsh.

αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž“αž·αž˜αŸ’αž˜αž·αžαžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž”αžΆαž“αžαŸ’αžšαžΉαž˜αžαŸ’αžšαžΌαžœ αž αžΎαž™αž’αŸ’αž“αž€αž˜αž·αž“αž”αžΆαž“αžšαž€αžƒαžΎαž‰αž”αž‰αŸ’αž αžΆαž•αŸ’αžŸαŸαž„αž‘αŸ€αžαž‘αŸαž“αŸ„αŸ‡ αž’αŸ’αž“αž€αž’αžΆαž…αž›αž»αž”αžšαžΌαž”αž—αžΆαž– LVM αžŠαŸ‚αž›αž›αŸ‚αž„αž”αŸ’αžšαžΎαž αžΎαž™αŸ–

lvremove main/$vm_image_name

αžŸαŸαž…αž€αŸ’αžαžΈαžŸαž“αŸ’αž“αž·αžŠαŸ’αž‹αžΆαž“

αž™αžΎαž„αž”αžΆαž“αž‡αž½αž”αž”αŸ’αžšαž‘αŸ‡αž€αžšαžŽαžΈαžŠαŸ‚αž›αž”αžΆαž“αž–αž·αž–αžŽαŸŒαž“αžΆαž‘αžΆαŸ†αž„αž’αžŸαŸ‹αž“αŸ…αž€αŸ’αž“αž»αž„αž€αžΆαžšαž’αž“αž»αžœαžαŸ’αž - αž™αžΎαž„αžŸαž„αŸ’αžƒαžΉαž˜αžαžΆαž€αžΆαžšαžŽαŸ‚αž“αžΆαŸ†αž“αžΉαž„αž‡αž½αž™αž’αŸ’αž“αž€αž‚αŸ’αžšαž”αŸ‹αž‚αŸ’αžšαž„αž•αŸ’αžŸαŸαž„αž‘αŸ€αžαžŠαŸ„αŸ‡αžŸαŸ’αžšαžΆαž™αž”αž‰αŸ’αž αžΆαžŸαŸ’αžšαžŠαŸ€αž„αž‚αŸ’αž“αžΆαž“αŸαŸ‡αŸ” αž”αŸ’αžšαžŸαž·αž“αž”αžΎαž’αŸ’αž“αž€αž˜αžΆαž“αž˜αžαž·αž™αŸ„αž”αž›αŸ‹ αž¬αžšαžΏαž„αžšαŸ‰αžΆαžœαžŸαŸ’αžšαžŠαŸ€αž„αž‚αŸ’αž“αžΆαž•αŸ’αžŸαŸαž„αž‘αŸ€αžαž–αžΈαž”αž‘αž–αž·αžŸαŸ„αž’αž“αŸαžšαž”αžŸαŸ‹αž’αŸ’αž“αž€αžŠαŸ„αž™αž”αŸ’αžšαžΎ Ceph αž™αžΎαž„αž“αžΉαž„αžšαžΈαž€αžšαžΆαž™αž€αŸ’αž“αž»αž„αž€αžΆαžšαžƒαžΎαž‰αž–αž½αž€αž‚αŸαž“αŸ…αž€αŸ’αž“αž»αž„αž˜αžαž·αž™αŸ„αž”αž›αŸ‹!

PS

αžŸαžΌαž˜αž’αžΆαž“αž•αž„αžŠαŸ‚αžšαž“αŸ…αž›αžΎαž”αŸ’αž›αž€αŸ‹αžšαž”αžŸαŸ‹αž™αžΎαž„αŸ–

αž”αŸ’αžšαž—αž–: www.habr.com

αž”αž“αŸ’αžαŸ‚αž˜αž˜αžαž·αž™αŸ„αž”αž›αŸ‹