á á ááľ á˛áľá áá á¨áááĽáá á áá áĽá ááἠá˛áá áľá RAID áá°áĽ ááá á áá ááᢠá áá áá´áŁ á¨á˝áááááź áĽá áá áĽá°á áá ááĄ- âá ááľ áá RAID áŤáá ááá ááááᣠá¨ááłááľ áá¨ááť á ááá áŤáĽáááááᣠáĽá CEPH áá áĽáá°áá áĽááłá á áłáááâ áľááá á áááá°á á áááľ ááľáĽ á¨ááááŞáŤá ááá á¨áŤáľáá ááá áĽá¨áá ᨠáá áᢠá¨áá¨áŤá á áá á¨á´á ááľáŁá ááá á áá ááá°ááá áĽá á¨á á°ááŁá áŠá áá°á ááá¨áłáľ áá á. á´á á ááŤá¨áá áááľ ááľáĽ ááľá°ááá áá áŤá á áľááá áá ᣠáá á áľáá˝ ááľáĽ? á¨á ááŤáł á ááłáľ ááś áĽáá áĽá áááľ á¨ááááá áľ á¨ááἠááĽááľ á áá ᣠááá ááá á áŁá ááá áĽááłááá áľá áĽáá á áááŽá˝ áááᤠá°ááłá˘ ᨠCEPH áŁá áŞáŤáľ á á°áá áľáááą áá áĽáá ááľ áááĽáŤá, áĽá á áĽááą ááááŤáľ, áá¨áŤáá˝ áááá. á¨áłá˝ á¨á°áá¨ááŠáľ ááá áĽááááá˝, á¨á°ááá áá¤áľ áĽá áá°áá°ááŤáá˝ ááá፠áá. áĽáááľ áŤáá¸á á°áá˝ áááłá¸áá á˘áŤáŤáá áĽá á ááłááľ ááĽáŚá˝á áŤáĽáŤáŠ áĽá á áá°ááááá˘
ááłá°á˘áŤáĄ á áľá°áŤá¨áľ á°áŞáá˝ á á ááłááľ áááśá˝ áá á¨áŁáľ áľá
á°áśá˝á á ááááᣠáá
á áááá ááŁáĽá áá¨ááľ áŤáľáááááá˘
CEPH áľáľáŤá´á
á¨CEPH áááľá°á á¨áááá° ááĽá K á¨áááá° áá á áŤáá¸áá á˛áľáŽá˝ á ááŁáá áá¨áá á áĽááą áá áŤá¨ááťáᣠáĽáŤááłááąá ááŤá (á ááŁáŞ 4 ááŁ) á ááŁááľ á¨á°á°á áá ááĽá N ááá˘
á¨áááľ á°ááłáłá á˛áľáŽá˝ áá áááá ááłá á áľáĄá áľá˘ RAID 1 ááááŁáľ ááá á¨ááą N=2 áá áááľá°á ááááŁáľ áľá˝ááá - áá¤áą á ááľ á áááľ ááááᢠáśáľáľ á˛áľáŽá˝ áŤá áĽá á¨á°ááŤáŠ áá áá˝ áŤáá¸á N = 2 áá áááľá°á áá°áĽá°áĽ ááá áá-á ááłááśáš áá¨á á á˛áľá 1 áĽá 2 ᣠá ááłááśáš á 1 áĽá 3 ᣠáĽá á ááłááśáš á 2 áĽá 3 áá ááááᢠRAID áŁáááá (áĽáá˛á ááááąá RAID áá°áĽá°áĽ áá˝áá, áá á áá áááá). á°á¨á᪠á˛áľáŽá˝ áŤá, á¨ááŤá RAID 5 ááá á ááťáá, CEPH á ááľ á ááá á áá - erasure_code, áá á ááá˘áá˝ áá°ááľ á áá° á¨ááá¨á áá, áĽá áľááá á¨áááľ á áá°áá. RAID 5 á ááľá°á ááĽá áŤáá¸á á˛áľáŽá˝ áĽááłá ááááłá, áĽá ááá á áĽáŠ áááł áá áá¸á. á ááą áŤáá°áłáŤ ááŞá á˛áľáŠ áĽáľáŞá°áŤ áĽá ááᥠáá°áá á¨á áľ áĽáľáŞáááľ áľá¨áľ ááá¨áľ á áá áľá˘ CEPH ᨠN> = 3 áá á¨áľáŽ á˛áľáŽá˝á áá ááá áŤá á¨áłáłá á á°ááá áĽá áĽáŠ á˛áľáŽá˝ á ááľ á á ááá¨áá¸áľ áĽá á¨ááŠáľá áááľ ááá áśáľáľ á ááá˝ á á ááŤáł á áŽá á˛áľáŽá˝ áá áŤá¨ááš á¨ááŤá áá¨áá á°á á áááá ᣠááááŤáąá á á áá áá á áłá˛áľ á˛áľáŽá˝ á ááááľ á á - ááá á˝ááŽá˝ á¨áá ᣠáĽá á ááą á¨á°á°á አᣠá¨á ááľáľ áááľ á áá á¨á áááááľ ááááľ áŤáá¸á á¨áśáľáľ á˛áľáŽá˝ á á°ááłáłá áá á áááłáŤáą ᣠá á°ááá á¨á°ááŤáŠ á ááááŽá˝ ᣠá áŁá á¨áááłá°áĽ áá ᢠááľá°áľ.
á á ááá˝ áľáááľ ááľáĽ áľááááľ á áᢠá ááŁáŞ, ááᥠáá° á°á¨á᪠(~ 100 á á˛áľá) áá áá¨áá፠áĄáľáá˝ áĽáá°á°á¨ááá ááááłá, áĽáŤááłááłá¸á á á ááłááľ á˛áľáŽá˝ áá ááŁáá. K=6, N=2 áĽáá á, á¨ááŤá áááá¸áá áááľ á˛áľáŽá˝ áŤáá°áłáŠ áá¨áá áĽáá°áá á ááľáľá á°á°áĽáśáłá, ááááŤáąá áĽáá° ááŽáŁá˘áᲠááľá ááłáĽ áá°á¨áľ, á áĽááá áááľ á˛áľáŽá˝ áá á˘áŤááľ á ááľ áá áááŤá. áĽá á¨á ááľ áĄáľá ááĽááľ á áááłá ááľáĽ áŤááá áá¨á áá á°á°áŤá˝ áŤá°ááááᢠá˛áľáŽá˝ á áśáľáľ áĽááľ á¨á°á¨ááá áĽá áá¨ááá˝á á á ááľ áĽááľ ááľáĽ á á˛áľáŽá˝ áá áĽáť áĽáá˛áŤá¨ááš á¨á°ááá°áá¸á áĽáá˛á áŤáá áľáááľá á¨á ááľ á˛áľá ááľááľá ááááá, ááá áá áááą áŤáá°áłáŠ á¨ááἠááĽááľ áĽáľá 100% á áá°áá. áá 3/15 áĽáť, áĽá ááá áááś ááľááľ á˘á¨á°áľ áśáľáľ á˛áľáŽá˝ - 12/20 áĽáť. áľááá á áá¨á áľáááľ ááľáĽ á˘ááľáŽá ááľá á°áľ ááťáťá á áľá°áá˝áŚ á áŤá°áááᢠáĽáá˛áá áááá á áááá áá RAM ááá˝ á°áŞááľá á áĽá á áĽáá°áá¨áá áἠáá áᢠá áĽáŤááłááą ááľááá ááááľ á¨á áá áá á°á¨ áľááľáł, áĽá á ááá á áááá˝ ááľáĽ á¨á áá áá á°á¨ áľááľáł, á¨á áá ááŁá áááá. áá á á ááľ á áááá áá áŤáá á¨áááľá°á áĽá á áĽáᣠá á°á¨ááŞá á¨áááľáá NASᣠá áŁá áľáá˝ áá á áŤáá áá á°á¨ áľááľáł á á°á°áŤá áľ áá áŤá áĽááĽá ááá˘
áá CEPH áá áŤááá áľ ááŁáŞáŤáá˝ á áľááš á˘áá¨áľáľáááľ áá ááŹáľ ááľá áá á á áľá á˛á˘ á¨ááá á áľá°ááá á¨áá¨ááť áĽáááľ áááá á áĽáŠ ááááľ áá (áĽáá áĽááἠáá, á᪠áŤáľáááá, ááá áá á¨áááľ áá¨ááť áľáááśá˝ áá á˛ááťá¸á á ááľá°á).
á¨áááľá°á áľáá áŤ
ááá¨áŤ áŤá áᣠá¨á°áá¨á áŽáááá°á Intel DQ57TM + Intel core i3 540+ 16GB RAM áĽááá°áľá˘ á áŤáľ 2 á˛á˘ á˛áľáŽá˝á áĽáá° RAID10 áá° á ááľ ááá áĽáá°áŤááá, á¨á°áłáŤ áá¨áŤ á áá ááá°á ááľááá ááááľ áĽá á°ááłáłá á¨á˛áľá áĽááľ áĽáá¨ááŤáá.
ááááľá ááŤáᢠáľáááą áá á áĽá á¨á°á¨áá áĽáá˛áá áŤáľááááᢠá´á˘áŤá áĽá áąá´ ááľáááśášá áŤáááᢠSuse áááááá áĽá á áĽáá˛áŤá°ááá á¨ááŤáľá˝áá á¨á áá á°áááá áŤá á áá; áĽáá° á áááłá°á áá á áľáá áą áá ááłáľ áłáá°ááľ á¨áľáááš ááŁá áĽáá°áá˝á áááŁá á ááťááᢠá´á˘áŤáá á á˛áĄáľáľáľáŤá áŁáľá°á á áŠá áŤáᢠᨠmin-base á ááŤá á á˝á¨ááŤáŞáá˝ á¨áááľá á¨ááá°áŤ áľáááľ ááááᢠá¨áá áľáŞáľ áá á˛áááá á¨áá á ááŠááľ ááá¨áá áŤá áŤá á áľáá á áá°áá. áľáŤá á¨áá¨áááá á á áŤáá áá˝á áá áľááá áá áĽáá° áááŁá áá˝áá˝ á á˝á á°-ááśáá˝á áááłáľ áĽááááá. áá LVM ááá btrfs (ááá xfsᣠááá zfs - ááŠááą áľáá á áá°áá) áĽáá°áá á áááľ áĽáľá áá°áŁáᢠá á˝á á°-ááśáá˝ á¨á¤ááŞá¤á forte á áá°ááᢠbtrfs á ááŤáᢠáĽá áĄáľ áŤáá á MBR ááľáĽ ááᢠáá° 50 áá áŁááľ ááááá á¨á á¨á´á á áŤáŁá˘ ááááľ áĽá ááľáááą áááá áŚáł ááá°áĽ á˛á˝á 1 áᣠá˛áľáá ᨠFAT ááá áá ááááľ ááá áľááá á¨áááᢠá á˛áľá áá 700 áᣠááľáˇá. ᨠSUSE áá°á¨áłá áááľ áá áŤá á á áá - á ááľáłááľá ᣠáááľáá ᣠáá° 1.1 ááá 1.4 ááŁá˘
CEPH á áŤáᢠá á˛á˘áŤá áá¨ááť ááľáĽ áŤááá áľáŞáľ 12 á á˝á áĽáá á¨áŁá˘áŤá á ááĽáł áĽáááááá 15.2.3. á¨áá¨á°ááľ ááľá ááááŤáá˝ áá "CEPH á á áĽá ááŤá" á¨áááá ááá áááŞáŤáá˝á áĽáá¨á°ááá.
- áá¨ááťáá á¨áááááľá á ááľ gnupg wget ca-certificates ááŤá á ááŚáľ
- áá¨ááťáá áŤááá á ááᣠáá áááľá°á á¨ááŤáá á ááľáŁ á¨áĽá á áááľ áááˇáᥠapt -y --no-install-ááááŤá ááŤá ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
- CEPH á ááŤáá áľ áá, á áááłáá ááááŤáśá˝, lvm2 á áááŤá ááááŤá. á ááá
á°á¨á, á áŤáłááá, áá ááŤá á áá°áłáŤá, áľááá
CEPH á ááŤáá.
áá áááľá°á á¨áľáˇááĄ-
cat << EOF >> /var/lib/dpkg/status Package: lvm2 Status: install ok installed Priority: important Section: admin Installed-Size: 0 Maintainer: Debian Adduser Developers <[email protected]> Architecture: all Multi-Arch: foreign Version: 113.118 Description: No-install EOF
á¨áááľá°á á á ááá áĽááł
ceph-osd - á á˛áľá áá áá¨áá ááá¨áá¸áľ áááááľ á áá áľ. ááĽáŤááłááą á˛áľá ááááá˝ á¨ááá ἠááá á¨ááťá áĽáŤááá˝á á¨ááá á áĽá á¨ááŤáľáá˝á á¨ááľááá á áááááľ á°áááŻáᢠá á˛áľá áá áááľ áááá˝ á°ááĽá¨áá. á¨ááŤá¨áá¸á á ááą áľá áááľá°áᣠá¨á˛áľá ááĽá áĽá á¨áááľá°á áááá˝ áá¨á áááᢠáá 1 áŞáŁ áá¨á á˛áľá á˛á¨áá á ááľ áá ááá áŤá áĽá áĽáá°áá á˛áá¨á á ááľá°áááᢠááá°áá ááááá á¨ááá áľáááľ á¨ááá áĽá ᨠCEPH áááľáŽá˝ áá¨ááá˝á áŤá¨ááťá. á áá°ááľ áľáŞáśá˝ ááľáĽ á áŤáľ-á°á ááŤá áá áááááľ áá¨á 100MB xfs ááááá áá á¨á˘ á˛áľáŠá áá° MBR ááᏠ16 áᣠáĽáť áá°áĽáŠ - á áááááą á áŤáá¨ááááᢠáĽáá°ááľá áᣠáŤáá˝ááᣠxfs á ext áá°áŤ áá˝ááᢠáá ááááá á /var/lib/⌠ááľáĽ á áááááą áľá OSD áá¨á á ááŤááĽá áľ áĽá áĽáá˛áá á¨áááľáŽá˝ ááᥠáá° áá¨áá˝á áľ á¨ááá ááłáŞáŤ á¨ááŤááá ááᢠá ááľá ááłáĽ ᣠá¨áłáľ á¨áááľá áá˛áŤáá á / var / lib / ... ááľáĽ ááľááἠáĽá áááá á˛áľá ááá¨á ááá°áĽ áá˝ááᢠOSD á ceph-deploy á áŠá á˛ááĽáŠ á /var/lib/⌠ááľáĽ áááááá áááŤá á á á áŤáľ á°á ááá áŤáᣠáĽá ᨠceph á°á áá ááĽáśá˝ á¨áááááá á¨ááá ááłáŞáŤ áááá ἠá°á°áĽá°ááᢠá áĽá ááŤá, áá áá áĽáŤáľá ááľá¨á áŤáľáááááłá, á°ááą áľááĽáą á ááááá. á á á áŤáá áá á°á¨ áľááľáł áĽáá˛áá ᨠosd áá á°á¨ áľááľáł á˘áá áááŞáŤá áááá á áĽáŠ áá.
ceph-mds. á áá á°á á°á¨áᣠCEPH á¨ááá áá¨ááť ááᢠá¨ááá áá¨ááť á á á áĽáŤááłááąá 4 áᣠáĽáá áĽáá° áá áááłá ááááłáᢠá¨ááá áá¨ááť á á°ááłáłá ááá áá áá°áŤá. áááľ áááłáá˝ á°ááĽá¨áá: á ááą áááłáłáł, áááá ááá¨á. áĽááą á ááá áľáááľ ááľáĽ ááŁááŤá. á áá áá á ááľ ááááľ áááἠááá áŤá, áľááá á¨ááá áľáááąá á¨á°á¨á, ááá áá áááąáá áááłáá˝ áŤáľáááĄ, á¨á፠áá°áá á¨á áľ ááááľ á áá˝áá. á áĽááŽá˝ ááľáĽ áááá˝á á¨áááŁáľ áá°áľ á á ᣠá ááá¨ááŠáľáᢠᨠceph-mds á áááááľ á¨ááá áľáááąá á¨ááľá¨áľ áááááľ á áá áľá˘ áĽáŤááłááą á¨ááá áľáááľ á¨á°áᨠá¨á áááááąá ááłá áááááᢠá á ááľ ááľáĽ á¨á ááŤáł á¨ááá áľáááśá˝ á°ááłáłáááľ áĽáá˛ááĽáŠ á¨ááŤáľá˝áá "á˘áá´ááľ" á ááŤá á á - áĽáá˛áá á áá°áá¨á¨á.
ceph-mon - áá á áááááľ á¨áááľá°á áŤááł ááááᢠáľá ááá áŚá¤áľá˛áá˝áŁ á OSD ááľáĽ áŤáá á¨PG áľáááľ á áááŞááᣠáĽá á¨ááá á áá á°áá áľá ááá áááŽá˝ áá¨áá áŤáŤáľáłá (á¨áá áá´ ááááŽá˝ ááĽá ááá˝ á áá°ááᥠ/var/lib/ceph/mon/âŚ/ á á)ᢠstore.db áá፠ᣠáľáá áá á áŤáá ááá 26 áᣠáá ᣠáĽá á 105 ᪠áááŽá˝ áľáĽáľáĽ ááľáĽ ᣠá á ááľ ááá ᨠ256 áŁááľ áľáá˝ á áá áááŁá - áááŁá áŞáŤá á¨áááá áááá˝ áááá áĽá áá á¨ááá áááľááá ᢠáááťá)ᢠá áá áá፠áá á¨áá°ááľ ááłáľ á áááľá°á ááľáĽ áŤááá áááá ááἠááĽááľ áŤáľá¨áľááᢠá¨áá á áááłáľ CRUSH PGs á áŚá¤áľá˛ áá°á¨áľ áĽáá´áľ áĽáá°ááá áĽá áĽááá˝ á PG áá°á¨áľ áĽáá´áľ áĽáá°ááá áŤáłáŤá - ááá áĽááłá ááá˘ááš áá áá áá á˘áá á ááá¨ááá á¨ááἠááł ááľáĽ á°á¨áá˝á°áá ᢠá áá¤áąá ᣠá ááááŞáŤ ᣠáľáááąá á RO ááľ áá á ááá˝ á ááá áá ááŤá á áá˝áá ᣠá¨ááἠááłá á ááááľ áľáááá ᣠááĽááá á°á¨á᪠á˛áľá áŤáľáááá (ᨠ1 áᢠá áá ááĽá) áĽá ááá°á ᣠá áľááá áá ᢠáá áá áá á¨áľ á¨áĽááá°á áá á áᢠáĽá á°ááŁáŁáŞáá˝ áŤá ᣠáĽááá˛áŤááľ á¨áľá á°áľ ááťáťá á áŤáľ-á°á áá°áŁá ᣠáá á áĽá áááł á ááľ ááłáŤ áĽáť áá ᣠá¨áá°áá áááľá˘ á OSD áá¨á áá á áááľá¨áľ ááá°áŠá áá°áá á¨á áľ áááááľ á˛ááŹá˛áŤá áá°áľ á á ᣠáá°ááŤáŠ ááááŤáśá˝ áśáľáľ áá á°á á áá áłáá ᣠáĽá áśáľáľ áá ááá á¨áľá á°áľ áááĽááľ á¨áá ᣠáĽáá˛áá áá¨áá áĽáá˛áᢠá ááŤáłáá áááł, áá áá´ á áá°áŤá. áá áľáá˝ á¨áŚá¤áľá˛ ááá áĽáá°áŤáá áĽá áłáłá¤áá ááá¨áá¸áľ RAID áĽáá°á áľáŁáá áŁáá á ááááŁáľ á á áááá áá á áŁá ááĽá á°á˝áĽá ááá¨áá áŁááá áá°áŚá˝ áĽááłááŤá á˘áŤááľ áááľ á áľá°ááá á áŤáá áá˛áŤ á á°ááá áŠá¤áľá˘ áĽáááľáŁááá˘
rados-gw - ᨠS3 ááŽáśáŽáá áĽá á¨ááłá°ááľá á áá áá á¨áááŽá˝á áá¨ááť áá° áá áááŤáᢠáĽá áááłáá˝á áááĽáŤá, ááá áĽáá°áá ááá˝ á áá°áá. á áĽááἠáá¨áŤ á áá°á¨ááá˘
ceph-mgr - áá á á áááááľ ááŤá áĽá áááá˝á ááááŤá. á¨ááŤá¨áá¸á á ááą á¨á áŤá ááłá°á áŤááá á ááśááľá áá. áľáááááá á¨áá/áŚá¤áľá˛ ááĽá ááá á á ááĽáŤáᢠáŹážáá áĽáŤáľá ááááŁá á á¨ááá ááĽáŤááłááą áááł áááŁá áá áá°áá¨á áá˝ááᣠááá áá á áá áááł ááá á 0 áááá áááľáá áĽá á¨áááľá°á áááł áľá á°áľ ááááᢠááá á áááśá ááľáĽ á°á˝áá, áĽá á ááľáĄ á áľááááá ááľáá á áľá°áŤá¨áľ á¨á°áĄ, áá áá° ááááą áááŤá. ááááŽášá áááľáłááľ á áŁá á°ááá˘
áŤáááá áááŽá˝ áááááĄ-
á¨áľááŞááľ ááááŽá˝áĄ-
áľáááąá á á˛áŚáľáľáŤá á áŠá á ááŤá áá
blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/
chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6
apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6áááľá°á ááá áŠ
apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon
echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF
ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status
# dashboard
apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1OSD (ááá) á áá¨á áá
apt install ceph-osd
osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02 block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnumáá áááŤ
ᨠCEPH áá á¨ááĽááľ áĽá á CRUSH ááᣠá¨ááἠáááá áááľááľ áľáá° áááᢠá°ááŁáŁáŞáá˝ áá áá á áááŞáá áá°áá áá˝ áŤá°áŤáŤá, á¨á፠á áá á°áá áá˝ á¨áááááá ááľááá ááááľ áĽá á¨á°ááááá OSD á ááĽáł áá ááá. CRUSH ááá ááá¨ááááľ á áá°áĽáᢠááľááłá áá áĽááłá áá°á áĽá ááá áá á á¨áá˝á áľáá˝ ááá ááᢠááááľ áĽáá°ááŤáłá¨á CRUSH ááá á áá áŤááł á áá°ááᢠáááá OSD áá˝ áĽá CRUSH áĽá¨á á á á°ááŁáŁáŞáášá ááĽááľ áĽá áĽáá°áá ááá á áááľá°áá áá°áá á¨á áľ áááááľ á á á áá°ááᢠá¨áá á áááłáľ áĽáŤááłááą á°ááŁáŁáŞ áľá á á ááá áááľá°á á¨á°áá°á ááłáłáł áŤá¨ááťá áĽá áá°ááľááᢠá¨áá ááłáłáł á ááľá°á áá á á áááľá°á áá á áá áá°áŚá˝á á ááĽáá, ááá áá á°á áááłá¸áá áá ááá, áá á áľáááąá á ááá˝ á ááá áá á ááŤá ááááŤáľ á¨á˛áľá áá áŁáá˝á áŤáľáááłá áĽá á¨áśáľáľ á áááá˝ áŤááą áľáĽáľáŚá˝á á áŤáŤáľáľá. á¨á ááŤá áŁá áŞáŤáľá á á°ááá¨á° áááá á¨ááᢠááá˛á˘ á¨áá á°áááľ á¨áŤáᢠá°á¨á áá áŤá á°ááśá˝áĄ "ááá ááá á áá°ááááᣠáá á áŁáᣠá áŁá áľáá˝á˘" á áá á°á á°á¨á á¨á áááááśá˝ áá á¨áááááľ á˝ááł ááá§áᣠááá áá á°ááą á áá áááľ áá á áŁá áá ááŠá ááᣠáľááá á¨á áá á áá ááá áá˝ááᢠá¨áľááá°á áááł áá¨áá áááś á¨ááááľ ááľá á¨áá áááľ ááťááá˘
áá°á¨á᪠áĽááá á ááŤáŽá˝: CEPH á áá°á áĽá áŁáá áŁááĽá á˛áľá btrfs (ááá xfs, zfs) áá áá, áľá CEPH á á˛áľ áá¨á ááá, áá
á á á°á ááąáľ áááłáá˝ ááľáĽ áĽáá˛á°áŠ áŤáľá˝áááłá, á¨áŤáľáá áá¨ááť áĽáá° á¨áá áľáá á áááťá ááááŠ. .
ááá: hab.com