áá áºáá áºáá¯ááœáẠá¡á¶áááºááœááºáá»ááẠáá±áá¬ááá¯áá»á¬ážáá¬áá±á¬á¡áá« RAID á¡ááŒá±á¬ááºáž á ááºážá á¬ážááẠá¡áá»áááºáááºááŒá®á áááºá ááºáááẠáá»áœááºá¯ááºá á¡áááºááŒá®ážáá°áá»á¬ážáá¶á០áááŒá¬áá ááŒá¬ážáá°ážáááº- "áá áºáá±á· RAID ááẠá¡ááááºá០á¡áá¬áá áºáᯠááŒá áºáá¬áááá·áºáááºá á¡áá¬ááá¹áᯠááá¯ááŸá±á¬ááºááŸá¯ááẠááá¹áá¬ááŒá®ážááᯠááœáŸááºážááá¯ážááœá¬ážáááºááŒá áºááŒá®áž CEPH ááá¯áááºááŸá¬ áááºáááºááááá±á¬á·áá±" ááá¯á·ááŒá±á¬áá·áº ááœááºáááºáá±á¬ááááœáẠááááá¯á¶ážáá±á¬á¡áᬠááá·áºááá¯ááºááá¯ááºá¡á á¯á¡áá±ážááᯠáááºáá®ážáá±áá«áááºá á ááºážáááºááŸá¯ááááºááœááºáá»ááºááŸá¬ ceph áá¡ááœááºážááá¯ááºážááœá²á·á ááºážáá¯á¶ááá¯ááááŒá®ážáááºážáá¡áá¯á¶ážáá»ááŸá¯áááºáááºááá¯áá¬ážáááºáááºááŒá áºáááºá á¡áááºá á¬ážáá¯ááºáááºážáá áºáá¯ááœáẠá á®áá¬ááᯠááááºáááºááŒááºážááẠáááºáá»áŸááá¬ážáá»áŸááá«ááááºážá ááŸá áºá¡áá±á¬áºááŒá¬ áááºáááºááŒá®áž áá±á¬ááºááŒááºáááŸáá·áºááá¯ááºáá±á¬ áá±áá¬áá¯á¶ážááŸá¯á¶ážááŸá¯ ááŸá áºáá¯ááŒá®ážáá±á¬ááºá á¡áá¬á¡á¬ážáá¯á¶ážááẠá€áá»áŸááá¯ážááŸááºážáááºááá¯ááºáá±á¬ ááááá¬ááºáá»á¬ážááᯠáá¬ážáááºááá±á¬áá±á«ááºáá¬áá²á·áááºá CEPH á á¡ááºá¹áá«áááºáá»á¬ážááẠáááºážá áá»ááºááŒáá·áºá áœá¬ ááŒáá·áºááŒá°ážááŸá¯á¡ááœáẠá¡áá¬ážá¡áá®ážáá»á¬ážááᯠáááºáá®ážáá±ážááŒá®áž áááºážááá¯á·ááŒá±á¬áá·áº á ááºážáááºááŸá¯áá»á¬áž áááºááá·áºááœá¬ážáá²á·áááºá á¡á±á¬ááºááœáẠáá¯ááºáá±á¬ááºáá²á·áá±á¬ á¡ááá·áºáá»á¬ážá¡á¬ážáá¯á¶ážá áááŸááá±á¬ááááºááŸáá·áº áá±á¬ááºáá»ááºááœá²ááŒááºážá áá±á¬áºááŒáá»ááºááŒá áºáá«áááºá ááá¯áá¯áááŸááá²á·áá°ááœá±á áá°ááá¯á·áá²á· á¡ááœá±á·á¡ááŒá¯á¶ááœá±ááᯠáá»áŸáá±ááŒá®áž áá áºáá»áá¯á·á¡áá»ááºááœá±ááᯠááŸááºážááŒáá±ážáááºááá¯ááẠáá»á±ážáá°ážáááºáá«áááºá
ááŸááºáá»ááº- ááŸááºáá»ááºáá±ážáá°áá»á¬ážááẠáá±á¬ááºážáá«ážáá
áºáá¯áá¯á¶ážááᯠááŒááºáááºááŒááºáááºááẠááá¯á¡ááºááá·áº áá°ááá»ááºá¡áá»áá¯á·ááœáẠááŒá®ážáá±ážáá±á¬á¡ááŸá¬ážáá»á¬ážááᯠáá±á¬ááºááŒáá¬ážáááºá
CEPH áá»á°áá¬
CEPH á¡á á¯á¡áá±ážááẠááááºáááá¯á¡ááœááºá¡á á¬ážááŸááá±á¬ áá áºááŒá¬ážáá»á¬ážá áááá¬ážáá¶áá«áẠK ááᯠáá±á«ááºážá ááºáᬠáááºážááá¯á·ááœáẠáá±áá¬áá»á¬ážááᯠááááºážáááºážáᬠá¡ááá¯ááºážáá áºáá¯á á® (4 MB ááᯠáá¯á¶áá±á¡á¬ážááŒáá·áº) áá±ážáá¬ážáá±á¬ áá¶áá«áẠN á¡ááŒáááºá¡ááŒá Ạááœá¬ážáááºá
áá°áá®áá±á¬áá áºááŸá áºáá¯ááŒáá·áº á¡ááá¯ážááŸááºážáá¯á¶ážááá á¹á áááºááᯠáá¯á¶ážáááºááŒáá·áºáá«á áááºááẠáááºážááá¯á·áá¶á០RAID 1 ááá¯á·ááá¯áẠN=2 ááŒáá·áº á¡á á¯á¡áá±ážáá áºáá¯ááᯠáááºáá±á¬ááºááá¯ááºááẠ- ááááºááẠá¡áá°áá°áááºááŒá áºáááá·áºáááºá áá áºáá¯á¶ážáá¯ááŸáááŒá®áž áááºážááá¯á·ááẠá¡ááœááºá¡á á¬ážááœá²ááŒá¬ážáá«áá N=2 ááŒáá·áº á¡á á¯á¡áá±ážáá áºáá¯ááᯠá á¯á ááºážááẠááœááºáá°áááº- á¡áá»áá¯á·áá±á¬áá±áá¬áá»á¬ážááẠdisks 1 ááŸáá·áº 2 ááœááºááŸááááºááŒá áºááŒá®áž á¡áá»áá¯á·ááŸá¬ 1 ááŸáá·áº 3 ááœááºááŸáááŒá®áž á¡áá»áá¯á·ááŸá¬ 2 ááŸáá·áº 3 ááœááºááŸááááºááŒá áºáááºá RAID ááá¯ááºáá±á¬áºáááºáž (ááá¯áá²á·ááá¯á·áá±á¬ RAID ááá¯áááºá á¯áá±á¬ááºážááá¯ááºáá±á¬áºáááºážá áá±á¬ááºááŒááºááŒááºážááŒá áºáááº)á áá®á·áááºáááá±á¬áá áºáá»á¬ážááŸááá»áŸáẠRAID 5 ááá¯áááºáá®ážááá¯ááºáááºá CEPH ááœáẠdeveloper áá»á¬ážáá¡á á±á¬ááá¯ááºážá¡áá°á¡ááá»á¬ážááŸáá·áºááá·áºáá»ááºáááºááŒá áºáá±á¬á CEPH ááœáẠanalogue - erasure_code áá«ááŸááá±á¬ááŒá±á¬áá·áºááá·áºááœááºážá ááºážá á¬ážáááºááá¯ááºáá«á RAID 5 ááẠáá±ážáááºáá±á¬ disk áá»á¬áž ááŸááááºáᯠáá°áááŒá®áž áááºážááá¯á·á¡á¬ážáá¯á¶ážááẠá¡ááŒá±á¡áá± áá±á¬ááºážááœááºáá±áá«áááºá áá áºáᯠá¡áááºáááŒá±áá«áá áá»ááºáá áºááᯠá¡á á¬ážááá¯ážááŒá®áž áá±áá¬ááᯠáááºážááá¯á· ááŒááºáááºáá±á¬ááºááŸááááºá¡áá ááááºážáá¬ážááá«áááºá CEPHá N>=3 ááŒáá·áºá á¡áá°ážáááŒáá·áºá áááºááẠáá±áá¬áááá¹áá°áá áºáá¯ááᯠááááºážáááºážáááºá¡ááœáẠáá±á¬ááºážáá±á¬áá áºá¡áá»á¬ážá¡ááŒá¬ážááᯠááááºážáááºážáá¬ážáᬠáá»ááºáá áºáá±á¬ááºážá¡áá»á¬ážá¡ááŒá¬ážáá±á«áºááœáẠáááá¹áá°ááŸá áºá á±á¬áẠááá¯á·ááá¯áẠáá¯á¶ážá¡á¯ááºááᯠááááºážáááºážáá¬ážáááºááá¯áá»áŸááºá á¡áá»ááºá¡áááºáá»á¬ážá áœá¬ááᯠááááºážáááºážáá¬ážáá«áá áá±ážáááºážáá«áááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº ááá¯á¡áá« áá áºááºá¡áá áºáá»á¬áž á¡áááºááŸááºáá±áá±ážááẠ- ááŒá¿áá¬áááŸááá«á áááºážááá¯á·á¡áááºá០áá áºáá¯ááẠááœá²ááœá¬ážáá«áá áááºáá±á¬ááºááŸá¯áááºáááºáž áá«ážááŸá áºáááºááá¯áá±á¬ disk áá¯á¶ážáá¯á áááŒáá¯ááºáááºáááºáž áá»ááºááœááºááŒááºážááẠááŒá áºááá¯ááºáá»á± ááœá²ááŒá¬ážááŒá¬ážáá¬ážáá±á¬áá¬áá¬áá»á¬ážá០ááŒá áºááá¯ááºáá»á± á¡ááœááºáááºážáá«ážáá«áááºá á¡ááŒá áºá¡áá»ááºá
á á±á¬ááºáá± ááŒáá·áºáá±áá¬ááœáẠááááºááœá±á·ááŸá¯ ááŸááá«áááºá áá¯á¶áá±á¡á¬ážááŒáá·áºá áá±áá¬ááᯠá¡áá»áá¯á·áá±á¬áá áºáá»á¬ážááœáẠááœá¬ážáá±áá±á¬ PG ááŒáá·áºáá±ááŸá¯á¡á¯ááºá á¯áá»á¬áž (~100 per disk áá áºáá¯áá»áŸáẠ~ 6) á¡á¯ááºá á¯áá»á¬ážá¡ááŒá Ạááá¯ááºážááŒá¬ážáááºáᯠáá°ááá«áááºá K=2á N=100 ááá¯áá«á áá¯á·á á¡áááºá áááºááá·áºáá áºááŸá áºáá¯áááᯠáá»ááºááœááºáá«áá ááŒá áºááá¯ááºááŒá± áá®á¡áá¯áá®á¡áá ááŒá áºááá¯ááºááŒá± áá®á¡áá¯áá®á¡áá á€áá áºááŸá áºáá¯ááœáẠá¡áááºážáá¯á¶áž PG áá áºáᯠááŸááááá·áºáááºááŒá áºáá±á¬ááŒá±á¬áá·áºá áá±áá¬áá»á¬áž áá¯á¶ážááŸá¯á¶ážááœá¬ážááẠááŒá áºááŒá±á¬ááºáž á¡á¬ááá¶áá«áááºá á¡á¯ááºá á¯áá áºá á¯á០áá¯á¶ážááŸá¯á¶ážááŒááºážááẠáá±áá°ážáááºá¡ááœááºážááŸá áá±áá¬á¡á¬ážáá¯á¶ážááᯠáááºááŸááºážááá®ááá¯ááºá á±áááºá áá áºáá»á¬ážááᯠá¡ááœá²áá¯á¶ážááœá²ááœá²á á¡ááœá²áá áºááœá²á¡ááœááºáž áá áºáá»á¬ážáá±á«áºááœááºáᬠááááºážáááºážááœáá·áºááŒá¯áá«áá ááá¯ááá¯á·áá±á¬ ááŒáá·áºáá±ááŸá¯ááẠáááºááá·áºáá áºáá áºáá¯á áá»áá¯á·ááœááºážáá»ááºááá¯áááºáž áá¶ááá¯ááºáááºááŸááá±á¬áºáááºáž ááŸá áºáá¯áá¡á±á¬ááºááŒááºáá«á áá±áá¬áá¯á¶ážááŸá¯á¶ážááŸá¯ ááŒá áºááá¯ááºááŒá± 3% ááá¯ááºáá«á áá«áá±ááá·áº 15/12 áá¬ááŒá áºááŒá®áž áá»ááºááœááºááŸá¯ áá¯á¶ážáá¯ááŸá¬áá±á¬áẠ20/XNUMX áá²ááŸááá«áááºá ááá¯á·ááŒá±á¬áá·áºá áá±áá¬ááŒáá·áºáá±ááŸá¯ááœáẠentropy ááẠá¡ááŸá¬ážáá¶ááá¯ááºáááºááᯠá¡áá±á¬ááºá¡áá°áááŒá¯áá«á ááá¯ááºáá¬áá¬á¡ááœáẠá¡ááá²á· RAM ááẠáá¯á¶á·ááŒááºááá¯ááºá áœááºážááᯠá¡ááœááºááá¯ážá á±ááŒá±á¬ááºážááá¯áááºáž áááááŒá¯áá«á node áá áºáá¯á á®ááœáẠmemory ááá¯áá»á¬ážáá±á node á¡á¬ážáá¯á¶ážááœáẠmemory áá»á¬ážáá±áá±á áááºážááẠááá¯ááŒááºáá±ááŒá áºáááºá áááºážááẠáá¬áá¬áá áºáá¯áááºážááŸá á¡á á¯á¡áá±ážáá áºáá¯á á¡á¬ážáá¬áá»ááºááŒá áºááŒá®áž ááŸááºáá¬ááºááá¬á á¡ááœááºáá±ážáááºáá±á¬ áá¬á·ááºáá² NAS ááẠáá¶ááááŒá áºááœááºááŸááá«áááºá
CEPH ááẠáá±ááºááá®áá±á¬á·áá±á¬ á ááºáááááá¬áá»á¬ážá០áááºážááŸá®ážááŒá¯ááºááŸá¶ááŸá¯á¡áááºážáááºááŒáá·áº á¡ááá¯ááºážá¡áá¬á¡áá áá®áá®áááºááááºážá¡ááœáẠáá¯á¶ááŒááºá áááºáá»ááá±á¬ ááá¯ááŸá±á¬ááºááŸá¯á áá áºáá áºáá¯ááᯠáááºáá®ážááẠáá±á¬ááºážááœááºáá±á¬áááºážáááºážááŒá áºááẠ(á€áá±áá¬ááœááºá áá¯ááºáá«áááºá áá¯ááºáá»á ááááºá ááá¯á¡ááºáá±á¬áºáááºáž á á®ážááœá¬ážááŒá áºááá¯ááŸá±á¬ááºááŸá¯á áá áºáá»á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºáá«á áá±ážáááºáááº)á
Cluster á¡áá±á¬ááºá¡áááºáá±á¬áºááŒááºážá
á ááºážáááºááŸá¯á¡ááœááºá ááŒá¯ááºáá»áá¶ááá±á¬ ááœááºáá»á°áᬠIntel DQ57TM + Intel core i3 540 + 16 GB RAM ááᯠáá°ááŒáá«á áá¯á·á áá»áœááºá¯ááºááá¯á·ááẠ2 TB áá áºááºáá±ážáá¯ááᯠRAID10 áá²á·ááá¯á·áá±á¬ á¡áá¬áá áºáá¯á¡ááŒá Ạá á¯á ááºážááŒá®áž á¡á±á¬ááºááŒááºáá±á¬á ááºážáááºááŸá¯áá áºáá¯ááŒá®ážáá±á¬áẠáá¯ááá node áá áºáá¯ááŸáá·áº áá°áá®áá±á¬áá áºá¡áá±á¡ááœááºááᯠáá±á«ááºážááá·áºáá«áááºá
Linux ááᯠááá·áºááœááºážáá«á ááŒáá·áºááŒá°ážááŸá¯ááẠá áááºááŒáá¯ááºááŒááºáááºááá¯ááºááŒá®áž áááºááŒáááºááẠááá¯á¡ááºáááºá Debian ááŸáá·áº Suse ááẠááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áº ááá¯ááºáá®áá«áááºá Suse ááœáẠááá·áºá¡á¬áž áááºááá·áºáááºáá±á·áá»áºááá¯áááᯠááááºááá¯ááºá á±ááá·áº ááá¯ááá¯ááŒá±á¬ááºážááœááºááŒááºááœááºááŸááá±á¬ ááá·áºááœááºážááŸá¯áá áºáá¯ááŸááááºá áá¶ááá±á¬ááºážá áœá¬áá²á áááºá¡áá¬ááœá±ááᯠá áá áºááᯠááá»ááºá á®ážáá² ááœáŸáá·áºáá áºáááá²ááá¯áᬠáá»áœááºáá±á¬áº áá¬ážááááºááá¯ááºáá²á·áá«á debootstrap buster ááŸáááá·áº Debian ááᯠinstall áá¯ááºáá«á min-base ááœá±ážáá»ááºááŸá¯ááẠáá¬ááºáá±á¬ááºážáá»á¬ážáááŸááá±á¬ á¡áá¯ááºááá¯ááºááá·áºá áá áºááᯠááá·áºááœááºážáááºá Full Version áá²á· ááŸááºááẠá¡ááœááºá¡á á¬áž ááœá¬ááŒá¬ážáá»ááºá á áááºá¡ááŸá±á¬áá·áºá¡ááŸááºááŒá áºá áᬠááááºáááŸááá«áá°ážá áá¯ááºáááºážááᯠáá¯ááºááá¯ááºážááá¯ááºáá¬á ááºáá±á«áºááœáẠáá¯ááºáá±á¬ááºáá±áá±á¬ááŒá±á¬áá·áºá virtual machines áá»á¬ážáá²á·ááá¯á·ááẠáá»áŸááºáá áºááŒááºááá¯ááºáá°ááá¯áá«áááºá LVM ááá¯á·ááá¯áẠbtrfs (ááá¯á·ááá¯áẠxfs ááá¯á·ááá¯áẠzfs - ááŒá¬ážáá¬ážáá»ááºááẠááŒá®ážááŒá®ážáá¬ážáá¬ážááá¯ááºáá«) ááá¯áá²á·ááá¯á·áá±á¬ á¡ááœáá·áºá¡áá±ážááᯠáá±ážáá«áááºá áá»áŸááºáá áºááŒááºááá¯ááºáá»ááºáá»á¬ážááẠLVM áá¡á¬ážáá¬áá»ááºááá¯ááºáá«á btrfs ááá¯ááá·áºááœááºážáá«á bootloader ááẠMBR ááœááºááŸááááºá 50 MB partition table area áá²ááá¯á· ááœááºážáá»ááŒá®áž á áá áºá¡ááœáẠáá±áá¬á¡á¬ážáá¯á¶ážááᯠááœá²áá±áá±ážááá·áºá¡áá« 1 MB disk ááᯠFAT partition ááŒáá·áº ááááºááá¯á·ááŒááºážááẠá¡áááá¹áá«ááºáááŸááá±á áááºážááẠdisk ááœáẠ700 MB áá°áááºá SUSE á á¡ááŒá±áá¶áááºáááºááŸá¯ áááºáá»áŸááŸáááẠ- 1.1 ááá¯á·ááá¯áẠ1.4 GB áá±á¬ááºáá±á¬á· áááŸááºáááá±á¬á·áá«á
CEPH ááᯠááá·áºááœááºážáá«á debian repository ááœáẠáá¬ážááŸááºáž 12 ááᯠáá»áœááºá¯ááºááá¯á· áá»á áºáá»á°ááŸá¯ááŒá®áž site 15.2.3 á០ááá¯ááºááá¯áẠáá»áááºáááºáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá«ááááá±ážáá»ááºáá»á¬ážááŒáá·áº "CEPH ááᯠááá¯ááºááá¯ááºáááºáááºááŒááºáž" ááá¹áá០ááœáŸááºááŒá¬ážáá»ááºáá»á¬ážááᯠááá¯ááºáá¬áá«áááº-
- repository ááᯠááá»áááºáááºáá®á áááºááẠgnupg wget ca-certificates ááᯠááá·áºááœááºážááá«áááºá
- repository ááᯠáá»áááºáááºááŒá®ážáá±á¬ááºá ááá¯á·áá±á¬áº á¡á á¯á¡áá±ážááᯠááááºáááºáá®á áááºáá±á·áá»áºáááºáááºááŒááºážááᯠáá»ááºááŸááºáá¬ážáá«áááº- apt -y --no-install-recommends ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
- CEPH áááºáááºáá»áááºááœáẠá¡áááºááá á¡ááŒá±á¬ááºážááŒáá»ááºáá»á¬ážááŒáá·áº lvm2 ááᯠááá·áºááœááºážááẠááŒáá¯ážá
á¬ážáááºááŒá
áºáááºá áá°á¡áá áááºážááẠááá¬ážá
áá¬ááá¯ááºáá±á¬áºáááºáž áááºáááºááŸá¯ áá¡á±á¬ááºááŒááºáá±á¬ááŒá±á¬áá·áº CEPH ááá¯áááºáž ááá·áºááœááºážáááºááá¯ááºáá«á
ဠpatch ááẠáá°áá®áá²á·áááº-
cat << EOF >> /var/lib/dpkg/status Package: lvm2 Status: install ok installed Priority: important Section: admin Installed-Size: 0 Maintainer: Debian Adduser Developers <[email protected]> Architecture: all Multi-Arch: foreign Version: 113.118 Description: No-install EOF
Cluster ááŒá¯á¶áá¯á¶áá¯á¶ážáááºáá»ááº
ceph-osd - disk áá±á«áºááœááºáá±áá¬ááááºážáááºážáááºáá¬áááºááŸááááºá áá áºáá áºáá¯á á®á¡ááœááºá á¡áá¬ááá¹áá¯áá»á¬ážáᶠáááºááẠááá¯á·ááá¯áẠá á¬áá±ážááẠáá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠáááºáá¶ááŒá®áž áá¯ááºáá±á¬ááºááá·áº ááœááºáááºáááºáá±á¬ááºááŸá¯ááᯠá áááºáááºá á¡ááá¯ááºážááŸá áºáá¯ááᯠdisk ááœááºáááºáá®ážáá¬ážáááºá áááºážááá¯á·áá²á០áá áºáá¯ááœáẠá¡á á¯á¡áá±ážá áá áºááºáá¶áá«ááºá ááŸáá·áº á¡á á¯ááá¯ááºáá±á¬á·áá»á¬ážá¡ááŒá±á¬ááºáž á¡áá»ááºá¡áááºáá»á¬áž áá«ááŸááááºá ဠ1KB á¡áá»ááºá¡áááºááᯠáá áºáá áºáá¯ááá·áºááá·áºá¡áá« áá áºááŒáááºáááºáá®ážááŒá®áž áá±á¬ááºáá áºááŒáááºááŒá±á¬ááºážááẠááááááŒá¯áááá«á áá¯áááá¡ááá¯ááºážááẠááá¯ááºá áá áºáááŸáá CEPH ááœááá±áá¬ááᯠááááºážáááºážáá¬ážáááºá ááááºáá¬ážááŸááºážáá»á¬ážááœáẠá¡ááá¯á¡áá»á±á¬ááºááá·áºááœááºážááŒááºážááẠáááºáá±á¬ááºááŸá¯á¡áá»ááºá¡áááºáá»á¬ážá¡ááœáẠ100MB xfs á¡ááá¯ááºážááᯠáááºáá®ážáá±ážáá²á·áááºá áá«áá áºááᯠMBR ááá¯á·ááŒá±á¬ááºážááŒá®áž 16MB áᬠááœá²áá±áá±ážááá¯ááºááẠ- áááºáá±á¬ááºááŸá¯ááᯠááááºážáá°áá«á ááŒá¿áá¬áááŸáááẠxfs ááᯠext áá²á· á¡á á¬ážááá¯ážááá¯ááºáááºááá¯á· áááºáá«áááºá á€á¡ááá¯ááºážááᯠ/var/lib/⊠ááœáẠáááºáááºáá¬ážááŒá®áž OSD ááŸáá·áº áááºáááºáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºáá±á¬ááºááŸá¯á០áááºááŒááŒá®áž binary data áá»á¬áž ááááºážáááºážáá¬ážááá·áº ááá±á¬ááºá ááºááá¯á· ááá·áºááºáá áºáá¯ááá¯áááºáž ááŸá¬ááœá±áá±ážáá«áááºá áá®á¡áá¯áá®á¡áá áááºááẠá¡áááºáá á¹á ááºážáá»á¬ážááᯠ/var/lib/... ááœáẠáá»ááºáá»ááºážáá¬ážááá¯ááºááŒá®áž áá±áá¬á¡ááœáẠdisk áá áºáá¯áá¯á¶ážááᯠááœá²áá±áá±ážááá¯ááºáá«áááºá ceph-deploy ááŸáá áºááá·áº OSD áá áºáá¯ááᯠáááºáá®ážáá±á¬á¡áá«á á¡ááá¯ááºážáá áºáá¯ááᯠ/var/lib/⊠ááœáẠá¡ááá¯ááºážáá áºáá¯ááᯠáááºáááºááẠá ááºážáá»ááºážáá áºáá¯ááᯠá¡ááá¯á¡áá»á±á¬áẠáááºáá®ážáá¬ážááŒá®ážá ceph á¡áá¯á¶ážááŒá¯áá°á¡á¬áž ááá¯áá»ááºáá±á¬ ááááºááá¯á·ááá·áºáááááá¬ááᯠáááºááẠá¡ááœáá·áºá¡áá±ážáá»á¬ážááᯠáááºááŸááºáá±ážáá«áááºá áááºá áœá²áááºáááºááŸá¯ááŒáá·áºá áááºááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºááẠááá¯á¡ááºáááºá á á¬ááœááºá á¬áááºážááẠáááºážááŸáá·áºáááºáááºááŒá®áž áááŒá±á¬ááá¯áá«á áá¯ááºááá¯ááºážááá¯ááºáá¬ááŸááºáá¬áẠáá¯á¶áá±á¬ááºááŸá¯ááŸáá á±ááẠosd memory target parameter ááᯠáááºááŸááºáááºáááºáž á¡ááŒá¶ááŒá¯ááá¯áá«áááºá
ceph-mdsá á¡áááá·áºáá¯á¶ážá¡ááá·áºááœááºá CEPH ááẠá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááŒá áºáááºá ááá±á¬ááºááá¯ááŸá±á¬ááºááŸá¯á áœááºážáááºááẠ4MB ááá±á¬ááºáá áºáá¯á á®ááᯠá¡áá¬ááá¹áá¯áá áºáá¯á¡ááŒá ẠááááºážáááºážááẠáá»áááºážááœá¬ážáá«áááºá ááá¯ááºááááºážáááºážááŒááºážááŸá¬ áá°áá®áá±á¬áááá¬ááá±á«áºááœáẠá¡áá¯ááºáá¯ááºáá«áááºá áá±áá°ážáááºááŸá áºáá¯ááᯠáááºáá®ážáá¬ážáááº- áá áºáá¯ááẠáááºáá¬áá±áá¬á¡ááœááºá áá±á¬ááºáá áºáá¯ááẠáá±áá¬á¡ááœááºááŒá áºáááºá áááºážááá¯á·ááᯠááá¯ááºá áá áºáá áºáá¯á¡ááŒá Ạáá±á«ááºážá ááºáá¬ážáááºá ááá¯á¡áá»áááºááœááºá ááŸááºáááºážá¡áá»áá¯ážá¡á á¬ážá¡áá»áá¯á·ááᯠáááºáá®ážáá¬ážáá±á¬ááŒá±á¬áá·áº ááá¯ááºá áá áºá¡á¬áž áá»ááºáá±á¬áºáááºáž áá±áá°ážáááºááŸá áºáá¯áá¯á¶ážááᯠááááºážáááºážáá«á áááºážááᯠááŒááºáááºááá°ááá¯ááºáááºááá¯ááºáá«á áá¯á¶ážáá»á¬ážááœáẠááá¯ááºáá»á¬ážááᯠáá¯ááºáá°ááẠáá¯ááºáá¯á¶ážáá¯ááºáááºážáá áºáᯠááŸááááºá áá»áœááºá¯áẠáá ááºážáááºááá±ážáá«á ceph-mds áááºáá±á¬ááºááŸá¯ááẠááá¯ááºá áá áºááá¯á· áááºáá±á¬ááºááẠáá¬áááºááŸááááºá ááá¯ááºá áá áºáá áºáá¯á á®ááẠáááºáá±á¬ááºááŸá¯á áá®ážááŒá¬ážá¥ááá¬áá áºáᯠááá¯á¡ááºáááºá áá áºáá¯áááºážááœáẠááá¯ááºá áá áºáá»á¬ážá áœá¬á áá¯á¶ááá¹áá¬ááºááᯠáááºáá®ážááá¯ááºá á±ááá·áº "á¡ááœáŸááºáž" ááœá±ážáá»ááºááœáá·áºáá áºáᯠááŸááá«áááºá - áá ááºážáááºááá±ážáá«á
ceph-mon - á€áááºáá±á¬ááºááŸá¯ááẠá¡á á¯á¡ááœá²á·áááŒá±áá¯á¶ááᯠááááºážáááºážáá¬ážáááºá áááºážááœáẠOSD áá»á¬ážá¡á¬ážáá¯á¶ážá¡ááŒá±á¬ááºážá¡áá»ááºá¡áááºáá»á¬ážá OSD ááŸá PG ááŒáá·áºááŒá°ážáá±ážááá¯ááºáᬠá¡ááºáááá¯áá®áááºááŸáá·áºá á¡áá±ážá¡ááŒá®ážáá¯á¶ážááŸá¬ á¡áá¬ááá¹áá¯á¡á¬ážáá¯á¶ážááŸáá·áºáááºáááºáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážáá«áááºááẠ(á€ááá¹ááá¬ážáá¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááŸá¬ áá»áœááºá¯ááºá¡ááœáẠáááŸááºážáááºážáá«- /var/lib/ceph/mon/âŠ/ store.db áááºážááœáŸááºá áááºážááœááºááŒá®ážáá¬ážáá±á¬ááá¯ááºááẠ26MB áá«ááŸáááŒá®áž 105K á¡áá¬ááá¹áá¯áá»á¬ážá¡á á¯á¡áá±ážááœááºá áááºážááẠá¡áá¬ááá¹áá¯áá áºáá¯áá»áŸáẠ256 bytes áááºá¡áááºážáááºááá¯áááœááºáá¬ááẠ- áá±á¬áºáá®áá¬ááẠá¡áá¬ááá¹áá¯á¡á¬ážáá¯á¶ážáá á¬áááºážááŸáá·áº PG ááá¯ááááºážáááºážáá¬ážáááºáᯠáá»áœááºáá±á¬áºáááºáááºá ááááºááŒáááº)á á€áááºážááœáŸááºááᯠáá»ááºá á®ážá á±ááŒááºážááẠá¡á á¯á¡áá±ážááŸá áá±áá¬á¡á¬ážáá¯á¶ážááᯠáá¯á¶ážááŸá¯á¶ážá á±áááºá CRUSH ááẠOSD á¡á PGs áá»á¬ážáááºáá²á·ááá¯á·áááºááŸáááŒá±á¬ááºážááŸáá·áº PG á¡á á¡áá¬ááá¹áá¯áá»á¬ážáááºááá¯á·áááºááŸááááºááá¯ááŒáááẠ- áááºážááá¯á·ááᯠdeveloper áá»á¬ážááááºáá²á·ááá¯á·ááŸá±á¬ááºááŸá¬ážáááºááŒá áºá á± áá±áá¬áá±á·á áºá¡ááœááºážááœááºáááá¯ááŒá¯ááááºážáááºážáá¬ážááŒá±á¬ááºážá€áá±áá¬ááœááºáá±á¬ááºáá»ááºáá»áá²á·áááºá ááááºá¡áá±ááŒáá·áºá ááááŠážá áœá¬á áá»áœááºá¯ááºááá¯á·ááẠRO áá¯ááºááœáẠflash drive ááœáẠsystem ááá¯ááá·áºááœááºážááááá«á áá±áá¬áá±á·á áºááá¯á¡áááºáááŒááºáá±ážáá¬ážáá¬ážáá±á¬ááŒá±á¬áá·áºáááºážááá¯á·á¡ááœááºá¡ááá¯áá áºáá áºáá¯ááá¯á¡ááºááẠ(1 GB áááºáááá¯áááº) ááŸáá·áºáá¯áááá¡áá»ááºááŸá¬ááá¯á¡ááºááẠá€á¡ááŒá±áá¶ááᯠá¡áá»áááºááŸáá·áºáá áºááŒá±ážáá® áá°ážáá°áá«á áá±á¬áºáá®áá¬áá»á¬ážá áœá¬ááŸááá«áá á¡ááŸá¬ážáá¶ááá¯ááºáááºááá¯á¡ááá¯á¡áá»á±á¬ááºáá±ážáááºá ááá¯á·áá±á¬áºáá»áœááºá¯ááºááá¯á·áá¡ááŒá±á¡áá±ááœááºáá±á¬áºáá®áá¬áá áºáá¯áá¬á á¡áá»á¬ážáá¯á¶ážááŸá áºáá¯ááŸááááºá OSD áá±áá¬ááá¯á¡ááŒá±áá¶á áá±á¬áºáá®áá¬áá áºáá¯á¶ážááᯠááŒááºáááºááá°ááẠáá®á¡áá¯áá®áá áºáá¯ááŸááá«áááºá á¡ááŒá±á¬ááºážá¡áá»áá¯ážáá»áá¯ážááŒá±á¬áá·áº áá¯á¶ážááŒáááºáá¯á¶ážáá«áá¯á¶ážáᬠerror messages áá»á¬ážá¡ááŒáẠdata áá»á¬ážááá¯áááºáž áá¯á¶ážááŒáááºááá¯ááºááá¯ááºááŒá¯áá¯ááºáá¬ážáá«áááºá áá¶ááá±á¬ááºážá áœá¬áá²á áá®ááá¹ááá¬ážá¡áá¯ááºááá¯ááºáá«áá°ážá áá»áœááºá¯ááºááá¯á·ááẠáá±ážáááºáá±á¬ OSD á¡ááá¯ááºážáá áºáá¯ááᯠáá¯ááºáá±á¬ááºááŒá®áž áá±áá¬áá±á·á áºááᯠááááºážáááºážáááºá¡ááœáẠRAID áá áºáá¯ááᯠá á¯á ááºážáá¬ážáááŒá áºá á± á áœááºážáá±á¬ááºáááºá¡áá±á«áº á¡ááœááºááá¯ážááœá¬ážá áœá¬ áááºáá±á¬ááºááŸá¯ááŸáááá¯ááºáááºá ááá¯á·ááá¯áẠáá»áœááºá¯ááºááá¯á·ááẠá¡áááºážáá¯á¶áž áá¯á¶ááŒááºá áááºáá»ááá±á¬ áá¯ááºááá¯ááºážááá¯ááºáá¬áá®áá®áá¬ááŸá áºáá¯ááᯠááœá²áá±áá»áá¬ážáá±ážáááºá ááá¯á·ááŸáᬠPorts áá»á¬ážááᯠááá°ááœá¬ážá á±áááºá¡ááœáẠááŒá áºááá¯ááºáááºá
rados-gw - S3 áááá¯ááá¯áá±á¬ááᯠá¡áá¯á¶ážááŒá¯á á¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááᯠáááºááá¯á·áááºá áá±áá°ážáááºááœá± á¡áá»á¬ážááŒá®áž áááºáá®ážáá¬ážáááºá áá¬ááŒá±á¬áá·áºáá²ááá¯áᬠááŸááºážááŸááºážáááºážáááºáž áááááá«áá°ážá ááááºáá ááºážáááºáá²á·áá«á
ceph-mgr - á€áááºáá±á¬ááºááŸá¯ááá¯ááá·áºááœááºážááŒááºážááẠmodule áá»á¬ážá áœá¬ááá¯á áááºáááºá áááºážááá¯á·áá²ááŸáá áºáá¯ááŸá¬ ááááºá áœááºážáá±á¬ á¡ááá¯á¡áá»á±á¬ááºá áá±ážááŒá áºáááºá áááºážááẠááŸááºáááºáá±á¬ PG/OSD á¡áá±á¡ááœááºááᯠááááºážááááºážááẠááŒáá¯ážá á¬ážáááºá á¡áá»áá¯ážá¡á á¬ážááᯠááá¯ááºááá¯ááºááááºážáá»á¯ááºááá¯áá«áá á¡á¯ááºá á¯áá áºáá¯á á®á¡ááœáẠá¡ááá¯ááºážá¡áá¬áá»á²á·ááŒááºážááᯠáááºááááºááá¯ááºáá±á¬áºáááºáž á€á¡ááŒá±á¡áá±ááœáẠáá±á¬áºáá»á°ážááẠ0 ááŒáá·áº ááá¯ááºážááŒá¬ážááœá¬ážáᬠá¡á á¯á¡áá±ážáá¡ááŒá±á¡áá±ááẠá¡ááŸá¬ážááŒá áºááœá¬ážáááºá áá±á¬áºáá»á°ážááᯠpython ááŒáá·áºáá±ážáá¬ážáá¬ážááŒá®áž áááºážááœáẠááá¯á¡ááºáá±á¬á á¬ááŒá±á¬ááºážááᯠááŸááºáá»ááºáá±ážáá«á áááºážááẠáááºážáááááºááááºážááŒááºážááᯠááŒá áºáá±á«áºá á±áááºá á¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááᯠááŸááºááááẠáá»ááºážááœááºážááŸáááºá
á¡áá¯á¶ážááŒá¯áá¬ážáá±á¬áááºážááŒá áºáá»á¬ážá á¬áááºáž-
áá¬ááºááœáŸááºážá á¬áááºážáá»á¬áž-
debootstrap ááŸáááá·áº system ááᯠinstall áá¯ááºáá«á
blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/
chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6
apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6á¡á á¯á¡ááœá²á·áá áºáᯠáááºáá®ážáá«á
apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon
echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF
ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status
# dashboard
apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1OSD (á¡ááá¯ááºáž) ááá·áºááŒááºáž
apt install ceph-osd
osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02 block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnumá¡áá»ááºážáá»á¯ááº
CEPH áá¡áááá á»á±ážááœááºááŸá¬ááœá±áá±ážá¡á¬ážáá¬áá»ááºááŸá¬ CRUSH ááŒá áºáááºá áá±áá¬áááºáá±áá¬ááá¯ááœááºáá»ááºááẠalgorithm áá áºáá¯ááŒá áºáááºá áá±á¬áºáá®áá¬áá»á¬ážááẠá€á¡ááºáááá¯áá®áááºááᯠáá±á¬ááºáááºáá»á¬ážáᶠááŒáá·áºáá±ááŒá®ážáá±á¬áẠáá±á¬ááºáááºáá»á¬ážá á¡ááá¯ááŸááá±á¬ node ááŸáá·áº á¡ááá¯ááŸááá±á¬ OSD ááᯠááá¯ááºááá¯ááºáá±á¬ááºážááá¯áááºá CRUSH ááẠáááá¯áá»á¯ááºááá¯ááºááŸá¯ áááŸááá«á áááºážááẠáááºááá¯ááºááŸáááºá áá¶áá¶áá±á«áºááœááºááẠááœá²áá¬ážááá¯ááºáá±á¬ áá±ážáááºáá±á¬ááá¯ááºáá áºáá¯ááŒá áºáááºá CRUSH ááẠááŒáá·áºá á¯á¶áá±á¬ááŒá±áá¯á¶ááá¯ááºááŒá±á¬ááºáž áááºááœá±á·ááŒááá²á·áááºá OSD ááŸáá·áº CRUSH á¡á¬ážáá¯á¶ážááᯠááááºážááááºážáá¬ážá áẠáá±á¬áºáá®áá¬áá»á¬ážááᯠáá»ááºáá®ážááŒá®áž ááŒááºáááºáááºáá®ážááŒááºážááẠá¡á á¯á¡áá±ážááᯠááŒááºáááºááá°ááẠááá¯á¶áá±á¬ááºáá«á áááºážá០áá±á¬áºáá®áá¬áá áºáá¯á á®ááẠá¡á á¯á¡áá±ážáá áºáá¯áá¯á¶ážááŸáá·áºáááºáááºáá±á¬ áááºáá¬áá±áá¬á¡áá»áá¯á·ááᯠááááºážáááºážáá¬ážáááºáᯠáá±á¬ááºáá»ááºáá»áá«áááºá á€áááºáá¬áá±áá¬á á¡áá±ážááá«áá±á¬ááá¬áááẠá¡á á¯á¡áá±ážáá¡ááœááºá¡á á¬ážá¡áá±á«áº ááá·áºáááºáá»ááºáá»á¬ážááá»ááŸááºáá¬ážáá±á¬áºáááºážá flash drive ááœáẠá áá áºááá¯ááá·áºááœááºážááŒááºážááŒá±á¬áá·áº disk áá»áœá±áá¬ááŸá¯ááᯠáááºááŸá¬ážáá±ážááŒá®áž node XNUMX áá¯áááºáááºážáá±á¬ á¡á á¯á¡áá±ážáá»á¬ážááᯠáááºáá¯ááºááẠáááºážááá¯á·ááá±ážáááºážááŸá¯ ááá¯á¡ááºáá«áááºá ááœá±ážáá»ááºááá¯ááºáá±á¬á¡ááºá¹áá«áááºáá»á¬ážááŸáá·áºáááºáááºá ááŒááºážáááºáá±á¬ developer áá°áá«áá Minimalism áá²á· áá±ážáááºá á¡ááá·áºááŸá á á¬ááœááºá á¬áááºáž- "á¡á²áá«á¡ááœáẠáá»á±ážáá°ážáááºáá«áááºá áá«áá±ááá·áº á¡áááºážááá¯ááºáááºá" á¡ááá·áºáááá·áºáá±á¬ áááºáá±á¬ááºááŸá¯áá»á¬ážááŸáá·áº á¡ááŒááºá¡ááŸáẠáá¯á¶á·ááŒááºááá¯ááºá áœááºážááᯠáá±ážá áœááºážáá±á¬áºáááºáž á á¬ááœááºá á¬áááºážááẠá€á¡ááŒá±á¬ááºážá¡áá¬á¡ááœáẠá¡áá±á«áºáá¶áááºááœááºážáá±á¬ááŒá±á¬áá·áº áá¯ááºáááºááẠááá¯áá»á¬ážáá«áááºá á¡áá±ážáá±á«áºá¡ááŒá±á¡áá±á០áá±áá¬áá»á¬ážááᯠááŒááºáááºááá°ááẠá¡ááœáá·áºá¡áááºáž áááŸáááá±á¬ááºáááºááŒá áºáááºá
áá±á¬ááºáááºáá¯ááºáá±á¬ááºááŸá¯áá»á¬ážá¡ááœáẠááœá±ážáá»ááºá
áá¬áá»á¬áž- CEPH ááá¯á
áœáá·áºááœáŸááºááŒá®áž banal multi-disk btrfs (ááá¯á·ááá¯áẠxfsá zfs) ááá¯á¡áá¯á¶ážááŒá¯áá«)á áááºááŸááºáá¬ážáá±á¬á¡ááŒá±á¡áá±áá»á¬ážááœáẠáááºážááá¯áááºáááºááá¯ááºá
á±ááá·áº CEPH ááŸáá·áºáááºáááºáá±á¬á¡áá»ááºá¡áááºá¡áá
áºáá»á¬ážááá¯áá±á·áá¬áá«á áááºáááá¯ááºááá¯ááºááá¯ááŸá±á¬ááºááŸá¯ááá¯á¡ááá·áºááŒáá·áºáá±á·áá»áá·áºááŸá¯áá
áºáá¯á¡ááŒá
áºáá±ážáá¬ážáááºááŒáá¯ážá
á¬ážáá«á .
source: www.habr.com