გამოცდილება CEPH-თან

როდესაც ერთ დისკზე მეტი მონაცემია, დროა ვიფიქროთ RAID-ზე. ბავშვობაში ხშირად მესმოდა უფროსებისგან: „ერთ დღეს RAID წარსულს ჩაბარდება, ობიექტების შენახვა შეავსებს სამყაროს და თქვენ არც კი იცით რა არის CEPH“, ასე რომ, პირველი რამ ჩემს დამოუკიდებელ ცხოვრებაში. ჩემი კლასტერის შექმნა იყო. ექსპერიმენტის მიზანი იყო ცეფის შიდა სტრუქტურის გაცნობა და მისი გამოყენების ფარგლების გაგება. რამდენად გამართლებულია ცეფის დანერგვა საშუალო და მცირე ბიზნესში? რამდენიმე წლის მუშაობისა და მონაცემთა რამდენიმე შეუქცევადი დაკარგვის შემდეგ, გაჩნდა სირთულეების გაგება, რომ ყველაფერი ასე მარტივი არ არის. CEPH-ის თავისებურებები ბარიერებს უქმნის მის ფართო გამოყენებას და მათ გამო ექსპერიმენტები ჩიხში შევიდა. ქვემოთ მოცემულია ყველა გადადგმული ნაბიჯის აღწერა, მიღებული შედეგი და გამოტანილი დასკვნები. თუ მცოდნე ხალხი გამიზიარებს გამოცდილებას და ახსნის რამდენიმე საკითხს, მადლობელი ვიქნები.

შენიშვნა: კომენტატორებმა გამოავლინეს სერიოზული შეცდომები ზოგიერთ ვარაუდში, რომელიც მოითხოვს მთელი სტატიის გადახედვას.

CEPH სტრატეგია

CEPH კლასტერი აერთიანებს თვითნებური ზომის დისკების K თვითნებურ რაოდენობას და ინახავს მათზე მონაცემებს, აორმაგებს თითოეულ ნაწილს (ნაგულისხმევად 4 მბ) მოცემულ რიცხვს N-ჯერ.

განვიხილოთ უმარტივესი შემთხვევა ორი იდენტური დისკით. მათგან შეგიძლიათ ან ააწყოთ RAID 1 ან კლასტერი N=2 - შედეგი იგივე იქნება. თუ სამი დისკია და ისინი სხვადასხვა ზომისაა, მაშინ ადვილია N=2 კლასტერის აწყობა: ზოგიერთი მონაცემი იქნება 1 და 2 დისკებზე, ნაწილი 1 და 3 დისკებზე და ზოგიერთი იქნება. 2 და 3-ზე, ხოლო RAID არა (შეგიძლიათ ააწყოთ ასეთი RAID, მაგრამ ეს იქნება გარყვნილება). თუ კიდევ უფრო მეტი დისკია, მაშინ შესაძლებელია RAID 5-ის შექმნა; CEPH-ს აქვს ანალოგი - erasure_code, რომელიც ეწინააღმდეგება დეველოპერების ადრეულ კონცეფციებს და, შესაბამისად, არ განიხილება. RAID 5 ვარაუდობს, რომ არსებობს დისკების მცირე რაოდენობა, რომლებიც ყველა კარგ მდგომარეობაშია. თუ ერთი ვერ მოხერხდა, დანარჩენებმა უნდა გაუძლონ მანამ, სანამ დისკი არ შეიცვლება და მასში მონაცემები არ აღდგება. CEPH, N>=3-ით, ხელს უწყობს ძველი დისკის გამოყენებას, კერძოდ, თუ თქვენ ინახავთ რამდენიმე კარგ დისკს მონაცემთა ერთი ასლის შესანახად, ხოლო დანარჩენ ორ ან სამ ასლს ინახავთ ძველ დისკების დიდ რაოდენობაზე, მაშინ ინფორმაცია უსაფრთხო იქნება, რადგან ახლა ახალი დისკები ცოცხალია - არანაირი პრობლემა არ არის და თუ ერთ-ერთი მათგანი იშლება, მაშინ სამი დისკის ერთდროული უკმარისობა, რომელთა მომსახურების ვადა ხუთ წელზე მეტია, სასურველია სხვადასხვა სერვერებიდან, უკიდურესად ნაკლებად სავარაუდოა. ღონისძიება.

ასლების გავრცელებაში არის დახვეწილობა. ნაგულისხმევად, ვარაუდობენ, რომ მონაცემები იყოფა მეტ (~100 დისკზე) PG განაწილების ჯგუფებად, რომელთაგან თითოეული დუბლირებულია ზოგიერთ დისკზე. ვთქვათ K=6, N=2, მაშინ, თუ რომელიმე ორი დისკი გაფუჭდა, მონაცემები გარანტირებულია დაიკარგება, რადგან ალბათობის თეორიის მიხედვით, იქნება მინიმუმ ერთი PG, რომელიც განთავსდება ამ ორ დისკზე. და ერთი ჯგუფის დაკარგვა აუზში არსებულ ყველა მონაცემს მიუწვდომელს ხდის. თუ დისკები იყოფა სამ წყვილად და მონაცემების შენახვა ნებადართულია მხოლოდ დისკებზე ერთი წყვილის ფარგლებში, მაშინ ასეთი განაწილება ასევე მდგრადია რომელიმე დისკის გაუმართაობის მიმართ, მაგრამ თუ ორი დისკი მარცხდება, მონაცემთა დაკარგვის ალბათობა არ არის. 100%, მაგრამ მხოლოდ 3/15, და მარცხის შემთხვევაშიც კი სამი დისკი - მხოლოდ 12/20. ამრიგად, ენტროპია მონაცემთა განაწილებაში არ უწყობს ხელს შეცდომის ტოლერანტობას. ასევე გაითვალისწინეთ, რომ ფაილური სერვერისთვის უფასო ოპერატიული მეხსიერება მნიშვნელოვნად ზრდის რეაგირების სიჩქარეს. რაც უფრო მეტი მეხსიერებაა თითოეულ კვანძში და რაც მეტი მეხსიერება ყველა კვანძში, მით უფრო სწრაფი იქნება ის. ეს უდავოდ არის კლასტერის უპირატესობა ერთ სერვერზე და, მით უმეტეს, ტექნიკის NAS-ზე, სადაც ჩაშენებულია ძალიან მცირე რაოდენობით მეხსიერება.

აქედან გამომდინარეობს, რომ CEPH არის კარგი გზა ათობით ტუბერკულოზისთვის მონაცემთა შენახვის საიმედო სისტემის შესაქმნელად, მოძველებული აღჭურვილობისგან მინიმალური ინვესტიციით მასშტაბის უნარით (აქ, რა თქმა უნდა, ხარჯები იქნება საჭირო, მაგრამ მცირე კომერციული შენახვის სისტემებთან შედარებით).

კლასტერის განხორციელება

ექსპერიმენტისთვის ავიღოთ ამოღებული კომპიუტერი Intel DQ57TM + Intel core i3 540 + 16 GB ოპერატიული მეხსიერება. ჩვენ მოვაწყობთ ოთხ 2 ტბაიტიან დისკს რაღაც RAID10-ში, წარმატებული ტესტის შემდეგ დავამატებთ მეორე კვანძს და ამდენივე დისკს.

Linux-ის ინსტალაცია. განაწილება მოითხოვს მორგების უნარს და იყოს სტაბილური. Debian და Suse აკმაყოფილებენ მოთხოვნებს. Suse-ს აქვს უფრო მოქნილი ინსტალერი, რომელიც საშუალებას გაძლევთ გამორთოთ ნებისმიერი პაკეტი; სამწუხაროდ, ვერ გავარკვიე რომელი მათგანი შეიძლება გადააგდოთ სისტემის დაზიანების გარეშე. დააინსტალირეთ Debian debootstrap buster-ის გამოყენებით. min-base ვარიანტი აყენებს გატეხილ სისტემას, რომელსაც აკლია დრაივერები. ზომებში სხვაობა სრულ ვერსიასთან შედარებით არც ისე დიდია, რომ შეგაწუხოთ. ვინაიდან მუშაობა ხორციელდება ფიზიკურ აპარატზე, მინდა გადავიღო კადრები, როგორც ვირტუალურ მანქანებზე. ამ ვარიანტს გთავაზობთ LVM ან btrfs (ან xfs, ან zfs - განსხვავება დიდი არ არის). LVM სნეპშოტები არ არის ძლიერი წერტილი. დააინსტალირეთ btrfs. და ჩამტვირთველი არის MBR-ში. აზრი არ აქვს 50 MB დისკის გადატვირთვას FAT დანაყოფით, როდესაც შეგიძლიათ გადაიტანოთ იგი 1 MB დანაყოფის ცხრილის ზონაში და გამოყოთ მთელი სივრცე სისტემისთვის. დაიკავა 700 მბ დისკზე. არ მახსოვს რამდენი აქვს SUSE-ის საბაზისო ინსტალაცია, მგონი 1.1 ან 1.4 GB-ია.

დააინსტალირეთ CEPH. ჩვენ უგულებელყოფთ 12 ვერსიას debian საცავში და ვუკავშირდებით პირდაპირ 15.2.3 საიტიდან. ჩვენ მივყვებით ინსტრუქციებს განყოფილებიდან „დააინსტალირეთ CEPH ხელით“ შემდეგი გაფრთხილებით:

• საცავთან დაკავშირებამდე უნდა დააინსტალიროთ gnupg wget ca-სერთიფიკატები
• საცავთან დაკავშირების შემდეგ, მაგრამ კლასტერის დაყენებამდე, პაკეტების დაყენება გამოტოვებულია: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
• CEPH-ის დაყენებისას, გაურკვეველი მიზეზების გამო, ის შეეცდება დააინსტალიროს lvm2. პრინციპში, სამწუხარო არ არის, მაგრამ ინსტალაცია ვერ ხერხდება, ამიტომ CEPH არც დააყენებს.

  ეს პატჩი დაეხმარა:

  cat << EOF >> /var/lib/dpkg/status
  Package: lvm2
  Status: install ok installed
  Priority: important
  Section: admin
  Installed-Size: 0
  Maintainer: Debian Adduser Developers <[email protected]>
  Architecture: all
  Multi-Arch: foreign
  Version: 113.118
  Description: No-install
  EOF
  

კლასტერის მიმოხილვა

ceph-osd - პასუხისმგებელია დისკზე მონაცემების შენახვაზე. თითოეული დისკისთვის იხსნება ქსელის სერვისი, რომელიც იღებს და ახორციელებს ობიექტებზე წაკითხვის ან ჩაწერის მოთხოვნებს. დისკზე იქმნება ორი დანაყოფი. ერთ-ერთი მათგანი შეიცავს ინფორმაციას კლასტერის, დისკის ნომრისა და კლასტერის გასაღებების შესახებ. ეს 1KB ინფორმაცია იქმნება ერთხელ დისკის დამატებისას და არასოდეს შეუმჩნევია ცვლილება. მეორე განყოფილებას არ აქვს ფაილური სისტემა და ინახავს CEPH ორობით მონაცემებს. წინა ვერსიებში ავტომატურმა ინსტალაციამ შექმნა 100MB xfs დანაყოფი სერვისის ინფორმაციისთვის. დისკი გადავაქციე MBR-ში და გამოვყავი მხოლოდ 16MB - სერვისი არ უჩივის. მგონი xfs შეიძლება შეიცვალოს ext-ით უპრობლემოდ. ეს დანაყოფი დამონტაჟებულია /var/lib/…-ში, სადაც სერვისი კითხულობს ინფორმაციას OSD-ის შესახებ და ასევე პოულობს მითითებას ბლოკის მოწყობილობაზე, სადაც ინახება ბინარული მონაცემები. თეორიულად, შეგიძლიათ დაუყონებლივ მოათავსოთ დამხმარე ფაილები /var/lib/… და გამოყოთ მთელი დისკი მონაცემებისთვის. OSD-ის შექმნისას ceph-deploy-ის საშუალებით, ავტომატურად იქმნება წესი დანაყოფის დასამონტაჟებლად /var/lib/…-ში და ceph მომხმარებელს ასევე ენიჭება უფლება წაიკითხოს სასურველი ბლოკის მოწყობილობა. თუ ხელით დააინსტალირეთ, ეს თავად უნდა გააკეთოთ; დოკუმენტაციაში ამას არ წერია. ასევე მიზანშეწონილია მიუთითოთ osd მეხსიერების სამიზნე პარამეტრი ისე, რომ საკმარისი ფიზიკური მეხსიერება იყოს.

ცეფ-მდს. დაბალ დონეზე, CEPH არის ობიექტების შენახვა. მეხსიერების დაბლოკვის შესაძლებლობა მოდის თითოეული 4 მბ ბლოკის ობიექტად შენახვაზე. ფაილის შენახვა მუშაობს იმავე პრინციპით. იქმნება ორი აუზი: ერთი მეტამონაცემებისთვის, მეორე მონაცემებისთვის. ისინი გაერთიანებულია ფაილურ სისტემაში. ამ მომენტში იქმნება ერთგვარი ჩანაწერი, ასე რომ, თუ თქვენ წაშლით ფაილურ სისტემას, მაგრამ შეინარჩუნებთ ორივე აუზს, ვერ შეძლებთ მის აღდგენას. არსებობს ფაილების ბლოკებით ამოღების პროცედურა, მე არ გამიტესტა. ceph-mds სერვისი პასუხისმგებელია ფაილურ სისტემაზე წვდომაზე. თითოეული ფაილური სისტემა მოითხოვს სერვისის ცალკეულ ინსტანციას. არსებობს "ინდექსი" ვარიანტი, რომელიც საშუალებას გაძლევთ შექმნათ რამდენიმე ფაილური სისტემის მსგავსება ერთში - ასევე არ არის გამოცდილი.

Ceph-mon - ეს სერვისი ინახავს კლასტერის რუკას. იგი შეიცავს ინფორმაციას ყველა OSD-ის შესახებ, OSD-ებში PG-ების განაწილების ალგორითმს და, რაც მთავარია, ინფორმაციას ყველა ობიექტის შესახებ (ამ მექანიზმის დეტალები ჩემთვის გაუგებარია: არის დირექტორია /var/lib/ceph/mon/…/ store.db, შეიცავს დიდი ფაილი არის 26MB და 105K ობიექტის კლასტერში გამოდის 256 ბაიტი თითო ობიექტზე - ვფიქრობ, რომ მონიტორი ინახავს ყველა ობიექტის სიას და PG, რომელშიც ისინი მდებარეობს). ამ დირექტორიაში დაზიანება იწვევს კლასტერში არსებული ყველა მონაცემის დაკარგვას. აქედან გაკეთდა დასკვნა, რომ CRUSH გვიჩვენებს, თუ როგორ განლაგებულია PG-ები OSD-ზე და როგორ განლაგებულია ობიექტები PG-ებზე - ისინი ცენტრალიზებულად ინახება მონაცემთა ბაზაში, მიუხედავად იმისა, თუ რამდენად ერიდებიან დეველოპერები ამ სიტყვას. შედეგად, ჯერ ერთი, ჩვენ ვერ დავაინსტალირებთ სისტემას ფლეშ დისკზე RO რეჟიმში, რადგან მონაცემთა ბაზა მუდმივად იწერება, ამისთვის საჭიროა დამატებითი დისკი (ძლივს 1 გბ-ზე მეტი), მეორეც, აუცილებელია გქონდეთ დააკოპირეთ ეს ბაზა რეალურ დროში. თუ რამდენიმე მონიტორია, მაშინ შეცდომების ტოლერანტობა უზრუნველყოფილია ავტომატურად, მაგრამ ჩვენს შემთხვევაში არის მხოლოდ ერთი მონიტორი, მაქსიმუმ ორი. არსებობს OSD მონაცემების საფუძველზე მონიტორის აღდგენის თეორიული პროცედურა, მე მას სამჯერ მივმართე სხვადასხვა მიზეზის გამო და სამჯერ არ იყო შეცდომის შეტყობინებები, ასევე არ იყო მონაცემები. სამწუხაროდ, ეს მექანიზმი არ მუშაობს. ან ვმუშაობთ OSD-ზე მინიატურულ დანაყოფით და ვაწყობთ RAID-ს მონაცემთა ბაზის შესანახად, რაც, რა თქმა უნდა, ძალიან ცუდად იმოქმედებს შესრულებაზე, ან გამოვყოფთ მინიმუმ ორ სანდო ფიზიკურ მედიას, სასურველია USB, ისე, რომ პორტები არ დაიკავოს.

rados-gw - ახორციელებს ობიექტების შენახვის ექსპორტს S3 პროტოკოლით და მსგავსი. ქმნის ბევრ აუზს, გაუგებარია რატომ. ბევრი ექსპერიმენტი არ გამიკეთებია.

ceph-mgr - ამ სერვისის ინსტალაციისას რამდენიმე მოდული იხსნება. ერთ-ერთი მათგანია ავტომატური მასშტაბი, რომლის გამორთვა შეუძლებელია. ის ცდილობს შეინარჩუნოს PG/OSD-ის სწორი რაოდენობა. თუ გსურთ აკონტროლოთ თანაფარდობა ხელით, შეგიძლიათ გამორთოთ სკალირება თითოეული აუზისთვის, მაგრამ ამ შემთხვევაში მოდული იშლება გაყოფით 0-ზე და კლასტერის სტატუსი ხდება ERROR. მოდული დაწერილია პითონში და თუ კომენტარს გააკეთებთ მასში საჭირო ხაზს, ეს იწვევს მის გათიშვას. ძალიან ეზარება დეტალების დამახსოვრება.

გამოყენებული წყაროების სია:

CEPH-ის მონტაჟი
აღდგენა მონიტორის სრული უკმარისობისგან

სკრიპტების ჩამონათვალი:

სისტემის ინსტალაცია debootstrap-ის საშუალებით

blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/

chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install

Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF

exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh  smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

შექმენით კლასტერი

apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon

echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF

ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status

# dashboard

apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1

OSD-ის დამატება (ნაწილი)

apt install ceph-osd

osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02  block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnum

რეზიუმე

CEPH-ის მთავარი მარკეტინგული უპირატესობაა CRUSH - ალგორითმი მონაცემთა ადგილმდებარეობის გამოსათვლელად. მონიტორები ანაწილებენ ამ ალგორითმს კლიენტებს, რის შემდეგაც კლიენტები პირდაპირ ითხოვენ სასურველ კვანძს და სასურველ OSD-ს. CRUSH არ უზრუნველყოფს ცენტრალიზაციას. ეს არის პატარა ფაილი, რომელიც შეგიძლიათ ამობეჭდოთ და კედელზე ჩამოკიდოთ. პრაქტიკამ აჩვენა, რომ CRUSH არ არის ამომწურავი რუკა. თუ თქვენ გაანადგურეთ და ხელახლა შექმნით მონიტორებს, შეინარჩუნებთ ყველა OSD და CRUSH, მაშინ ეს საკმარისი არ არის კლასტერის აღსადგენად. აქედან გამომდინარეობს დასკვნა, რომ თითოეული მონიტორი ინახავს მეტამონაცემებს მთელი კლასტერის შესახებ. ამ მეტამონაცემების მცირე რაოდენობა არ აწესებს შეზღუდვებს კლასტერის ზომაზე, მაგრამ მოითხოვს მათი უსაფრთხოების უზრუნველყოფას, რაც გამორიცხავს დისკის დაზოგვას სისტემის ფლეშ დისკზე დაყენებით და გამორიცხავს კლასტერებს სამზე ნაკლები კვანძით. დეველოპერის აგრესიული პოლიტიკა არასავალდებულო ფუნქციებთან დაკავშირებით. მინიმალიზმისგან შორს. დოკუმენტაცია არის დონის „მადლობა იმისთვის, რაც გვაქვს, მაგრამ ეს ძალიან, ძალიან მწირია“. სერვისებთან დაბალ დონეზე ურთიერთობის შესაძლებლობა გათვალისწინებულია, მაგრამ დოკუმენტაცია ამ თემას ძალიან ზედაპირულად ეხება, ამიტომ უფრო სავარაუდოა, რომ არა, ვიდრე დიახ. გადაუდებელი სიტუაციიდან მონაცემების აღდგენის შანსი პრაქტიკულად არ არსებობს.

შემდგომი მოქმედების ვარიანტები: მიატოვეთ CEPH და გამოიყენეთ ბანალური მრავალ დისკის btrfs (ან xfs, zfs), შეიტყვეთ ახალი ინფორმაცია CEPH-ის შესახებ, რომელიც საშუალებას მოგცემთ იმოქმედოთ მითითებულ პირობებში, შეეცადეთ დაწეროთ საკუთარი მეხსიერება, როგორც გაფართოებული. ტრენინგი.

წყარო: www.habr.com