Искуство со CEPH

Кога има повеќе податоци отколку што може да се собере на еден диск, време е да размислите за RAID. Како дете, често слушав од моите постари: „Еден ден RAID ќе биде минато, складирањето на предмети ќе го исполни светот, а вие дури и не знаете што е CEPH“, така што првото нешто во мојот независен живот беше да создадам свој кластер. Целта на експериментот беше да се запознае со внатрешната структура на ceph и да го разбере опсегот на неговата примена. Колку е оправдана имплементацијата на ceph во средните и малите бизниси? По неколку години работа и неколку неповратни загуби на податоци, се појави разбирање за сложеноста дека не е сè толку едноставно. Особеностите на CEPH претставуваат бариери за неговото широко усвојување, па поради нив експериментите дојдоа во ќорсокак. Подолу е даден опис на сите преземени чекори, добиениот резултат и извлечените заклучоци. Ако упатените луѓе го споделат своето искуство и објаснат некои точки, ќе бидам благодарен.

Забелешка: Коментаторите идентификуваа сериозни грешки во некои од претпоставките кои бараат ревизија на целата статија.

Стратегија на CEPH

Кластерот CEPH комбинира произволен број K на дискови со произволна големина и складира податоци на нив, дуплирајќи го секое парче (4 MB стандардно) даден број N пати.

Да го разгледаме наједноставниот случај со два идентични дискови. Од нив можете или да составите RAID 1 или кластер со N=2 - резултатот ќе биде ист. Ако има три дискови и тие се со различна големина, тогаш лесно е да се состави кластер со N=2: дел од податоците ќе бидат на дисковите 1 и 2, некои на дисковите 1 и 3, а некои ќе бидат на 2 и 3, додека RAID нема (можете да составите таков RAID, но тоа би било перверзија). Ако има уште повеќе дискови, тогаш е можно да се создаде RAID 5; CEPH има аналог - erasure_code, што е во спротивност со раните концепти на програмерите и затоа не се разгледува. RAID 5 претпоставува дека има мал број дискови, од кои сите се во добра состојба. Ако еден не успее, другите мора да издржат додека дискот не се замени и податоците не се вратат на него. CEPH, со N>=3, ја поттикнува употребата на стари дискови, особено ако чувате неколку добри дискови за складирање на една копија од податоци, а преостанатите две или три копии ги складирате на голем број стари дискови, тогаш информациите ќе биде безбеден, бидејќи засега новите дискови се живи - нема проблеми, а ако еден од нив се скрши, тогаш истовремениот дефект на три дискови со работен век од повеќе од пет години, по можност од различни сервери, е крајно неверојатно настан.

Постои суптилност во дистрибуцијата на копии. Стандардно, се претпоставува дека податоците се поделени на повеќе (~ 100 на диск) дистрибутивни групи PG, од кои секоја е дуплирана на некои дискови. Да речеме K=6, N=2, тогаш ако некој два диска откажа, податоците гарантирано ќе бидат изгубени, бидејќи според теоријата на веројатност, ќе има барем еден PG што ќе се наоѓа на овие два диска. И губењето на една група ги прави недостапни сите податоци во базенот. Ако дисковите се поделени на три пара и податоците се дозволени да се складираат само на дискови во рамките на еден пар, тогаш таквата дистрибуција е исто така отпорна на дефект на кој било диск, но ако два диска откажат, веројатноста за загуба на податоци не е 100%, но само 3/15, па дури и во случај на дефект три дискови - само 12/20. Оттука, ентропијата во дистрибуцијата на податоците не придонесува за толеранција на грешки. Исто така, забележете дека за серверот за датотеки, бесплатната RAM меморија значително ја зголемува брзината на одговор. Колку повеќе меморија во секој јазол, и колку повеќе меморија во сите јазли, толку побрзо ќе биде. Ова е несомнено предност на кластерот пред еден сервер и, уште повеќе, хардверскиот NAS, каде што е вградена многу мала количина на меморија.

Следи дека CEPH е добар начин да се создаде сигурен систем за складирање податоци за десетици ТБ со можност за скалирање со минимална инвестиција од застарена опрема (тука, се разбира, ќе бидат потребни трошоци, но мали во споредба со комерцијалните системи за складирање).

Имплементација на кластерот

За експериментот, да земеме деактивиран компјутер Intel DQ57TM + Intel core i3 540 + 16 GB RAM. Ќе организираме четири дискови од 2 TB во нешто како RAID10, по успешен тест ќе додадеме втор јазол и ист број на дискови.

Инсталирање на Linux. Дистрибуцијата бара способност да се прилагоди и да биде стабилна. Debian и Suse ги исполнуваат барањата. Suse има пофлексибилен инсталатер кој ви овозможува да го оневозможите секој пакет; За жал, не можев да сфатам кои од нив може да се фрлат без да се оштети системот. Инсталирајте го Debian користејќи debootstrap buster. Опцијата min-base инсталира скршен систем на кој му недостасуваат драјвери. Разликата во големината во однос на целосната верзија не е толку голема за да се мачи. Бидејќи работата се изведува на физичка машина, сакам да правам снимки, како на виртуелни машини. Оваа опција е обезбедена од LVM или btrfs (или xfs или zfs - разликата не е голема). Снимките на LVM не се силна страна. Инсталирајте btrfs. И подигнувачот е во MBR. Нема смисла да го натрупувате дискот од 50 MB со FAT партиција кога можете да го турнете во дел од табелата со партиции од 1 MB и да го распределите целиот простор за системот. Зазема 700 MB на дискот. Не се сеќавам колку има основната инсталација SUSE, мислам дека е околу 1.1 или 1.4 GB.

Инсталирајте CEPH. Ја игнорираме верзијата 12 во складиштето на debian и се поврзуваме директно од страницата 15.2.3. Ги следиме упатствата од делот „Рачно инсталирај CEPH“ со следните предупредувања:

• Пред да го поврзете складиштето, мора да инсталирате gnupg wget ca-сертификати
• По поврзувањето на складиштето, но пред да го инсталирате кластерот, инсталирањето пакети е испуштено: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
• При инсталирање на CEPH од непознати причини ќе се обиде да инсталира lvm2. Во принцип, не е штета, но инсталацијата не успее, па ни CEPH нема да инсталира.

  Овој лепенка помогна:

  cat << EOF >> /var/lib/dpkg/status
  Package: lvm2
  Status: install ok installed
  Priority: important
  Section: admin
  Installed-Size: 0
  Maintainer: Debian Adduser Developers <[email protected]>
  Architecture: all
  Multi-Arch: foreign
  Version: 113.118
  Description: No-install
  EOF
  

Преглед на кластерот

ceph-osd - е одговорен за складирање податоци на дискот. За секој диск, се активира мрежна услуга која прифаќа и извршува барања за читање или пишување на објекти. На дискот се креираат две партиции. Еден од нив содржи информации за кластерот, бројот на дискот и копчињата во кластерот. Оваа информација од 1KB се создава еднаш при додавање на диск и никогаш не била забележана дека се менува. Втората партиција нема датотечен систем и складира бинарни податоци на CEPH. Автоматската инсталација во претходните верзии создаде партиција xfs од 100 MB за информации за услугата. Го конвертирав дискот во MBR и доделив само 16 MB - услугата не се жали. Мислам дека xfs може да се замени со ext без никаков проблем. Оваа партиција е монтирана во /var/lib/…, каде што услугата чита информации за OSD и исто така наоѓа референца за блок-уредот каде што се зачувани бинарните податоци. Теоретски, можете веднаш да поставите помошни датотеки во /var/lib/… и да го распределите целиот диск за податоци. Кога креирате OSD преку ceph-deploy, автоматски се креира правило за монтирање на партицијата во /var/lib/…, а на корисникот на ceph исто така му се доделуваат права да го чита саканиот блок уред. Ако инсталирате рачно, мора да го направите тоа сами; документацијата не го кажува ова. Исто така, препорачливо е да го наведете параметарот за целната меморија osd за да има доволно физичка меморија.

ceph-mds. На ниско ниво, CEPH е складирање на објекти. Способноста да се блокира складирањето се сведува на складирање на секој блок од 4 MB како објект. Складирањето на датотеки работи на истиот принцип. Се создаваат два базени: еден за метаподатоци, другиот за податоци. Тие се комбинирани во датотечен систем. Во овој момент се создава некаков запис, па ако го избришете датотечниот систем, но ги задржите двата базени, нема да можете да го вратите. Има процедура за вадење фајлови по блокови, ја немам тестирано. Сервисот ceph-mds е одговорен за пристап до датотечниот систем. Секој датотечен систем бара посебен пример на услугата. Постои опција „индекс“, која ви овозможува да креирате привид на неколку датотечни системи во еден - исто така не е тестиран.

Ceph-mon - Оваа услуга складира карта на кластерот. Вклучува информации за сите OSD, алгоритам за дистрибуција на PG во OSD и, што е најважно, информации за сите објекти (деталите за овој механизам не ми се јасни: има директориум /var/lib/ceph/mon/…/ store.db, содржи голема датотеката е 26MB, а во кластер од 105K објекти, излегува дека е нешто повеќе од 256 бајти по објект - мислам дека мониторот складира листа на сите објекти и PG-и во кои тие се наоѓаат). Оштетувањето на овој директориум резултира со губење на сите податоци во кластерот. Оттука беше изведен заклучокот дека CRUSH покажува како PG се наоѓаат на OSD, и како се наоѓаат објектите на PG - тие се централно складирани во базата на податоци, без разлика колку програмерите го избегнуваат овој збор. Како резултат на тоа, прво, не можеме да го инсталираме системот на флеш-уред во режим RO, бидејќи базата на податоци постојано се снима, потребен е дополнителен диск за нив (едвај повеќе од 1 GB), второ, неопходно е да се има копирајте ја оваа база во реално време. Ако има неколку монитори, тогаш толеранцијата на грешки се обезбедува автоматски, но во нашиот случај има само еден монитор, максимум два. Постои теоретска процедура за враќање на монитор врз основа на податоци од OSD, трипати прибегнав кон него од различни причини, а три пати немаше пораки за грешка, како и без податоци. За жал, овој механизам не функционира. Или работиме со минијатурна партиција на OSD и составуваме RAID за складирање на базата на податоци, што секако ќе има многу лош ефект врз перформансите, или ќе одвоиме најмалку два доверливи физички медиуми, по можност USB, за да не зафаќаме порти.

rados-gw - извезува складирање на објекти преку протоколот S3 и слично. Создава многу базени, нејасно е зошто. Не експериментирав многу.

ceph-mgr - При инсталирање на оваа услуга, се лансираат неколку модули. Еден од нив е автоматско мерење кое не може да се оневозможи. Се стреми да ја одржи точната количина на PG/OSD. Ако сакате рачно да го контролирате односот, можете да го оневозможите скалирањето за секој базен, но во овој случај модулот паѓа со поделба со 0, а статусот на кластерот станува ERROR. Модулот е напишан во Python и ако ја коментирате потребната линија во него, тоа води до негово оневозможување. Премногу мрзливи да се сетат на деталите.

Список на користени извори:

Инсталација на CEPH
Закрепнување од целосен неуспех на мониторот

Списоци на скрипти:

Инсталирање на системот преку debootstrap

blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/

chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install

Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF

exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh  smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

Направете кластер

apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon

echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF

ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status

# dashboard

apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1

Додавање на OSD (дел)

apt install ceph-osd

osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02  block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnum

Краток преглед

Главната маркетинг предност на CEPH е CRUSH - алгоритам за пресметување на локацијата на податоците. Мониторите го дистрибуираат овој алгоритам до клиентите, по што клиентите директно го бараат саканиот јазол и саканиот OSD. CRUSH не обезбедува централизација. Тоа е мала датотека што можете дури и да ја испечатите и да ја закачите на ѕид. Праксата покажа дека CRUSH не е исцрпна мапа. Ако ги уништите и рекреирате мониторите, задржувајќи ги сите OSD и CRUSH, тогаш ова не е доволно за да се врати кластерот. Од ова се заклучува дека секој монитор складира некои метаподатоци за целиот кластер. Малата количина на овие метаподатоци не наметнува ограничувања за големината на кластерот, туку бара обезбедување на нивната безбедност, што ги елиминира заштедите на дискот со инсталирање на системот на флеш-уред и ги исклучува кластерите со помалку од три јазли. Агресивната политика на развивачот во однос на опционалните функции. Далеку од минимализам. Документацијата е на ниво на „благодарам за тоа што го имаме, но е многу, многу скудно“. Обезбедена е можност за интеракција со услуги на ниско ниво, но документацијата ја допира оваа тема премногу површно, па затоа е поверојатно не отколку да. Практично нема шанси за враќање на податоците од итна ситуација.

Опции за понатамошно дејствување: напуштете го CEPH и користете го баналниот мулти-диск btrfs (или xfs, zfs), дознајте нови информации за CEPH, кои ќе ви овозможат да го управувате под наведените услови, обидете се да напишете сопствен складирање како напредно обука.

Извор: www.habr.com