Ta ei ole teile dRook

Seoses Rooki suurenemisega soovin rääkida selle varjatud probleemidest ja takistustest, millega te võib-olla kokku puutute.

Minust: Ceph haldamise kogemus alates versioonist hammer, kogukonna asutaja. t.me/ceph_ru Telegramis.

Et mitte olla sõnamänge, viitan ma Habr's aktsepteeritud (järgides reitingut) postitustele Ceph probleemidest. Enamikku neist probleemidest olen ka ise kogenud. Kasutatud materjalide lingid on postituse lõpus.

Rooki postituses ei mainita Cephi lihtsalt niisama — Rook on põhimõtteliselt Ceph, mähitud Kubernetesesse, seega pärib see kõik selle probleemid. Alustame Ceph probleemidest.

Klastri haldamise lihtsustamine

Üks Rooki eelistest on Cephi mugav haldamine läbi Kubernetes.

Siiski sisaldab Ceph üle 1000 seadistuse parameetri, samas kui Rooki kaudu saame muuta vaid väiksema osa neist.

Näide Luminous'e pealt
> ceph daemon mon.a config show | wc -l
1401

Rooki turundatakse kui mugavat viisi Cephi paigaldamiseks ja värskendamiseks.
Cephi paigaldamisel ilma Rookita pole probleeme — Ansible'i playbooki saab kirjutada 30 minutiga, kuid värskendamisega on palju probleeme.

Tsitaat Krok'i postitusest

Näide: crush seadistused ei tööta pärast värskendust hummersist jewel'ile

> ceph osd crush show-tunables
{
…
„straw_calc_version”: 1,
„allowed_bucket_algs”: 22,
„profile”: „unknown”,
„optimal_tunables”: 0,
…
}

Kuid isegi väikeste versioonide puhul on probleeme.

Näide: Versiooni 12.2.6 värskendamine viib klastrite seisundisse health err ja tinglikult vigase PG.
ceph.com/releases/v12-2-8-released

Ära värskenda, oota ja testige? Aga me kasutame Rooki just mugava värskendamise tõttu.

Rooki klastrite hädaolukordade taastamise keerukus

Näide: OSD kukub, visates endale vigu. Kahtlustate, et probleem on mõnes seadistuse parameetris, soovite muuta konfi konkreetse demoni jaoks, kuid ei saa, kuna teil on Kubernetes ja DaemonSet.

Alternatiivi pole. ceph tell osd.Num injectargs ei tööta — OSD on ju maas.

Silumine keerukus

Mõne seadistuse ja jõudluse testimise jaoks on vajalik otsene ühendus OSD demoni soketiga. Rooki puhul tuleb kõigepealt leida õige konteiner, seejärel siseneda sellesse, avastada, et debug tööriistad puuduvad ja väga pettuda.

OSD-de järjepidev tõusmise keerukus

Näide: OSD kukub OOM-i tõttu, algab ümberjaotamine ja seejärel kukuvad järgmised.

Lahendus: Tõstke OSD ühe kaupa, oodake, kuni see on täielikult klastrisse ühendatud, ja tõstke järgmised. (Rohkem teavet leiate raportist Ceph. Katastroofide anatoomia).

Baremetal installatsiooni korral tehakse see lihtsalt käsitsi, Rooki ja ühe OSD puhul node'is ei ole erilisi probleeme, probleemid järjestikuste tõusudega tekivad juhul, kui OSD > 1 node'is.

Muidugi, need on lahendatavad, kuid me ju toome Rooki lihtsustamiseks, aga saame keerukuse.

Ceph deemonite limiitide valimise keerukus.

Baremetal Ceph installatsiooni korral on vajalikud ressursid klastrisse piisavalt lihtne arvutada — valemid ja uuringud on olemas. Nõrkade CPU-de kasutamisel peate siiski läbima rea jõudluskatsed, õppima, mis on Numa, kuid see on ikkagi lihtsam kui Rookis.

Rooki puhul, välja arvatud mälu piirid, mille saab arvutada, tekib küsimus CPU piire seadmise kohta.

Ja siin peate tegelema jõudluskatsed. Kui piirid on liiga madalad, saate aeglase klastriga, kui määrate unlimi, siis saate aktiivse CPU kasutuse rebalance'i ajal, mis avaldab halba mõju teie rakendustele Kuberneteses.

Probleemid võrgus kommunikatsiooniga v1.

Ceph jaoks soovitatakse kasutada 2x10Gb võrku. Üks kliendiliikluseks, teine Cephi teenuste vajaduste (rebalance) jaoks. Kui elate Cephiga baremetal keskkonnas, on see jaotus lihtsalt seadistatav, kui aga elate Rookiga, põhjustab võrgu jagamine teile probleeme, kuna kaugel pole iga klastrikonfiguratsioon, mis lubaks pod-ile kaks erinevat võrku.

Probleemid võrgus kommunikatsiooniga v2.

Kui loobute võrgu jagamisest, siis rebalance'i ajal blokeerib Cephi liiklus kogu kanali, ja teie rakendused Kuberneteses hakkavad tõrkuma või kukuvad kokku. Ceph rebalance'i kiirus on võimalik vähendada, kuid siis pika rebalance'i tõttu suureneb risk, et teine node kukub klastrist välja diskide või OOM-i tõttu, ja seal on garantii, et klaster muutub read-only.

Pikk rebalance — pikad rakenduste tõrked.

Tsitaat postitusest Ceph. Katastroofide anatoomia.

Testklastri jõudlus:

4 KB suurune kirjutamisoperatsioon võtab 1 ms aega, jõudlus 1000 operatsiooni/sekundis 1 voos.

4 MB operatsioon (objekti suurus) võtab 22 ms aega, jõudlus 45 operatsiooni/sekundis.

Seega, kui üks kolmest domeenist ebaõnnestub, on klaster mõnda aega degradeerunud seisundis, ja pool kuumadest objektidest jaotub erinevatesse versioonidesse, siis pool kirjutamisoperatsioonidest algab sundrestaureerimisega.

Sundrestaureerimise aega arvutame umbkaudu — kirjutamisoperatsioonid degradatsiooniga objektil.

Esiteks loeme 4 MB 22 ms, kirjutame 22 ms, ja siis kirjutame 1 ms jooksul 4 KB tegelikke andmeid. Kokku 45 ms ühe kirjutamisoperatsiooni jaoks degradeerunud objektil SSD-l, kui meie tavaline jõudlus oli 1 ms — jõudluse langus 45 korda.

Mida suurem on degradeerunud objektide protsent, seda hullemaks kõik muutub.

Seega on rebalanseerimise kiirus kriitilise tähtsusega klastrite korrektseks toimimiseks.

Kohandatud serveri seaded ceph'i jaoks

Ceph vajab sageli spetsiifilist hosti häälestust.

Näide: sysctl sätted ja samad JumboFrame'id, mõned neist seadetest võivad teie koormusele negatiivselt mõjuda.

Rook'i tegelik vajadus on kahtluse all

Kui olete pilves ja teil on salvestus teie pilveteenuse pakkujalt, on see oluliselt mugavam.

Kui olete oma serverites, siis ceph'i haldamine on mugavam ilma kubernetest.

Kas rendite servereid mõnest odavast hostimisest? Siis ootab teid ees palju lõbusat võrgu, selle latentsuse ja läbilaskevõimega, mis kindlasti mõjutab ceph'i negatiivselt.

Kokkuvõtteks: Kuberentes'e juurutamine ja salvestuse juurutamine on erinevad ülesanded erinevate sisendi ja lahenduste variatsioonidega — nende segamine tähendab võimaliku ohtliku kompromissi tegemist ühe või teise kasuks. Nende lahenduste ühitamine on projekteerimise etapis väga keeruline, rääkimata ekspluateerimise ajast.

Kasutatud kirjanduse nimekiri:

Postitus #1 Aga teie räägite Ceph'ist… kui hea see on tegelikult?
Postitus #2 Ceph. Katastroofi anatoomia

Allikas: habr.com