Kuna kõik mu sünnipäevaleanid tähistasid, reparisin ma hommikuni klastrit — arendajad laadisid mulle oma vead.

Siit algab lugu, mis muutis igaveseks mu lähenemist devops tööle. Veel enne koronakriisi, ammu-ammu enne seda, kui me poisid alles mõtlesime oma ettevõtte peale ja tegime juhutöid, sain mina ühte ettepanekut messengeri.

Ettevõte, kes selle kirjutas, tegeles andmeanalüüsiga. Igal päeval töötles ta tuhandeid päringuid. Nad tulid meie juurde sõnadega: poisid, meil on ClickHouse ja me tahame automatiseerida selle seadistamist ja installimist. Soovime Ansible'i, Terraformi, Dockert ja et see kõik oleks talletatud git'is. Soovime neli sõlme kahes replikas igas.

Tavaline palve, selliseid on kümneid, ja vajalik on sama hea standardlahendus. Me ütlesime "okei", ja kahe kuni kolme nädala jooksul oli kõik valmis. Nad aktsepteerisid töö ja hakkasid meie utiliidi abil uuele ClickHouse klastrile kolima.

Nendel ei olnud kedagi, kes ClickHouse'iga tegeleks. Siis arvasime me, et see on nende peamine probleem, ja seetõttu andis ettevõtte CTO lihtsalt käsu minu meeskonnale maksimaalselt automatiseerida töö, et enam sinna mitte ronida.

Me toetasime kolimist, ilmusid muud ülesanded — seadistada varukoopiad ja jälgimine. Samal ajal lahkus ettevõtte CTO teise projekti, jättes meile komandöriks ühe oma töötaja — Leonidi. Lõe ei olnud just kuigi andekas poiss. Lihtne arendaja, kelle äkki pandi ClickHouse'i pealikuks. Tundus, et see oli tema esimene juhtimise määramine, ja au tõttu, mis talle sobis, tekkis tal tähtsus.

Koos hakkasime varukoopiate kallale. Ma soovitasin kohe algandmeid varundada. Lihtsalt võtta, zipida ja elegantsetesse s3-sse visata. Algandmed on kuld. Oli ka teine variant — varundada tabelid ise ClickHouse'is, kasutades külmumist ja kopeerimist. Kuid Lõe leidis enda lahenduse.

Ta kuulutas, et meil on vaja teist ClickHouse klastrit. Ja edaspidi kirjutame andmeid kahte klastrisse — peamisele ja varukoopiale. Ma ütlen talle, et Lõe, see ei ole varukoopia — vaid aktiivne replikatsioon. Ja kui andmed hakkavad tootmises kaduma, on su varukoopias sama asi.

Aga Lõe haaras kindlalt roolist ja keeldus mu argumente kuulamast. Me vaidleme pikalt chat'is, aga midagi pole teha — Lõe juhtis projekti, meie olime lihtsalt kohale palgatud poisid.

Me jälgisime klasteri seisundit ja võtsime tasu vaid administraatorite töö eest. Puhtalt ClickHouse'i haldamine, ilma andmetesse süüvimata. Klaster oli saadaval, kettad korras, sõlmed toimisid hästi.

Me ei kahtlustanud veel, et saime selle tellimuse pahanduse tõttu nende meeskonna sees.

Juht oli rahulolematu, et ClickHouse töötab aeglaselt ja aeg-ajalt kaotavad nad andmeid. Ta andis oma CTO-le ülesande olukord selgeks teha. See uuris, mida suudab, ja jõudis järeldusele, et tuleb lihtsalt ClickHouse automatiseerida — ja kõik. Kuid peagi selgus, et neile polnud absoluutselt vaja devopsi meeskonda.

Kõik see selgus väga-väga valusalt. Ja kõige rohkem häiris, et see juhtus minu sünnipäeval.

Reede õhtu. Olin broneerinud laua oma lemmikveinibaaris ja kutsunud sõbrad.

Peaaegu enne lahkumist tuli meile ülesanne teha alternatiiv, tegime ära, kõik oli okei. Alternatiiv toimis, ClickHouse kinnitas. Olime juba baaris, kui kirjutati, et andmeid on puudu. Arvutasime — kõik näis olevat korras. Ja läksime pidutsema.

Baaris oli reede õhtuks valjult. Tellisime jooke ja toitu, kerisime diivanitele. Kõik selle aja minu Slack täitus vaikselt sõnumitega. Kirjutati midagi andmete puuduse kohta. Mõtlesin, et hommikul on targem mõelda. Eriti täna.

Kella üheksakümne lähedal hakkasid nad juba helistama. See oli ettevõtte juht… „Pidasin tõenäoliselt mind õnnitlemiseks,” — mõtlesin väga ebakindlalt ja võtsin telefoni vastu.

Ja kuulsin midagi sellist: „Te olete meie andmed ära kaotanud! Ma maksan teile, aga miski ei tööta! Te vastutasite varukoopiate eest, aga ei teinud midagi! Tehke korda!” — ainult veel roppem teha.

— Tea mida, mine sa pekki! Täna on minu sünnipäev ja ma hakkan nüüd jooma, mitte ei tegele teie algajate jura ja sopaga!

Nii ma ei öelnudki. Selle asemel võtsin arvuti välja ja asusin tööle.

Ei, ma olin vihane, ma olin kohutavalt vihane! Viska chat'i teravat "ma ju ütlesin" — sest varukoopia, mis polnud sugugi varukoopia, ei päästnud midagi.

Meie poisid mõtlesid, kuidas manuaalselt salvestamise peatada ja kõik üle vaadata. Kontrollisime tõeliselt, et osa andmeid ei salvestu.

Salvestus peatati, loeti päeva jooksul toimunud sündmuste arvu. Lisati veel andmeid, millest vaid kolmandik ei salvestunud. Kolm shardi kahes replikas. Kui sisestad 100 000 rida, siis 33 000 ei salvestu.

Tekkis täielik segadus. Kõik saatsid üksteist järjestikku peedile: esimesena läks sinna Lёnja ja seejärel järgnesin mina ning ettevõtte asutaja. Ainult hiljuti liitunud CTO üritas meie kõnesid kriiskamise ja kirjavahetuse läbi lahenduse otsimise suunata.

Mis tegelikult toimus — keegi ei saanud aru.

Meie tiim lihtsalt šokeerus, kui saime aru, et kolmandik kõigist andmetest mitte lihtsalt ei salvestunud — nad kadusid! Selgus, et ettevõttes oli selline kord: pärast sisestamist andmed kustutati pöördumatult ja sündmused kaotsime partii kaupa. Kujutasin ette, kuidas Sergei konverteerib selle kaotatud rubladeks.

Minu sünnipäev läks ka prügisse. Istusime baaris ja genereerisime ideid, üritades lahendada pakutud mõistatust. Kliikhausi kukkumise põhjus ei olnud ilmne. Võib-olla on süüdistatav võrk, võib-olla linukis seaded. Kõikvõimalikud hüpoteesid kõlasid.

Ma ei andnud arendaja tõotust, aga poiste jätmine teisele otsa oli ebaaus — isegi kui nad süüdistasid meid. Olin 99% kindel, et probleem ei olnud meie lahendustes, mitte meie poolel. 1% tõenäosus, et äkki olime me siiski eksinud, pani muretsema. Aga sõltumata sellest, kelle poolel häda oli — seda tuli parandada. Kliente, olgu nad millised tahes, ei tohtinud jätta sellise räige andmelekke juurde — see oli liiga tõsine.

Kuni kella kolmeni hommikul töötasime restorani laua taga. Lisades sündmusi, insert select — ja hakkasime täitma vahepealseid kohti. Kui oled andmeid kaotanud, siis teed nii — võtad eelmiste päevade keskmised andmed ja asetad need kadunud kohtadesse.

Pärast kella kolme hommikul läksin sõbraga minu juurde, tellisime alkomarketist õlut. Istusin sülearvuti ja Klickhausi probleemide ees, sõber rääkis mulle millestki. Lõpuks, tunni pärast, vihastas ta selle peale, et töötan, mitte ei joo temaga õlut, ja lahkus. Klasika — kasvasin devopsi sõpruseks.

Kell kuus hommikul loon uuesti tabeli ja andmed hakkasid voolama. Kõik hakkas töötama ilma kaotusteta.

Edasi läks keeruliseks. Kõik süüdistasid üksteist andmete kaotsiminekus. Kui juhtuks uus viga, olen ma kindel, et algaks tulistamine.

Nendel võitlustes hakkasime lõpuks aru saama – ettevõttes arvati, et me oleme need tüübid, kes töötavad andmete kallal ja jälgivad tabelite struktuuri. Nad segasid administraatoreid ja andmebaasi spetsialiste. Ja tulid küsima meilt kaugel mitte kui administraatoritelt.

Nende peamine kaebus oli – milleks, kuradi pärast, vastasite varukoopiate eest ja ei teinud neid korralikult, lasite andmed kaotsi minna. Ja kõik see koos sõimuga.

Mulle oli vajalik õiglus. Otsisin välja sõnumivahetuse ja lisasin kõik ekraanipildid, kus Leonid püüab igal võimalusel teha sellist varukoopiat, nagu see tehti. Nende CTO leidis mu poole pärast minu telefonihelistamist.

Ettevõtte juht seevastu ei tahtnud oma inimesi süüdistada. Ekraanipildid ja sõnad ei mõjunud talle. Ta arvas, et kuna meie oleme siin eksperdid, siis pidime kõik ümber veenma ja oma otsust kaitsema. Ilmselt kuulus meie ülesannete hulka õpetada Leonid ja otse tema ringi sõites jõuda põhijuhtini ning talle isiklikult kõik meie kahtlused varukoopiate kontseptsiooni osas välja öelda.

Vestluses voolas vihkamine, varjatud ja pealetükkiv agressioon. Ma ei teadnud, mida teha. Kõik oli ummikus. Siis soovitasid mulle kõige lihtsamat viisi – kirjutada juhile ja korraldada temaga kohtumine. Vassil, inimesed ei ole päriselus nii julged, kui vestluses. Minu sõnumile vastas boss: tule, pole probleemi.

See oli kõige ebameeldivam kohtumine mu karjääri jooksul. Minu liitlane kliendi poolt – CTO – ei suutnud leida aega. Kohtumisele sõitsin mina koos bosi ja Leoni.

Kord pärast kordat läbimõtlemine meie võimaliku dialooge käis mu peast läbi. Õnnestus saabuda palju varem, pool tundi enne. Algasid närvid, suitsetasin 10 sigaretti. Ma mõistsin, et kõik – ma olen, kurat, üksi. Ma ei suuda neid ümber veenda. Ja astusin lifti.

Kuna tõusin, kriibisin ma enda kergendaja katki.

Lõpuks ei olnud Leoni kohtumisel. Ja me rääkisime suurepäraselt kõigest peajuhiga! Sergei rääkis mulle oma muredest. Ta ei tahtnud "automatiseerida ClickHouse'i" – ta soovis, "et päringud töötaksid".

Ma ei näinud seal rumalat, vaid head tüüpi, kes muretseb oma äri pärast, süvenenud tööle 24/7. Vestlusmaal mõnikord joonistab meile kurikaelu, petiste ja lollide kujusid. Kuid elus on nad samasugused inimesed nagu sina.

Sergeile ei olnud vaja ainult paar DevOps'i tööle. Probleem, mis neil tekkis, oli palju suurem.

Ma ütlesin, et suudan tema probleemid lahendada — lihtsalt, see on hoopis teine töö ja mul on selle jaoks tuttav DB-ehitaja. Kui oleksime alguses teada saanud, et see on neile vajalik, oleksime paljusid asju vältinud. Hilja, aga me mõistsime, et probleem oli halbades andmetes, mitte infrastruktuuris.

Me shook hands, our pay was raised two and a half times, but on the condition — I take all the hassle with their data and ClickHouse. In the elevator, I messaged that same DB guy Max and got him on board. We needed to overhaul the entire cluster.

Vastuvõetud projektis oli nagu palju jama. Alustades eelmainitud „varundusest“. Selgus, et see sama „varundus“-klaster ei olnud isoleeritud. Kõike testiti seal, mõnikord isegi viidi tootmisse.

Ettevõtte arendajad lõid oma kohandatud „andmete sisestaja“. See töötas nii: faili batšid, käivitas skripti ja lõi andmed tabelisse. Kuid peamine probleem oli see, et tohutu hulk andmeid tuli ühe lihtsa päringu jaoks. Päring ühendas andmeid sekunditi. Kõik ühe numbriga — päeva kokkuvõttega.

Ettevõtte arendajad kasutasid analüütikat valesti. Nad läksid Grafanasse, kirjutasid oma kuningliku päringu. See tõi välja andmed kahe nädala jooksul. Saadi ilus diagramm. Aga tegelikult käis andmete päring iga 10 sekundi tagant. Kõik see kogunes järjekorda, kuna ClickHouse lihtsalt ei suutnud töötlemist välja kannatada. Just siin peitus põhjus. Grafanas ei töötanud midagi, päringud seisisid järjekorras, pidevalt saabusid vanad, ebaolulised andmed.

Me seadistasi ümber klastrit, tegime sisestuse uuesti. Ettevõtte arendajad kirjutasid oma „andmete sisestaja“ ümber ja see hakkas andmeid õigesti jagama.

Max tegi infrastruktuuri täieliku auditi. Ta koostas plaani üleminekuks täieõiguslikule tagaküljele. Kuid see ei rahuldanud ettevõtet. Nad ootasid Maxilt maagilist saladust, mis võimaldaks töötada vanamoodsalt, aga tõhusalt. Projekti eest vastutas ikka Leonia, kes ei olnud midagi õppinud. Kõigest, mis pakuti, valis ta jälle oma alternatiivi. Nagu alati, oli see kõige valikulisem… julge lahendus. Leonia arvates oli tema ettevõttel eriline tee. Kõrge ja täis jääberge.

Ongi kõik, nii me lahku läksime — tegime, mis suudame.

Täis sinikate ja kogemustega avasime oma äri ning kehtestasime endale mitmeid põhimõtteid. Praegu ei alusta me tööd enam kunagi nagu tookord.

Dibiayšik Max liitus meiega pärast seda projekti ja me töötame siiani suurepäraselt koos. Klikihausiga seotud juhtum õpetas meid enne töö alustamist infrastruktuuri täielikku ja põhjalikku auditi tegemist. Me hindame, kuidas kõik töötab, ja siis võtame alles ülesanded. Ja kui varem oleksime kohe infrastruktuuri teenindama läinud, siis nüüd teeme kõigepealt ühekordse projekti, mis aitab mõista, kuidas see töökorraldusse viia.

Ja jah, me lõpetame halva infrastruktuuriga projektide kõrvalehoidmise. Isegi kui need maksavad palju, isegi sõprade tõttu. Haigete projektide juhtimine ei ole kasulik. Selle mõistmine aitas meil kasvada. Kas tuleb ühekordne projekt infrastruktuuri korda tegemiseks ja seejärel teenindusleping, või lihtsalt möödaminne. Mööda järgmist jäämäge.

P.S. Nii et kui teil on küsimusi oma infrastruktuuri kohta, võite julgelt esitada taotluse.

Meil on kuus kaks tasuta auditi, võib-olla on just teie projekt nende seas.

Allikas: habr.com