Kuni kõik tähistasid minu sünnipäeva, parandasin ma hommikuni klastrit — ja arendajad säutsusid oma vigu minu suunas.

Siin on lugu, mis muutis igaveseks minu lähenemist DevOpsile. Veel enne Covidit, kaua-kaua enne neid aegu, kui me oma meeskonnaga alles hakkasime mõtlema oma äri peale ja tegelesime juhuslike tellimustega, sain ma Telegrami kaudu ühe pakkumise.

Ettevõte, kes kirjutas, tegeles andmeanalüüsiga. Igal päeval töötlesid nad tuhandeid päringuid. Nad tulid meie juurde sõnadega: "Meil on ClickHouse ja me tahame automatiseerida selle seadistamist ja paigaldamist. Soovime Ansible'it, Terraform'i, Dockerit ja kõike seda, et see oleks salvestatud GIT-i. Tahame nelja sõlme klastrit, kus igaühes on kaks koopiat."

Tavapärane palve, milliseid on kümneid, ning vajame sama head standardlahendust. Me ütlesime: "okei", ja 2-3 nädala jooksul oli kõik valmis. Nad aktsepteerisid töö ja hakkasid meie utiliidi abil uuele ClickHouse'i klassile üle minema.

Neil ei soovinud ega osanud keegi ClickHouse'iga tegeleda. Siis mõtlesime, et see on nende peamine probleem, ja seetõttu andis ettevõtte CTO lihtsalt käskluse minu meeskonnale, et automatiseerida töö maksimaalselt, et sinna enam mitte kunagi sekkuda.

Meie asusime kolimisega, kuid ilmusid uued ülesanded — seadistada varukoopiad ja jälgimine. Just sel hetkel lahkus selle ettevõtte CTO teisele projektile, jättes meile komandöriks ühe oma inimestest — Leonidi. Lёnya polnud just kõige andekam tüüp. Tavaline arendaja, kelle äkki pandi ClickHouse'i peamiseks. Tundub, et see oli tema esimene määramine mingitki juhtida, ja aukohust tuntud kuulsus mõjus talle nagu paljudele.

Koos asusime varukoopiate kallale. Ma pakkusin kohe algandmeid varundama. Lihtsalt võtta, zipida ja elegantset S3'le üles laadida. Algandmed on kuld. Oli ka teine võimalus — varundada tabelid ClickHouse'is, abil külmutamist ja kopeerimist. Kuid Лёня tuli välja oma lahendusega.

Ta kuulutas, et meil on vaja teist ClickHouse'i klastrit. Edaspidi kirjutame andmed kahe klastrisse — peamise ja varukoopiale. Ma ütlen talle, kuule, Lёnya, see pole varukoopia — vaid aktiivne peegeldus. Ja kui andmed hakkavad kaduma tootmises, on sinu varukoopias sama asi.

Aga Ljonja hoidis kindlalt rooli ja keeldus mu argumendid kuulamast. Me arutasime pikka aega chatis, aga muud midagi ei jäänud — Ljonja juhtis projekti, meie olime lihtsalt tänavalõbustajateks palgatud poisid.

Me jälgisime klastrite seisukorda ja maksime ainult administraatorite töö eest. Puhtalt ClickHouse'i haldamine, ilma andmetesse sekkumata. Klastri ligipääs oli olemas, kettad olid normaalsed, sõlmed olid korras.

Me ei kahtlustanud veel, et saime selle tellimuse hirmuäratseva arusaamatuse tõttu nende meeskonna seest.

Juht oli rahulolematu, et ClickHouse töötab aeglaselt ja andmed kaovad mõnikord. Ta seadis oma CTO-le ülesande asja uurida. Too uuris, kuidas oskas, ja tegi järelduse, et on lihtsalt vaja ClickHouse automatiseerida — ja kõik. Kuid nagu peagi selgus — nad vajasid täiesti teistsugust devopsi meeskonda.

Kogu see teave tuli välja väga-väga valulikult. Ja kõige häbiväärsem oli see, et see juhtus mu sünnipäeval.

Reede õhtu. Ma broneerisin laua oma lemmikveinibaaris ja kutsusin sõpru.

Peaaegu väljasõidu eel saime ülesande teha alternatiivi, tegime selle ära, kõik oli korras. Alternatiiv läks läbi, klikhaus kinnitas. Me olime juba baaris koos, kui meilt kirjutati, et andmed on puudu. Kontrollisime — tundus, et kõik on olemas. Ja läksime pidutsema.

Restoranis oli nagu reede õhtul ikka, mürarikka. Tellisime joogid ja toidu ning vajusime diivanitele. Kogu selle aja tulid mu Slaki sõnumid üha rohkem. Mingi teema andmete puudusest. Mõtlesin, et hommik on õhtust targem. Eriti veel tänasel päeval.

Kella üksteist hakkasime juba helistama. See oli ettevõtte juht... "Küllap tahtis mind õnnitleda," mõtlesin väga ebakindlalt ning vastasin telefonile.

Ja kuulsin midagi stiilis: "Teie esitasite meie andmed! Ma maksan teile, aga mitte miski ei tööta! Te vastutasite varukoopiate eest ja ei teinud mitte midagi! Tehke korda!" — ainult veel jämedamalt.

— Tead, mine sa pekki! Täna on mu sünnipäev ja ma hakkan nüüd jooma, mitte ei tegele teie algajate oma toimetustega, mis on tehtud liigse ja paksu palkidest!

Nii et ma ei öelnud seda. Selle asemel võtsin sülearvuti ja asusin tööle.

Ei, ma pommitasin, ma pommitasin tõeliselt! Kaatsin vestlusesse teravaid 'ma ju ütlesin' — kuna varukoopia, mis tegelikult ei olnud varukoopia, ei päästnud muidugi midagi.

Me kutid mõtlesime välja, kuidas käsitsi peatada salvestamise ja kõik üle kontrollida. Me tõesti veendusime, et osa andmeid ei salvestunud.

Peatasime salvestamise, lugesime kokku sündmused, mis seal päeva jooksul olid. Lisatasime veel andmeid, millest ainult kolmandik ei salvestunud. Kolm shard'i kaks koopiat. Paned 100.000 rida — 33.000 ei salvestu.

Toimus täielik segadus. Kõik saatsid teineteist järjestikusele põrgusse: esimesena läks Leenia, siis järgnesin mina ja ettevõtte asutaja. Ainult hiljuti liitunud CTO üritas meie kõnesid karjudes ning vestlust lahenduse leidmiseks suunata.

Mis tegelikult juhtus — keegi ei saanud aru.

Me olime kutidega lihtsalt šokeeritud, kui mõistsime, et kolmandik kõigist andmetest mitte lihtsalt ei salvestunud — need kaotasid! Selgus, et ettevõttes oli selline kord: pärast sisestamist kustutati andmed pöördumatult, sündmused kadusid hulgiti. Kujutlesin, kuidas Sergei kõike seda soovimatuks saanud rubla sisse muundab.

Ka minu sünnipäev visati ka prügikasti. Me istusime baaris ja genereerisime ideid, püüdes ära arvata visatud mõistatust. ClickHouse'i kukkumise põhjus ei olnud ilmne. Võib-olla on see võrguga seotud, võib-olla Linuxi seadetega. Mis iganes, hüpoteese tuli piisavalt.

Ma ei andnud arendaja vande, kuid poiste ootamine teisel pool kaablit oli ebaaus — isegi kui nad süüdistasid meid kõiges. Olin 99% kindel, et probleem ei olnud meie lahendustes, mitte meie poolel. 1% võimalus, et ikkagi eksisime, kurnas ärevust. Kuid olenemata sellest, kummal poolel häda ei olnud — see tuli parandada. Kliendiga, olgugi et nad olid, sellise hirmuäratava andmelekkega jätta — see on liiga julm.

Kella kolme hommikul töötasime restoranis laua taga. Me lisasime sündmusi, insert select — ja hakkasime lünki täitma. Kui oled andmed kaotanud, toimib asi nii — võtad keskmised andmed eelmistest päevadest ja sisestad need kaotatud kohtadesse.

Pärast kolm öösel läksin koos sõbra juurde, tellisime alkomarketist õlut. Istusin sülearvuti ja Clickhouse'i probleemide kallal, sõber rääkis mulle midagi. Tulemuseks, tunni pärast solvus ta selle peale, et ma töötan, mitte ei joo temaga õlut, ja sõitis ära. Klassika — devopsi sõber.

Kell 6 hommikul lõin tabeli uuesti üles ja andmed hakkasid laadima. Kõik toimis ilma kaotusteta.

Edasi läks keeruliseks. Kõik süüdistasid teineteist andmete kaotuses. Kui ilmneks uus bug, olen ma kindel, et algaks tulevahetus.

Nendes tülikates aruteludes hakkasime lõpuks aru saama — ettevõttes arvasid, et oleme need tüübid, kes töötavad andmete kallal ja hoolitsevad tabelite struktuuri eest. Nad segasid administraatorid DB adminidega kokku. Ja tulid küsima meie käest kaugelt mitte nagu administraatorite poole.

Nende peamine kaebus oli — kuradi eest, te vastutasite varukoopiate eest ja ei teinud neid korralikult, rikkusite andmed. Ja kõik see koos roppuste ja sõimudega.

Ma tahtsin õiglust. Kaevusin vestlusesse ja lisasin kõik ekraanipiltidega, kus Leonid kõigest jõust nõuab teha selline varukoopia, nagu oli tehtud. Nende CTO asus pärast minu telefonikõnet meie poolele. Lõpuks tunnustas ka Lena oma süüd.

Ettevõtte juhataja ei soovinud oma alaeksperte süüdistada. Ekraanipildid ja sõnad ei mõjunud temale. Ta arvas, et kuna meie oleme siin eksperdid, siis peaksime suutma kõiki veenda ja oma otsusest kinni pidama. Ilmselt oli meie ülesanne õpetada Ljonjat, mööda minnes temast, kes oli projekti juht, jõuda peajuhini ja talle isiklikult kõik meie kahtlused varukoopia kontseptsiooni osas välja öelda.

Vestlusvoog oli täis viha, nii varjatud kui ka avatud agressiooni. Ma ei teadnud, mida teha. Kõik oli ummikus. Siis soovitati mulle kõige lihtsamat viisi — kirjutada projektijuhile ja leppida temaga kohtumise kokku. Vasja, inimesed ei ole elus nii julged nagu vestluses. Minu sõnumile vastas boss: „Tule, pole probleemi.”

See oli mu karjääri kõige hirmuäratav kohtumine. Minu liitlane kliendi poolt — CTO — ei saanud aega leida. Ma sõitsin kohtumisele enda juhiga ja Ljonjaga.

Korduvalt mõtlesin meie võimalikule dialoogile. Suutsin kohale jõuda varakult, poole tunni võrra varem. Alguses tekkis ärevus, suitsutasin 10 sigaretti. Ma mõistsin, et olen täielikult üksi. Ma ei suuda neid veenda. Asetasin end liftisse.

Kuna ma tõusin, kriipisin tuletelega nii, et see purunes.

Lõpuks polnud Leoni kohtumisel kohal. Ja me rääkisime kõigest suurepäraselt! Sergei rääkis mulle oma muredest. Ta ei tahtnud 'ClickHouse'i automatiseerida' — ta tahtis, et 'päringud töötaksid'.

Ma ei näinud kitsed, vaid head kutti, kes muretses oma äri pärast ja oli töös 24/7. Vestlus joonistab meile sageli välja kurikaelu, petiseid ja lolle. Kuid elus on need inimesed samasugused nagu sina.

Sergeile ei olnud vajalikud paar allhankijat. Probleem, mis neil tekkis, osutus palju suuremaks.

Ma ütlesin, et saan tema mured lahendada — lihtsalt see on hoopis teine töö ja mul on selleks tuttav DBA. Kui me alguses oleksime teadnud, et see asi on neile, oleksime palju vältinud. Hilja, aga me mõistsime, et probleem seisnes halvas andmekäitluses, mitte infrastruktuuris.

Me surusime käed ja meie tasu tõusis kaks ja pool korda, kuid tingimusel — ma võtan kõik nende andmete ja ClickHouse'i probleemid enda kanda. Liftis kirjutasin selle sama DBA Maxiga ja ühendasin ta tööle. Tuli kogu klaster läbi töötada.

Projektis oli palju segadust. Alustades juba mainitud „varundusest“. Selgus, et see „varundus“-klaster ei olnud isoleeritud. Sellel katsetati kõike ja vahel lasti isegi tootmisse.

Kohalikud arendajad lõid enda kohandatud „andmete sisestaja“. See töötas nii: kogus faile, käivitas skripti ja ühendas andmed tabelisse. Kuid peamine probleem oli see, et äärmiselt suur andmemass võeti vastu ühe kõige lihtsama päringu jaoks. Päring liitis andmed sekundite kaupa. Kõik selle ühe numbri — päeva kokkuvõtte — nimel.

Kohalikud arendajad kasutasid analüüsitööriista valesti. Nad läksid Grafanasse, kirjutasid oma kuninglikud päringud. Need laadisid alla andmeid kahe nädala kaupa. Tuli ilus graafik. Kuid tegelikult käis andmete päring iga 10 sekundi järel. See kõik kuhjus järjekorda, kuna ClickHouse ei suutnud lihtsalt töötlust toime tulla. Seal peituski peamine põhjus. Grafanas ei töötanud miski, päringud seisid järjekorras, pidevalt saabusid vanad ebaolulised andmed.

Me seadistasime klastrit ümber, muutsime sisestamise protsessi. Kohalikud arendajad kirjutasid oma „sisestaja“ ümber ja see hakkas andmeid korrektselt šardima.

Max viis täieliku infrastruktuuri auditi läbi. Ta koostas plaani üleminekuks täielikule backendile. Kuid see ei rahuldanud ettevõtet. Nad ootasid Maxilt maagilist saladust, mis lubaks vanaviisi töötada, kuid tõhusalt. Projekti eest vastutas endiselt Leonja, kes ei olnud midagi õppinud. Kõigest, mis pakuti, valis ta taas oma alternatiivi. Nagu alati, oli see kõige valitum... julge lahendus. Leonja arvas, et tema ettevõttel on eriline tee. Pikk ja täis jäämägesid.

Omanik, nii me ka lahku läksime — tegime, mis suutsime.

Kogemustega, selle loo õppetunde kandes, alustasime oma äri ja määratlesime endale mitu põhimõtet. Praegu ei alusta me kunagi tööd samamoodi nagu tookord.

Pärast seda projekti liitus meiega Dibiəyşik Max ja me töötame seni suurepäraselt koos. Klikhausiga seotud projekt õpetas meid tehtud töö eel täielikku ja põhjalikku infrastruktuuri auditi läbiviimist. Me süüvime, kuidas kõik toimib, ja alles seejärel võtame ülesanded. Kui varem oleksime kohe hakanud infrastruktuuri teenindama, siis nüüd teeme esmalt ühekorra projekti, mis aitab mõista, kuidas seda töövalmidusse viia.

Jah, me väldime projekte, kus on kehv infrastruktuur. Isegi kui raha on palju, isegi kui sõprade tõttu. Haigete projektide haldamine ei ole kasulik. Selle teadlikkus on aidanud meil kasvada. Kas ühekorra projekt infrastruktuuri korrastamiseks ja seejärel teenindusleping, või lihtsalt jätame selle vahele. Jätame vahele veel ühe jäämäe.

P.S. Nii et kui teil on küsimusi oma infrastruktuuri kohta, võite julgelt jätta taotluse.

Meil on kuus 2 tasuta audiiti, võib-olla on just teie projekt nende seas.

Allikas: habr.com