Hér er saga sem breytti að eilífu nálgun minni á devops vinnu. Aftur á tímum fyrir Covid, löngu, löngu á undan þeim, þegar við krakkarnir vorum bara að skipuleggja okkar eigin fyrirtæki og lausumst við handahófskenndar pantanir, datt eitt tilboð í körfuna mína.
Fyrirtækið sem skrifaði þetta var gagnagreiningarfyrirtæki. Hún afgreiddi þúsundir beiðna daglega. Þeir komu til okkar með orðin: krakkar, við erum með ClickHouse og við viljum gera sjálfvirkan uppsetningu og uppsetningu þess. Við viljum Ansible, Terraform, Docker og að allt sé geymt í Git. Við viljum þyrping af fjórum hnútum með tveimur eftirmyndum hver.
Þetta er staðlað beiðni, það eru heilmikið af þeim og þú þarft jafn góða staðlaða lausn. Við sögðum „allt í lagi“ og eftir 2-3 vikur var allt tilbúið. Þeir samþykktu starfið og byrjuðu að flytja í nýjan Clickhouse-klasa með því að nota tólið okkar.
Enginn vildi eða vissi hvernig ætti að fikta við Clickhouse. Þá töldum við að þetta væri þeirra helsta vandamál og því gaf þjónustustöð fyrirtækisins einfaldlega brautargengi til teymisins míns til að gera vinnuna eins sjálfvirkan og hægt er, til að fara ekki þangað aftur sjálfur.
Við fylgdum flutningnum, önnur verkefni komu upp - uppsetning afritunar og eftirlit. Á sama augnabliki sameinaðist bensínstöð þessa fyrirtækis við annað verkefni, þannig að við fengum einn okkar eigin - Leonid - sem yfirmann. Lenya var ekki mjög hæfileikaríkur strákur. Einfaldur verktaki sem skyndilega var settur í stjórn Clickhouse. Svo virðist sem þetta hafi verið fyrsta verkefni hans til að stjórna einhverju og yfirgnæfandi heiðurinn varð til þess að hann fannst stjörnuhimininn.
Saman fórum við að gera öryggisafrit. Ég lagði til að taka afrit af upprunalegu gögnunum strax. Taktu það bara, renndu því og hentu því glæsilega í einhvern c3. Hrá gögn eru gull. Það var annar möguleiki - að taka öryggisafrit af töflunum sjálfum í Clickhouse, með því að frysta og afrita. En Lenya kom með sína eigin lausn.
Hann tilkynnti að við þurfum annan Clickhouse þyrping. Og héðan í frá munum við skrifa gögn í tvo klasa - aðal og öryggisafrit. Ég segi honum, Lenya, að þetta verði ekki öryggisafrit, heldur virk eftirmynd. Og ef gögn byrja að tapast í framleiðslu mun það sama gerast á öryggisafritinu þínu.
En Lenya greip fast í stýrið og neitaði að hlusta á rök mín. Við spjölluðum lengi við hann á spjallinu en það var ekkert að gera - Lenya sá um verkefnið, við vorum bara ráðnir krakkar af götunni.
Við fylgdumst með stöðu klasans og rukkuðum aðeins fyrir vinnu stjórnenda. Hrein Clickhouse stjórnun án þess að komast inn í gögnin. Klasinn var fáanlegur, diskarnir voru í lagi, hnúðarnir voru í lagi.
Ekki vissum við að við fengum þessa pöntun vegna hræðilegs misskilnings innan þeirra liðs
Stjórnandinn var ósáttur við að Clickhouse væri hægt og gögn týndust stundum. Hann setti bensínstöð sína það verkefni að finna út úr því. Hann fann það út eins og hann gat og komst að þeirri niðurstöðu að við þyrftum bara að gera Clickhouse sjálfvirkan - það er allt. En eins og fljótlega kom í ljós, þurftu þeir alls ekki lið af devops.
Allt þetta reyndist mjög, mjög sárt. Og það sem var mest móðgandi var að það var á afmælisdaginn minn.
föstudagskvöld. Ég pantaði á uppáhaldsvínbarnum mínum og bauð hýsingunum.
Næstum áður en við förum fáum við verkefni til að búa til breytingu, við klárum það, allt er í lagi. Alter stóðst, clickhouse staðfest. Við erum nú þegar að fara á barinn og þeir skrifa okkur að það séu ekki næg gögn. Við reiknuðum út að allt virðist vera nóg. Og þeir fóru til að fagna.
Veitingastaðurinn var hávær á föstudegi. Eftir að hafa pantað drykki og mat, lásum við í sófanum. Allan þennan tíma var slaki minn hægt og rólega yfirfullur af skilaboðum. Þeir skrifuðu eitthvað um skort á gögnum. Ég hugsaði - morguninn er vitrari en kvöldið. Sérstaklega í dag.
Nær ellefu byrjuðu þeir að hringja. Það var yfirmaður fyrirtækisins... „Ákvað líklega að óska mér til hamingju,“ hugsaði ég mjög hikandi og tók upp símann.
Og ég heyrði eitthvað eins og: „Þú klúðraðir gögnunum okkar! Ég borga þér, en ekkert virkar! Þú varst ábyrgur fyrir öryggisafritum og þú gerðir ekki neitt! Við skulum laga það!" - aðeins enn grófara.
- Veistu hvað, farðu út! Í dag á ég afmæli og nú mun ég drekka, og ekki taka þátt í júní heimagerðum vörum þínum úr vitleysu og prikum!
Það er það sem ég sagði ekki. Í staðinn tók ég upp fartölvuna mína og fór að vinna.
Nei, ég sprengdi, ég sprengdi eins og helvíti! Hann hellti ætandi „ég sagði þér það“ í spjallið - vegna þess að öryggisafritið, sem var alls ekki öryggisafrit, bjargaði auðvitað engu.
Við strákarnir komumst að því hvernig á að stöðva upptökuna handvirkt og athuga allt. Við sáum reyndar til þess að sum gagna væru ekki skrifuð.
Við hættum að taka upp og töldum fjölda atburða sem voru þar á dag. Þeir hlóðu upp fleiri gögnum, þar af var aðeins þriðjungur ekki skráður. Þrjú brot með 2 eftirlíkingum hvor. Þú setur inn 100.000 línur - 33.000 eru ekki skráðar.
Það var algjört rugl. Allir sögðu hver öðrum að ríða á víxl: Lenya fór þangað fyrst, þar á eftir kom ég sjálf og stofnandi fyrirtækisins. Aðeins bensínstöðin sem bættist við reyndi að beina hrópandi símtölum okkar og bréfaskiptum til að finna lausn á vandanum.
Enginn skildi hvað var í raun og veru að gerast
Við strákarnir vorum einfaldlega hrifnir í burtu þegar við áttuðum okkur á því að þriðjungur allra gagna var ekki bara ekki skráður, það var glatað! Í ljós kom að röðin í fyrirtækinu var eftirfarandi: eftir innsetningu var gögnunum eytt óafturkallanlega, atburðunum var sóað í lotum. Ég ímyndaði mér hvernig Sergei myndi breyta þessu öllu í glataðar rúblur.
Afmælinu mínu var líka hent í ruslið. Við sátum á barnum og bjuggum til hugmyndir og reyndum að leysa þrautina sem var varpað að okkur. Ástæðan fyrir falli Clickhouse var ekki augljós. Kannski er það netið, kannski eru það Linux stillingarnar. Já, hvað sem þú vilt, það hefur verið nóg af tilgátum.
Ég sór ekki eið framkvæmdaraðilans, en það var óheiðarlegt að yfirgefa strákana á hinum enda línunnar - jafnvel þótt þeir kenndu okkur um allt. Ég var 99% viss um að vandamálið lægi ekki í ákvörðunum okkar, ekki okkar megin. 1% líkurnar á því að við hefðum klúðrað okkur voru brennandi af kvíða. En það var sama hvoru megin vandræðin voru, það varð að laga það. Að skilja viðskiptavini eftir, sama hver þeir eru, með svona hræðilegan gagnaleka er of grimmt.
Unnið var við veitingaborðið til þrjú um nóttina. Við bættum við atburðum, settum inn val og fórum að fylla í eyðurnar. Þegar þú klúðrar gögnunum er þetta hvernig þú gerir það: þú tekur meðaltalsgögn undanfarna daga og setur þau inn í þau ruglaðu.
Eftir þrjú um nóttina fórum við vinkona mín heim til mín og pöntuðum okkur bjór af áfengismarkaðnum. Ég sat með fartölvu og Clickhouse vandamál, vinur var að segja mér eitthvað. Þess vegna móðgaðist hann eftir klukkutíma að ég væri að vinna og drekk ekki bjór með honum og fór. Klassískt - ég var vinur Devops.
Klukkan 6 um morguninn endurskapaði ég töfluna aftur og gögnin fóru að flæða yfir. Allt virkaði án taps.
Þá var það erfitt. Allir kenndu hver öðrum um gagnatapið. Ef nýr galli hefði gerst, er ég viss um að það hefði orðið skotbardagi
Í þessum átökum fórum við loksins að skilja - fyrirtækið hélt að við værum strákarnir sem vinna með gögn og fylgjast með uppbyggingu taflna. Þeir rugluðu stjórnendum saman við sölumenn. Og þeir komu til að spyrja okkur að einhverju öðru en stjórnendurnir.
Helsta kvörtun þeirra er - hvað í fjandanum, þú varst ábyrgur fyrir afritunum og gerðir þau ekki almennilega, þú hélt áfram að sóa gögnunum. Og allt þetta með að spóla mottur til baka.
Ég vildi réttlæti. Ég gróf upp bréfaskiptin og hengdi við skjáskot af öllum þar sem Leonid neyðir þá af öllu afli til að taka öryggisafritið sem gert var. Bensínstöðin þeirra tók okkar málstað eftir símtalið mitt. Síðar viðurkenndi Lenya sekt sína.
Yfirmaður fyrirtækisins vildi þvert á móti ekki kenna eigin fólki um. Skjáskot og orð höfðu engin áhrif á hann. Hann taldi að þar sem við værum sérfræðingar hér yrðum við að sannfæra alla og krefjast ákvörðunar okkar. Augljóslega var verkefni okkar að kenna Lenya og þar að auki framhjá honum, sem var skipaður verkefnastjóri, að komast að aðalatriðinu og úthella persónulega öllum efasemdum okkar um hugtakið öryggisafrit til hans.
Spjallið streymdi af hatri, hulinni og óhulinni yfirgangi. Ég vissi ekki hvað ég átti að gera. Allt hefur stöðvast. Og svo ráðlagðu þeir mér auðveldasta leiðin - að skrifa persónuleg skilaboð til yfirmannsins og skipuleggja fund með honum. Vasya, fólk í raunveruleikanum er ekki eins fljótt og það er í spjalli. Yfirmaðurinn svaraði skilaboðum mínum: komdu, ekki spurning.
Þetta var skelfilegasti fundur á mínum ferli. Bandamaður minn frá viðskiptavininum - STO - gat ekki fundið tíma. Ég fór á fundinn með yfirmanninum og Lenu.
Aftur og aftur spilaði ég mögulega samræður okkar í hausnum á mér. Ég náði að koma mjög snemma, hálftíma fyrirvara. Ég byrjaði að verða kvíðin, ég reykti 10 sígarettur. Ég skildi, það er það - ég er fokking einn. Ég mun ekki geta sannfært þá. Og hann steig inn í lyftuna.
Meðan hann var að standa upp, sló hann svo fast í kveikjarann, að hann braut hann.
Þar af leiðandi var Lenya ekki á fundinum. Og við áttum frábært samtal um allt við yfirmanninn! Sergei sagði mér frá sársauka sínum. Hann vildi ekki "gera sjálfvirkan Clickhouse" - hann vildi "láta fyrirspurnir virka."
Ég sá ekki geit, heldur góðan strák, sem hafði áhyggjur af viðskiptum sínum, á kafi í vinnu allan sólarhringinn. Spjall dregur oft að okkur illmenni, skúrka og heimskt fólk. En í lífinu er þetta fólk alveg eins og þú.
Sergei þurfti ekki nokkra devops til að ráða. Vandamálið sem þeir höfðu reynst vera miklu stærra.
Ég sagði að ég gæti leyst vandamál hans - þetta er bara allt annað starf og ég á vin sem vinnur fyrir það. Ef við hefðum vitað frá upphafi að þetta væri samningur fyrir þá hefðum við sloppið við margt. Það er seint, en við áttum okkur á því að vandamálið lá í vitlausri gagnastjórnun, ekki í innviðum.
Við tókumst í hendur, þeir hækkuðu launin okkar tvisvar og hálft, en með því skilyrði að ég taki algjörlega allt ruglið með gögnunum þeirra og Clickhouse fyrir mig. Í lyftunni átti ég samskipti við þennan sama DI gaur Max og tengdi hann við vinnuna. Það þurfti að moka allan klasann.
Það var mikið rusl í samþykktu verkefninu. Byrjar á umræddu „afriti“. Það kom í ljós að þessi sami „afrit“ þyrping var ekki einangruð. Þeir prófuðu allt á því, stundum jafnvel settu það í framleiðslu.
Innri þróunaraðilar okkar hafa búið til sinn eigin sérsniðna gagnainnsetningu. Hann vann svona: hann safnaði skránum, keyrði handritið og sameinaði gögnin í töflu. En aðalvandamálið var að mikið magn af gögnum var samþykkt fyrir eina einfalda beiðni. Beiðnin bættist við gögnin á hverri sekúndu. Allt fyrir sakir einnar tölu - upphæð á dag.
Innri þróunaraðilar notuðu greiningartólið á rangan hátt. Þeir fóru í grafana og skrifuðu konunglega beiðni sína. Hann hlóð upp gögnum í 2 vikur. Það reyndist fallegt graf. En í raun var gagnabeiðnin á 10 sekúndna fresti. Allt hlóðst þetta upp í biðröð því Clickhouse tók einfaldlega ekki út vinnsluna. Þar var aðalástæðan falin. Ekkert virkaði í Grafana, beiðnir stóðu í biðröð og gömul, óviðkomandi gögn voru stöðugt að berast.
Við endurstilltum þyrpinguna, endurgerðum innsetninguna. Innri verktaki endurskrifuðu „innskotið“ sitt og það byrjaði að klippa gögn á réttan hátt.
Max gerði heildarúttekt á innviðum. Hann lýsti áætlun um umskipti yfir í fullgildan bakenda. En þetta hentaði fyrirtækinu ekki. Þeir bjuggust við töfrandi leyndarmáli frá Max sem myndi gera þeim kleift að vinna á gamla mátann, en aðeins á skilvirkan hátt. Lenya var enn í forsvari fyrir verkefninu og hann lærði ekkert. Af öllu því sem boðið var upp á valdi hann aftur sinn valkost. Eins og alltaf var þetta valkvæðasta... djörf ákvörðunin. Lenya taldi að fyrirtæki hans ætti sér sérstaka leið. Þyrnótt og full af ísjaka.
Reyndar, það er þar sem við skildum - við gerðum það sem við gátum.
Full af þekkingu og visku úr þessari sögu, opnuðum við okkar eigið fyrirtæki og mótuðum okkur nokkrar meginreglur. Við munum aldrei hefja störf á sama hátt og við gerðum þá.
DJ Max gekk til liðs við okkur eftir þetta verkefni og við vinnum enn frábærlega saman. Clickhouse málið kenndi mér hvernig á að framkvæma fullkomna og ítarlega innviðaúttekt áður en hafist er handa. Við skiljum hvernig allt virkar og þá fyrst tökum við á okkur verkefnin. Og ef við myndum flýta okkur strax að viðhalda innviðunum fyrr, þá gerum við fyrst verkefni í eitt skipti sem hjálpar okkur að skilja hvernig á að koma því í vinnuskilyrði.
Og já, við forðumst verkefni með vitlausa innviði. Jafnvel þótt fyrir mikinn pening, jafnvel þó af vináttu. Það er óarðbært að reka sjúk verkefni. Að átta sig á þessu hjálpaði okkur að vaxa. Annaðhvort einskiptisverkefni til að koma innviðum í lag og svo viðhaldssamningur eða við fljúgum bara framhjá. Framhjá öðrum ísjaka.
PS Svo ef þú hefur spurningar um innviði þína, .
Við erum með 2 ókeypis úttektir á mánuði, ef til vill verður verkefnið þitt eitt af þeim.
Heimild: www.habr.com