Hawnhekk hawn storja li biddlet għal dejjem l-approċċ tiegħi lejn ix-xogħol tad-devops. Lura fi żminijiet ta’ qabel il-Covid, ħafna, ħafna qabelhom, meta l-ġuvini u jien konna qed nippjanaw in-negozju tagħna stess u nibdew nibdew ordnijiet bl-addoċċ, offerta waħda waqgħet fil-karrettun tiegħi.
Il-kumpanija li kitbet dan kienet kumpanija tal-analiżi tad-dejta. Hija pproċessat eluf ta’ talbiet kuljum. Waslu għandna bil-kliem: guys, għandna ClickHouse u rridu nawtomatizzaw il-konfigurazzjoni u l-installazzjoni tagħha. Irridu Ansible, Terraform, Docker u biex dan kollu jinħażen f'Git. Irridu raggruppament ta 'erba' nodi b'żewġ repliki kull wieħed.
Hija talba standard, hemm għexieren minnhom, u għandek bżonn soluzzjoni standard ugwalment tajba. Aħna għidna "ok", u wara ġimgħat 2-3 kollox kien lest. Huma aċċettaw ix-xogħol u bdew jimxu għal cluster Clickhouse ġdid bl-użu tal-utilità tagħna.
Ħadd ma ried jew ma kien jaf kif ifixkel Clickhouse. Imbagħad ħsibna li din kienet il-problema ewlenija tagħhom, u għalhekk l-istazzjon tas-servizz tal-kumpanija sempliċement ta l-approvazzjoni lit-tim tiegħi biex awtomat ix-xogħol kemm jista 'jkun, biex ma nerġax immur hemmhekk jien qatt.
Aħna akkumpanjaw il-mossa, qamu kompiti oħra - twaqqif ta 'backups u monitoraġġ. Fl-istess mument, l-istazzjon tas-servizz ta 'din il-kumpanija ingħaqad ma' proġett ieħor, u ħallielna b'wieħed minn tagħna - Leonid - bħala kmandant. Lenya ma kinitx raġel b'don ħafna. Żviluppatur sempliċi li f'daqqa waħda tpoġġa inkarigat minn Clickhouse. Jidher li dan kien l- ewwel inkarigu tiegħu biex jamministra xi ħaġa, u l- unur kbir ġagħlu jħossu maħkub.
Flimkien bdejna biex nagħmlu backups. Issuġġerejt li tagħmel backup tad-dejta oriġinali minnufih. Biss teħodha, zippha u itfagħha b'mod eleganti f'xi c3. Id-dejta mhux ipproċessata hija deheb. Kien hemm għażla oħra - li tagħmel backup tat-tabelli nfushom f'Clickhouse, bl-użu ta 'friża u kkupjar. Iżda Lenya ħareġ bis-soluzzjoni tiegħu stess.
Huwa ħabbar li għandna bżonn it-tieni cluster Clickhouse. U minn issa 'l quddiem se niktbu data għal żewġ gruppi - il-prinċipali u l-backup. Ngħidlu, Lenya, mhux se jkun backup, iżda replika attiva. U jekk id-data tibda tintilef fil-produzzjoni, l-istess jiġri fuq il-backup tiegħek.
Imma Lenya qabdet l-isteering sew u rrifjutat li tisma’ l-argumenti tiegħi. Tkellimna miegħu għal żmien twil fiċ-chat, iżda ma kien hemm xejn x'tagħmel - Lenya kienet inkarigata mill-proġett, konna biss mikrija gidjien mit-triq.
Aħna mmonitorjajna l-istat tal-cluster u ċċarġajna biss għax-xogħol tal-amministraturi. Amministrazzjoni ta' Clickhouse pura mingħajr ma tidħol fid-data. Il-cluster kien disponibbli, id-diski kienu tajbin, in-nodi kienu tajbin.
Ftit konna nafu li rċevejna din l-ordni minħabba nuqqas ta’ ftehim terribbli fi ħdan it-tim tagħhom
Il-maniġer ma kienx kuntent li Clickhouse kien bil-mod u d-data ġieli tintilef. Huwa stabbilixxa lill-istazzjon tas-servizz tiegħu l-kompitu li jidher. Huwa dehret mill-aħjar li seta’ u kkonkluda li kellna biss bżonn nawtomatizzaw il-Clickhouse - dak kollu. Iżda hekk kif malajr deher ċar, ma kellhom bżonn tim ta' devops xejn.
Dan kollu rriżulta li kien uġigħ ħafna, ħafna. U l-iktar ħaġa offensiva kienet li kien f’għeluq snini.
Il-Ġimgħa filgħaxija. Għamilt riżerva fil-bar tal-inbid favorit tiegħi u stiednet lill-homies.
Kważi qabel ma nitilqu, nirċievu kompitu biex noħolqu alter, aħna tlestiha, kollox huwa tajjeb. Alter għadda, clickhouse ikkonfermat. Aħna diġà sejrin fil-bar, u jiktbu lilna li m'hemmx biżżejjed dejta. Aħna kkalkulajna li kollox jidher li huwa biżżejjed. U telqu jiċċelebraw.
Ir-restorant kien storbjuż nhar il-Ġimgħa. Wara li ordnajna xorb u ikel, konna nilqgħu fuq is-sufani. Dan iż-żmien kollu, slack tiegħi kien mgħarraq bil-mod bil-messaġġi. Huma kitbu xi ħaġa dwar nuqqas ta 'dejta. Ħsibt - filgħodu huwa aktar għaqli minn filgħaxija. Speċjalment illum.
Eqreb il-ħdax bdew iċemplu. Kien il-kap tal-kumpanija... "Probabbilment iddeċieda li jifraħni," ħsibt b'eżitazzjoni ħafna, u qabad it-telefon.
U smajt xi ħaġa bħal: “Int għamilt id-dejta tagħna! Inħallsek, imma xejn ma jaħdem! Int kont responsabbli għall-backups, u ma għamiltx xi ħaġa kkritikata! Ejja nirranġawha!" - biss anke ruder.
- Taf xiex, oħroġ! Illum huwa għeluq snini, u issa se nixrob, u mhux nidħol fil-prodotti homemade tiegħek ta 'Ġunju mill-ħażin u l-bsaten!
Hekk ma għedtx. Minflok, ħriġt il-laptop u bdejt naħdem.
Le, ibbumbardjajt, ibbumbardejt bħall-infern! Huwa ferra kawstika "Għidtlek hekk" fiċ-chat - minħabba li l-backup, li ma kien backup xejn, - ovvjament, ma ssejvja xejn.
Is-subien u jien dehret kif inwaqqfu r-reġistrazzjoni manwalment u niċċekkjaw kollox. Aħna fil-fatt żgura li xi wħud mid-dejta ma nkitbetx.
Waqqafna nirrekordjaw u għoddna n-numru ta’ avvenimenti li kien hemm kuljum. Huma tellgħu aktar data, li minnhom terz biss ma ġiex irreġistrat. Tliet shards b'2 repliki kull wieħed. Int daħħal 100.000 ringiela - 33.000 mhumiex irreġistrati.
Kien hemm konfużjoni sħiħa. Kulħadd qal lil xulxin biex jaqbdu kull dawra: Lenya marret hemm l-ewwel, segwita minni nnifsi u l-fundatur tal-kumpanija. Biss l-istazzjon tas-servizz li ngħaqad ipprova jiddevja t-telefonati u l-korrispondenza tal-għajjat tagħna biex insibu soluzzjoni għall-problema.
Ħadd ma fehem x’kien qed jiġri tassew
Il-ġuvini u jien konna sempliċiment minfuħa meta rrealizzajna li terz tad-dejta kollha mhux biss ma kinitx irreġistrata, iżda ntilfet! Irriżulta li l-ordni fil-kumpanija kienet kif ġej: wara l-inserzjoni, id-dejta tħassret b'mod irrevokabbli, l-avvenimenti ġew moħlija f'lottijiet. Immaġinajt kif Sergei kien se jikkonverti dan kollu f’rubli mitlufa.
Birthday tiegħi kien ukoll jintrema fil-żibel. Poġġejna fil-bar u ġġenera ideat, ippruvajna nsolvu l-puzzle li kien intefagħna. Ir-raġuni għall-waqgħa ta’ Clickhouse ma kinitx ovvja. Forsi huwa n-netwerk, forsi huwa s-settings tal-Linux. Iva, trid tkun xi tkun, kien hemm biżżejjed ipoteżi.
Ma ħadtx il-ġurament tal-iżviluppatur, iżda kien diżonest li nabbanduna l-guys fuq in-naħa l-oħra tal-linja - anki jekk huma twaħħalna għal kollox. Kont ċert 99% li l-problema ma kinitx fid-deċiżjonijiet tagħna, mhux min-naħa tagħna. Iċ-ċans ta '1% li kellna invitat kien ħruq bl-ansjetà. Imma ma jimpurtax fuq liema naħa kien fuq l-inkwiet, kellu jiġi rranġat. Li jħallu lill-klijenti, irrispettivament minn min huma, b'tali tnixxija ta 'dejta terribbli hija krudili wisq.
Ħdimna fuq il-mejda tar-ristoranti sat-tlieta ta’ filgħodu. Żidna l-avvenimenti, daħħal select, u off morna nimlew il-vojt. Meta tgħaqqad id-dejta, dan huwa kif tagħmel dan: tieħu d-dejta medja għall-jiem ta 'qabel u daħħalhom f'dawk imbevuti.
Wara t-tlieta ta’ filgħodu jien u ħabibi morna d-dar tiegħi u ordnajna birra mis-suq tal-alkoħol. Kont bilqiegħda bil-laptop u problemi ta’ Clickhouse, ħabib kien qed jgħidli xi ħaġa. Minħabba f’hekk, wara siegħa kien offiż li kont qed naħdem u ma nixrobx birra miegħu, u telaq. Classic - Kont ħabib ta' Devops.
Sas-6 ta’ filgħodu, erġajt ikkrejt it-tabella, u d-dejta bdiet tgħarraq. Kollox ħadem mingħajr ebda telf.
Imbagħad kien diffiċli. Kulħadd ħtija lil xulxin għat-telf tad-data. Kieku kien ġara bug ġdid, jien ċert li kien ikun hemm sparatura
F'dawn il-ġlied, fl-aħħar bdejna nifhmu - il-kumpanija ħasbet li aħna konna l-guys li jaħdmu bid-dejta u jissorveljaw l-istruttura tat-tabelli. Huma konfuż admins ma 'negozjanti. U ġew jistaqsuna xi ħaġa differenti mill-admins.
L-ilment ewlieni tagħhom huwa - x'inhu l-infern, inti kont responsabbli għall-backups u ma għamilthomx kif suppost, komplejt taħli d-dejta. U dan kollu b'twapet tar-rewinding.
Ridt ġustizzja. Ħaffert il-korrispondenza u waħħalt screenshots ta’ kulħadd, fejn Leonid bil-qawwa kollha jġiegħelhom jagħmlu l-backup li sar. L-istazzjon tas-servizz tagħhom ħa n-naħa tagħna wara t-telefonata tiegħi. Aktar tard Lenya ammettiet il-ħtija tiegħu.
Il-kap tal-kumpanija, għall-kuntrarju, ma riedx iwaħħal in-nies tiegħu stess. Screenshots u kliem ma kellhom l-ebda effett fuqu. Huwa jemmen li peress li konna esperti hawn, kellna nikkonvinċu lil kulħadd u ninsistu fuq id-deċiżjoni tagħna. Apparentement, il-kompitu tagħna kien li ngħallmu lil Lenya u, barra minn hekk, tevita lilu, li nħatar bħala l-maniġer tal-proġett, biex naslu għall-ħaġa prinċipali u personalment ferra d-dubji kollha tagħna dwar il-kunċett ta 'backups lilu.
Iċ-chat nixxef b’mibegħda, aggressjoni moħbija u mhux moħbija. Ma kontx naf x'għandi nagħmel. Kollox waqaf. U mbagħad tawni l-eħfef mod - li nikteb messaġġ personali lill-maniġer u nirranġa laqgħa miegħu. Vasya, in-nies fil-ħajja reali mhumiex malajr daqs kemm huma fiċ-chat. Il-boxxla wieġeb għall-messaġġ tiegħi: ejja, l-ebda mistoqsija.
Kienet l-aktar laqgħa tal-biża’ fil-karriera tiegħi. L-alleat tiegħi mill-klijent - STO - ma setgħetx issib il-ħin. Mort għal-laqgħa mal-boxxla u Lena.
Għal darb'oħra rreġejt id-djalogu possibbli tagħna f'rasi. Irnexxieli nasal kmieni ħafna, nofs siegħa qabel. Bdejt niġi nervuża, tpejjep 10 sigaretti fhimt, dak hu - qed niżżid waħdi. Mhux se nkun kapaċi nikkonvinċihom. U daħal fil-lift.
Waqt li kien iqum, laqat il-lajter tant li kissru.
Bħala riżultat, Lenya ma kinitx fil-laqgħa. U kellna konverżazzjoni kbira dwar kollox mal-boxxla! Sergei qalli dwar l-uġigħ tiegħu. Ma riedx "awtomatizza Clickhouse" - ried "jagħmel il-mistoqsijiet jaħdmu."
Ma rajtx mogħża, iżda raġel tajjeb, inkwetat dwar in-negozju tiegħu, mgħaddas fix-xogħol 24/7. Iċ-chat ħafna drabi jiġbedna villains, scoundrels u nies stupidi. Imma fil-ħajja dawn huma nies bħalek.
Sergei ma kellux bżonn ftit devops għall-kiri. Il-problema li kienu rriżulta li kienet ferm akbar.
Għidt li stajt insolvi l-problemi tiegħu - huwa biss xogħol kompletament differenti, u għandi ħabib li jaħdem għalih. Kieku konna nafu mill-bidu li dan kien deal għalihom, konna nevitaw ħafna. Huwa tard, imma indunajna li l-problema kienet fil-ġestjoni tad-data ħażina, mhux fl-infrastruttura.
Aħna ħadna l-idejn, għollew il-paga tagħna darbtejn u nofs, iżda bil-kundizzjoni li nieħu assolutament il-mess kollu bid-dejta tagħhom u Clickhouse għalija nnifsi. Fil-lift, ikkomunikajt ma' dak l-istess DI Max u kkonnettjah max-xogħol. Kien meħtieġ li titnaddaf il-grupp kollu.
Kien hemm ħafna żibel fil-proġett adottat. Nibdew bl-imsemmija "backup". Irriżulta li dan l-istess cluster "backup" ma kienx iżolat. Ittestjaw kollox fuqu, xi kultant anke poġġih fil-produzzjoni.
L-iżviluppaturi interni tagħna ħolqu l-inserer tad-dejta tad-dwana tagħhom stess. Ħadem hekk: ġabar il-fajls, mexxa l-iskript u għaqqad id-dejta f'tabella. Iżda l-problema ewlenija kienet li ammont kbir ta 'dejta ġiet aċċettata għal talba waħda sempliċi. It-talba ngħaqdet mad-dejta kull sekonda. Kollha għall-fini ta 'numru wieħed - l-ammont kuljum.
L-iżviluppaturi interni użaw l-għodda analitika b'mod żbaljat. Huma marru għand il-grafana u kitbu t-talba rjali tagħhom. Huwa tella 'data għal ġimagħtejn. Irriżulta li kien graff sabiħ. Iżda fir-realtà, it-talba tad-dejta kienet kull 2 sekondi. Dan kollu kien qed jinġabar fi kju għax Clickhouse sempliċement ma ħaditx l-ipproċessar. Dan huwa fejn ir-raġuni prinċipali kienet moħbija. Xejn ma ħadem fi Grafana, it-talbiet kienu fil-kju, u data antika u irrilevanti kienet qed tasal kontinwament.
Aħna kkonfigurajna mill-ġdid il-cluster, erġajna l-inserzjoni. L-iżviluppaturi interni kitbu mill-ġdid l-"inserter" tagħhom, u beda jqassam id-dejta b'mod korrett.
Max wettaq verifika sħiħa tal-infrastruttura. Huwa spjega pjan għal transizzjoni għal backend sħiħ. Iżda dan ma kienx jixraq lill-kumpanija. Huma stennew sigriet maġiku minn Max li jippermettilhom jaħdmu l-mod antik, iżda biss b'mod effiċjenti. Lenya kienet għadha responsabbli mill-proġett, u ma tgħallem xejn. Minn dak kollu li ġie offrut, reġa għażel l-alternattiva tiegħu. Bħal dejjem, din kienet l-aktar deċiżjoni selettiva... kuraġġuża. Lenya temmen li l-kumpanija tiegħu kellha triq speċjali. Xewn u mimli icebergs.
Fil-fatt, dak huwa fejn infirdejna - għamilna li stajna.
Mimli għarfien u għerf minn din l-istorja, ftaħna n-negozju tagħna stess u ffurmajna diversi prinċipji għalina nfusna. Qatt mhu se nibdew naħdmu bl-istess mod issa kif konna naħdmu dak iż-żmien.
DJ Max ingħaqad magħna wara dan il-proġett, u għadna naħdmu mill-aqwa flimkien. Il-każ Clickhouse għallimni kif nagħmel verifika sħiħa u bir-reqqa tal-infrastruttura qabel ma nibda x-xogħol. Nifhmu kif jaħdem kollox u mbagħad biss naċċettaw il-kompiti. U jekk qabel konna ngħaġġlu immedjatament biex inżommu l-infrastruttura, issa l-ewwel nagħmlu proġett ta’ darba, li jgħinna nifhmu kif inġibuha f’kundizzjoni tax-xogħol.
U iva, nevitaw proġetti b'infrastruttura ħażina. Anke jekk għal ħafna flus, anke jekk minħabba ħbiberija. Mhuwiex ta 'profitt li tmexxi proġetti morda. Ir-realizzazzjoni ta’ dan għenna nikbru. Jew proġett ta’ darba biex l-infrastruttura tiġi f’ordni u mbagħad kuntratt ta’ manutenzjoni, jew sempliċement itiru. Passat iceberg ieħor.
PS Mela jekk għandek mistoqsijiet dwar l-infrastruttura tiegħek, .
Għandna 2 verifiki b'xejn fix-xahar, forsi l-proġett tiegħek se jkun wieħed minnhom.
Sors: www.habr.com