Ania ang usa ka istorya nga sa kahangturan nagbag-o sa akong pamaagi sa pagtrabaho sa devops. Balik sa mga panahon sa wala pa ang Covid, dugay na, dugay na sila, sa dihang ang mga lalaki ug ako nagplano pa lang sa among kaugalingon nga negosyo ug nag-freelancing sa mga random nga order, usa ka tanyag ang nahulog sa akong kariton.
Ang kompanya nga nagsulat niini usa ka kompanya sa data analytics. Giproseso niya ang libu-libo nga mga hangyo matag adlaw. Mianhi sila kanamo uban ang mga pulong: guys, kami adunay ClickHouse ug gusto namon nga i-automate ang pag-configure ug pag-install niini. Gusto namon ang Ansible, Terraform, Docker ug aron kini tanan matipigan sa Git. Gusto namon ang usa ka pungpong sa upat ka mga node nga adunay duha ka mga kopya matag usa.
Kini usa ka sumbanan nga hangyo, adunay daghang mga niini, ug kinahanglan nimo ang parehas nga maayo nga sumbanan nga solusyon. Miingon kami nga "ok", ug pagkahuman sa 2-3 ka semana andam na ang tanan. Gidawat nila ang trabaho ug nagsugod sa pagbalhin sa usa ka bag-ong cluster sa Clickhouse gamit ang among utility.
Walaβy gusto o nahibal-an kung giunsa ang pag-tinker sa Clickhouse. Dayon naghunahuna kami nga kini ang ilang nag-unang problema, ug busa ang estasyon sa serbisyo sa kompanya naghatag lang sa akong team sa pag-automate sa trabaho kutob sa mahimo, aron dili na ako moadto didto pag-usab.
Giubanan namon ang paglihok, ang ubang mga buluhaton mitungha - ang pag-set up sa mga backup ug pag-monitor. Sa samang higayon, ang estasyon sa serbisyo niini nga kompanya naghiusa sa laing proyekto, nagbilin kanamo sa usa sa among kaugalingon - si Leonid - isip komandante. Si Lenya dili kaayo talented nga lalaki. Usa ka yano nga developer nga kalit nga gibutang sa pagdumala sa Clickhouse. Morag mao kini ang iyang unang asaynment sa pagdumala sa usa ka butang, ug ang hilabihang kadungganan nakapabati kaniya nga na-starstruck.
Nag-uban kami sa paghimo og mga backup. Gisugyot nako nga i-back up dayon ang orihinal nga datos. Kuhaa lang kini, i-zip kini ug elegante nga ihulog kini sa pipila ka c3. Ang hilaw nga datos bulawan. Adunay laing kapilian - aron i-back up ang mga lamesa mismo sa Clickhouse, gamit ang usa ka freeze ug pagkopya. Apan si Lenya nakamugna ug kaugalingong solusyon.
Gipahibalo niya nga kinahanglan namon ang ikaduha nga cluster sa Clickhouse. Ug gikan karon isulat namon ang datos sa duha nga mga pungpong - ang panguna ug backup. Gisultihan ko siya, Lenya, dili kini usa ka backup, apan usa ka aktibo nga kopya. Ug kung ang data magsugod nga mawala sa produksiyon, mao usab ang mahitabo sa imong backup.
Apan gigunitan pag-ayo ni Lenya ang manibela ug nagdumili sa pagpamati sa akong mga argumento. Dugay mi nga nag-chat niya sa chat, pero walay mahimo - si Lenya ang nagdumala sa proyekto, kami gisuholan lang og mga bata gikan sa dalan.
Among gimonitor ang kahimtang sa cluster ug gibayran lang ang trabaho sa mga administrador. Putli nga administrasyon sa Clickhouse nga wala makasulod sa datos. Anaa ang cluster, maayo ang mga disk, maayo ang mga node.
Wala namo nahibal-an nga nadawat namo kini nga order tungod sa usa ka makalilisang nga dili pagsinabtanay sulod sa ilang team
Ang manedyer dili malipayon nga ang Clickhouse hinay ug ang data usahay mawala. Iyang gipahimutang ang iyang service station sa tahas sa pag-ihap niini. Gihunahuna niya kini kutob sa iyang mahimo ug nakahinapos nga kinahanglan namon nga i-automate ang Clickhouse - kana ra. Apan sa diha nga kini nahimong klaro, wala sila magkinahanglan og usa ka grupo sa mga devops.
Kining tanan nahimong sakit kaayo. Ug ang labing makapasakit nga butang mao nga kini sa akong adlawng natawhan.
Biyernes sa gabii. Nagpareserba ko sa akong paboritong wine bar ug giimbitar ang mga homies.
Hapit sa dili pa mobiya, makadawat kami ug buluhaton sa paghimo ug alter, kompletohon namo kini, ok ra ang tanan. Gipasa ang pagbag-o, gikumpirma sa clickhouse. Moadto na kami sa bar, ug sila nagsulat kanamo nga walay igo nga datos. Among gikalkulo nga ang tanan daw igo na. Ug sila mibiya aron sa pagsaulog.
Saba ang restaurant niadtong Biyernes. Naka-order na mig mga ilimnon ug pagkaon, nanglingkod mi sa mga sofa. All this time, hinayhinay nga gibahaan sa mga messages ang akong laag. Nagsulat sila bahin sa kakulang sa datos. Naghunahuna ko - ang buntag mas maalamon kay sa gabii. Ilabi na karong adlawa.
Mas duol sa onse nagsugod sila sa pagtawag. Kini ang pangulo sa kompanya ... "Tingali nakahukom nga pahalipayan ako," naghunahuna ako nga nagduha-duha, ug gikuha ang telepono.
Ug nakadungog ko nga sama sa: "Gidaot nimo ang among datos! Gibayaran ko ikaw, apan wala'y mahimo! Ikaw ang responsable sa pag-backup, ug wala kaβy nahimo nga daotan! Ayusin na nga natin!" - mas bastos pa nga lang.
- Nahibal-an nimo kung unsa, kuhaa ang fuck out! Karon ang akong adlaw nga natawhan, ug karon ako moinom, ug dili moapil sa imong Hunyo nga hinimo sa balay nga mga produkto gikan sa crap ug sticks!
Mao to wala ko niingon. Hinuon, gikuha nako ang akong laptop ug mitrabaho.
Dili, gibombahan ko, gibombahan ko sama sa impyerno! Gibubo niya ang "Gisulti ko na kanimo" sa chat - tungod kay ang backup, nga dili usa ka backup, - siyempre, wala makatipig bisan unsa.
Ang mga lalaki ug ako nahibal-an kung unsaon paghunong ang pagrekord ug susihon ang tanan. Gisiguro gyud namo nga ang pipila sa mga datos wala gisulat.
Gihunong namo ang pagrekord ug giihap ang gidaghanon sa mga panghitabo nga naa didto kada adlaw. Nag-upload sila og dugang nga datos, diin ikatulo ra ang wala natala. Tulo ka shards nga adunay 2 replika ang matag usa. Imong gisulod ang 100.000 ka laray - 33.000 ang wala natala.
Adunay hingpit nga kalibog. Ang tanan nagsulti sa usag usa nga magpuli-puli: Si Lenya miadto didto, gisundan sa akong kaugalingon ug ang nagtukod sa kompanya. Ang service station lang nga miduyog misulay sa pag-divert sa among singgit nga tawag ug mga sulat ngadto sa pagpangita og solusyon sa problema.
Walay nakasabut sa tinuod nga nahitabo
Ang mga lalaki ug ako yano nga nahingangha sa dihang nahibal-an namon nga ang ikatulo nga bahin sa tanan nga datos dili lamang wala natala, nawala kini! Nahibal-an nga ang pagkasunud sa kompanya mao ang mga musunud: pagkahuman sa pagsal-ot, ang datos gitangtang nga dili mabag-o, ang mga panghitabo nausik sa mga batch. Naghunahuna ko kung giunsa ni Sergei pag-convert kining tanan nga nawala nga mga rubles.
Ang akong adlaw nga natawhan gilabay usab sa basurahan. Nanglingkod kami sa bar ug nakamugna og mga ideya, naningkamot sa pagsulbad sa puzzle nga gilabay kanamo. Ang hinungdan sa pagkahulog ni Clickhouse dili klaro. Tingali kini ang network, tingali kini ang mga setting sa Linux. Oo, bisan unsa ang imong gusto, adunay igo nga mga pangagpas.
Wala nako gipanumpa ang developer, apan dili matinud-anon nga biyaan ang mga lalaki sa pikas tumoy sa linya - bisan kung gibasol nila kami sa tanan. Ako 99% sigurado nga ang problema wala sa among mga desisyon, dili sa among kiliran. Ang 1% nga higayon nga kami napakyas nagdilaab sa kabalaka. Apan bisan asa nga bahin ang kasamok, kini kinahanglan nga ayohon. Ang pagbiya sa mga kostumer, bisan kinsa pa sila, nga adunay usa ka makalilisang nga pagtulo sa datos labi ka mabangis.
Nagtrabaho kami sa lamesa sa restawran hangtod alas tres sa buntag. Gidugang namo ang mga panghitabo, gisukip ang pinili, ug milakaw kami aron pun-on ang mga kal-ang. Kung imong gibuak ang datos, mao kini kung giunsa nimo kini buhaton: gikuha nimo ang kasagaran nga datos sa miaging mga adlaw ug gisulod kini sa mga naguba.
Human sa alas tres sa buntag, ang akong higala ug ako miadto sa akong balay ug mi-order og beer gikan sa merkado sa alkohol. Naglingkod ko nga adunay usa ka laptop ug mga problema sa Clickhouse, usa ka higala ang nagsulti kanako usa ka butang. Ingon usa ka sangputanan, pagkahuman sa usa ka oras nasakitan siya nga nagtrabaho ako ug wala mag-inom og beer uban niya, ug mibiya. Classic - Usa ako ka higala ni Devops.
Pagka-alas 6 sa buntag, gibalik nako ang lamesa, ug ang datos nagsugod sa pagbaha. Ang tanan nagtrabaho nga walaβy kapildihan.
Unya lisod. Ang tanan nagbasol sa usag usa alang sa pagkawala sa datos. Kung adunay bag-ong bug nga nahitabo, sigurado ako nga adunay usa ka shootout
Sa kini nga mga away, sa katapusan nagsugod kami sa pagsabut - ang kompanya naghunahuna nga kami ang mga lalaki nga nagtrabaho sa datos ug nagmonitor sa istruktura sa mga lamesa. Gilibog nila ang mga admin sa mga tigbaligya. Ug niabot sila para mangutana namo ug lahi sa mga admin.
Ang ilang panguna nga reklamo mao - kung unsa ang impyerno, ikaw ang responsable sa mga pag-backup ug wala nimo buhata kini sa husto, nagpadayon ka sa pag-usik sa datos. Ug kining tanan uban ang pag-rewinding nga mga banig.
Gusto ko og hustisya. Akong gikalot ang mga sulat ug gilakip ang mga screenshot sa tanan, diin si Leonid sa tanan niyang kusog nagpugos kanila sa paghimo sa backup nga gihimo. Ang ilang service station midapig namo human sa akong tawag sa telepono. Sa ulahi giangkon ni Lenya ang iyang sala.
Ang pangulo sa kompanya, sa kasukwahi, dili gusto nga basolon ang iyang kaugalingon nga mga tawo. Ang mga screenshot ug mga pulong walay epekto kaniya. Nagtuo siya nga tungod kay mga eksperto kami dinhi, kinahanglan namon nga kombinsihon ang tanan ug ipugos ang among desisyon. Dayag, ang among tahas mao ang pagtudlo kang Lenya ug, dugang pa, laktawan siya, nga gitudlo isip manager sa proyekto, aron makaabut sa panguna nga butang ug personal nga ibubo ang tanan namong mga pagduhaduha bahin sa konsepto sa pag-backup kaniya.
Ang chat nag-awas sa pagdumot, gitago ug dili matago nga agresyon. Wala ko kabalo unsa akong buhaton. Ang tanan nahunong. Ug unya gitambagan nila ako sa labing kadali nga paagi - sa pagsulat sa usa ka personal nga mensahe sa manedyer ug paghikay sa usa ka miting uban kaniya. Vasya, ang mga tawo sa tinuod nga kinabuhi dili sama ka paspas sa chat. Ang boss mitubag sa akong mensahe: umari, walay pangutana.
Kini ang labing makahadlok nga miting sa akong karera. Ang akong kaalyado gikan sa kliyente - STO - dili makit-an ang oras. Miadto ko sa tigom kauban ang amo ug si Lena.
Balik-balik ko nga gibalikbalik sa akong ulo ang posibleng panag-istoryahanay. Nakaabot kog sayo kaayo, tunga sa oras nga abante. Gikulbaan ko, nanigarilyo ko og 10 ka sigarilyo. Nakasabot ko, mao na - nag-inusara ko. Dili nako sila makombinsir. Ug nisaka siya sa elevator.
Samtang nagbangon siya, gihapak niya pag-ayo ang lighter nga iyang nabuak.
Subong resulta, wala si Lenya sa miting. Ug maayo ang among panag-istoryahanay bahin sa tanan uban sa boss! Gisultihan ko ni Sergei bahin sa iyang kasakit. Dili niya gusto nga "i-automate ang Clickhouse" - gusto niya nga "magtrabaho ang mga pangutana."
Wala koy nakita nga kanding, apan usa ka maayong tawo, nabalaka sa iyang negosyo, naunlod sa trabaho 24/7. Ang chat kanunay magdani kanato nga mga kontrabida, mga bastos ug mga buang nga tawo. Apan sa kinabuhi kini nga mga tawo sama kanimo.
Si Sergei wala magkinahanglan og usa ka magtiayon nga mga devops alang sa suhol. Ang problema nga ilang nahimo nga mas dako.
Miingon ko nga masulbad nako ang iyang mga problema - lahi ra kini nga trabaho, ug naa koy higala nga nagtrabaho alang niini. Kung nahibal-an pa namon gikan sa sinugdanan nga kini usa ka kasabutan alang kanila, daghan unta kami nga likayan. Ulahi na, apan nahibal-an namon nga ang problema naa sa dili maayo nga pagdumala sa datos, dili sa imprastraktura.
Naglamano kami, gipataas nila ang among suweldo duha ug tunga ka beses, apan sa kondisyon nga akong kuhaon ang tibuuk nga kagubot sa ilang datos ug Clickhouse alang sa akong kaugalingon. Sa elevator, nakig-communicate ko sa mao nga DI nga lalaki nga si Max ug gikonektar siya sa trabaho. Gikinahanglan nga pala ang tibuok cluster.
Adunay daghang basura sa gisagop nga proyekto. Sugod sa nahisgutang "backup". Kini nahimo nga kini nga parehas nga "backup" nga cluster wala nahimulag. Gisulayan nila ang tanan niini, usahay gibutang kini sa produksiyon.
Ang among mga in-house nga developer nagmugna sa ilang kaugalingon nga custom data inserter. Nagtrabaho siya sama niini: iyang gi-batch ang mga file, gipadagan ang script ug gihiusa ang datos sa usa ka lamesa. Apan ang panguna nga problema mao nga daghang mga datos ang gidawat alang sa usa ka yano nga hangyo. Ang hangyo miapil sa datos matag segundo. Ang tanan alang sa kaayohan sa usa ka numero - ang kantidad kada adlaw.
Ang mga in-house developers migamit sa analytics tool sa sayop nga paagi. Miadto sila sa grafana ug gisulat ang ilang harianong hangyo. Nag-upload siya og data sulod sa 2 ka semana. Kini nahimo nga usa ka matahum nga graph. Apan sa tinuud, ang hangyo sa datos matag 10 segundos. Ang tanan nga kini nagtapok sa usa ka pila tungod kay ang Clickhouse wala gyud makuha ang pagproseso. Dinhi gitago ang panguna nga hinungdan. Walaβy nagtrabaho sa Grafana, ang mga hangyo nagtindog sa usa ka pila, ug ang daan, walaβy kalabotan nga datos kanunay nga moabut.
Gi-reconfigure namo ang cluster, gi-redid ang insertion. Ang in-house developers misulat pag-usab sa ilang "inserter", ug kini nagsugod sa sharding data sa husto.
Naghimo si Max og bug-os nga pag-audit sa imprastraktura. Iyang gilatid ang usa ka plano alang sa transisyon ngadto sa usa ka bug-os nga backend. Apan dili kini angay sa kompanya. Gipaabut nila ang usa ka mahika nga sekreto gikan sa Max nga magtugot kanila sa pagtrabaho sa karaan nga paagi, apan episyente lamang. Si Lenya gihapon ang nagdumala sa proyekto, ug wala siyay nakat-onan. Gikan sa tanan nga gitanyag, gipili niya pag-usab ang iyang alternatibo. Sama sa kanunay, kini ang labing pinili ... maisugon nga desisyon. Nagtuo si Lenya nga ang iyang kompanya adunay espesyal nga agianan. Tunok ug puno sa mga iceberg.
Sa tinuud, didto kami nagbulag - gibuhat namon ang among mahimo.
Puno sa kahibalo ug kaalam gikan niini nga kasaysayan, among giablihan ang among kaugalingon nga negosyo ug nagporma og daghang mga prinsipyo para sa among kaugalingon. Dili na kami magsugod sa pagtrabaho sa parehas nga paagi karon sama sa among gibuhat kaniadto.
Nag-uban kanamo si DJ Max pagkahuman niini nga proyekto, ug nagtinabangay gihapon kami. Ang kaso sa Clickhouse nagtudlo kanako kung unsaon paghimo sa usa ka kompleto ug bug-os nga pag-audit sa imprastraktura sa dili pa magsugod sa trabaho. Nakasabut kami kung giunsa ang tanan molihok ug pagkahuman gidawat ang mga buluhaton. Ug kung sa sayo pa magdali dayon kami pagmentinar sa imprastraktura, karon maghimo una kami usa ka higayon nga proyekto, nga makatabang kanamo nga masabtan kung giunsa kini madala sa kahimtang sa pagtrabaho.
Ug oo, gilikayan namon ang mga proyekto nga adunay dili maayo nga imprastraktura. Bisag sa daghang kuwarta, bisag wala sa panaghigalaay. Dili mapuslanon ang pagpadagan sa sakit nga mga proyekto. Ang pagkaamgo niini nakatabang kanamo nga motubo. Mahimong usa ka higayon nga proyekto aron mahan-ay ang imprastraktura ug dayon usa ka kontrata sa pagmentinar, o molupad lang kami. Milabay sa laing iceberg.
P.S. Mao nga kung adunay ka mga pangutana bahin sa imong imprastraktura, .
Adunay kami 2 nga libre nga pag-audit matag bulan, tingali ang imong proyekto usa na niini.
Source: www.habr.com