Hapa kuna hadithi ambayo ilibadilisha kabisa mtazamo wangu wa kazi ya devops. Huko nyuma katika nyakati za kabla ya Covid, muda mrefu, muda mrefu kabla yao, wakati wavulana na mimi tulikuwa tukipanga biashara yetu wenyewe na kufanya kazi bila mpangilio kwa maagizo ya nasibu, ofa moja ilianguka kwenye mkokoteni wangu.
Kampuni iliyoandika hii ilikuwa kampuni ya uchanganuzi wa data. Alishughulikia maelfu ya maombi kila siku. Walikuja kwetu na maneno: nyie, tuna ClickHouse na tunataka kusanidi usanidi na usakinishaji wake otomatiki. Tunataka Ansible, Terraform, Docker na kwa yote kuhifadhiwa katika Git. Tunataka nguzo ya nodi nne zilizo na nakala mbili kila moja.
Ni ombi la kawaida, kuna kadhaa kati yao, na unahitaji suluhisho la kawaida sawa. Tulisema "sawa", na baada ya wiki 2-3 kila kitu kilikuwa tayari. Walikubali kazi hiyo na wakaanza kuhamia kikundi kipya cha Clickhouse kwa kutumia matumizi yetu.
Hakuna mtu alitaka au alijua jinsi ya kucheza na Clickhouse. Kisha tukafikiri kwamba hili ndilo lilikuwa tatizo lao kuu, na kwa hivyo kituo cha huduma cha kampuni kilitoa idhini kwa timu yangu kufanyia kazi kazi kiotomatiki iwezekanavyo, ili nisiende huko mimi mwenyewe tena.
Tuliandamana na hoja, kazi zingine ziliibuka - kuweka nakala rudufu na ufuatiliaji. Wakati huo huo, kituo cha huduma cha kampuni hii kiliunganishwa na mradi mwingine, na kutuacha na mmoja wetu - Leonid - kama kamanda. Lenya hakuwa mtu mwenye vipawa sana. Msanidi programu rahisi ambaye aliwekwa ghafla kusimamia Clickhouse. Inaonekana kwamba huo ulikuwa mgawo wake wa kwanza wa kusimamia jambo fulani, na heshima hiyo nyingi ilimfanya ahisi ameshtuka.
Kwa pamoja tunaanza kutengeneza nakala rudufu. Nilipendekeza kuhifadhi nakala ya data asili mara moja. Ichukue tu, ifunge na uitupe kwa umaridadi katika baadhi ya c3. Data ghafi ni dhahabu. Kulikuwa na chaguo jingine - kucheleza meza zenyewe kwenye Clickhouse, kwa kutumia kufungia na kunakili. Lakini Lenya alikuja na suluhisho lake mwenyewe.
Alitangaza kwamba tunahitaji nguzo ya pili ya Clickhouse. Na kuanzia sasa tutaandika data kwa makundi mawili - kuu na salama. Ninamwambia, Lenya, haitakuwa nakala rudufu, lakini nakala inayotumika. Na ikiwa data itaanza kupotea katika toleo la umma, hali hiyo hiyo itafanyika kwenye nakala yako.
Lakini Lenya alishika usukani kwa nguvu na akakataa kusikiliza hoja zangu. Tulizungumza naye kwa muda mrefu kwenye gumzo, lakini hakukuwa na la kufanya - Lenya alikuwa akisimamia mradi huo, tulikuwa tu watoto walioajiriwa kutoka mitaani.
Tulifuatilia hali ya nguzo na tulitozwa kwa kazi ya wasimamizi pekee. Utawala safi wa Clickhouse bila kuingia kwenye data. Nguzo ilikuwa inapatikana, disks zilikuwa nzuri, nodes zilikuwa nzuri.
Hatukujua kuwa tulipokea agizo hili kwa sababu ya kutoelewana vibaya ndani ya timu yao
Meneja hakufurahi kwamba Clickhouse ilikuwa polepole na data wakati mwingine ilipotea. Aliweka kituo chake cha huduma kazi ya kufikiria. Aliifikiria kadri awezavyo na akahitimisha kuwa tulihitaji tu kuhariri Nyumba ya Kubofya - ndivyo tu. Lakini ilipodhihirika hivi karibuni, hawakuhitaji timu ya devops hata kidogo.
Yote hii iligeuka kuwa chungu sana. Na jambo la kukera zaidi ni kwamba ilikuwa siku yangu ya kuzaliwa.
Ijumaa jioni. Nilihifadhi nafasi kwenye baa niipendayo ya mvinyo na kuwaalika wana nyumba.
Karibu kabla ya kuondoka, tunapokea kazi ya kuunda kibadilishaji, tunakamilisha, kila kitu ni sawa. Mabadiliko yamepitishwa, bofya imethibitishwa. Tayari tunaenda kwenye bar, na wanatuandikia kwamba hakuna data ya kutosha. Tulihesabu kuwa kila kitu kinaonekana kuwa cha kutosha. Na wakaondoka kwenda kusherehekea.
Mkahawa huo ulikuwa na kelele siku ya Ijumaa. Baada ya kuagiza vinywaji na chakula, tuliketi kwenye sofa. Wakati huu wote, slack yangu ilikuwa imejaa ujumbe polepole. Waliandika kitu kuhusu ukosefu wa data. Nilidhani - asubuhi ni busara kuliko jioni. Hasa leo.
Inakaribia kumi na moja walianza kupiga simu. Alikuwa mkuu wa kampuni ... "Labda aliamua kunipongeza," nilifikiria kwa kusitasita, na kuchukua simu.
Na nikasikia kitu kama: "Umeharibu data yetu! Ninakulipa, lakini hakuna kinachofanya kazi! Uliwajibika kwa chelezo, na haukufanya jambo baya! Hebu turekebishe!" - tu hata ruder.
- Unajua nini, toa fuck nje! Leo ni siku yangu ya kuzaliwa, na sasa nitakunywa, na sitajihusisha na bidhaa zako za nyumbani za Juni kutoka kwa crap na vijiti!
Hiyo ndiyo sikusema. Badala yake, nilitoa laptop yangu na kuanza kazi.
Hapana, nilipiga bomu, nilipiga kama kuzimu! Alimimina caustic "Nilikuambia" kwenye gumzo - kwa sababu nakala rudufu, ambayo haikuwa nakala rudufu hata kidogo, - kwa kweli, haikuhifadhi chochote.
Wavulana na mimi tulifikiria jinsi ya kuacha kurekodi kwa mikono na kuangalia kila kitu. Kwa kweli tulihakikisha kuwa baadhi ya data haikuandikwa.
Tuliacha kurekodi na kuhesabu idadi ya matukio yaliyokuwepo kwa siku. Walipakia data zaidi, ambayo theluthi moja pekee haikurekodiwa. Vipande vitatu vilivyo na nakala 2 kila moja. Unaingiza safu 100.000 - 33.000 hazijarekodiwa.
Kulikuwa na mkanganyiko kamili. Kila mtu aliambia kila mmoja kutombana kwa zamu: Lenya alienda huko kwanza, ikifuatiwa na mimi na mwanzilishi wa kampuni hiyo. Kituo cha huduma kilichojiunga pekee ndicho kilijaribu kuelekeza simu zetu za kupiga kelele na mawasiliano kuelekea kutafuta suluhu la tatizo.
Hakuna aliyeelewa ni nini hasa kilikuwa kinatokea
Wavulana na mimi tulipigwa tu wakati tuligundua kuwa theluthi moja ya data yote haikurekodiwa tu, ilipotea! Ilibadilika kuwa agizo katika kampuni lilikuwa kama ifuatavyo: baada ya kuingizwa, data ilifutwa bila kubadilika, matukio yalipotea kwa vikundi. Nilifikiria jinsi Sergei angebadilisha haya yote kuwa rubles zilizopotea.
Siku yangu ya kuzaliwa pia ilitupwa kwenye takataka. Tuliketi kwenye baa na kutoa mawazo, tukijaribu kutatua fumbo ambalo lilikuwa limetupwa kwetu. Sababu ya kuanguka kwa Clickhouse haikuwa dhahiri. Labda ni mtandao, labda ni mipangilio ya Linux. Ndio, chochote unachotaka, kumekuwa na nadharia za kutosha.
Sikuchukua kiapo cha msanidi programu, lakini haikuwa uaminifu kuwaacha watu hao upande mwingine wa mstari - hata kama walitulaumu kwa kila kitu. Nilikuwa na uhakika wa 99% kwamba tatizo halikutegemea maamuzi yetu, si kwa upande wetu. Uwezekano wa 1% ambao tulikuwa tumeharibu ulikuwa ukiwaka kwa wasiwasi. Lakini haijalishi shida ilikuwa upande gani, ilibidi irekebishwe. Kuwaacha wateja, bila kujali wao ni nani, na uvujaji mbaya wa data ni ukatili sana.
Tulifanya kazi kwenye meza ya mgahawa hadi saa tatu asubuhi. Tuliongeza matukio, ingiza chagua, na tukaenda kujaza mapengo. Unapoharibu data, hivi ndivyo unavyofanya: unachukua data ya wastani ya siku zilizopita na kuiingiza kwenye zile zilizopigwa.
Baada ya saa tatu asubuhi, mimi na rafiki yangu tulienda nyumbani kwangu na kuagiza bia kwenye soko la pombe. Nilikuwa nimekaa na laptop na matatizo ya Clickhouse, rafiki alikuwa ananiambia kitu. Matokeo yake, baada ya saa moja alikasirika kwamba nilikuwa nikifanya kazi na sikunywa bia naye, akaondoka. Classic - Nilikuwa rafiki wa Devops.
Kufikia 6 asubuhi, nilitengeneza jedwali tena, na data ilianza kufurika. Kila kitu kilifanya kazi bila hasara yoyote.
Kisha ilikuwa ngumu. Kila mtu alilaumiana kwa upotezaji wa data. Ikiwa mdudu mpya angetokea, nina hakika kungekuwa na mikwaju ya risasi
Katika mapigano haya, hatimaye tulianza kuelewa - kampuni ilidhani kuwa sisi ndio watu wanaofanya kazi na data na kufuatilia muundo wa meza. Walichanganya watawala na wafanyabiashara. Na walikuja kutuuliza tofauti na wasimamizi.
Malalamiko yao kuu ni - ni nini kuzimu, uliwajibika kwa chelezo na haukuzifanya ipasavyo, uliendelea kupoteza data. Na hii yote kwa mikeka ya kurudi nyuma.
Nilitaka haki. Nilichimba mawasiliano na kuambatanisha viwambo vya kila mtu, ambapo Leonid kwa nguvu zake zote anawalazimisha kutengeneza nakala iliyofanywa. Kituo chao cha huduma kilichukua upande wetu baada ya simu yangu. Baadaye Lenya alikubali hatia yake.
Mkuu wa kampuni, kinyume chake, hakutaka kuwalaumu watu wake. Picha za skrini na maneno hayakuwa na athari kwake. Aliamini kwamba kwa kuwa tulikuwa wataalam hapa, tulipaswa kuwashawishi kila mtu na kusisitiza uamuzi wetu. Inavyoonekana, kazi yetu ilikuwa kumfundisha Lenya na, zaidi ya hayo, kumpita, ambaye aliteuliwa kama meneja wa mradi, kufikia jambo kuu na kumwaga mashaka yetu yote juu ya wazo la chelezo kwake.
Gumzo lilijaa chuki, uchokozi uliofichwa na usiofichika. Sikujua la kufanya. Kila kitu kimesimama. Na kisha walinishauri njia rahisi - kuandika ujumbe wa kibinafsi kwa meneja na kupanga mkutano naye. Vasya, watu katika maisha halisi sio wepesi kama walivyo kwenye gumzo. Bosi alijibu ujumbe wangu: njoo, hakuna swali.
Ulikuwa mkutano wa kutisha zaidi katika kazi yangu. Mshirika wangu kutoka kwa mteja - STO - hakuweza kupata wakati. Nilienda kwenye mkutano na bosi na Lena.
Tena na tena nilirudia mazungumzo yetu yanayoweza kutokea kichwani mwangu. Nilifanikiwa kufika mapema sana, nusu saa kabla. Nilianza kuwa na wasiwasi, nilivuta sigara 10. Nilielewa, ndivyo - mimi ni fucking peke yangu. Sitaweza kuwashawishi. Naye akaingia kwenye lifti.
Akiwa anainuka, aliipiga njiti kwa nguvu hadi ikakatika.
Kama matokeo, Lenya hakuwa kwenye mkutano. Na tulikuwa na mazungumzo mazuri juu ya kila kitu na bosi! Sergei aliniambia kuhusu maumivu yake. Hakutaka "kubonyeza kiotomatiki" - alitaka "kufanya maswali kufanya kazi."
Sikuona mbuzi, lakini mtu mzuri, mwenye wasiwasi juu ya biashara yake, aliingia katika kazi 24/7. Gumzo mara nyingi hutuvuta sisi wabaya, wapumbavu na watu wajinga. Lakini katika maisha hawa ni watu kama wewe.
Sergei hakuhitaji devops kadhaa kwa kukodisha. Tatizo walilokuwa nalo likawa kubwa zaidi.
Nilisema kwamba ninaweza kutatua shida zake - ni kazi tofauti kabisa, na nina rafiki ambaye anaifanyia kazi. Ikiwa tungejua tangu mwanzo kwamba hii ilikuwa dili kwao, tungeepuka mengi. Imechelewa, lakini tuligundua kuwa shida iko katika usimamizi mbaya wa data, sio katika miundombinu.
Tulipeana mikono, walipandisha malipo yetu mara mbili na nusu, lakini kwa sharti kwamba nichukue fujo nzima na data zao na Bofya kwa ajili yangu mwenyewe. Katika lifti, niliwasiliana na kijana huyo huyo wa DI Max na kumuunganisha kazini. Ilikuwa ni lazima kwa koleo nguzo nzima.
Kulikuwa na takataka nyingi katika mradi uliopitishwa. Kuanzia na "chelezo" iliyotajwa. Ilibadilika kuwa nguzo hii ya "chelezo" haikutengwa. Walijaribu kila kitu juu yake, wakati mwingine hata kuiweka katika uzalishaji.
Wasanidi wetu wa ndani wameunda kiweka data maalum chao. Alifanya kazi kama hii: alikusanya faili, akaendesha hati na akaunganisha data kwenye jedwali. Lakini shida kuu ilikuwa kwamba kiasi kikubwa cha data kilikubaliwa kwa ombi moja rahisi. Ombi liliunganisha data kila sekunde. Yote kwa ajili ya nambari moja - kiasi kwa siku.
Watengenezaji wa ndani walitumia zana ya uchanganuzi vibaya. Walienda kwa grafana na kuandika ombi lao la kifalme. Alipakia data kwa wiki 2. Iligeuka kuwa grafu nzuri. Lakini kwa kweli, ombi la data lilikuwa kila sekunde 10. Haya yote yalikuwa yakijikusanya kwenye foleni kwa sababu Clickhouse haikuchukua usindikaji. Hapa ndipo sababu kuu ilifichwa. Hakuna kilichofanya kazi huko Grafana, maombi yalisimama kwenye foleni, na data ya zamani, isiyo na maana ilikuwa ikifika kila mara.
Tuliweka upya kundi, na kuingiza upya. Waendelezaji wa ndani waliandika upya "kiingiza" chao, na ilianza kushiriki data kwa usahihi.
Max alifanya ukaguzi kamili wa miundombinu. Alielezea mpango wa mpito kwa backend kamili. Lakini hii haikufaa kampuni. Walitarajia siri ya kichawi kutoka kwa Max ambayo ingewaruhusu kufanya kazi kwa njia ya kizamani, lakini kwa ufanisi tu. Lenya alikuwa bado anasimamia mradi huo, na hakujifunza chochote. Kutoka kwa yote yaliyotolewa, alichagua tena mbadala wake. Kama kawaida, huu ulikuwa uamuzi wa kuchagua zaidi ... wa ujasiri. Lenya aliamini kuwa kampuni yake ilikuwa na njia maalum. Miiba na iliyojaa milima ya barafu.
Kweli, hapo ndipo tulipoachana - tulifanya kile tulichoweza.
Tukiwa tumejawa na maarifa na hekima kutoka kwa historia hii, tulifungua biashara yetu wenyewe na kujitengenezea kanuni kadhaa. Hatutawahi kuanza kazi kwa njia ile ile sasa kama tulivyofanya wakati ule.
DJ Max alijiunga nasi baada ya mradi huu, na bado tunafanya kazi vizuri pamoja. Kesi ya Clickhouse ilinifundisha jinsi ya kufanya ukaguzi kamili na wa kina wa miundombinu kabla ya kuanza kazi. Tunaelewa jinsi kila kitu kinavyofanya kazi na kisha tu kukubali kazi. Na ikiwa mapema tungeharakisha kudumisha miundombinu, sasa tunafanya mradi wa wakati mmoja, ambao hutusaidia kuelewa jinsi ya kuuleta katika hali ya kufanya kazi.
Na ndio, tunaepuka miradi iliyo na miundombinu mbaya. Hata ikiwa ni kwa pesa nyingi, hata ikiwa nje ya urafiki. Haina faida kuendesha miradi ya wagonjwa. Kutambua hili kulitusaidia kukua. Ama mradi wa mara moja wa kuweka miundombinu kwa mpangilio na kisha mkataba wa matengenezo, au tunapita tu. Umepita barafu nyingine.
PS Kwa hivyo ikiwa una maswali kuhusu miundombinu yako, .
Tuna ukaguzi 2 bila malipo kwa mwezi, labda mradi wako utakuwa mmoja wao.
Chanzo: mapenzi.com