Seo scéal a d’athraigh go deo mo chur chuige maidir le hobair devops. Ar ais in amanna réamh-Covid, i bhfad, i bhfad rompu, nuair a bhí na guys agus mé féin ag pleanáil ár ngnó féin agus ag obair go neamhspleách ar orduithe randamacha, thit tairiscint amháin isteach i mo chairt.
Cuideachta anailísíochta sonraí a bhí sa chuideachta a scríobh é seo. Phróiseáil sí na mílte iarratas go laethúil. Tháinig siad chugainn leis na focail: guys, ní mór dúinn ClickHouse agus ba mhaith linn a uathoibriú a chumraíocht agus a shuiteáil. Teastaíonn uainn Ansible, Terraform, Docker agus go ndéanfaí é a stóráil in Git. Teastaíonn uainn braisle de cheithre nód le dhá mhacasamhail an ceann.
Is iarratas caighdeánach é, tá mórán díobh ann, agus tá réiteach caighdeánach chomh maith uait. Dúirt muid “ceart go leor”, agus tar éis 2-3 seachtaine bhí gach rud réidh. Ghlac siad leis an bpost agus thosaigh siad ag bogadh go braisle nua Clickhouse ag baint úsáide as ár bhfóntas.
Ní raibh a fhios ag éinne conas tinker le Clickhouse. Ansin cheapamar gurbh é seo an phríomhfhadhb a bhí acu, agus mar sin níor thug stáisiún seirbhíse na cuideachta ach cead do m’fhoireann an obair a uathoibriú oiread agus ab fhéidir, ionas nach rachainn féin ann go deo arís.
Chuaigh muid in éineacht leis an aistriú, d'eascair tascanna eile - cúltacaí a bhunú agus monatóireacht a dhéanamh. Ag an am céanna, chomhcheangail stáisiún seirbhíse na cuideachta seo le tionscadal eile, rud a d'fhág muid le ceann dár gcuid féin - Leonid - mar cheannasaí. Ní raibh Lenya ina fhear an-chumasach. Forbróir simplí a cuireadh go tobann i gceannas ar Clickhouse. Is cosúil gurbh é seo a chéad sannadh chun rud éigin a bhainistiú, agus mar gheall ar an onóir ollmhór a bhraith sé go raibh an réalta air.
Le chéile thugamar faoi chúltacaí a dhéanamh. Mhol mé tacaíocht a thabhairt do na sonraí bunaidh ar an bpointe boise. Tóg é, cuir zip air agus caith go galánta isteach i roinnt c3 é. Is ór é sonraí amha. Bhí rogha eile ann - cúltaca a dhéanamh de na táblaí iad féin i Clickhouse, ag baint úsáide as reo agus cóipeáil. Ach tháinig Lenya suas lena réiteach féin.
D’fhógair sé go bhfuil gá againn leis an dara braisle Clickhouse. Agus as seo amach beidh muid ag scríobh sonraí chuig dhá bhraisle - an príomh agus cúltaca. Deirim leis, Lenya, ní cúltaca a bheidh ann, ach macasamhail gníomhach. Agus má thosaíonn sonraí a bheith caillte i dtáirgeadh, beidh an rud céanna a tharlóidh ar do cúltaca.
Ach rug Lenya go docht ar an roth stiúrtha agus dhiúltaigh sí éisteacht le mo chuid argóintí. Rinneamar comhrá leis ar feadh i bhfad sa chomhrá, ach ní raibh aon rud le déanamh - bhí Lenya i gceannas ar an tionscadal, ní raibh muid ach páistí fostaithe ón tsráid.
Rinneamar monatóireacht ar staid an bhraisle agus níor ghearramar ach ar obair na riarthóirí. Riarachán Pure Clickhouse gan dul isteach sna sonraí. Bhí an braisle ar fáil, bhí na dioscaí go breá, bhí na nóid go breá.
Is beag a bhí a fhios againn go bhfuaireamar an t-ordú seo mar gheall ar mhíthuiscint uafásach laistigh dá bhfoireann
Bhí an bainisteoir míshásta go raibh Clickhouse mall agus cailleadh sonraí uaireanta. Chuir sé cúram ar a stáisiún seirbhíse é a dhéanamh amach. Rinne sé amach mar ab fhearr a d’fhéadfadh sé agus bhain sé de thátal as nach raibh le déanamh againn ach an Clickhouse a uathoibriú - sin uile. Ach mar ba léir go luath, ní raibh foireann devops ag teastáil uathu ar chor ar bith.
Tharla sé seo go léir a bheith an-, an-painful. Agus is é an rud is maslach ná go raibh sé ar mo bhreithlá.
tráthnóna Dé hAoine. Rinne mé áirithint ag an mbarra fíona is fearr liom agus thug mé cuireadh do na homies.
Beagnach sula bhfágann muid, faigheann muid tasc chun athrú a chruthú, déanaimid é a chríochnú, tá gach rud ceart go leor. Athrú a rith, deimhníodh clickhouse. Táimid ag dul go dtí an mbarra cheana féin, agus scríobhann siad chugainn nach bhfuil go leor sonraí ann. Ríomhamar gur cosúil go bhfuil gach rud go leor. Agus d’imigh siad le ceiliúradh a dhéanamh.
Bhí an bhialann torannach ar an Aoine. Tar éis dúinn deochanna agus bia a ordú, chuamar ar na toilg. An uair seo ar fad, bhí mo bhog báite go mall le teachtaireachtaí. Scríobh siad rud éigin faoi easpa sonraí. Shíl mé - tá an mhaidin níos críonna ná an tráthnóna. Go háirithe inniu.
Níos gaire don aon cheann déag thosaigh siad ag glaoch. Ba é ceann na cuideachta é... “Is dócha gur shocraigh mé comhghairdeas a dhéanamh liom,” smaoinigh mé go han-chorraitheach, agus phioc mé suas an fón.
Agus chuala mé rud éigin cosúil le: “Scríobh tú suas ár sonraí! Íocaim tú, ach ní oibríonn aon rud! Bhí tú freagrach as cúltacaí, agus ní dhearna tú rud damanta! Déanaimis é a shocrú!" - ach fiú ruder.
- Tá a fhios agat cad, a fháil ar an fuck amach! Is é inniu mo bhreithlá, agus anois beidh mé ag ól, agus gan dul i mbun do tháirgí homemade Meitheamh ó cacamas agus bataí!
Sin an rud nár dúirt mé. Ina áit sin, thóg mé amach mo ríomhaire glúine agus chuaigh mé ag obair.
Ní hea, buamáil mé, bhuamáil mé mar ifreann! Doirt sé loiscneach “Dúirt mé sin leat” isteach sa chomhrá - toisc nach raibh an cúltaca, nach raibh ina chúltaca ar chor ar bith, - ar ndóigh, rud ar bith a shábháil.
Rinne na buachaillí agus mé féin amach conas an taifeadadh a stopadh de láimh agus gach rud a sheiceáil. Rinneamar deimhin de nach raibh cuid de na sonraí scríofa.
Stopamar ag taifeadadh agus chomhaireamh líon na n-imeachtaí a bhí ann in aghaidh an lae. D’uaslódáil siad níos mó sonraí, agus níor taifeadadh ach trian díobh. Trí shard le 2 macasamhail an ceann. Cuireann tú 100.000 sraith isteach - níl 33.000 taifeadta.
Bhí mearbhall iomlán ann. Dúirt gach duine dá chéile faoi seach: chuaigh Lenya ann ar dtús, agus mé féin agus bunaitheoir na cuideachta ina dhiaidh sin. Ní dhearna ach an stáisiún seirbhíse a chuaigh isteach iarracht ár nglaonna scairte agus ár gcomhfhreagras a atreorú chun teacht ar réiteach ar an bhfadhb.
Níor thuig éinne cad a bhí ag tarlú i ndáiríre
Bhí na guys agus mé blown away go simplí nuair a thuig muid go raibh an tríú cuid de na sonraí, ní hamháin nár taifeadadh, bhí sé caillte! D'éirigh sé amach go raibh an t-ordú sa chuideachta mar seo a leanas: tar éis é a chur isteach, scriosadh na sonraí go neamh-inchúlghairthe, cuireadh na himeachtaí amú i mbaisceanna. Shamhlaigh mé conas a dhéanfadh Sergei é seo go léir a thiontú ina Rúbal caillte.
Caitheadh mo bhreithlá isteach sa bhruscar freisin. Shuigh muid ag an mbarra agus ghin muid smaointe, ag iarraidh a réiteach ar an bhfreagra a bhí caite ag dúinn. Ní raibh an chúis le titim Clickhouse soiléir. B'fhéidir gurb é an líonra é, b'fhéidir gurb é na socruithe Linux é. Sea, is cuma cad ba mhaith leat, bhí go leor hipitéisí.
Níor ghlac mé mionn an fhorbróra, ach bhí sé mímhacánta na guys a thréigean ar an taobh eile den líne - fiú má chuir siad an milleán orainn as gach rud. Bhí mé 99% cinnte nach raibh an fhadhb inár gcinntí, ní ar ár taobh féin. Bhí an seans 1% a bhí scoite againn ar lasadh leis an imní. Ach is cuma cén taobh a bhí an trioblóid, b'éigean é a réiteach. Tá sé ró-éadrócaireach custaiméirí a fhágáil, is cuma cé hiad féin, le sceitheadh sonraí chomh uafásach.
Bhíomar ag obair ag bord na bialainne go dtí a trí ar maidin. Chuireamar imeachtaí leis, cuir isteach roghnaigh, agus as sin chuamar chun na bearnaí a líonadh. Nuair a scrúdaíonn tú na sonraí, seo mar a dhéanann tú é: glacann tú na sonraí meánacha do na laethanta roimhe sin agus cuireann tú isteach iad sna cinn screwed suas.
Tar éis trí ar maidin, chuaigh mo chara agus mé go dtí mo theach agus d'ordaigh beoir ón margadh alcóil. Bhí mé i mo shuí le ríomhaire glúine agus fadhbanna Clickhouse, bhí cara ag insint dom rud éigin. Mar thoradh air sin, tar éis uair an chloig bhí sé offended go raibh mé ag obair agus nach bhfuil ag ól beorach leis, agus d'fhág. Clasaiceach - bhí mé cara le Devops.
Faoi 6 am, rinne mé an tábla a athchruthú arís, agus thosaigh na sonraí ag tuilte. D'oibrigh gach rud gan aon chaillteanais.
Ansin bhí sé deacair. Chuir gach duine an milleán ar a chéile as an gcaillteanas sonraí. Dá dtarlódh fabht nua, táim cinnte go mbeadh scaifte ann
Sna troideanna seo, thosaigh muid ar deireadh a thuiscint - cheap an chuideachta go raibh muid an guys a oibríonn le sonraí agus monatóireacht a dhéanamh ar struchtúr na táblaí. Rinne siad mearbhall ar riarthóirí agus ar dhéileálaithe. Agus tháinig siad chun rud éigin difriúil ó na riarthóirí a iarraidh orainn.
Is é a bpríomhghearán - cad é an ifreann, bhí tú freagrach as na cúltacaí agus nach ndearna tú iad i gceart, lean tú ag cur amú na sonraí. Agus seo go léir le mataí athchasadh.
Theastaigh uaim ceartas. D'fhostaigh mé an comhfhreagras agus na scáileáin scáileáin ceangailte de gach duine, áit a gcuireann Leonid iallach orthu an cúltaca a rinneadh a dhéanamh. Ghlac a stáisiún seirbhíse ár taobh tar éis mo ghlao gutháin. Níos déanaí d'admhaigh Lenya a chiontacht.
Ní raibh ceann na cuideachta, ar a mhalairt, ag iarraidh an milleán a chur ar a mhuintir féin. Ní raibh aon éifeacht ag gabháil scáileáin agus focail air. Chreid sé, ós rud é gur saineolaithe anseo muid, go gcaithfimid gach duine a chur ina luí agus ár gcinneadh a éileamh. Réir dealraimh, ba é an tasc atá againn Lenya a mhúineadh agus, ina theannta sin, é a sheachbhóthar, a ceapadh mar bhainisteoir tionscadail, chun an rud is mó a bhaint amach agus ár n-amhras go léir a dhoirteadh go pearsanta faoi choincheap na cúltacaí dó.
Bhí fuath ag an gcomhrá, ionsaí folaithe agus neamhfholaithe. Ní raibh a fhios agam cad atá le déanamh. Tá gach rud tagtha chun stop a chur. Agus ansin chuir siad in iúl dom an bealach is éasca - teachtaireacht phearsanta a scríobh chuig an mbainisteoir agus cruinniú a shocrú leis. Vasya, níl daoine sa saol fíor chomh tapa agus atá siad i gcomhrá. D'fhreagair an Boss mo theachtaireacht: teacht, gan cheist.
Ba é an cruinniú is scanrúla i mo ghairm bheatha. Ní raibh mo chomhghuaillí ón gcliant - STO - in ann an t-am a aimsiú. Chuaigh mé go dtí an cruinniú leis an boss agus Lena.
Arís agus arís eile rinne mé an t-idirphlé a d'fhéadfadh a bheith againn i mo cheann arís. D’éirigh liom teacht go han-luath, leathuair roimh ré. Thosaigh mé ag éirí neirbhíseach, chaith mé 10 dtoitín. Thuig mé, sin é - tá mé ag fucking liom féin. Ní bheidh mé in ann iad a chur ina luí. Agus chuaigh sé isteach ar an ardaitheoir.
Le linn dó a bheith ag éirí, bhuail sé an lastóir chomh dian sin gur bhris sé é.
Mar thoradh air sin, ní raibh Lenya ag an gcruinniú. Agus bhí comhrá iontach againn faoi gach rud leis an boss! Dúirt Sergei liom faoina phian. Ní raibh sé ag iarraidh "Clickhouse a uathoibriú" - bhí sé ag iarraidh "ceisteanna a chur ag obair."
Ní fhaca mé gabhar, ach fear maith, buartha faoina ghnó, tumtha san obair 24/7. Is minic a tharraingíonn comhrá sinn villains, scoundrels agus daoine dúr. Ach sa saol is daoine iad seo díreach cosúil leatsa.
Ní raibh cúpla devops ag teastáil ó Sergei ar cíos. An fhadhb a bhí acu iompaigh amach a bheith i bhfad níos mó.
Dúirt mé go bhféadfainn a chuid fadhbanna a réiteach - níl ann ach post iomlán difriúil, agus tá cara agam a oibríonn dó. Dá mbeadh a fhios againn ón tús gur beart é seo dóibh, bheadh go leor seachanta againn. Tá sé déanach, ach thuig muid go raibh an fhadhb a bhaineann le bainistíocht sonraí crappy, ní sa bhonneagar.
Chroith muid lámha, d'ardaigh siad ár bpá dhá uair go leith, ach ar an gcoinníoll go nglacfaidh mé go hiomlán an praiseach iomlán lena gcuid sonraí agus Clickhouse dom féin. San ardaitheoir, rinne mé cumarsáid leis an bhfear DI Max sin agus cheangail mé é leis an obair. Bhí sé riachtanach an braisle ar fad a sluasaid.
Bhí go leor bruscar sa tionscadal glactha. Ag tosú leis an "cúltaca" a luaitear. Tharla sé nach raibh an braisle “cúltaca” céanna seo aonraithe. Thástáil siad gach rud ar sé, uaireanta fiú é a chur i dtáirgeadh.
Chruthaigh ár bhforbróirí intí a n-iontrálaí sonraí saincheaptha féin. D'oibrigh sé mar seo: bhaisc sé na comhaid, rith sé an script agus chumasc na sonraí isteach i dtábla. Ach ba í an phríomhfhadhb ná gur glacadh le méid ollmhór sonraí ar iarratas simplí amháin. Chuaigh an t-iarratas isteach sna sonraí gach soicind. Gach ar mhaithe le uimhir amháin - an méid in aghaidh an lae.
Bhain forbróirí inmheánacha úsáid mhícheart as an uirlis anailíse. Chuaigh siad go dtí an grafana agus scríobh siad a n-iarratas ríoga. D'uaslódáil sé sonraí ar feadh 2 sheachtain. Iompaigh sé amach a bheith ina graf álainn. Ach i ndáiríre, bhí an t-iarratas sonraí gach 10 soicind. Bhí sé seo ar fad ag carnadh suas i scuaine mar ní raibh Clickhouse ach ag tabhairt amach an phróiseáil. Seo an áit a raibh an phríomhchúis i bhfolach. Níor oibrigh aon rud i Grafana, sheas iarratais i scuaine, agus bhí sean-sonraí nach mbaineann le hábhar ag teacht i gcónaí.
Rinneamar an braisle a athchumrú, rinneamar an t-ionchur a athdhéanamh. D'athscríobh na forbróirí intí a “isteach”, agus thosaigh sé ag roinnt sonraí i gceart.
Rinne Max iniúchadh bonneagair iomlán. Thug sé breac-chuntas ar phlean don aistriú chuig inneall iomlán. Ach ní raibh sé seo oiriúnach don chuideachta. Bhí siad ag súil le rún draíochta ó Max a ligfeadh dóibh oibriú ar an mbealach sean-aimseartha, ach amháin go héifeachtach. Bhí Lenya fós i gceannas ar an tionscadal, agus níor fhoghlaim sé rud ar bith. As gach rud a tairgeadh, roghnaigh sé a rogha eile arís. Mar is gnáth, ba é seo an cinneadh ba roghnaíoch... dána. Chreid Lenya go raibh cosán speisialta ag a cuideachta. Toirneach agus lán de chnoic oighir.
I ndáiríre, sin an áit a scar muid - rinne muid an méid a d'fhéadfadh muid.
Lán eolais agus eagna ón stair seo, d'oscail muid ár ngnó féin agus rinneamar roinnt prionsabal dúinn féin. Ní thosnóimid choíche ar an obair ar an mbealach céanna anois agus a rinneamar an uair sin.
Tháinig DJ Max isteach linn tar éis an tionscadail seo, agus táimid fós ag obair go hiontach le chéile. Mhúin cás Clickhouse dom conas iniúchadh bonneagair iomlán agus críochnúil a dhéanamh sula dtosaítear ar an obair. Tuigimid conas a oibríonn gach rud agus gan ach ansin glacadh leis na tascanna. Agus más rud é níos luaithe ba mhaith linn deifir láithreach chun an bonneagar a chothabháil, anois déanaimid tionscadal aonuaire ar dtús, rud a chabhraíonn linn tuiscint a fháil ar conas é a thabhairt isteach i riocht oibre.
Agus sea, seachnaíonn muid tionscadail le bonneagar crappy. Fiú más rud é ar a lán airgid, fiú amháin más rud é as cairdeas. Níl sé brabúsach tionscadail bhreoiteachta a reáchtáil. Chuidigh sé seo linn fás a bhaint amach. Is tionscadal aonuaire é chun an t-infrastruchtúr a chur in ord agus ansin conradh cothabhála, nó bímid ag eitilt. Anuas cnoc oighir eile.
PS Mar sin má tá ceisteanna agat faoi do bhonneagar, .
Tá 2 iniúchadh saor in aisce againn in aghaidh na míosa, b'fhéidir go mbeidh do thionscadal ar cheann acu.
Foinse: will.com