Seo sgeulachd a dh’ atharraich gu bràth mo dhòigh-obrach a thaobh obair devops. Air ais anns na h-amannan ro-Covid, fada, fada air thoiseach orra, nuair a bha na balaich agus mi fhìn dìreach a’ dealbhadh ar gnìomhachas fhèin agus ag obair gu neo-eisimeileach air òrdughan air thuaiream, thuit aon tairgse a-steach don chairt agam.
B’ e companaidh anailis dàta a bh’ anns a’ chompanaidh a sgrìobh seo. Phròiseas i mìltean de iarrtasan gach latha. Thàinig iad thugainn leis na faclan: guys, tha ClickHouse againn agus tha sinn airson a rèiteachadh agus a stàladh a dhèanamh fèin-ghluasadach. Tha sinn ag iarraidh Ansible, Terraform, Docker agus gum bi e uile air a stòradh ann an Git. Tha sinn ag iarraidh cruinneachadh de cheithir nodan le dà mhac-samhail gach fear.
Is e iarrtas àbhaisteach a th’ ann, tha dusanan dhiubh ann, agus feumaidh tu fuasgladh àbhaisteach a cheart cho math. Thuirt sinn “ceart gu leòr”, agus às deidh 2-3 seachdainean bha a h-uile dad deiseil. Ghabh iad ris an obair agus thòisich iad a’ gluasad gu buidheann ùr Clickhouse a’ cleachdadh ar goireas.
Cha robh duine ag iarraidh no eòlach air mar a dhèanadh iad tinker le Clickhouse. An uairsin bha sinn den bheachd gur e seo am prìomh dhuilgheadas aca, agus mar sin thug stèisean seirbheis a’ chompanaidh dìreach cead don sgioba agam an obair a dhèanamh fèin-ghluasadach cho mòr ‘s as urrainn, gus nach tèid mi ann mi-fhìn a-rithist.
Chaidh sinn còmhla ris a’ ghluasad, dh’ èirich gnìomhan eile - stèidheachadh cùl-taic agus sgrùdadh. Aig an aon àm, chaidh stèisean seirbheis a 'chompanaidh seo còmhla ri pròiseact eile, a' fàgail fear againn fhèin - Leonid - mar chomanndair. Cha b’ e duine glè chomasach a bh’ ann an Lenya. Leasaiche sìmplidh a chaidh a chuir gu h-obann os cionn Clickhouse. Tha e coltach gur e seo a’ chiad obair aige airson rudeigin a riaghladh, agus thug an t-urram mòr air faireachdainn gu robh e na rionnag.
Còmhla thòisich sinn a 'dèanamh lethbhreacan-glèidhidh. Mhol mi cùl-taic a dhèanamh den dàta tùsail sa bhad. Dìreach gabh e, zip e agus tilg gu grinn e a-steach do chuid c3. Is e òr a th’ ann an dàta amh. Bha roghainn eile ann - cùl-taic a dhèanamh de na bùird iad fhèin ann an Clickhouse, a 'cleachdadh reothadh agus a' dèanamh lethbhreac. Ach thàinig Lenya suas leis a fuasgladh fhèin.
Dh’ainmich e gu bheil feum againn air dàrna buidheann Clickhouse. Agus bho seo a-mach sgrìobhaidh sinn dàta gu dà chlàr - am prìomh agus cùl-taic. Tha mi ag innse dha, Lenya, chan e cùl-taic a bhios ann, ach mac-samhail gnìomhach. Agus ma thòisicheas dàta air chall ann an cinneasachadh, tachraidh an aon rud air do chùl-taic.
Ach rug Lenya gu teann air a’ chuibhle stiùiridh agus dhiùlt i èisteachd ris na h-argamaidean agam. Bhruidhinn sinn ris airson ùine mhòr anns a ’chat, ach cha robh dad ri dhèanamh - bha Lenya os cionn a’ phròiseict, bha sinn dìreach air am fastadh le clann bhon t-sràid.
Rinn sinn sùil air staid a’ bhuidheann agus cha do chuir sinn cosgais ach airson obair luchd-rianachd. Rianachd Pure Clickhouse gun a bhith a’ faighinn a-steach don dàta. Bha an cruinneachadh ri fhaighinn, bha na diosgan gu math, bha na nodan gu math.
Is beag a bha fios againn gun d’ fhuair sinn an t-òrdugh seo air sgàth mì-thuigse uamhasach san sgioba aca
Bha am manaidsear mì-thoilichte gun robh Clickhouse slaodach agus gun deach dàta a chall uaireannan. Shuidhich e an ionad seirbheis aige gus a lorg. Rinn e a-mach mar a b’ fheàrr a b’ urrainn dha agus cho-dhùin e nach robh againn ach an Clickhouse a dhèanamh fèin-ghluasadach - sin agad. Ach mar a dh’ fhàs e soilleir, cha robh feum aca air sgioba devops idir.
Thionndaidh seo a-mach gu bhith gu math, gu math goirt. Agus is e an rud as oilbheumach gun robh e air mo cho-là-breith.
oidhche Haoine. Rinn mi àite glèidhte aig a’ bhàr fìona as fheàrr leam agus thug mi cuireadh dha na homies.
Cha mhòr mus fhalbh sinn, gheibh sinn gnìomh airson atharrachadh a chruthachadh, bidh sinn ga chrìochnachadh, tha a h-uile dad ceart gu leòr. Alter seachad, taigh-cliog air a dhearbhadh. Tha sinn mu thràth a 'dol chun a' bhàr, agus bidh iad a 'sgrìobhadh thugainn nach eil dàta gu leòr ann. Rinn sinn a-mach gu bheil coltas gu bheil a h-uile dad gu leòr. Agus dh’fhalbh iad airson gàirdeachas a dhèanamh.
Bha an taigh-bìdh fuaimneach air Dihaoine. Às deidh dhuinn deochan agus biadh òrdachadh, shuidh sinn air na sofas. Fad na h-ùine seo, bha an slack agam fo thuil gu slaodach le teachdaireachdan. Sgrìobh iad rudeigin mu dheidhinn dìth dàta. Bha mi a’ smaoineachadh – tha a’ mhadainn nas glice na am feasgar. Gu sònraichte an-diugh.
Nas fhaisge air aon-deug thòisich iad a 'gairm. B’ e ceannard a’ chompanaidh a bh’ ann... “Is dòcha gun do cho-dhùin mi meal-a-naidheachd a chuir orm,” smaoinich mi gu math leisg, agus thog mi am fòn.
Agus chuala mi rudeigin mar: “Rinn thu suas an dàta againn! Bidh mi gad phàigheadh, ach chan eil dad ag obair! Bha thu cunntachail airson cùl-taic, agus cha do rinn thu dad dona! Feuch an cuir sinn ceart e!" - dìreach eadhon nas miosa.
- Tha fios agad dè, thoir a-mach am fuck! Is e an-diugh mo cho-là-breith, agus a-nis òlaidh mi, agus cha bhith mi an sàs anns na toraidhean dachaigh agad san Ògmhios bho crap is maidean!
Sin na thuirt mi. An àite sin, thug mi a-mach an laptop agam agus fhuair mi a dh'obair.
Chan e, bhom mi, bhom mi mar ifrinn! Dhòirt e caustic “Dh’ innis mi sin dhut” a-steach don chat - leis nach robh an cùl-taic, nach robh na chùl-taic idir, - gu dearbh, air dad a shàbhaladh.
Dh’ obraich na balaich is mise a-mach mar a stadadh iad le làimh air a’ chlàradh agus sgrùdadh a dhèanamh air a h-uile càil. Rinn sinn cinnteach gu dearbh nach deach cuid den dàta a sgrìobhadh.
Sguir sinn a chlàradh agus chunnt sinn an àireamh de thachartasan a bha ann gach latha. Chuir iad suas barrachd dàta, agus cha deach ach an treas cuid dhiubh sin a chlàradh. Trì slatan le 2 mhac-samhail gach fear. Bidh thu a’ cuir a-steach 100.000 sreathan - chan eil 33.000 air an clàradh.
Bha troimh-chèile iomlan ann. Thuirt a h-uile duine ri chèile mu seach: chaidh Lenya an sin an toiseach, agus mi fhìn agus an neach a stèidhich a’ chompanaidh às a dhèidh. Is e dìreach an stèisean seirbheis a thàinig còmhla a dh’ fheuch ris na fiosan èigheach agus na litrichean againn a chuir air falbh gus fuasgladh fhaighinn air an duilgheadas.
Cha robh duine a 'tuigsinn dè bha a' tachairt dha-rìribh
Bha na balaich agus mise dìreach air an sguabadh air falbh nuair a thuig sinn nach robh an treas cuid den dàta gu lèir air a chlàradh, ach chaidh a chall! Thionndaidh e a-mach gun robh an òrdugh anns a ’chompanaidh mar a leanas: às deidh a chuir a-steach, chaidh an dàta a dhubhadh às gu neo-sheasmhach, chaidh na tachartasan a chaitheamh ann an baidsean. Smaoinich mi mar a thionndaidh Sergei seo gu rubles caillte.
Chaidh mo cho-là-breith a thilgeil dhan sgudal cuideachd. Shuidh sinn aig a 'bhàr agus chruthaich sinn beachdan, a' feuchainn ri fuasgladh fhaighinn air an tòimhseachan a chaidh a thilgeil oirnn. Cha robh an adhbhar airson tuiteam Clickhouse follaiseach. Is dòcha gur e an lìonra a th’ ann, is dòcha gur e na roghainnean Linux a th’ ann. Tha, ge bith dè a tha thu ag iarraidh, tha beachd-bharail gu leòr air a bhith ann.
Cha do ghabh mi bòid an leasaiche, ach bha e mì-onarach na balaich air ceann eile na loidhne a thrèigsinn - eadhon ged a chuir iad a’ choire oirnn airson a h-uile càil. Bha mi 99% cinnteach nach robh an duilgheadas anns na co-dhùnaidhean againn, chan ann air ar taobh. Bha an cothrom 1% a bha sinn air a dhol suas a’ losgadh le iomagain. Ach ge bith dè an taobh air an robh an trioblaid, dh'fheumadh e a bhith air a rèiteachadh. Tha e ro chruaidh a bhith a’ fàgail luchd-ceannach, ge bith cò iad, le aodion dàta cho uamhasach.
Bha sinn ag obair aig bòrd an taigh-bìdh gu trì sa mhadainn. Chuir sinn tachartasan ris, cuir a-steach tagh, agus dheth chaidh sinn gus na beàrnan a lìonadh. Nuair a sgrìobhas tu an dàta, seo mar a nì thu e: bidh thu a’ toirt an dàta cuibheasach airson na làithean roimhe agus gan cuir a-steach don fheadhainn a tha air an sgrìobadh.
Às deidh trì sa mhadainn, chaidh mo charaid agus mi fhìn don taigh agam agus dh’ òrduich iad lionn bhon mhargaidh deoch làidir. Bha mi nam shuidhe le laptop agus duilgheadasan Clickhouse, bha caraid ag innse rudeigin dhomh. Mar thoradh air an sin, às deidh uair a thìde chuir e oilbheum gu robh mi ag obair agus gun a bhith ag òl lionn còmhla ris, agus dh’ fhalbh e. Clasaigeach - bha mi na charaid dha Devops.
Ro 6m, rinn mi ath-chruthachadh air a 'bhòrd a-rithist, agus thòisich an dàta a' tuiltean. Dh'obraich a h-uile càil gun chall sam bith.
An uairsin bha e duilich. Chuir a h-uile duine a’ choire air a chèile airson an dàta a chall. Nam biodh biast ùr air tachairt, tha mi cinnteach gum biodh losgadh air a bhith ann
Anns na sabaidean sin, thòisich sinn mu dheireadh a 'tuigsinn - bha a' chompanaidh den bheachd gur e sinne na daoine a bhios ag obair le dàta agus a 'cumail sùil air structar chlàran. Chuir iad an aghaidh luchd-rianachd agus luchd-reic. Agus thàinig iad a dh’fhaighneachd dhuinn rudeigin eadar-dhealaichte bho na rianairean.
Is e am prìomh ghearan aca - dè an ifrinn, bha thu cunntachail airson na cùl-taic agus cha do rinn thu iad ceart, lean thu a’ caitheamh an dàta. Agus seo uile le bratan ath-chuairteachaidh.
Bha mi ag iarraidh ceartas. Chladhaich mi na litrichean agus na dealbhan-sgrìn ceangailte den a h-uile duine, far am bi Leonid leis a h-uile neart a’ toirt orra an cùl-taic a chaidh a dhèanamh a dhèanamh. Ghabh an stèisean seirbheis aca an taobh againn às deidh mo ghairm fòn. Nas fhaide air adhart dh’aidich Lenya a chiont.
Air an làimh eile, cha robh ceannard na companaidh airson a 'choire a chuir air na daoine aige fhèin. Cha robh buaidh sam bith aig seallaidhean-sgrìn agus faclan air. Bha e den bheachd leis gu robh sinn nar eòlaichean an seo, gum feumadh sinn toirt a chreidsinn air a h-uile duine agus ar co-dhùnadh iarraidh. A rèir coltais, b 'e an obair a bh' againn a bhith a 'teagasg Lenya agus, a bharrachd air sin, a dhol seachad air, a chaidh a chur an dreuchd mar mhanaidsear pròiseict, gus faighinn chun a' phrìomh rud agus gu pearsanta a 'dòrtadh a h-uile teagamh a th' againn mu bhun-bheachd cùl-taic dha.
Chaidh an còmhradh a-mach le fuath, ionnsaigheachd falaichte agus gun fhalach. Cha robh fios agam dè a dhèanadh mi. Tha a h-uile dad air tighinn gu stad. Agus an uairsin chomhairlich iad dhomh an dòigh as fhasa - teachdaireachd pearsanta a sgrìobhadh chun mhanaidsear agus coinneamh a chuir air dòigh leis. Vasya, chan eil daoine ann am fìor bheatha cho luath sa tha iad ann an cabadaich. Fhreagair an ceannard mo theachdaireachd: thig, gun cheist.
B’ e seo a’ choinneamh a bu mhiosa nam chùrsa-beatha. Cha b 'urrainn dha mo charaid bhon neach-dèiligidh - STO - an ùine a lorg. Chaidh mi dhan choinneamh leis a’ cheannard agus Lena.
A-rithist is a-rithist rinn mi ath-chluich air a’ chòmhradh a dh’ fhaodadh a bhith againn nam cheann. Chaidh agam air ruighinn glè thràth, leth uair a thìde ro làimh. Thòisich mi a 'fàs iomagaineach, bha mi a' smocadh 10 toitean. Bha mi a 'tuigsinn, sin e - tha mi a' fucking leis fhèin. Cha bhith e comasach dhomh a chreidsinn. Agus chaidh e a-steach don elevator.
Fhad 's a bha e ag èirigh, bhuail e an tè a b' aotromaiche cho cruaidh 's gun do bhris e e.
Mar thoradh air an sin, cha robh Lenya aig a’ choinneimh. Agus bha deagh chòmhradh againn mu dheidhinn a h-uile càil leis a’ cheannard! Dh’ innis Sergei dhomh mun phian aige. Cha robh e airson “Clickhouse a dhèanamh fèin-ghluasadach” - bha e airson “toirt air ceistean obrachadh."
Chan fhaca mi gobhar, ach fear math, draghail mun ghnìomhachas aige, air a bhogadh ann an obair 24/7. Bidh cabadaich gu tric a’ tarraing oirnn bhreugan, luchd-brathaidh agus daoine gòrach. Ach nam beatha tha na daoine sin dìreach mar thusa.
Cha robh feum aig Sergei air beagan devops airson fastadh. Bha an duilgheadas a bha iad air tionndadh a-mach gu bhith tòrr nas motha.
Thuirt mi gum b’ urrainn dhomh na duilgheadasan aige fhuasgladh – ’s e obair gu tur eadar-dhealaichte a th’ ann, agus tha caraid agam a bhios ag obair air a shon. Nam biodh fios againn bhon toiseach gur e cùmhnant a bha seo dhaibh, bhiodh sinn air mòran a sheachnadh. Tha e fadalach, ach thuig sinn gu robh an duilgheadas ann an riaghladh dàta crappy, chan ann sa bhun-structar.
Chrath sinn làmhan, thog iad ar tuarastal dà uair gu leth, ach air chùmhnant gun gabh mi an làn bhreugan leis an dàta aca agus Clickhouse dhomh fhìn. Anns an àrdaichear, rinn mi conaltradh ris an aon fhear DI Max sin agus cheangail mi e ris an obair. Bha e riatanach an cruinneachadh gu lèir a shlaodadh.
Bha tòrr sgudal anns a’ phròiseact ris an deach gabhail. A 'tòiseachadh leis an iomradh "cùl-taic". Thionndaidh e a-mach nach robh an aon bhuidheann “cùl-taic” seo aonaranach. Rinn iad deuchainn air a h-uile càil air, uaireannan eadhon ga chuir gu cinneasachadh.
Tha an luchd-leasachaidh taobh a-staigh againn air an inneal dàta àbhaisteach aca fhèin a chruthachadh. Dh'obraich e mar seo: chuir e na faidhlichean air dòigh, ruith e an sgriobt agus chuir e an dàta còmhla ann an clàr. Ach b 'e am prìomh dhuilgheadas gun deach gabhail ri àireamh mhòr de dhàta airson aon iarrtas sìmplidh. Chaidh an t-iarrtas a-steach don dàta gach diog. Na h-uile air sgàth aon àireamh - an t-suim gach latha.
Chleachd luchd-leasachaidh taobh a-staigh an inneal anailis gu ceàrr. Chaidh iad chun grafana agus sgrìobh iad an iarrtas rìoghail aca. Luchdaich suas dàta airson 2 sheachdain. Thionndaidh e a-mach gur e graf àlainn a bh’ ann. Ach ann an da-rìribh, bha an t-iarrtas dàta a h-uile 10 diog. Bha seo uile a’ càrnadh ann an ciudha oir cha do rinn Clickhouse dìreach a’ ghiollachd. Seo far an robh am prìomh adhbhar falaichte. Cha do dh’obraich dad ann an Grafana, sheas iarrtasan ann an ciudha, agus bha seann dàta neo-iomchaidh an-còmhnaidh a’ tighinn.
Rinn sinn ath-dhealbhadh air a’ bhuidheann, atharraich sinn an cuir a-steach. Dh'ath-sgrìobh an luchd-leasachaidh a-staigh an “cuir a-steach” aca, agus thòisich iad a’ roinneadh dàta gu ceart.
Rinn Max làn sgrùdadh bun-structair. Mhìnich e plana airson gluasad gu cùl-raon làn-chuimseach. Ach cha robh seo freagarrach don chompanaidh. Bha dùil aca ri dìomhaireachd draoidheil bho Max a leigeadh leotha obrachadh san t-seann dòigh, ach a-mhàin gu h-èifeachdach. Bha Lenya fhathast os cionn a 'phròiseict, agus cha do dh'ionnsaich e dad. De na h-uile a chaidh a thairgse, thagh e a-rithist a roghainn eile. Mar as àbhaist, b’ e seo an co-dhùnadh as roghnaiche... dàna. Bha Lenya a 'creidsinn gu robh slighe sònraichte aig a' chompanaidh aige. Dreach agus làn de bheanntan-deighe.
Gu fìrinneach, sin far an do dhealaich sinn - rinn sinn nas urrainn dhuinn.
Làn eòlas agus gliocas bhon eachdraidh seo, dh'fhosgail sinn ar gnìomhachas fhèin agus chruthaich sinn grunn phrionnsabalan dhuinn fhìn. Cha tòisich sinn gu bràth air obair san aon dòigh a-nis agus a rinn sinn an uairsin.
Thàinig DJ Max còmhla rinn às deidh a’ phròiseact seo, agus tha sinn fhathast ag obair gu math còmhla. Dh’ ionnsaich cùis Clickhouse dhomh mar a nì mi sgrùdadh bun-structair coileanta agus mionaideach mus tòisich mi air an obair. Tha sinn a 'tuigsinn mar a tha a h-uile càil ag obair agus dìreach an uairsin a' gabhail ris na gnìomhan. Agus nan dèanadh sinn cabhag sa bhad gus am bun-structar a chumail suas, a-nis nì sinn pròiseact aon-ùine an-toiseach, a chuidicheas sinn le bhith a’ tuigsinn mar a bheir sinn a-steach e ann an staid obrach.
Agus tha, bidh sinn a’ seachnadh phròiseactan le bun-structar crappy. Fiù 's ma tha e airson tòrr airgid, fiù' s ma tha e a-mach à càirdeas. Tha e neo-phrothaideach pròiseactan tinn a ruith. Le bhith a 'tuigsinn seo chuidich sinn sinn a' fàs. An dàrna cuid pròiseact aon-ùine gus am bun-structar fhaighinn ann an òrdugh agus an uairsin cùmhnant cumail suas, no bidh sinn dìreach ag itealaich seachad. Seachad air beinn-deighe eile.
PS Mar sin ma tha ceistean agad mun bhun-structar agad, .
Tha 2 sgrùdadh an-asgaidh againn gach mìos, is dòcha gum bi am pròiseact agad mar aon dhiubh.
Source: www.habr.com