Mona ke pale e ileng ea fetola ka ho sa feleng mokhoa oa ka oa ho etsa mosebetsi oa devops. Khale mehleng ea pele ho Covid, nako e telele pele ho bona, ha 'na le bashanyana re ntse re rera khoebo ea rona le ho ikemela ka litaelo tse sa reroang, tlhahiso e le' ngoe e ile ea oela ka kariking ea ka.
Khampani e ngotseng sena e ne e le k'hamphani ea data analytics. O ne a sebetsa likopo tse likete letsatsi le letsatsi. Ba tlile ho rona ka mantsoe a reng: bashanyana, re na le ClickHouse 'me re batla ho iketsetsa tlhophiso le ho kenya. Re batla hore Ansible, Terraform, Docker le hore tsohle li bolokoe ho Git. Re batla sehlopha sa li-node tse 'ne tse nang le likopi tse peli e' ngoe le e 'ngoe.
Ke kopo e tloaelehileng, ho na le tse ngata tsa tsona, 'me u hloka tharollo ea maemo a tšoanang. Re ile ra re "ho lokile", 'me ka mor'a libeke tse 2-3 tsohle li ne li lokile. Ba ile ba amohela mosebetsi mme ba qala ho fallela sehlopheng se secha sa Clickhouse ba sebelisa lisebelisoa tsa rona.
Ha ho na motho ea neng a batla kapa a tseba ho ts'oana le Clickhouse. Eaba re nahana hore bona e ne e le bothata ba bona bo ka sehloohong, ’me ka hona setsi sa litšebeletso sa k’hamphani se ile sa fana ka tumello ho sehlopha sa ka ho iketsetsa mosebetsi ka hohle kamoo ho ka khonehang, e le hore ’na ke se ke ka hlola ke ea moo.
Re ile ra tsamaea le ho falla, ho ile ha hlaha mesebetsi e meng - ho theha li-backups le ho beha leihlo. Ka nako e ts'oanang, seteishene sa tšebeletso sa k'hamphani ena se ile sa kopana le morero o mong, oa re siea le e mong oa rona - Leonid - e le molaoli. Lenya e ne e se mohlankana ea nang le bokhoni haholo. Moqapi ea bonolo ea ileng a behoa ka tšohanyetso ho laola Clickhouse. Ho bonahala eka ena e ne e le kabelo ea hae ea pele ea ho laola ntho e itseng, ’me tlhompho e fetisisang e ile ea etsa hore a ikutloe a hloletsoe.
Hammoho re ikemiselitse ho etsa li-backups. Ke khothalelitse ho boloka data ea mantlha hang-hang. E nke feela, e kenye 'me u e lahlele ka bokhabane ka har'a c3. Lintlha tse tala ke khauta. Ho ne ho e-na le khetho e 'ngoe - ho boloka litafole ka botsona ho Clickhouse, ho sebelisa leqhoa le ho kopitsa. Empa Lenya o ile a tla ka tharollo ea hae.
O phatlalalitse hore re hloka sehlopha sa bobeli sa Clickhouse. 'Me ho tloha joale ho ea pele re tla ngolla data ho lihlopha tse peli - tse ka sehloohong le tsa ho boloka. Kea mo bolella, Lenya, e ke ke ea e-ba bekapo, empa e le setšoantšo se sebetsang. 'Me haeba data e qala ho lahleheloa ke tlhahiso, ho tla etsahala se tšoanang ho bekapo ea hau.
Empa Lenya a tshwara setereng ka thata mme a hana ho mamela mabaka a ka. Re ile ra qoqa le eena ka nako e telele moqoqong, empa ho ne ho se letho leo re ka le etsang - Lenya o ne a okametse morero, re ne re le bana ba hiriloe seterateng.
Re ile ra beha leihlo boemo ba sehlopha mme ra lefisa feela mosebetsi oa batsamaisi. Tsamaiso e hloekileng ea Clickhouse ntle le ho kena ho data. Sehlopha se ne se fumaneha, li-disks li ne li le ntle, li-node li ne li le ntle.
Re ne re sa tsebe hore re fumane taelo ena ka lebaka la ho se utloisisane ho tšabehang ka har'a sehlopha sa bona
Mookameli o ne a sa thabele hore Clickhouse e lieha 'me ka linako tse ling data e ne e lahleha. O ile a beha setsi sa hae sa tšebeletso mosebetsi oa ho e utloisisa. O e bone ka hohle kamoo a ka khonang mme a etsa qeto ea hore re hloka feela ho iketsetsa Clickhouse - ke phetho. Empa ha ho se ho hlaka, ho hang ba ne ba sa hloke sehlopha sa li-devops.
Sena sohle se ile sa bonahala se le bohloko haholo. Mme ntho e kgopisang ka ho fetisisa ke hore e ne e le ka letsatsi la ka la tswalo.
Labohlano mantsiboea. Ke ile ka behella bareng eo ke e ratang ka ho fetisisa ea veine 'me ka mema malapa.
Hoo e ka bang pele re tsamaea, re fumana mosebetsi oa ho theha alter, re e phethe, tsohle li lokile. Alter e fetile, clickhouse e tiisitsoe. Re se re ntse re ea bareng, 'me ba re ngolla hore ha ho na data e lekaneng. Re ile ra bala hore ntho e 'ngoe le e 'ngoe e bonahala e lekane. Mme ba tloha ho ya keteka.
Reschorenteng e ne e le lerata ka Labohlano. Kaha re ne re odara lino-mapholi le lijo, re ile ra itihela litulong. Nakong ena eohle, butle-butle ke ne ke tletse melaetsa. Ba ngotse ho hong ka khaello ea data. Ka nahana - hoseng ho bohlale ho feta mantsiboya. Haholo-holo kajeno.
Ho elella ho leshome le motso o mong ba qala ho letsa. E ne e le hlooho ea k'hamphani ... "Mohlomong ke ile ka etsa qeto ea ho nthohamisa," ke ile ka nahana ka ho tsilatsila haholo, 'me ka nka mohala.
Mme ke ile ka utlwa ntho e kang ena: “O senyeditse data ya rona! Kea u lefa, empa ha ho letho le sebetsang! U ne u ikarabella bakeng sa li-backups, 'me ha ua ka ua etsa ntho e mpe! Ha re e lokise!" - feela esita le ruder.
- Ua tseba, tlosa fuck! Kajeno ke letsatsi la ka la tsoalo, 'me joale ke tla noa,' me ke se ke ka kopanela lihlahisoa tsa hau tsa June tse entsoeng ka mahahapa le lithupa!
Ke seo ke sa kang ka se bua. Ho e-na le hoo, ke ile ka ntša laptop ea ka eaba ke qala ho sebetsa.
Che, ke bomotse, ke bomotse joalo ka lihele! O ile a tšollela caustic "Ke u joetse joalo" moqoqong - hobane bekapo, eo e neng e se bekapo ho hang, - ehlile, e ne e sa boloke letho.
'Na le bashanyana re ile ra fumana mokhoa oa ho emisa ho rekota le ho hlahloba ntho e' ngoe le e 'ngoe. Re ile ra etsa bonnete ba hore lintlha tse ling ha lia ngoloa.
Re ile ra khaotsa ho rekota ’me ra bala palo ea liketsahalo tse neng li le teng ka letsatsi. Ba kentse data e eketsehileng, eo karolo ea boraro feela ea eona e sa tlalehoang. Likotoana tse tharo tse nang le likopi tse 2 ka 'ngoe. U kenya mela e 100.000 - 33.000 ha e ea ngoloa.
Ho ne ho e-na le pherekano e feletseng. E mong le e mong o ile a bolella e mong hore a qhekelle ka ho fapanyetsana: Lenya o ile a ea moo pele, a lateloa ke 'na le mothehi oa k'hamphani. Ke feela setsi sa litšebeletso se ikopantseng se lekileng ho khelosa mehala ea rona le mangolo ho fumana tharollo bothateng bona.
Ho ne ho se motho ea utloisisang se hlileng se etsahalang
'Na le bashanyana re ile ra ferekana ha re hlokomela hore karolo ea boraro ea data eohle e ne e sa tlalehoa feela, e lahlehile! Ho ile ha fumaneha hore taelo ea k'hamphani e ne e le ka tsela e latelang: ka mor'a ho kenngoa, data e ile ea tlosoa ka mokhoa o ke keng oa fetoloa, liketsahalo li ile tsa senyeha ka lihlopha. Ke ne ke nahana hore na Sergei o ne a tla fetola sena sohle joang hore e be li-ruble tse lahlehileng.
Letsatsi la ka la tsoalo le lona le ile la lahleloa ka har’a lithōle. Re ile ra lula bareng 'me ra hlahisa mehopolo, re leka ho rarolla bothata bo neng bo lahletsoe ho rona. Lebaka la ho oa ha Clickhouse le ne le sa totobala. Mohlomong ke marang-rang, mohlomong ke litlhophiso tsa Linux. E, eng kapa eng eo u e batlang, ho bile le likhopolo-taba tse lekaneng.
Ha kea ka ka etsa kano ea moqapi, empa e ne e le ho se tšepahale ho lahla bahlankana ka lehlakoreng le leng la moeli - leha ba ne ba re qosa ka ntho e 'ngoe le e' ngoe. Ke ne ke kholisehile ka 99% hore bothata bo ne bo sa itšetleha ka liqeto tsa rōna, eseng ka lehlakoreng la rōna. Monyetla oa 1% oa hore ebe re ile ra qhekella o ne o tuka ke matšoenyeho. Empa ho sa tsotellehe hore na bothata bo ne bo le ka lehlakoreng lefe, bo ne bo tlameha ho lokisoa. Ho siea bareki, ho sa tsotelehe hore na ke bo-mang, ka ho lutla ha data ho joalo ho sehlōhō haholo.
Re ile ra sebetsa tafoleng ea reschorente ho fihlela ka hora ea boraro hoseng. Re ile ra eketsa liketsahalo, ra kenya khetha, 'me ra tloha ho ea tlatsa likheo. Ha u senya data, ke tsela eo u e etsang ka eona: u nka data e tloaelehileng ea matsatsi a fetileng ebe u e kenya ka har'a tse senyehileng.
Ka mor’a hora ea boraro hoseng, ’na le motsoalle oa ka re ile ra ea ha ka ’me ra reka biri ’marakeng oa joala. Ke ne ke lutse le laptop le mathata a Clickhouse, motsoalle e mong o ne a mpolella ho hong. Ka lebaka leo, ka mor’a hora o ile a khopisoa ke hore ke ne ke sebetsa ’me ke sa noe biri le eena, eaba oa tsamaea. Classic - Ke ne ke le motsoalle oa Devops.
Ka hora ea botšelela hoseng, ke ile ka etsa tafole hape, 'me lintlha tsa qala ho tlala. Ntho e 'ngoe le e 'ngoe e ne e sebetsa ntle le tahlehelo leha e le efe.
Joale ho ne ho le thata. E mong le e mong o ile a jarisana molato bakeng sa tahlehelo ea data. Haeba phoso e ncha e ne e etsahetse, ke na le bonnete ba hore ho ka be ho bile le ho thunyana
Lintoeng tsena, qetellong re ile ra qala ho utloisisa - k'hamphani e ne e nahana hore re bashanyana ba sebetsang ka data le ho lekola sebopeho sa litafole. Ba ferekanya admins le barekisi. 'Me ba tlile ho re botsa ntho e fapaneng le ea bo-admin.
Tletlebo ea bona e kholo ke - lihele, u ne u ikarabella bakeng sa li-backups mme ha ua li etsa hantle, u ile ua tsoela pele ho senya data. 'Me sena sohle ka limmete tse khutlisang morao.
Ke ne ke batla toka. Ke ile ka cheka mangolo 'me ka kopanya li-screenshots tsa motho e mong le e mong, moo Leonid ka matla a hae a ba qobellang ho etsa bekapo e entsoeng. Seteishene sa bona sa litšebeletso se ile sa nka lehlakore la rona kamora mohala oa ka. Hamorao Lenya o ile a lumela molato oa hae.
Hlooho ea k'hamphani, ho fapana le hoo, o ne a sa batle ho beha batho ba habo molato. Lits'oants'o tsa skrini le mantsoe li ne li se na phello ho eena. O ne a lumela hore kaha re ne re le litsebi mona, re ne re lokela ho kholisa bohle le ho tsitlella qetong ea rōna. Kamoo ho bonahalang kateng, mosebetsi oa rona e ne e le ho ruta Lenya 'me, ho feta moo, ho mo feta, ea neng a khethiloe e le mookameli oa morero, ho fihla nthong e ka sehloohong le ho tšollela lipelaelo tsohle tsa rona ka khopolo ea li-backups ho eena.
Puisano e ile ea tlala lehloeo, mabifi a ipatileng le a sa pateheng. Ke ne ke sa tsebe hore na ke etseng. Ntho e nngwe le e nngwe e eme. 'Me joale ba nkhothalletsa tsela e bonolo ka ho fetisisa - ho ngolla mookameli molaetsa oa botho le ho lokisetsa seboka le eena. Vasya, batho ba bophelong ba sebele ha ba potlake joalo ka ha ba le moqoqong. Mookameli o ile a araba molaetsa oa ka: tloo, ha ho potso.
E ne e le kopano e tšosang ka ho fetisisa mosebetsing oa ka. Mothusi oa ka ho tsoa ho moreki - STO - ha a khona ho fumana nako. Ke ile ka ea sebokeng le mookameli le Lena.
Khafetsa ke ne ke pheta-pheta moqoqo oa rona hloohong ea ka. Ke ile ka khona ho fihla hoseng haholo, halofo ea hora esale pele. Ke ile ka qala ho tšoha, ke tsuba lisakerete tse 10. Ke ile ka utloisisa, ke eona - ke fucking ke le mong. Nke ke ka khona ho ba kholisa. Mme a kena ka hara lifti.
Ha a ntse a tsoha, a otla lebone ka matla hoo le ileng la robeha.
Ka lebaka leo, Lenya o ne a le sieo sebokeng. Mme re bile le puisano e ntle ka tsohle le mookameli! Sergei o ile a mpolella ka bohloko ba hae. O ne a sa batle ho "automate Clickhouse" - o ne a batla ho "etsa hore lipotso li sebetse."
Ha kea ka ka bona pōli, empa mohlankana ea lokileng, ea tšoenyehileng ka khoebo ea hae, a ikakhela ka setotsoana mosebetsing 24/7. Hangata ho qoqa ho re hulela batho ba khopo, banyatsi le batho ba hlokang kelello. Empa bophelong bana ke batho ba tšoanang le uena.
Sergei o ne a sa hloke li-devops tse 'maloa bakeng sa ho hira. Bothata boo ba neng ba e-na le bona bo ile ba fetoha bo boholo le ho feta.
Ke ile ka re nka rarolla mathata a hae - ke mosebetsi o fapaneng ka ho feletseng, 'me ke na le motsoalle ea o sebeletsang. Haeba re ne re tsebile ho tloha qalong hore sena ke tumellano ea bona, re ka be re ile ra qoba ho hongata. E se e le morao, empa re ile ra hlokomela hore bothata bo ne bo le taolong ea data e bohlasoa, eseng litsing tsa motheo.
Re ile ra ts'oarana ka matsoho, ba phahamisitse moputso oa rona makhetlo a mabeli le halofo, empa ka boemo ba hore nka nka bohlasoa bohle ka data ea bona le Clickhouse bakeng sa ka. Ka lifting, ke ile ka buisana le eena mohlankana eane oa DI Max mme ka mo hokela mosebetsing. Ho ne ho hlokahala ho kharasha lesihla kaofela.
Ho ne ho e-na le lithōle tse ngata morerong o amohetsoeng. Ho qala ka "backup" e boletsoeng. Ho ile ha fumaneha hore sehlopha sena sa "backup" se ne se sa aroloa. Ba ile ba leka ntho e 'ngoe le e 'ngoe ho eona, ka linako tse ling ba bile ba e kenya tlhahiso.
Basebelisi ba rona ba kahare ba iketselitse mokhoa oa bona oa ho kenya data. O ile a sebetsa ka tsela ena: o ile a kopanya lifaele, a tsamaisa script mme a kopanya data tafoleng. Empa bothata bo boholo e ne e le hore palo e kholo ea data e ile ea amoheloa bakeng sa kopo e le 'ngoe e bonolo. Kopo e kenyellelitse lintlha motsotsoana o mong le o mong. Tsohle molemong oa nomoro e le 'ngoe - chelete ka letsatsi.
Bahlahisi ba ka tlung ba sebelisitse sesebelisoa sa analytics ka phoso. Ba ile ba ya ho grafana mme ba ngola kopo ya bona ya borena. O kentse data bakeng sa libeke tse 2. E ile ea e-ba kerafo e ntle. Empa ha e le hantle, kopo ea data e ne e le metsotsoana e meng le e meng ea 10. Sena sohle se ne se bokellana moleng hobane Clickhouse ha ea ka ea etsa ts'ebetso. Mona ke moo lebaka le leholo le neng le patiloe. Ha ho letho le ileng la sebetsa Grafana, likopo li ne li eme moleng, 'me data ea khale, e sa sebetseng e ne e lula e fihla.
Re ile ra hlophisa sehlopha bocha, ra kenya hape. Bahlahisi ba ka hare ba ile ba ngola "insenter" ea bona hape, 'me e ile ea qala ho arola data ka nepo.
Max o ile a etsa tlhahlobo e felletseng ea litšebeletso tsa motheo. O ile a hlalosa moralo oa phetoho ho ea ka morao-rao e feletseng. Empa sena se ne se sa lumellane le khampani. Ba ne ba lebeletse sephiri sa boselamose ho Max se neng se tla ba lumella ho sebetsa ka tsela ea khale, empa ka katleho feela. Lenya o ne a ntse a okametse morero ona, ’me ha aa ka a ithuta letho. Ho tsohle tse neng li fanoa, o ile a boela a khetha khetho ea hae. Joalo ka mehla, ena e ne e le qeto e khethiloeng ka ho fetisisa ... e sebete. Lenya o ne a lumela hore k'hamphani ea hae e na le tsela e khethehileng. E meutloa ebile e tletse maqhoa a leqhoa.
Ha e le hantle, ke hona moo re ileng ra arohana - re entse seo re ka se khonang.
Re tletse tsebo le bohlale ho tsoa nalaneng ena, re ile ra bula khoebo ea rona mme ra iketsetsa melao-motheo e mengata bakeng sa rona. Ha ho mohla re tla qala mosebetsi ka tsela e tšoanang le eo re neng re qala ka eona nakong eo.
DJ Max o ile a ikopanya le rona kamora projeke ena, mme re ntse re sebetsa hantle hammoho. Nyeoe ea Clickhouse e nthutile mokhoa oa ho etsa tlhahlobo e felletseng le e phethahetseng ea meaho pele ke qala mosebetsi. Re utloisisa kamoo ntho e 'ngoe le e' ngoe e sebetsang kateng 'me feela re amohela mesebetsi. 'Me haeba pejana re ne re tla potlakela ho boloka lisebelisoa tsa motheo, joale re qala ho etsa morero oa nako e le' ngoe, o re thusang ho utloisisa hore na re ka o tlisa joang boemong ba ho sebetsa.
'Me e, re qoba merero e nang le mekhoa e metle ea lisebelisoa. Leha e ka ba ka chelete e ngata, leha e le ka lebaka la setsoalle. Ha ho na thuso ho tsamaisa merero e kulang. Ho hlokomela sena ho ile ha re thusa hore re hōle. Ekaba morero oa nako e le 'ngoe oa ho lokisa meaho le konteraka ea tlhokomelo, kapa re fofa feela. Ho feta leqhoa le leng.
PS Kahoo haeba u na le lipotso mabapi le lisebelisoa tsa hau, .
Re na le litlhahlobo tse 2 tsa mahala ka khoeli, mohlomong projeke ea hau e tla ba e 'ngoe ea tsona.
Source: www.habr.com