Nke a bụ akụkọ nke gbanwere ụzọ m maka ọrụ devops ruo mgbe ebighị ebi. Laa azụ n'oge tupu Covid, ogologo, ogologo oge n'ihu ha, mgbe mụ na ụmụ okorobịa ahụ na-eme atụmatụ azụmahịa nke anyị na nnwere onwe na iwu enweghị usoro, otu onyinye dabara n'ụgbọ m.
Ụlọ ọrụ dere nke a bụ ụlọ ọrụ nyocha data. Ọ na-ahazi puku kwuru puku arịrịọ kwa ụbọchị. Ha ji okwu ndị a bịakwute anyị: ụmụ okorobịa, anyị nwere ClickHouse na anyị chọrọ imezi nhazi na nrụnye ya. Anyị chọrọ ike, Terraform, Docker na ka echekwara ya niile na Git. Anyị chọrọ ụyọkọ ọnụ ọnụ anọ nwere mpịaji abụọ nke ọ bụla.
Ọ bụ arịrịọ ọkọlọtọ, enwere ọtụtụ n'ime ha, yana ịchọrọ ezigbo ngwọta ọkọlọtọ. Anyị kwuru "ọ dị mma", ma mgbe izu 2-3 gachara ihe niile dị njikere. Ha nakweere ọrụ ahụ wee malite iji ụlọ ọrụ anyị kwaga na ụyọkọ Clickhouse ọhụrụ.
Ọ dịghị onye chọrọ ma ọ bụ mara ka a ga-esi jiri Clickhouse tinker. Mgbe ahụ, anyị chere na nke a bụ isi nsogbu ha, ya mere ụlọ ọrụ ọrụ ụlọ ọrụ ahụ nyere ndị otu m ohere ịmegharị ọrụ ahụ dịka o kwere mee, ka m ghara ịga ebe ahụ ọzọ.
Anyị na-eso njem ahụ, ọrụ ndị ọzọ bilitere - ịtọlite nchekwa ndabere na nlekota. N'otu oge ahụ, ụlọ ọrụ ọrụ nke ụlọ ọrụ a jikọtara ya na ọrụ ọzọ, na-ahapụ anyị otu nke anyị - Leonid - dị ka ọchịagha. Lenya abụghị ezigbo nwoke. Onye nrụpụta dị mfe nke etinyere na mberede na-elekọta Clickhouse. O yiri ka nke a bụ ọrụ mbụ o nyere ya ilekọta ihe, nsọpụrụ dị ukwuu a na-enye ya mere ka o nwee nkụda mmụọ.
Anyị jikọtara ọnụ maka ịme nkwado ndabere. M tụrụ aro ịkwado data izizi ozugbo. Naanị were ya, zip ya ma jiri ọmarịcha tụba ya n'ime ụfọdụ c3. Raw data bụ ọla edo. Enwere nhọrọ ọzọ - ịkwado tebụl n'onwe ha na Clickhouse, na-eji ifriizi na iṅomi. Mana Lenya weputara ihe ngwọta nke ya.
Ọ mara ọkwa na anyị chọrọ ụyọkọ Clickhouse nke abụọ. Ma site ugbu a gaa n'ihu, anyị ga-ede data na ụyọkọ abụọ - isi na ndabere. M na-agwa ya, Lenya, ọ gaghị abụ nkwado ndabere na mpaghara, kama oyiri na-arụ ọrụ. Ma ọ bụrụ na data amalite ịla n'iyi na mmepụta, otu ihe ahụ ga-eme na nkwado ndabere gị.
Ma Lenya jidere steering nke ọma ma jụ ige ntị n'arụmụka m. Anyị na ya kparịtara ụka ruo ogologo oge na nkata ahụ, ma ọ dịghị ihe ọ bụla ị ga-eme - Lenya na-ahụ maka ọrụ ahụ, anyị bụ nanị ụmụaka a na-akwụ ụgwọ n'okporo ámá.
Anyị na-enyocha steeti ụyọkọ ahụ wee kwụọ ụgwọ naanị maka ọrụ ndị nchịkwa. Ọchịchị Clickhouse dị ọcha na-abanyeghị na data ahụ. Ụyọkọ ahụ dị, diski ndị ahụ dị mma, ọnụ ọnụ dị mma.
Anyị amaghị na anyị nwetara iwu a n'ihi oke nghọtahie dị n'etiti otu ha
Onye njikwa ahụ enweghị obi ụtọ na Clickhouse dị nwayọ na data na-efunahụ mgbe ụfọdụ. O doro ọdụ ọrụ ya ọrụ ịchọpụta ya. Ọ chọpụtara na ọ kacha mma ma kwubie na ọ dị anyị mkpa ịmegharị Clickhouse - nke ahụ bụ ihe niile. Ma ka ọ bịara doo anya n'oge na-adịghị anya, ha achọghị otu ìgwè nke devops ma ọlị.
Ihe a niile wee bụrụ ihe na-egbu mgbu. Ihe kacha ewe iwe bụ na ọ bụ ụbọchị ọmụmụ m.
Mgbede Fraịde. Emere m ndoputa n'ụlọ mmanya mmanya kacha amasị m ma kpọọ ndị enyi m.
Ihe fọrọ nke nta ka ọ bụrụ tupu ịpụ, anyị na-enweta ọrụ iji mepụta mgbanwe, anyị mezue ya, ihe niile dị mma. Ọzọ gafere, clickhouse kwadoro. Anyị na-agarịrị na mmanya, ha degara anyị akwụkwọ na enweghị data zuru ezu. Anyị gbakọrọ na ihe niile yiri ka ezuru. Ha wee pụọ ime ememe.
Ụlọ oriri na ọṅụṅụ ahụ nwere mkpọtụ na Fraịde. Ebe anyị nyere iwu ihe ọṅụṅụ na nri, anyị na-edina n'elu sofas. N’oge a niile, ozi juru m nwayọọ nwayọọ. Ha dere ihe gbasara enweghị data. Echere m - ụtụtụ maara ihe karịa mgbede. Karịsịa taa.
Na nso iri na otu ha malitere ịkpọ. Ọ bụ onye isi ụlọ ọrụ ahụ ... "Ma eleghị anya, kpebiri ikele m," M chere na ọ na-egbu oge, wee buru ekwentị ahụ.
Anụkwara m ihe dị ka: "Ị mejọrọ data anyị! Ana m akwụ gị ụgwọ, mana ọ nweghị ihe na-arụ ọrụ! Ọ bụ gị na-ahụ maka nkwado ndabere na mpaghara, ma ị meghị ihe jọgburu onwe ya! Ka anyị dozie ya!" - naanị ọbụna ruder.
- Ị maara ihe, wepụ fuck ahụ! Taa bụ ụbọchị ọmụmụ m, ma ugbu a, m ga-aṅụ mmanya, ma ghara itinye aka na ngwaahịa June gị mere n'ụlọ site na unyi na osisi!
Nke ahụ bụ ihe m na-ekwughị. Kama, m wepụtara laptọọpụ m ma rụọ ọrụ.
Mba, a tụrụ m bọmbụ, a tụrụ m bọmbụ ka hell! Ọ wụsara caustic "Agwara m gị otu a" na nkata - n'ihi na nkwado ndabere na mpaghara, nke na-abụghị ndabere ma ọlị, - n'ezie, echekwaghị ihe ọ bụla.
Mụ na ụmụ nwoke ahụ chepụtara ka anyị ga-esi jiri aka kwụsị ndekọ ahụ wee lelee ihe niile. Anyị n'ezie hụ na e deghị ụfọdụ n'ime data.
Anyị kwụsịrị idekọ ma gụọ ọnụ ọgụgụ ihe omume na-eme kwa ụbọchị. Ha bulitere data ndị ọzọ, nke naanị otu ụzọ n'ụzọ atọ na-edekọghị. Shards atọ nwere ụdị 2 nke ọ bụla. Ịfanye ahịrị 100.000 - 33.000 anaghị edekọ.
Enwere mgbagwoju anya zuru oke. Onye ọ bụla gwara onye ọ bụla ọzọ fuck oyi n'aka: Lenya gara ebe mbụ, sochiri onwe m na onye nchoputa nke ụlọ ọrụ. Naanị ụlọ ọrụ ọrụ sonyeere nwara ịtụgharị oku na-eti mkpu na akwụkwọ ozi anyị wee chọta azịza maka nsogbu ahụ.
Ọ dịghị onye ghọtara ihe na-eme n'ezie
Mụ na ụmụ okorobịa ahụ gbapụrụ nnọọ mgbe anyị chọpụtara na otu ụzọ n'ụzọ atọ nke data niile abụghị naanị na e dekọrọ ya, ọ furu efu! Ọ tụgharịrị na iwu dị na ụlọ ọrụ ahụ dị ka ndị a: mgbe ntinyechara, ehichapụ data ahụ n'enweghị ihe ọ bụla, ihe omume ahụ na-efunahụ na batches. M chere otú Sergei ga-esi tọghata ihe a nile n'ime furu efu rubles.
A tụbakwara ụbọchị ọmụmụ m n'ime ahịhịa. Anyị na-anọdụ ala na mmanya na-emepụta echiche, na-agbalị idozi mgbagwoju anya nke a tụbara anyị. Ihe kpatara ọdịda Clickhouse abụghị ihe doro anya. Ikekwe ọ bụ netwọk, ikekwe ọ bụ ntọala Linux. Ee, ihe ọ bụla ịchọrọ, enweela echiche zuru oke.
Anaghị m aṅụ iyi nke onye nrụpụta, mana ọ bụ akwụwaghị aka ọtọ ịhapụ ụmụ okorobịa ahụ n'akụkụ nke ọzọ nke ahịrị - ọbụlagodi na ha na-ata anyị ụta maka ihe niile. Eji m n'aka 99% na nsogbu ahụ adabereghị na mkpebi anyị, ọ bụghị n'akụkụ anyị. Ohere 1% nke anyị mebiri na-ere ọkụ na nchekasị. Ma n'agbanyeghị akụkụ nsogbu ahụ dị, a ghaghị idozi ya. Ịhapụ ndị ahịa, n'agbanyeghị onye ha bụ, na ụdị data dị egwu dị otú ahụ dị oke obi ọjọọ.
Anyị na-arụ ọrụ na tebụl nri ruo elekere atọ nke ụtụtụ. Anyị gbakwunyere mmemme, fanye họrọ, wee pụọ anyị wee mejupụta oghere ndị ahụ. Mgbe ị na-atụgharị data ahụ, otu a ka ị ga-esi eme ya: ị na-ewere nkezi data maka ụbọchị ndị gara aga ma tinye ha n'ime ndị screwed.
Mgbe elekere atọ nke ụtụtụ gasịrị, mụ na enyi m gara n'ụlọ m nye iwu ka a ṅụọ biya n'ahịa mmanya. M nọ ọdụ na laptọọpụ na nsogbu Clickhouse, enyi m na-agwa m ihe. N’ihi ya, mgbe otu awa gachara, iwe were ya na mụ na ya na-arụ ọrụ na anaghị m aṅụ biya, wee pụọ. Omuma - Abụ m enyi Devops.
N'elekere isii nke ụtụtụ, m megharịrị tebụl ahụ ọzọ, data ahụ wee malite iju mmiri. Ihe niile na-arụ ọrụ na-enweghị ihe ọ bụla na-efunahụ.
Mgbe ahụ, ọ siri ike. Onye ọ bụla boro ibe ya ụta maka mfu data ahụ. Ọ bụrụ na ahụhụ ọhụrụ mere, ejiri m n'aka na a gaara enwe agbapụ
N'ọgụ ndị a, anyị mechara malite ịghọta - ụlọ ọrụ ahụ chere na anyị bụ ụmụ okorobịa na-arụ ọrụ na data ma nyochaa nhazi nke tebụl. Ha gbagwojuru ndị admins na ndị na-ere ahịa anya. Ha bịakwara jụọ anyị ihe dị iche na ndị admins.
Isi mkpesa ha bụ - kedu ihe hel, ọ bụ gị na-ahụ maka nkwado ndabere na mpaghara imeghị ha nke ọma, ị gara n'ihu na-emebi data ahụ. Na ihe niile a na rewinding ute.
Achọrọ m ikpe ziri ezi. Egwupụtara m akwụkwọ ozi na ihe nseta ihuenyo nke onye ọ bụla, ebe Leonid ji ike ya niile na-amanye ha ka ha mee nkwado ndabere na mpaghara ahụ. Ọdụ ọrụ ha sonyeere anyị mgbe m kpọchara ekwentị. Mgbe e mesịrị Lenya kwetara ikpe ọmụma ya.
Onye isi ụlọ ọrụ ahụ, n'ụzọ megidere nke ahụ, achọghị ịta ndị nke ya ụta. Ihuenyo na okwu enweghị mmetụta n'ahụ ya. O kwenyere na ebe anyị bụ ndị ọkachamara n'ebe a, anyị aghaghị ime ka onye ọ bụla kwenye ma na-esi ọnwụ na mkpebi anyị. N'ụzọ doro anya, anyị ọrụ bụ ịkụziri Lenya na, Ọzọkwa, uzo ya, onye a họpụtara dị ka oru ngo njikwa, na-esi na isi ihe na n'onwe wụsa anyị niile obi abụọ banyere echiche nke backups ya.
Mkparịta ụka ahụ juputara na ịkpọasị, mmegide zoro ezo na nke ezoro ezo. Amaghị m ihe m ga-eme. Ihe niile akwụsịla. Mgbe ahụ, ha dụrụ m ọdụ n'ụzọ kachasị mfe - idegara onye njikwa ozi ozi nkeonwe ma hazie ya na nzukọ. Vasya, ndị mmadụ na ndụ n'ezie anaghị adị ngwa ngwa ka ha na-akparịta ụka. Onye isi zara ozi m: bia, ajuju adighi.
Ọ bụ nzukọ kacha atụ egwu na ọrụ m. Onye mmekọ m sitere n'aka onye ahịa - STO - enweghị ike ịchọta oge ahụ. Mụ na onyeisi ahụ na Lena gara nzukọ ahụ.
Ugboro ugboro, m na-emegharị mkparịta ụka anyị nwere ike ime n'isi m. Ejisiri m ike bịarute n'isi ụtụtụ, ọkara awa tupu oge eruo. Amalitere m ịma jijiji, m na-ese sịga 10. Aghọtara m, ọ bụ ya - naanị m na-agba. Agaghị m enwe ike ime ka ha kwenye. O wee banye n'ime igwe mbuli elu.
Mgbe ọ na-ebili, ọ kụrụ ọkụ ọkụ nke ukwuu nke na ọ gbawara ya.
N’ihi ya, Lenya anọghị ná nzukọ ahụ. Anyị na onye isi anyị nwere mkparịta ụka dị ukwuu banyere ihe niile! Sergei gwara m banyere ihe mgbu ya. Ọ chọghị "mepụta Clickhouse" - ọ chọrọ "ime ka ajụjụ rụọ ọrụ."
Ahụghị m ewu, ma ezigbo mmadụ, na-echegbu onwe ya banyere azụmahịa ya, na-emikpu n'ọrụ 24/7. Mkparịta ụka na-adọtakarị anyị ndị ọjọọ, ndị nkọcha na ndị nzuzu. Ma na ndụ ndị a bụ ndị dị ka gị.
Sergei achọghị ego ole na ole maka ụgwọ ọrụ. Nsogbu ha mesịrị bụrụ nke ka ukwuu.
Ekwuru m na m nwere ike idozi nsogbu ya - ọ bụ naanị ọrụ dị iche, enwere m enyi na-arụ ọrụ maka ya. Ọ bụrụ na anyị maara site na mmalite na nke a bụ nkwekọrịta nye ha, anyị gaara ezere ọtụtụ ihe. Oge agaala, mana anyị chọpụtara na nsogbu ahụ dị na njikwa data na-adịghị mma, ọ bụghị na akụrụngwa.
Anyị na-ama jijiji, ha buliri ụgwọ anyị ugboro abụọ na ọkara, mana na ọnọdụ m na-ewere data ha kpamkpam na Clickhouse maka onwe m. N'ime igwe mbuli elu, agwara m otu nwoke DI ahụ Max wee jikọọ ya ka ọ rụọ ọrụ. Ọ dị mkpa ịkwanye shọvelụ ahụ dum.
Enwere otutu ihe mkpofu na oru ngo a nakweere. Malite na "ndabere" a kpọtụrụ aha. Ọ tụgharịrị na otu ụyọkọ "ndabere" a abụghị nke dịpụrụ adịpụ. Ha nwalere ihe niile dị na ya, mgbe ụfọdụ ọbụna na-etinye ya na mmepụta.
Ndị mmepe ụlọ anyị ekepụtala ntinye data omenala nke ha. Ọ na-arụ ọrụ dị ka nke a: ọ na-ejikọta faịlụ ndị ahụ, na-agba ọsọ edemede ma jikọta data na tebụl. Ma isi nsogbu bụ na a nabatara nnukwu data maka otu arịrịọ dị mfe. Arịrịọ ahụ sonyeere data ahụ kwa sekọnd ọ bụla. Ihe niile n'ihi otu nọmba - ego kwa ụbọchị.
Ndị mmepe n'ime ụlọ jiri ngwa nyocha ezighi ezi. Ha gara grafana deere arịrịọ eze ha. O bugoro data maka izu 2. Ọ tụgharịrị bụrụ eserese mara mma. Mana n'eziokwu, arịrịọ data bụ 10 sekọnd ọ bụla. Ihe a niile na-agbakọ n'ahịrị n'ihi na Clickhouse ewepụghị nhazi ahụ. Nke a bụ ebe e zoro isi ihe kpatara ya. Ọ dịghị ihe na-arụ ọrụ na Grafana, arịrịọ guzo n'ahịrị, na ochie, na-adịghị mkpa data na-abịa mgbe niile.
Anyị megharịrị ụyọkọ ahụ, megharịa ntinye. Ndị mmepe ụlọ degharịrị “inserter” ha, wee malite ịkesa data nke ọma.
Max mere nyocha akụrụngwa zuru oke. Ọ kọwapụtara atụmatụ maka mgbanwe gaa na azụ azụ zuru oke. Mana nke a adabaghị ụlọ ọrụ ahụ. Ha tụrụ anya na nzuzo nzuzo sitere na Max nke ga-enye ha ohere ịrụ ọrụ nke ochie, mana ọ bụ naanị nke ọma. Lenya ka na-ahụ maka ọrụ ahụ, ọ mụtakwara ihe ọ bụla. Site na ihe niile e nyere, ọ họọrọ ọzọ nke ọzọ. Dị ka mgbe niile, nke a bụ ihe kacha nhọrọ... nkwuwa okwu mkpebi. Lenya kwenyere na ụlọ ọrụ ya nwere ụzọ pụrụ iche. Ogwu ma juputara na akpụrụ akpụ.
N'ezie, nke ahụ bụ ebe anyị kewara - anyị mere ihe anyị nwere ike.
N'ịbụ ndị jupụtara na ihe ọmụma na amamihe sitere na akụkọ ihe mere eme a, anyị meghere azụmahịa nke anyị ma mepụta ọtụtụ ụkpụrụ maka onwe anyị. Anyị agaghị amalite ọrụ ugbu a dị ka anyị si malite n'oge ahụ.
DJ Max sonyeere anyị mgbe ọrụ a gasịrị, anyị ka na-arụkọkwa ọrụ nke ọma. Ikpe Clickhouse kụziiri m ka m na-eduzi nyocha akụrụngwa zuru oke na nke ọma tupu ịmalite ọrụ. Anyị na-aghọta otú ihe niile si arụ ọrụ na naanị mgbe ahụ na-anabata ọrụ. Ma ọ bụrụ na n'oge gara aga, anyị ga-agba ọsọ ọsọ ọsọ iji nọgide na-enwe akụrụngwa, ugbu a, anyị na-ebu ụzọ mee otu oge ọrụ, nke na-enyere anyị aka ịghọta otú e si ebute ya n'ọnọdụ ọrụ.
Ma ee, anyị na-ezere oru ngo nwere crappy akụrụngwa. Ọbụna ma ọ bụrụ na maka nnukwu ego, ọ bụrụgodị na ọ bụghị enyi. Ọ baghị uru ịrụ ọrụ ọrịa. Ịghọta nke a nyeere anyị aka ito eto. Ma ọ bụ ọrụ otu oge iji nweta akụrụngwa n'usoro wee nweta nkwekọrịta mmezi, ma ọ bụ anyị na-efefe. Gafechara iceberg ọzọ.
PS Yabụ ọ bụrụ na ị nwere ajụjụ gbasara akụrụngwa gị, .
Anyị nwere nyocha abụọ n'efu kwa ọnwa, ikekwe ọrụ gị ga-abụ otu n'ime ha.
isi: www.habr.com