Isit la se yon istwa ki pou tout tan chanje apwòch mwen nan travay devops. Retounen nan tan pre-Covid, lontan, lontan anvan yo, lè mesye yo ak mwen te jis planifye pwòp biznis nou yo ak endepandan sou lòd o aza, yon sèl òf tonbe nan charyo mwen an.
Konpayi ki te ekri sa a se te yon konpayi analytics done. Li trete dè milye de demann chak jou. Yo te vin jwenn nou ak mo sa yo: mesye, nou gen ClickHouse epi nou vle otomatize konfigirasyon li yo ak enstalasyon. Nou vle Ansible, Terraform, Docker ak pou li tout yo dwe estoke nan Git. Nou vle yon gwoup kat nœuds ak de kopi chak.
Li se yon demann estanda, gen plizyè douzèn nan yo, epi ou bezwen yon solisyon estanda egalman bon. Nou te di "ok", epi apre 2-3 semèn tout bagay te pare. Yo te aksepte travay la epi yo te kòmanse deplase nan yon nouvo gwoup Clickhouse lè l sèvi avèk sèvis piblik nou an.
Pèsonn pa te vle oswa te konnen ki jan yo brikole ak Clickhouse. Lè sa a, nou te panse ke sa a se te pwoblèm prensipal yo, ak Se poutèt sa estasyon sèvis konpayi an tou senpleman te bay ale nan ekip mwen an otomatize travay la otank posib, se konsa yo pa ale la tèt mwen tout tan ankò.
Nou te akonpaye mouvman an, lòt travay leve - mete kanpe sovgad ak siveyans. Nan menm moman an, estasyon sèvis konpayi sa a fizyone ak yon lòt pwojè, kite nou ak youn nan pwòp pa nou - Leonid - kòm kòmandan. Lenya pa t 'yon nèg ki gen anpil don. Yon pwomotè senp ki te toudenkou mete an chaj nan Clickhouse. Li sanble ke sa a se te premye devwa li nan jere yon bagay, ak onè akablan a te fè l 'santi starstruk.
Ansanm nou mete sou fè sovgad. Mwen sijere fè bak done orijinal yo touswit. Jis pran li, zip li ak elegant jete li nan kèk c3. Done kri se lò. Te gen yon lòt opsyon - fè bak tab yo tèt yo nan Clickhouse, lè l sèvi avèk yon friz ak kopye. Men, Lenya te vini ak pwòp solisyon li.
Li te anonse ke nou bezwen yon dezyèm gwoup Clickhouse. Epi depi koulye a nou pral ekri done nan de grap - prensipal la ak backup. Mwen di l ', Lenya, li pa pral yon backup, men yon kopi aktif. Men, si done yo kòmanse pèdi nan pwodiksyon, menm bagay la pral rive sou backup ou a.
Men, Lenya te pwan volan an byen sere epi li te refize koute agiman mwen yo. Nou te pale avèk li pou yon tan long nan chat la, men pa te gen anyen yo fè - Lenya te an chaj nan pwojè a, nou te jis anboche timoun nan lari a.
Nou te kontwole eta gwoup la ak chaje sèlman pou travay administratè yo. Pi administrasyon Clickhouse san yo pa antre nan done yo. Gwoup la te disponib, disk yo te byen, nœuds yo te byen.
Nou pa t konnen ke nou te resevwa lòd sa a akòz yon enkonpreyansyon terib nan ekip yo a
Manadjè a te kontan ke Clickhouse te ralanti epi done yo te pafwa pèdi. Li te fikse estasyon sèvis li a travay pou n kalkile li. Li te kalkile li kòm pi byen li te kapab epi konkli ke nou jis bezwen otomatize Clickhouse la - sa a tout. Men, kòm li byento te vin klè, yo pa t 'bezwen yon ekip devops ditou.
Tout bagay sa yo te tounen trè, trè douloure. Ak bagay ki pi ofansif se ke li te nan anivèsè nesans mwen an.
Vandredi aswè. Mwen te fè yon rezèvasyon nan ba diven pi renmen m 'ak envite zanmi yo.
Prèske anvan nou kite, nou resevwa yon travay pou kreye yon alter, nou konplete li, tout bagay ok. Chanje te pase, clickhouse konfime. Nou deja ale nan ba a, epi yo ekri nou ke pa gen ase done. Nou kalkile ke tout bagay sanble ase. Epi yo pati fete.
Restoran an te fè bwi nan yon Vandredi. Lè nou te kòmande bwason ak manje, nou te chita sou sofa yo. Pandan tout tan sa a, kanson mwen te tou dousman inonde ak mesaj. Yo te ekri yon bagay sou yon mank de done. Mwen te panse - maten an pi saj pase aswè a. Espesyalman jodi a.
Pi pre onz yo te kòmanse rele. Se te chèf konpayi an... "Pwobableman deside felisite m," mwen te panse trè ezitasyon, epi pran telefòn nan.
Apre sa, mwen tande yon bagay tankou: "Ou vise done nou yo! Mwen peye ou, men anyen pa mache! Ou te responsab pou sovgad, epi ou pa t 'fè yon bagay modi! Ann ranje li!" - sèlman menm grosye.
- Ou konnen kisa, soti fout la! Jodi a se anivèsè nesans mwen, epi kounye a mwen pral bwè, epi yo pa angaje yo nan jen pwodwi endijèn ou soti nan krap ak baton!
Se sa mwen pat di. Olye de sa, mwen te pran laptop mwen epi mwen te kòmanse travay.
Non, mwen bonbade, mwen bonbade tankou lanfè! Li vide mordan "Mwen te di ou sa" nan chat la - paske backup la, ki pa t 'yon backup ditou, - nan kou, pa t' sove anyen.
Ti gason yo ak mwen kalkile konnen ki jan yo manyèlman sispann anrejistreman an epi tcheke tout bagay. Nou aktyèlman te asire ke kèk nan done yo pa te ekri.
Nou te sispann anrejistreman e nou te konte kantite evènman ki te la pou chak jou. Yo telechaje plis done, nan ki sèlman yon tyè pa te anrejistre. Twa shards ak 2 kopi chak. Ou mete 100.000 ranje - 33.000 yo pa anrejistre.
Te gen konfizyon konplè. Tout moun te di youn ak lòt pou yo fout nan vire: Lenya te ale la an premye, swiv pa mwen menm ak fondatè a nan konpayi an. Se sèlman estasyon sèvis la ki te rejwenn li te eseye detounen apèl nou yo ak korespondans k ap rele nan direksyon pou jwenn yon solisyon pou pwoblèm nan.
Pa gen moun ki te konprann sa ki te vrèman pase
Mesye yo ak mwen te tou senpleman kònen ale lè nou reyalize ke yon tyè nan tout done yo pa sèlman pa anrejistre, li te pèdi! Li te tounen soti ke lòd la nan konpayi an te jan sa a: apre ensèsyon, done yo te efase irevokabl, evènman yo te gaspiye nan lo. Mwen imajine ki jan Sergei ta konvèti tout bagay sa yo nan roubles pèdi.
Yo te jete anivèsè nesans mwen an tou nan fatra. Nou te chita nan ba a ak pwodwi lide, ap eseye rezoud devinèt la ki te jete nan nou. Rezon ki fè Clickhouse tonbe a pa t evidan. Petèt li nan rezo a, petèt li nan anviwònman yo Linux. Wi, tou sa ou vle, te gen ase ipotèz.
Mwen pa t 'pran sèman pwomotè a, men li te malonèt abandone mesye yo sou lòt bout liy lan - menm si yo te blame nou pou tout bagay. Mwen te 99% asire w ke pwoblèm nan pa t 'manti nan desizyon nou yo, pa sou bò nou an. Chans 1% ke nou te vise moute te boule ak enkyetid. Men, kèlkeswa kote pwoblèm nan te sou, li te dwe ranje. Kite kliyan yo, pa gen pwoblèm ki moun yo ye, ak tankou yon fwit done terib se twò mechan.
Nou te travay sou tab restoran an jiska twa nan maten. Nou te ajoute evènman, mete seleksyone, epi nou te ale nan ranpli twou vid ki genyen yo. Lè ou vise done yo, men ki jan ou fè li: ou pran done yo mwayèn pou jou anvan yo epi mete yo nan sa yo vise.
Apre twa nan maten, zanmi m 'ak mwen te ale nan kay mwen an ak kòmande yon byè nan mache alkòl la. Mwen te chita ak yon laptop ak pwoblèm Clickhouse, yon zanmi te di m 'yon bagay. Kòm yon rezilta, apre yon èdtan li te ofanse ke mwen te travay epi yo pa bwè byè avè l ', li ale. Klasik - Mwen te yon zanmi Devops.
Pa 6 am, mwen rkree tab la ankò, epi done yo te kòmanse inondasyon. Tout bagay te travay san okenn pèt.
Lè sa a, li te difisil. Tout moun te blame youn ak lòt pou pèt done yo. Si yon nouvo ensèk te rive, mwen sèten ta gen yon fiziyad
Nan batay sa yo, nou finalman te kòmanse konprann - konpayi an te panse ke nou te mesye ki travay ak done ak kontwole estrikti tab yo. Yo konfonn admin ak dilè. Epi yo vin mande nou yon bagay diferan de admin yo.
Plent prensipal yo se - kisa lanfè a, ou te responsab pou sovgad yo epi yo pa t 'fè yo byen, ou kontinye gaspiye done yo. Ak tout bagay sa a ak tapi rebobinaj.
Mwen te vle jistis. Mwen fouye korespondans la ak tache ekran tout moun, kote Leonid ak tout fòs li fòse yo fè backup ki te fèt la. Estasyon sèvis yo te pran bò nou apre apèl telefòn mwen an. Apre sa, Lenya admèt koupab li.
Chèf konpayi an, okontrè, pa t 'vle blame pwòp pèp li a. Ekran ak mo pa te gen okenn efè sou li. Li te kwè ke depi nou te ekspè isit la, nou te konvenk tout moun ak ensiste sou desizyon nou an. Aparamman, travay nou an se te anseye Lenya epi, anplis, kontoune l ', ki moun ki te nonmen kòm manadjè pwojè a, pou li ale nan bagay prensipal la ak pèsonèlman vide tout dout nou sou konsèp nan sovgad ba li.
Chat la te koule ak rayisman, agresyon kache ak san kache. Mwen pa t konnen kisa pou m fè. Tout bagay vin kanpe. Lè sa a, yo konseye m 'fason ki pi fasil la - ekri yon mesaj pèsonèl bay manadjè a epi fè aranjman pou yon reyinyon avè l'. Vasya, moun nan lavi reyèl yo pa osi rapid ke yo ye nan chat. Bòs la reponn mesaj mwen an: vini, pa gen kesyon.
Se te reyinyon ki pi pè nan karyè mwen. Alye mwen nan kliyan an - STO - pa t 'kapab jwenn tan an. Mwen te ale nan reyinyon an ak bòs nan travay la ak Lena.
Yon fwa ankò mwen te rejoue dyalòg posib nou an nan tèt mwen. Mwen te rive rive trè bonè, yon demi èdtan davans. Mwen te kòmanse vin nève, mwen fimen 10 sigarèt mwen konprann, se li - mwen fout pou kont mwen. Mwen p'ap ka konvenk yo. Epi li te antre nan asansè a.
Pandan l t ap leve, li frape brikè a tèlman fò li kraze l.
Kòm yon rezilta, Lenya pa t nan reyinyon an. Epi nou te gen yon gwo konvèsasyon sou tout bagay ak bòs nan travay la! Sergei te di m sou doulè li. Li pa t 'vle "otomatize Clickhouse" - li te vle "fè demann travay."
Mwen pa t 'wè yon kabrit, men yon bon nèg, enkyete sou biznis li, benyen nan travay 24/7. Chat souvan trase nou bandi, bandi ak moun sòt. Men nan lavi sa yo se moun menm jan ak ou.
Sergei pa t 'bezwen yon koup devops pou anboche. Pwoblèm nan yo te tounen vin pi gwo anpil.
Mwen te di ke mwen te kapab rezoud pwoblèm li yo - se jis yon travay konplètman diferan, e mwen gen yon zanmi ki travay pou li. Si nou te konnen depi nan konmansman ke sa a te yon kontra pou yo, nou ta evite anpil. Li an reta, men nou reyalize ke pwoblèm nan kouche nan jesyon done move, pa nan enfrastrikti a.
Nou te bay lanmen, yo te ogmante salè nou de fwa ak yon mwatye, men sou kondisyon ke mwen pran absoliman tout dezòd la ak done yo ak Clickhouse pou tèt mwen. Nan asansè a, mwen te kominike ak menm nèg DI Max sa a epi konekte li nan travay. Li te nesesè yo pèl gwoup la tout antye.
Te gen anpil fatra nan pwojè yo te adopte a. Kòmanse ak mansyone "sovgad la". Li te tounen soti ke menm gwoup "sovgad" sa a pa te izole. Yo teste tout bagay sou li, pafwa menm mete l nan pwodiksyon.
Devlopè nan kay nou yo te kreye pwòp done koutim yo. Li te travay tankou sa a: li te rasanble fichye yo, li te kouri script la ak fizyone done yo nan yon tab. Men, pwoblèm prensipal la te ke yo te aksepte yon gwo kantite done pou yon sèl demann senp. Rekèt la ansanm done yo chak segonn. Tout pou dedomajman pou yon nimewo - kantite lajan an pou chak jou.
Devlopè nan kay yo te itilize zouti analiz la mal. Yo te ale nan grafana a epi yo te ekri demann wayal yo. Li telechaje done pou 2 semèn. Li te tounen yon bèl graf. Men, an reyalite, demann done yo te chak 10 segonn. Tout bagay sa a te anpile nan yon keu paske Clickhouse tou senpleman pa t 'pran pwosesis la. Sa a se kote rezon prensipal la te kache. Pa gen anyen ki te travay nan Grafana, demann te kanpe nan yon keu, ak ansyen, done petinan te toujou ap rive.
Nou rekonfigire gwoup la, refè ensèsyon an. Devlopè yo nan kay yo reekri "inserter" yo, epi li te kòmanse sharding done kòrèkteman.
Max te fè yon odit enfrastrikti konplè. Li te dekri yon plan pou tranzisyon nan yon backend plen véritable. Men, sa a pa te kostim konpayi an. Yo te espere yon sekrè majik nan men Max ki ta pèmèt yo travay ansyen alamòd, men se sèlman avèk efikasite. Lenya te toujou responsab pwojè a, e li pa t aprann anyen. Nan tout sa yo te ofri, li te chwazi altènatif li ankò. Kòm toujou, sa a te pi selektif ... desizyon fonse. Lenya te kwè ke konpayi li a te gen yon chemen espesyal. Pikan ak plen aisbèrg.
Aktyèlman, se la nou separe - nou te fè sa nou te kapab.
Plen ak konesans ak bon konprann nan istwa sa a, nou louvri pwòp biznis nou yo ak fòme plizyè prensip pou tèt nou. Nou p'ap janm kòmanse travay menm jan kounye a jan nou te fè lè sa a.
DJ Max rejwenn nou apre pwojè sa a, epi nou toujou travay byen ansanm. Ka Clickhouse la te anseye m kijan pou m fè yon odit enfrastrikti konplè epi apwofondi anvan w kòmanse travay. Nou konprann ki jan tout bagay ap travay epi sèlman lè sa a aksepte travay yo. Men, si pi bonè nou ta imedyatman prese kenbe enfrastrikti a, kounye a nou premye fè yon pwojè yon sèl fwa, ki ede nou konprann ki jan yo pote l 'nan kondisyon travay.
Epi wi, nou evite pwojè ki gen enfrastrikti malè. Menm si pou anpil lajan, menm si soti nan amitye. Li pa rantabilite pou kouri pwojè malad. Reyalize sa a te ede nou grandi. Swa yon pwojè yon sèl fwa pou jwenn enfrastrikti nan lòd ak Lè sa a, yon kontra antretyen, oswa nou jis vole. Pase yon lòt iceberg.
PS Donk, si w gen kesyon sou enfrastrikti w la, .
Nou gen 2 odit gratis pa mwa, petèt pwojè ou a pral youn nan yo.
Sous: www.habr.com
