Li vir çîrokek heye ku her dem nêzîkatiya min ji xebata devops re guhert. Di demên berî-Covid-ê de, dûr û dirêj berî wan, dema ku ez û xortan tenê karsaziya xwe û serbixwe li ser fermanên bêserûber plan dikirin, yek pêşniyar ket selika min.
Pargîdaniya ku ev nivîsand pargîdaniyek analîtîka daneyê bû. Wê rojane bi hezaran daxwazan pêk anî. Ew bi van gotinan hatin cem me: hevalno, me ClickHouse heye û em dixwazin veavakirin û sazkirina wê otomatîk bikin. Em dixwazin Ansible, Terraform, Docker û ji bo ku ew hemî li Git werin hilanîn. Em komek ji çar nodên ku her yek jê du replica hene dixwazin.
Ew daxwazek standard e, bi dehan ji wan hene, û hûn hewceyê çareseriyek standardek wekhev baş in. Me got "ok", û piştî 2-3 hefteyan her tişt amade bû. Wan kar pejirand û bi karanîna karûbarek me dest bi barkirina komek nû ya Clickhouse kirin.
Kesî nedixwest an jî nizanibû ku meriv çawa bi Clickhouse-ê re mijûl dibe. Dûv re me fikirîn ku ev pirsgirêka wan a sereke ye, û ji ber vê yekê qereqola karûbarê pargîdaniyê bi tenê rê da tîmê min ku bi qasî ku gengaz kar bixweber bike, da ku ez careke din neçim wir.
Me tev li tevgerê kir, peywirên din derketin - sazkirina paşvekêşan û çavdêrîkirinê. Di heman demê de, stasyona karûbarê vê pargîdaniyê bi projeyek din re hate yek kirin, û yek ji me - Leonid - wekî fermandar hişt. Lenya ne xortekî pir jêhatî bû. Pêşvebirek hêsan ku ji nişkê ve berpirsiyarê Clickhouse hate danîn. Wusa dixuye ku ev peywira wî ya yekem bû ku tiştek bi rê ve bibe, û rûmeta bêkêmasî jê re hîs kir ku stêrk lêxistiye.
Bi hev re me dest bi çêkirina paşgiran kir. Min pêşniyar kir ku tavilê daneyên orîjînal paşve vegerînin. Tenê wê bigirin, zip bikin û bi xweşikî wê bavêjin hin c3. Daneyên xav zêr e. Vebijarkek din jî hebû - ku hûn tabloyên xwe li Clickhouse-ê paşve bikin, bi karanîna cemidandin û kopîkirinê. Lê Lenya bi çareseriya xwe hat.
Wî ragihand ku em hewceyê komek duyemîn Clickhouse. Û ji niha û pê ve em ê daneyan li du koman binivîsin - ya sereke û paşverû. Ez jê re dibêjim, Lenya, ew ê ne paşvekêşek be, lê kopiyek çalak be. Û heke dane dest pê dike ku di hilberînê de winda bibin, dê heman tişt li ser hilanîna we jî çêbibe.
Lê Lenyayê dîreksiyonê bi hêz girt û guh neda nîqaşên min. Me di sohbetê de demek dirêj bi wî re sohbet kir, lê tiştek tune bû ku bikin - Lenya berpirsiyara projeyê bû, em tenê zarokên kuçeyê bi kar anîn.
Me rewşa komê dişopand û tenê ji bo karê rêvebiran pere didan. Rêveberiya Clickhouse Paqij bêyî ku bikeve nav daneyan. Kombûn peyda bû, dîskên baş bûn, girêk baş bûn.
Me nizanibû ku me ev ferman ji ber têgihiştinek tirsnak di nav tîmê wan de wergirtiye
Rêvebir nerazî bû ku Clickhouse hêdî bû û carinan dane winda bûn. Wî peywira danasîna wê rawestgeha xwe ya servîsê danî. Wî ew bi qasî ku ji destê wî tê fêhm kir û encam da ku em tenê hewce ne ku em Clickhouse-ê otomatîk bikin - ew hemî ye. Lê ji ber ku zû eşkere bû, wan qet hewcedariya tîmek devops tune.
Hemî ev derket holê ku pir û pir bi êş bû. Û ya herî acizker ew bû ku di rojbûna min de bû.
êvara înê. Min li bara şeraba xweya bijare rezervasyonek çêkir û mêvanan vexwend.
Hema berî derketinê, em peywirek distînin ku alterek çêbikin, em wê temam dikin, her tişt baş e. Alter derbas bû, clickhouse piştrast kir. Em berê xwe didin baroyê, ew ji me re dinivîsin ku daneya têrê nake. Me hesab kir ku her tişt bes xuya dike. Û ji bo pîrozbahiyê derketin.
Restorana roja Înê bi deng bû. Piştî ku em vexwarin û xwarin siparîş kirin, em li ser sofeyan siwar bûn. Tevahiya vê demê, silava min hêdî hêdî bi peyaman tijî bû. Wan tiştek li ser kêmbûna daneyan nivîsand. Ez fikirîm - sibe ji êvarê jîrtir e. Bi taybetî îro.
Nêzîkî yazdehan dest bi telefonê kirin. Ew serokê şirketê bû... "Dibe ku biryar da ku ez pîroz bikim," ez pir dudil fikirîm û telefon hilda.
Û min tiştek bihîst: "We daneyên me şaş kirin! Ez heqê we didim, lê tiştek naxebite! Hûn ji paşvekişandinê berpirsiyar bûn, û we tiştek lanet nekir! Ka em wê sererast bikin!" - tenê hê jî rûkentir.
-Tu dizanî çi, derkeve der! Îro rojbûna min e, û naha ez ê vexwim, û nekevim nav hilberên weyên malê yên Hezîranê yên ji ço û daran!
Tiştê ku min negot ev e. Li şûna wê, min laptopa xwe derxist û dest bi kar kir.
Na, min bombe barand, min wek dojehê bombe barand! Wî "min ji we re got" kaustîk rijand nav sohbetê - ji ber ku paşvekişandinê, ku qet ne paşvekişandinek bû, - bê guman, tiştek xilas nekir.
Min û xortan fêhm kir ku meriv çawa bi destan qeydê rawestîne û her tiştî kontrol bike. Me bi rastî piştrast kir ku hin dane nehatine nivîsandin.
Me qeyd rawestand û me hejmara bûyerên ku her roj li wir bûn jimartin. Wan bêtir dane barkirin, ji wan tenê sêyemîn nehat tomar kirin. Sê perçeyên bi 2 replicas her yek. Hûn 100.000 rêzan têxin nav - 33.000 nayên tomar kirin.
Bi tevahî tevlihevî hebû. Her kesî ji hev re got ku hûn bi dorê biqelişînin: Pêşî Lenya çû wir, paşê ez û damezrînerê pargîdaniyê. Tenê stasyona servîsê ya ku tev lê bû, hewl da ku bang û nameyên me yên qîrîn ber bi dîtina çareseriyekê ve bikşîne.
Kesî fêm nekir ku bi rastî çi diqewime
Dema ku me fêhm kir ku sêyeka hemî daneyan ne tenê nehatine tomar kirin, ez û xort bi hêsanî matmayî man! Derket holê ku fermana di pargîdaniyê de wiha ye: piştî têxê, dane bi rengek bêveger hatin jêbirin, bûyer di koman de winda bûn. Min xeyal kir ku Sergey dê çawa van hemîyan veguherîne rûbilên winda.
Rojbûna min jî avêtin çopê. Em li bar rûniştin û fikrên xwe hilberandin, hewl da ku kêşeya ku li me hatibû avêtin çareser bikin. Sedema ketina Clickhouse ne diyar bû. Dibe ku ew torê be, dibe ku ew mîhengên Linux-ê be. Erê, hûn çi dixwazin, têra xwe hîpotez bûne.
Min sonda pêşdebir nexwar, lê bêrûmet bû ku meriv dev ji xortên li dawiya rêzê berde - hetta wan me ji her tiştî sûcdar kir. Ez ji sedî 99 piştrast bûm ku pirsgirêk ne di biryarên me de, ne di alî me de ye. Ji sedî 1 şansê ku me xera kir, her tiştî, bi xemgîniyê şewitî. Lê pirsgirêk di kîjan alî de bû bila bibe, diviyabû ku ew çareser bikira. Terikandina xerîdar, ne girîng e ku ew kî ne, bi levdanek daneya wusa tirsnak pir zalim e.
Em heta sê sibê li ser maseya xwaringehê xebitîn. Me bûyer lê zêde kir, hilbijartî têxe, û em çûn ku valahiyan dagirin. Dema ku hûn daneyan xira dikin, hûn bi vî rengî dikin: hûn daneyên navînî yên rojên berê digirin û wan têxin nav yên şikestî.
Piştî sê sibê ez û hevalê xwe em çûn mala xwe û ji sûka alkolê bîrek siparîş kir. Ez bi pirsgirêkên laptop û Clickhouse re rûniştim, hevalek ji min re tiştek digot. Di encamê de, piştî saetekê ew aciz bû ku ez bi wî re dixebitim û bîrayê venaxwim, û çû. Klasîk - Ez hevalek Devops bûm.
Di saet 6ê sibehê de, min dîsa tablo ji nû ve afirand, û daneyan dest bi lehiyê kirin. Her tişt bêyî windahiyê xebitî.
Paşê zehmet bû. Her kesî hevdu bi windakirina daneyan sûcdar dikirin. Ger xeletiyek nû çêbibûya, ez bawer im dê pevçûnek çêbibûya
Di van şeran de, me di dawiyê de dest bi fêmkirinê kir - pargîdanî difikirî ku em ew xort in ku bi daneyan re dixebitin û strukturên tabloyan dişopînin. Wan admîn bi bazirganan re tevlihev kirin. Û ew hatin ku ji me re tiştek cûda ji admînan bipirsin.
Giliyê wan ê sereke ev e - çi dojeh, hûn berpirsiyarê paşvekişandinê bûn û wan bi rêkûpêk nekirin, we windakirina daneyan domand. Û ev hemû bi matên paşveçûn.
Min edalet xwest. Min nameyan koland û dîmenên her kesî pê ve girêda, li wir Leonid bi hemî hêza xwe zorê li wan dike ku kopiya ku hatî çêkirin çêbikin. Servîsa wan piştî têlefonê min girt aliyê me. Piştre Lenya sûcê xwe qebûl kir.
Berevajî vê, serokê şirketê nexwest gelê xwe sûcdar bike. Dîmen û gotinan tu bandorek li ser wî nekir. Wî bawer dikir ku ji ber ku em li vir pispor in, divê em her kesî qanî bikin û di biryara xwe de israr bikin. Xuya ye, peywira me ew bû ku em Lenya hîn bikin û, di ser de, wî, yê ku wekî rêveberê projeyê hatî tayîn kirin, bişopînin, da ku bigihîje tiştê sereke û bi kesane hemî gumanên xwe di derbarê têgeha paşvekişandinê de jê re derxîne.
Sohbet bi kîn, êrîşeke veşartî û neveşartî derbas bû. Min nizanîbû çi bikim. Her tişt rawestiyaye. Û dûv re wan riya herî hêsan ji min re şîret kir - ku ez ji rêveberê re peyamek kesane binivîsim û bi wî re hevdîtinek saz bikim. Vasya, mirov di jiyana rast de bi qasî ku di chatê de ne zû ne. Serokatî bersiva peyama min da: were, pirs nîne.
Di kariyera min de civîna herî tirsnak bû. Hevalbendê min ê ji xerîdar - STO - nikarî wextê bibîne. Ez bi patron û Lena re çûm hevdîtinê.
Car bi car min diyaloga me ya muhtemel di serê xwe de dubare kir. Min karî ez pir zû hatim, nîv saet berê. Min dest bi tirsê kir, min 10 cixare kişandin. Min fêm kir, ew e - ez bi tenê diqelişim. Ez ê nikaribim wan qanî bikim. Û ew ket hundirê asansorê.
Dema ku ew rabû ser xwe, wî ewqasî li çirayê xist ku ew şikand.
Di encamê de, Lenya ne li civînê bû. Û me bi patronê re li ser her tiştî sohbetek xweş kir! Sergey derdê xwe ji min re got. Wî nexwest ku "Clickhouse" bixweber bike - wî dixwest "pirsan bixebite."
Min bizinek nedît, lê zilamek baş, ji karsaziya xwe xemgîn e, 24/7 di nav xebatê de ye. Chat gelek caran ji me re xerab, rezîl û mirovên bêaqil dikişîne. Lê di jiyanê de ev mirovên mîna we ne.
Sergey ji bo kirêkirinê ne hewceyê çend devops bû. Pirsgirêka wan pir mezintir bû.
Min got ku ez dikarim pirsgirêkên wî çareser bikim - ew tenê karekî bi tevahî cûda ye, û hevalek min heye ku ji bo wê dixebite. Ger me ji destpêkê ve bizaniya ku ev lihevkirinek ji bo wan e, me dê ji gelek tiştan dûr bixista. Dereng e, lê me fêhm kir ku pirsgirêk di rêveberiya daneya xelet de ye, ne di binesaziyê de.
Me destê xwe hejand, wan heqê me du caran û nîv bilind kir, lê bi şertê ku ez bi tevahî tevliheviya daneyên wan û Clickhouse ji xwe re bigirim. Di asansorê de, min bi heman zilamê DI Max re danûstendin kir û wî bi xebatê ve girêda. Pêwîst bû ku tevahiya komê bişewitînin.
Di projeya pejirandî de gelek çop hebûn. Bi "vekêşana" ya navborî dest pê dike. Derket holê ku ev heman koma "paşgir" ne veqetandî bû. Wan her tişt li ser wê ceriband, carinan jî ew di hilberandinê de.
Pêşdebirên me yên hundurîn navnîşana daneya xweya xwerû afirandine. Wî bi vî rengî dixebitî: wî pelan berhev kir, skrîptê dimeşîne û daneyan di tabloyekê de yek dike. Lê pirsgirêka sereke ev bû ku ji bo yek daxwazek hêsan hejmareke mezin a daneyan hate pejirandin. Daxwaz her saniye tev dane daneyan. Hemî ji bo yek hejmar - mîqdara rojê.
Pêşdebirên hundurîn amûra analîtîk bi xeletî bikar anîn. Çûn grafana û daxwaza xwe ya padîşah nivîsandin. Wî daneyên 2 hefteyan barkirin. Derket holê ku ew grafiyek xweşik e. Lê di rastiyê de, daxwaza daneyê her 10 çirkeyan bû. Hemî ev di dorê de kom dibûn ji ber ku Clickhouse bi hêsanî pêvajoyê dernexist. Sedema sereke li vir veşartibû. Tiştek li Grafana nexebitî, daxwaz di dorê de sekinîn, û daneyên kevn, negirêdayî bi domdarî dihatin.
Me kom ji nû ve mîheng kir, lêxistin ji nû ve kir. Pêşdebirên hundurîn "navdêr"a xwe ji nû ve nivîsandin, û wê dest bi parvekirina daneyan rast kir.
Max kontrolek binesaziya tevahî pêk anî. Wî planek ji bo veguheztina berbi paşverûyek bêkêmasî diyar kir. Lê ev li gorî pargîdaniyê nebû. Wan ji Max razek efsûnî hêvî dikir ku dê rê bide wan ku bi awayê kevneperest bixebitin, lê tenê bi bandor. Lenya hîn jî berpirsiyarê projeyê bû, û ew tiştek fêr nebû. Ji her tiştê ku hate pêşkêş kirin, wî dîsa alternatîfa xwe hilbijart. Wek her car, ev biryara herî bijartî bû... wêrek. Lenya bawer kir ku pargîdaniya wî rêyek taybetî heye. Bi stirî û tijî qeşayê.
Bi rastî, li wê derê em ji hev veqetiyan - me çi ji destê me hat, kir.
Ji vê dîrokê tijî zanîn û aqilmendî, me karsaziya xwe vekir û çend prensîb ji xwe re ava kirin. Em ê tu carî wekî berê dest bi xebatê nekin.
DJ Max piştî vê projeyê tevlî me bû, û em hîn jî bi hev re pir baş dixebitin. Doza Clickhouse fêrî min kir ku meriv çawa berî ku dest bi xebatê bike vekolînek binesaziyê ya bêkêmasî û bêkêmasî bike. Em fêm dikin ka her tişt çawa dixebite û tenê hingê karan qebûl dikin. Û heke berê em ê tavilê bilezînin da ku binesaziyê biparêzin, naha em pêşî projeyek yek-car dikin, ku ji me re dibe alîkar ku em fam bikin ka meriv wê çawa têxe rewşa xebatê.
Û erê, em ji projeyên bi binesaziya xirab dûr dikevin. Ger ji ber dostaniyê be jî, ji bo pereyekî zêde be jî. Rêvebirina projeyên nexweş bêkêr e. Fêmkirina vê yekê alîkariya me kir ku mezin bibin. An projeyek yekcarî ku binesaziyê bi rêkûpêk bike û dûv re jî peymanek lênihêrînê, an jî em tenê pê difirin. Berfek din derbas kirin.
PS Ji ber vê yekê heke pirsên we di derbarê binesaziya we de hebin, .
Me mehê 2 kontrolên belaş hene, dibe ku projeya we yek ji wan be.
Source: www.habr.com