Ин як ҳикояест, ки муносибати маро ба кори devops ҳамеша тағйир дод. Дар замонҳои пеш аз Ковид, хеле пеш аз онҳо, вақте ки ман ва бачаҳо тиҷорати шахсии худро ба нақша мегирифтем ва аз рӯи фармоишҳои тасодуфӣ кор мекардем, як пешниҳод ба аробаи ман афтод.
Ширкате, ки инро навиштааст, як ширкати таҳлилии додаҳо буд. Вай ҳар рӯз ҳазорҳо дархостро коркард мекард. Онҳо ба назди мо бо суханони зерин омаданд: бачаҳо, мо ClickHouse дорем ва мо мехоҳем конфигуратсия ва насби онро автоматӣ кунем. Мо мехоҳем, ки Ansible, Terraform, Docker ва ҳамааш дар Git нигоҳ дошта шаванд. Мо мехоҳем кластери аз чор гиреҳ бо ду нусхаи ҳар як.
Ин як дархости стандартӣ аст, даҳҳо онҳо ҳастанд ва ба шумо ҳалли якхелаи хуби стандартӣ лозим аст. «Хуб» гуфтем ва баъди 2—3 хафта хама чиз тайёр шуд. Онҳо ин корро қабул карданд ва бо истифода аз утилитаи мо ба кластери нави Clickhouse гузариш карданд.
Ҳеҷ кас намехост ё намедонист, ки чӣ гуна бо Clickhouse кор кунад. Баъд мо фикр кардем, ки ин мушкили асосии онҳост ва аз ин рӯ, истгоҳи хидматрасонии ширкат танҳо ба дастаи ман иҷозат дод, ки корро то ҳадди имкон автоматӣ кунад, то дигар ба он ҷо наравам.
Мо ҳаракатро ҳамроҳӣ кардем, дигар вазифаҳо ба миён омаданд - насб кардани нусхаҳои эҳтиётӣ ва мониторинг. Дар худи хамин лахза станцияи хизмати маишии ин ширкат бо лоихаи дигар муттахид шуда, моро яке аз худамон - Леонидро командир гузошт. Леня бачаи хеле боистеъдод набуд. Таҳиягари оддӣ, ки ногаҳон масъули Clickhouse гузошта шуд. Чунин ба назар мерасад, ки ин аввалин супориши ӯ барои идора кардани чизе буд ва шарафи бузург ӯро ба ҳайрат овард.
Якҷоя мо ба сохтани нусхабардорӣ шурӯъ кардем. Ман пешниҳод кардам, ки маълумоти аслиро фавран нусхабардорӣ кунед. Танҳо онро гиред, zip кунед ва шево ба c3 партоед. Маълумоти хом тилло аст. Варианти дигар вуҷуд дошт - нусхабардории худи ҷадвалҳо дар Clickhouse бо истифода аз яхкунӣ ва нусхабардорӣ. Аммо Леня халли худро ба миён гузошт.
Вай эълон кард, ки ба мо кластери дуюми Clickhouse лозим аст. Ва аз ҳоло мо маълумотро ба ду кластер менависем - асосӣ ва эҳтиётӣ. Ман ба ӯ мегӯям, Леня, ин нусхаи эҳтиётӣ нест, балки нусхаи фаъол хоҳад буд. Ва агар маълумот дар истеҳсолот гум шавад, дар нусхаи эҳтиётии шумо низ ҳамин тавр мешавад.
Аммо Леня рульро сахт ба даст гирифта, ба далелхои ман гуш надод. Мо дар чат бо у дуру дароз сухбат кардем, вале коре набуд — Леня рохбарй мекард, мо бачахои аз куча ба кор кабул шудаем.
Мо ҳолати кластерро назорат мекардем ва танҳо барои кори маъмурон пул мегирифтем. Маъмурияти холиси Clickhouse бидуни ворид шудан ба маълумот. Кластер дастрас буд, дискҳо хуб буданд, гиреҳҳо хуб буданд.
Мо намедонистем, ки мо ин фармонро аз сабаби нофаҳмии даҳшатнок дар дохили дастаи онҳо гирифтаем
Менеҷер аз он норозӣ буд, ки Clickhouse суст кор мекунад ва баъзан маълумот гум мешавад. Вай дар назди станцияи хизмати маишй вазифа гузошт, ки онро муайян кунад. Вай инро то ҳадди имкон фаҳмид ва ба хулосае омад, ки мо бояд танҳо Clickhouse-ро автоматӣ кунем - ин ҳама. Аммо вақте ки ба зудӣ маълум шуд, онҳо ба як гурӯҳи девопҳо умуман ниёз надоштанд.
Хамаи ин хеле ва хеле дардовар баромад. Ва аз ҳама таҳқиромез он буд, ки он дар рӯзи таваллуди ман буд.
Шоми ҷумъа. Ман дар бари майи дӯстдоштаи худ фармоиш додам ва хонадонҳоро даъват кардам.
Қариб пеш аз рафтан, мо супориши эҷоди тағирот мегирем, мо онро иҷро мекунем, ҳама чиз хуб аст. Тағир гузашт, кликҳо тасдиқ карда шуд. Мо аллакай ба бар меравем ва онҳо ба мо менависанд, ки маълумот намерасад. Мо ҳисоб кардем, ки ҳама чиз кофӣ аст. Ва онҳо барои ҷашн рафтанд.
Рӯзи ҷумъа тарабхона пурғавғо буд. Нӯшокиҳо ва ғизо фармоиш дода, дар диванҳо нишастем. Тамоми ин муддат сустии ман оҳиста-оҳиста бо паёмҳо пур шуд. Онҳо дар бораи набудани маълумот чизе навиштанд. Ман фикр мекардам, ки субҳ аз шом донотар аст. Махсусан имруз.
Ба ёздах наздик шуд, ки занг задан гирифтанд. Сардори корхона буд... «Шояд маро табрик карданй бошад», — хеле дудила фикр кардам ва гушаки телефонро бардоштам.
Ва ман чизе шунидам, ки: "Шумо маълумоти моро вайрон кардед! Ман ба шумо пардохт мекунам, аммо ҳеҷ чиз кор намекунад! Шумо барои нусхабардорӣ масъул будед ва ҳеҷ коре накардаед! Биёед онро ислоҳ кунем!" - танҳо ҳатто дағалона.
-Медонї, дафъ шав! Имрӯз зодрӯзи ман аст, ва ҳоло ман менӯшам, ва ба маҳсулоти худсохти июн шумо аз crap ва чӯбдаст машғул нест,!
Он чизе ки ман нагуфтам. Ба ҷои ин, ман ноутбукамро бароварда, ба кор даромадам.
Не, ман бомбаборон кардам, мисли ҷаҳаннам бомбаборон кардам! Вай ба чат каустики «ман ба шумо гуфтам» рехт, — зеро нусхаи захиравй, ки тамоман нусха набуд, — албатта, чизеро сарфа накард.
Ману писарон фаҳмидем, ки чӣ тавр сабтро дастӣ қатъ карда, ҳама чизро тафтиш кунем. Мо воқеан боварӣ ҳосил кардем, ки баъзе маълумотҳо навишта нашудаанд.
Мо сабтро қатъ кардем ва шумораи рӯйдодҳоеро, ки дар як рӯз буданд, ҳисоб кардем. Онҳо маълумоти бештарро бор карданд, ки танҳо сеяки онҳо сабт нашудааст. Се пора бо 2 нусхаи ҳар як. Шумо 100.000 33.000 сатр ворид мекунед - XNUMX XNUMX сабт нашудааст.
Дар он ҷо нофаҳмиҳои комил ба амал омад. Хама ба хамдигар мегуфтанд, ки бо навбат аз байн равед: Леня аввал ба он чо рафта, аз паси он ман ва муассиси ширкат. Танхо станцияи хизматрасонии техникие, ки ба он хамрох шуд, кушиш мекард, ки зангу мукотибаи моро ба рохи халли масъала равона кунад.
Ҳеҷ кас намефаҳмид, ки воқеан чӣ рӯй дода истодааст
Вақте ки мо фаҳмидем, ки сеяки тамоми маълумот на танҳо сабт нашудааст, балки гум шудааст, бачаҳо ва ман танҳо ба ҳайрат афтодем! Маълум шуд, ки фармоиш дар ширкат чунин буд: пас аз ворид кардан, маълумот бебозгашт нест карда шуд, рӯйдодҳо дар гурӯҳҳо барбод рафтанд. Ман тасаввур мекардам, ки чӣ тавр Сергей ҳамаи инро ба рубли гумшуда табдил медиҳад.
Зодрӯзи маро низ ба партов партофтанд. Мо дар бар нишастем ва ғояҳо тавлид кардем ва кӯшиш кардем, ки муаммоеро, ки ба мо партофта шуда буд, ҳал кунем. Сабаби суқути Clickhouse маълум набуд. Шояд ин шабака бошад, шояд ин танзимоти Linux бошад. Бале, ҳар чӣ мехоҳед, фарзияҳои кофӣ вуҷуд доранд.
Ман савганди таҳиягарро нагирифтам, аммо даст кашидан аз бачаҳо дар канори дигари хат беинсофӣ буд - ҳатто агар онҳо моро дар ҳама чиз гунаҳкор кунанд. Ман 99% итминон доштам, ки мушкилот дар қарорҳои мо нест, на дар тарафи мо. Эҳтимоли 1%, ки мо шикаста будем, аз изтироб фурӯзон буд. Аммо новобаста аз он ки мушкилӣ дар кадом тараф буд, бояд ислоҳ шавад. Тарк кардани муштариён, новобаста аз он ки онҳо кӣ ҳастанд, бо чунин ихроҷи даҳшатноки маълумот хеле бераҳмона аст.
То сеи шаб сари мизи ресторан кор мекардем. Мо рӯйдодҳоро илова кардем, интихобро дохил кардем ва хомӯш шудем, то холигоҳҳоро пур кунем. Вақте ки шумо маълумотро вайрон мекунед, шумо ин корро мекунед: шумо маълумоти миёнаро барои рӯзҳои қаблӣ мегиред ва онҳоро ба рӯзҳои харобшуда дохил мекунед.
Пас аз сеи шаб ману дугонаам ба хонаам рафтем ва аз бозори машрубот пиво фармоиш додем. Ман бо ноутбук ва мушкилоти Clickhouse нишаста будам, як дӯстам ба ман чизе мегуфт. Дар натиҷа, пас аз як соат хафа шуд, ки ман кор мекунаму бо ӯ пиво намехӯрам ва рафт. Классик - Ман дӯсти Девопс будам.
То соати 6 саҳар ман ҷадвалро дубора барқарор кардам ва маълумотҳо ба об рехтанд. Ҳама чиз бе талаф кор мекард.
Баъд душвор шуд. Ҳама якдигарро барои гум шудани маълумот айбдор карданд. Агар хатогии нав рӯй медод, ман боварӣ дорам, ки тирпарронӣ мешуд
Дар ин задухӯрдҳо мо ниҳоят фаҳмидан гирифтем - ширкат фикр мекард, ки мо бачаҳое ҳастем, ки бо маълумот кор мекунанд ва сохтори ҷадвалҳоро назорат мекунанд. Онҳо маъмуронро бо дилерҳо омехта карданд. Ва онҳо омада, аз мо чизи дигареро аз админҳо пурсиданд.
Шикояти асосии онҳо ин аст - чӣ ҷаҳаннам, шумо барои нусхабардорӣ масъул будед ва онҳоро дуруст иҷро накардед, шумо маълумотро беҳуда сарф кардед. Ва ҳамаи ин бо тахтачаҳои бозпечшуда.
Ман адолат мехостам. Ман мукотибаҳоро кофтам ва скриншотҳои ҳамаро замима кардам, ки дар он ҷо Леонид бо тамоми қувваи худ онҳоро маҷбур мекунад, ки нусхаи эҳтиётиро созанд. Пойгоҳи хидматрасонии онҳо пас аз занги телефони ман тарафи моро гирифт. Дертар Леня ба гунохаш икрор шуд.
Сардори корхона, баръакс, айбро ба гардани одамони худ бор кардан намехост. Скриншотҳо ва калимаҳо ба ӯ таъсире надоштанд. Ӯ бовар дошт, ки азбаски мо дар ин ҷо коршинос ҳастем, бояд ҳамаро бовар кунонд ва дар тасмими худ исрор кунем. Аз афташ, вазифаи мо аз он иборат буд, ки ба Леня таълим дихем ва илова бар ин, ба вай, ки мудири лоиха таъин шуда буд, гузаштан ба чизи асосй расида, шахсан тамоми шубхахои моро дар бораи концепцияи нусхабардорй ба у гузорем.
Чат аз нафрат, тачовузи пинхонй ва пинхонй шурУъ мекард. Ман намедонистам чӣ кор кунам. Ҳама чиз ба қафо омад. Ва он гоҳ онҳо ба ман маслиҳат доданд, ки роҳи осонтарин - навиштани паёми шахсӣ ба мудир ва ташкили вохӯрӣ бо ӯ. Вася, одамон дар ҳаёти воқеӣ он қадар зуд нестанд, ки дар чат ҳастанд. Сардор ба хабари ман чавоб дод: биё, гап не.
Ин даҳшатноктарин вохӯрӣ дар фаъолияти ман буд. Иттифоқчии ман аз муштарӣ - СТО вақт пайдо карда натавонист. Ман бо сардор ва Лена ба вохӯрӣ рафтам.
Ман такрор ба такрор муколамаи эҳтимолии моро дар сарам такрор мекардам. Ба ман муяссар шудам, ки хеле барвакт, ним соат пештар оям. Ман асабонӣ шудам, 10 сигор кашидам, фаҳмидам, ҳамин аст - ман танҳо мезанам. Ман онҳоро бовар кунонда наметавонам. Ва ӯ ба лифт қадам гузошт.
Х,ангоме ки вай аз чо бархост, оташакро чунон зад, ки онро шикаст.
Дар натича Леня дар мачлис набуд. Ва мо бо сардор дар бораи ҳама чиз сӯҳбати олӣ доштем! Сергей ба ман аз дарди худ накл кард. Вай намехост, ки Clickhouse-ро автоматӣ кунад - ӯ мехост "пурсишҳоро кор кунад".
Ман бузеро надидам, аммо як бачаи хубе, ки аз тиҷораташ нигарон буд, 24/7 ба кор ғарқ шуд. Чат аксар вақт ба мо бадкирдорон, бадкорон ва одамони беақлро ҷалб мекунад. Аммо дар зиндагӣ инҳо одамон мисли шумо ҳастанд.
Барои киро кардан ба Сергей якчанд девоп лозим набуд. Мушкилоти онҳо хеле калонтар шуд.
Ман гуфтам, ки ман метавонам мушкилоти ӯро ҳал кунам - ин кори тамоман дигар аст ва ман як дӯсте дорам, ки дар он кор мекунад. Агар аз аввал медонистем, ки ин барояшон муомила аст, аз бисёр чиз худдорӣ мекардем. Ин дер шуд, аммо мо фаҳмидем, ки мушкилот на дар инфрасохтор, балки дар идоракунии маълумоти бад аст.
Мо даст фишурдем, онҳо маоши моро дуюним маротиба баланд карданд, аммо ба шарте, ки ман комилан бесарусомониро бо маълумоти онҳо ва Clickhouse барои худ мегирам. Дар лифт ман бо ҳамон бачаи DI Макс муошират кардам ва ӯро ба кор пайваст кардам. Тамоми кластерро бел задан лозим буд.
Дар лоихаи кабулшуда хошок бисьёр буд. Бо "захира"-и зикршуда сар карда. Маълум шуд, ки ҳамин кластери "захира" ҷудо нашудааст. Онхо хама чизро дар он санчида, баъзан хатто дар истехсолот чорй мекарданд.
Таҳиягарони дохилии мо воридкунандаи маълумоти фармоишии худро офаридаанд. Вай чунин кор мекард: вай файлҳоро гурӯҳбандӣ кард, скриптро иҷро кард ва маълумотро ба ҷадвал муттаҳид кард. Аммо мушкилоти асосӣ дар он буд, ки миқдори зиёди маълумот барои як дархости оддӣ қабул карда шуд. Дархост ҳар сония ба маълумот ҳамроҳ мешуд. Ҳама ба хотири як рақам - маблағи дар як рӯз.
Таҳиягарони дохилӣ воситаи таҳлилро нодуруст истифода бурданд. Онҳо ба назди графана рафта, дархости шоҳонаашонро навиштанд. Вай маълумотро барои 2 ҳафта бор кард. Он графики зебое шуд. Аммо дар асл, дархости маълумот ҳар 10 сония буд. Ҳамаи ин дар навбат ҷамъ мешуд, зеро Clickhouse коркардро набаровардааст. Сабаби асосй дар ин чо пинхон буд. Дар Графана ҳеҷ чиз кор намекард, дархостҳо дар навбат меистанд ва маълумоти кӯҳна ва номатлуб пайваста ворид мешуданд.
Мо кластерро аз нав танзим кардем, воридкуниро дубора анҷом додем. Таҳиягарони дохилӣ "inserter" -и худро аз нав навиштанд ва он ба тақсим кардани маълумот дуруст оғоз кард.
Макс аудити пурраи инфрасохторро анҷом дод. Вай накшаи гузаштан ба акибмондаи пурраро баён кард. Аммо ин ба корхона мувофик набуд. Онҳо аз Макс як сирри ҷодугареро интизор буданд, ки ба онҳо имкон медиҳад, ки бо усули кӯҳна кор кунанд, аммо танҳо самаранок. Леня дануз ба ин лоида сардорй мекард ва у чизе наомухт. Аз ҳамаи он чизе, ки пешниҳод шуд, ӯ боз алтернативаи худро интихоб кард. Чун ҳамеша ин интихобантарин қарори... далерона буд. Леня боварй дошт, ки корхонааш рохи махсус дорад. Хоркаш ва пур аз айсбергхо.
Дар асл, дар он ҷое ки мо ҷудо шудем - мо он чизеро, ки аз дастамон меомад, кардем.
Пур аз донишу хирад аз ин таърих мо тиҷорати худро кушодем ва барои худ якчанд принсипҳоро ташаккул додем. Мо ҳеҷ гоҳ ба кор ҳамон тавре ки дар он замон оғоз карда будем, оғоз намекунем.
Пас аз ин лоиҳа DJ Max ба мо ҳамроҳ шуд ва мо то ҳол якҷоя кор мекунем. Парвандаи Clickhouse ба ман таълим дод, ки пеш аз оғози кор чӣ гуна аудити пурра ва ҳамаҷонибаи инфрасохторро гузаронам. Мо мефаҳмем, ки ҳама чиз чӣ гуна кор мекунад ва танҳо пас аз он вазифаҳоро қабул мекунем. Ва агар пештар мо фавран ба нигоҳдории инфрасохтор мешитобем, ҳоло мо аввал як лоиҳаи якдафъаинаро иҷро мекунем, ки ба мо кӯмак мекунад, ки чӣ гуна онро ба ҳолати корӣ расонем.
Ва ҳа, мо аз лоиҳаҳои дорои инфрасохтори бад канорагирӣ мекунем. Агар барои пули зиёд, ҳатто агар аз дӯстӣ. Иҷрои лоиҳаҳои бемор фоидаовар нест. Дарк кардани ин ба мо кумак кард, ки инкишоф ёбад. Ё лоиҳаи якдафъаина барои ба тартиб даровардани инфрасохтор ва сипас шартномаи нигоҳдорӣ, ё мо танҳо парвоз мекунем. Аз айсберги дигар гузашт.
PS Пас, агар шумо дар бораи инфрасохтори худ савол дошта бошед, .
Мо дар як моҳ 2 аудити ройгон дорем, шояд лоиҳаи шумо яке аз онҳо бошад.
Манбаъ: will.com