Yayin da kowa ke murnar zagayowar ranar haihuwata, na kan gyara gungu har sai da safe - kuma masu haɓakawa sun zargi kurakuran su a kaina.

Anan akwai labari wanda har abada ya canza tsarina zuwa aikin deps. Komawa a zamanin pre-Covid, dogon, da dadewa a gabansu, lokacin da ni da mutanen muna shirin kasuwancin kanmu da yin yanci kan oda na bazuwar, tayin guda ɗaya ya fada cikin keke na.

Kamfanin da ya rubuta wannan kamfani ne na nazarin bayanai. Ta aiwatar da dubban buƙatun yau da kullun. Sun zo mana da kalmomin: mutane, muna da ClickHouse kuma muna son sarrafa tsarin sa da shigarwa. Muna son Mai yiwuwa, Terraform, Docker kuma don adana shi duka a Git. Muna son tari na nodes huɗu tare da kwafi biyu kowanne.

Madaidaicin buƙatu ne, akwai da yawa daga cikinsu, kuma kuna buƙatar daidaitaccen daidaitaccen bayani daidai. Mun ce "ok", kuma bayan makonni 2-3 komai yana shirye. Sun karɓi aikin kuma suka fara ƙaura zuwa sabon rukunin Clickhouse ta amfani da kayan aikin mu.

Babu wanda ya so ko ya san yadda ake yin tinker tare da Clickhouse. Daga nan sai muka yi tunanin cewa wannan ita ce babbar matsalarsu, don haka ne kawai tashar sabis na kamfanin ta ba da izini ga ƙungiyar ta da ta sarrafa aikin yadda ya kamata, don kada in sake zuwa wurin da kaina.

Mun raka tafiyar, wasu ayyuka sun taso - kafa madogara da sa ido. A lokaci guda, tashar sabis na wannan kamfani ya haɗu da wani aikin, ya bar mu tare da ɗayan namu - Leonid - a matsayin kwamandan. Lenya ba mutumin kirki ba ne. Mai haɓaka mai sauƙi wanda aka sa ba zato ba tsammani ya jagoranci Clickhouse. Da alama wannan shi ne aikinsa na farko na gudanar da wani abu, kuma girman girman da ya yi masa ya sa ya ji tauraro.

Tare mun saita game da yin madadin. Na ba da shawarar adana ainihin bayanan nan take. Kawai ɗauka, zip ɗin kuma ku jefa shi da kyau cikin wasu c3. Raw data zinariya ne. Akwai wani zaɓi - don adana tebur da kansu a cikin Clickhouse, ta amfani da daskare da kwafi. Amma Lenya ya fito da nasa mafita.

Ya sanar da cewa muna buƙatar gungu na Clickhouse na biyu. Kuma daga yanzu za mu rubuta bayanai zuwa gungu biyu - babba da madadin. Na gaya masa, Lenya, ba zai zama madadin ba, amma kwafi mai aiki. Kuma idan bayanai sun fara ɓacewa a samarwa, haka zai faru a madadin ku.

Amma Lenya ya kama sitiyarin da kyar ya ki sauraren gardama na. Mun yi hira da shi na dogon lokaci a cikin hira, amma babu wani abu da za a yi - Lenya ne ke kula da aikin, mu kawai yara ne daga titi.

Mun sanya ido kan yanayin gungun kuma muna cajin aikin masu gudanarwa kawai. Gudanar da Pure Clickhouse ba tare da shiga cikin bayanan ba. Tarin yana samuwa, faifai suna da kyau, nodes suna da kyau.

Ba mu san cewa mun sami wannan odar ba ne saboda mummunar rashin fahimta a cikin tawagarsu

Manajan bai ji dadin cewa Clickhouse yana jinkiri ba kuma an rasa bayanai a wasu lokuta. Ya saita tashar sabis ɗinsa aikin gano ta. Ya gano shi yadda ya kamata kuma ya kammala cewa muna buƙatar sarrafa kan Clickhouse - shi ke nan. Amma kamar yadda nan da nan ya bayyana, ba sa buƙatar ƙungiyar masu sadaukarwa kwata-kwata.

Duk wannan ya zama mai zafi sosai. Kuma abin da ya fi ban haushi shi ne ranar haihuwata.

Da yammacin Juma'a. Na yi ajiyar wuri a mashaya ruwan inabi da na fi so kuma na gayyaci ’yan uwa.

Kusan kafin mu tashi, muna karɓar ɗawainiya don ƙirƙirar canji, mun kammala shi, komai yana da kyau. Canja wucewa, danna gidan ya tabbatar. Mun riga mun je mashaya, kuma sun rubuta mana cewa babu isassun bayanai. Mun lissafta cewa duk abin da alama ya isa. Kuma suka tafi don murna.

Gidan abincin ya yi hayaniya a ranar Juma'a. Bayan mun yi odar abubuwan sha da abinci, muka kwana a kan sofas. Duk tsawon wannan lokacin, a hankali na kasala da sakonni. Sun rubuta wani abu game da rashin bayanai. Na yi tunani - safiya ta fi maraice hikima. Musamman a yau.

Kusa da sha daya suka fara kira. Shugaban kamfanin ne... "Wataƙila ya yanke shawarar taya ni murna," na yi tunani sosai, na ɗauki wayar.

Kuma na ji wani abu kamar: "Kun lalata bayananmu! Na biya ku, amma babu abin da ke aiki! Kuna da alhakin adanawa, kuma ba ku yi wani abu mara kyau ba! Mu gyara!" - kawai ko da ruder.

- Kun san menene, fitar da fuck! Yau ne ranar haihuwata, kuma yanzu zan sha, kuma ba zan shiga cikin kayan aikin gida na Yuni daga tarkace da sanduna ba!

Abin da ban fada ke nan ba. A maimakon haka, na fitar da kwamfutar tafi-da-gidanka na yi aiki.

A'a, na jefa bam, na jefa bam kamar jahannama! Ya zuba caustic "Na gaya muku haka" a cikin hira - saboda madadin, wanda ba madadin kwata-kwata ba - ba shakka, bai ajiye komai ba.

Ni da yaran sun gano yadda za mu dakatar da rikodin da hannu kuma mu duba komai. Mun tabbatar da cewa ba a rubuta wasu bayanan ba.

Mun dakatar da rikodin kuma mun ƙidaya adadin abubuwan da ke faruwa a kowace rana. Sun loda ƙarin bayanai, wanda kashi uku ne kawai ba a rubuta ba. Shards uku tare da kwafi 2 kowanne. Kun saka layuka 100.000 - 33.000 ba a rubuta su ba.

Akwai cikakkiyar rudani. Kowa ya gaya wa juna don fuck kashe bi da bi: Lenya tafi can farko, bi da kaina da kuma kafa na kamfanin. Sai dai tashar sabis da ta shiga ta yi ƙoƙari ta karkatar da kiraye-kirayen da muke yi da wasiƙun mu domin neman mafita ga matsalar.

Babu wanda ya fahimci ainihin abin da ke faruwa

Ni da mutanen nan kawai aka busa lokacin da muka fahimci cewa kashi uku na duk bayanan ba kawai ba a rubuta ba, an rasa! Ya bayyana cewa tsari a cikin kamfanin ya kasance kamar haka: bayan shigar da bayanan, an share bayanan ba tare da canzawa ba, abubuwan da suka faru sun ɓace a cikin batches. Na yi tunanin yadda Sergei zai canza duk wannan a cikin asarar rubles.

Ranar haihuwata ma an jefar da ita cikin shara. Mun zauna a mashaya kuma muka samar da ra'ayoyi, muna ƙoƙarin warware wuyar warwarewa da aka jefa mana. Dalilin faduwar Clickhouse bai fito fili ba. Watakila cibiyar sadarwa ce, watakila saitin Linux ne. Ee, duk abin da kuke so, an sami isassun hasashe.

Ban yi rantsuwar mai haɓakawa ba, amma rashin gaskiya ne in watsar da mutanen a ɗayan ƙarshen layin - ko da sun zarge mu akan komai. Na tabbata kashi 99 cikin 1 na tabbatar da cewa matsalar ba ta ta'allaka ne a kan shawararmu ba, ba a bangarenmu ba. Damar XNUMX% da muka samu tana kona da damuwa. Amma ko wane bangare ne matsalar ta kasance, sai an gyara ta. Barin abokan ciniki, ko da wanene su, tare da irin wannan mummunar zubar da bayanai yana da zalunci.

Muna aiki a teburin cin abinci har zuwa uku na safe. Mun ƙara abubuwan da suka faru, saka zaɓi, kuma mun tafi don cike giɓin. Lokacin da kuka murƙushe bayanan, wannan shine yadda kuke yi: kuna ɗaukar matsakaiciyar bayanai na kwanakin baya sannan ku saka su cikin waɗanda aka ƙulla.

Bayan uku na safe, ni da abokina muka je gidana muka yi odar giya daga kasuwar barasa. Ina zaune da kwamfutar tafi-da-gidanka da matsalolin Clickhouse, wani abokina yana gaya mani wani abu. Sakamakon haka, bayan sa'a guda ya ji haushin cewa ina aiki kuma ba na shan giya tare da shi, ya tafi. Classic - Ni abokin Devops ne.

Da karfe 6 na safe, na sake tsara teburin, kuma bayanan sun fara ambaliya. Komai yayi aiki ba tare da hasara ba.

Sai ya yi wuya. Kowa ya zargi juna da asarar bayanan. Idan da wani sabon kwaro ya faru, na tabbata da an yi harbi

A cikin wadannan fadace-fadacen, mun fara fahimtar ƙarshe - kamfanin ya yi tunanin cewa mu ne mutanen da ke aiki tare da bayanai da kuma kula da tsarin tebur. Sun rikita admins da dillalai. Kuma sun zo sun tambaye mu wani abu daban da admins.

Babban korafinsu shine - menene jahannama, kuna da alhakin adanawa kuma ba ku yi su da kyau ba, kun ci gaba da ɓarna bayanan. Kuma duk wannan tare da rewinding tabarma.

Ina son adalci. Na tono wasiƙun da kuma haɗa hotunan kariyar kowa, inda Leonid da dukan ƙarfinsa ya tilasta musu yin ajiyar da aka yi. Tashar sabis ɗin su ta ɗauke mu bayan kiran wayata. Daga baya Lenya ya amince da laifinsa.

Shugaban kamfanin, akasin haka, bai so ya zargi mutanensa ba. Screenshots da kalmomi ba su yi tasiri a kansa ba. Ya yi imani cewa tunda mu masana ne a nan, dole ne mu shawo kan kowa da kowa kuma mu nace a kan shawararmu. A bayyane yake, aikinmu shine mu koyar da Lenya kuma, haka kuma, ƙetare shi, wanda aka nada a matsayin manajan aikin, don isa ga babban abu kuma da kansa ya fitar da duk shakkunmu game da manufar backups zuwa gare shi.

Hirar ta cika da ƙiyayya, ɓoyayyiyar zalunci da ɓoyayyiya. Ban san me zan yi ba. Komai ya tsaya cak. Sannan suka shawarce ni hanya mafi sauƙi - don rubuta saƙon sirri ga manajan kuma in shirya taro da shi. Vasya, mutane a rayuwa ta ainihi ba su da sauri kamar yadda suke cikin hira. Shugaban ya amsa sakona: zo, ba tambaya.

Shi ne taro mafi ban tsoro a cikin aiki na. Abokina daga abokin ciniki - STO - ya kasa samun lokacin. Na je taron tare da shugaba da Lena.

Sau da yawa na sake maimaita tattaunawar da muke yi a kai na. Na yi nasarar isowa da wuri, rabin sa'a a gaba. Na fara jin tsoro, na sha taba 10. Na gane, shi ke nan - Ni kadai nake yin lalata. Ba zan iya shawo kansu ba. Kuma ya taka leda.

Yana cikin tashi ya bugi wuta da karfi har ya fasa.

Sakamakon haka, Lenya bai halarci taron ba. Kuma mun yi babban zance game da komai tare da maigidan! Sergei ya gaya mani game da ciwonsa. Ba ya so ya "sarrafa Clickhouse" - yana so ya "samar da tambayoyin aiki."

Ban ga akuya ba, amma mutumin kirki, ya damu da kasuwancinsa, ya nutse cikin aikin 24/7. Hira ta kan jawo mu mugaye, ’yan iska da wawaye. Amma a rayuwa waɗannan mutane ne kamar ku.

Sergei bai buƙaci wasu ma'aurata biyu don haya ba. Matsalar da suka kasance sun zama mafi girma.

Na ce zan iya magance matsalolinsa - aiki ne na daban, kuma ina da aboki da ke yi masa aiki. Da mun san tun farko wannan yarjejeniya ce a gare su, da mun kauce da yawa. Ya yi latti, amma mun gane cewa matsalar ta ta'allaka ne a cikin rashin sarrafa bayanai, ba cikin abubuwan more rayuwa ba.

Muka gaisa, sun kara kudinmu sau biyu da rabi, amma da sharadin zan dauki kwata-kwata duk abin da ya faru da bayanansu da Clickhouse da kaina. A cikin lif, na yi magana da wannan mutumin DI Max kuma na haɗa shi da aiki. Ya wajaba a kwashe dukan gungu.

Akwai sharar da yawa a cikin aikin da aka ɗauka. Farawa da "ajiyayyen" da aka ambata. Ya zama cewa wannan gungu na “ajiyayyen” ba a keɓe ba. Sun gwada komai a kai, wani lokacin ma suna sanya shi cikin samarwa.

Masu haɓaka gidanmu sun ƙirƙiri nasu mai saka bayanai na al'ada. Ya yi aiki kamar haka: ya tsara fayilolin, ya gudanar da rubutun kuma ya haɗa bayanan a cikin tebur. Amma babbar matsalar ita ce an karɓi babban adadin bayanai don buƙatu ɗaya mai sauƙi. Buƙatar ta shiga bayanan kowane daƙiƙa. Duk don kare lamba ɗaya - adadin kowace rana.

Masu haɓaka cikin gida sun yi amfani da kayan aikin nazari ba daidai ba. Suka je grafana suka rubuta bukatarsu ta sarauta. Ya loda bayanai na tsawon makonni 2. Ya zama kyakkyawan jadawali. Amma a zahiri, buƙatun bayanan shine kowane sakan 10. Duk wannan yana tarawa a cikin jerin gwano saboda Clickhouse kawai bai fitar da aikin ba. Anan ne babban dalilin ya boye. Babu wani abu da ya yi aiki a Grafana, buƙatun sun tsaya a kan layi, kuma tsofaffi, bayanan da ba su da mahimmanci suna zuwa akai-akai.

Mun sake tsara tari, mun sake sakawa. Masu haɓaka cikin gida sun sake rubuta “mai sakawa” nasu, kuma ya fara rarraba bayanai daidai.

Max ya gudanar da cikakken binciken ababen more rayuwa. Ya zayyana tsare-tsare na sauye-sauye zuwa ga cikakken goyon baya. Amma wannan bai dace da kamfanin ba. Suna tsammanin sirrin sihiri daga Max wanda zai ba su damar yin aiki da tsohuwar hanyar da aka tsara, amma kawai da inganci. Lenya har yanzu yana kula da aikin, kuma bai koyi kome ba. Daga cikin abin da aka bayar, ya sake zabar madadinsa. Kamar koyaushe, wannan shine mafi zaɓin yanke shawara mai ƙarfi. Lenya ya yi imanin cewa kamfaninsa yana da hanya ta musamman. Kayayuwa kuma cike da dusar ƙanƙara.

A gaskiya, a nan ne muka rabu - mun yi abin da za mu iya.

Cike da ilimi da hikima daga wannan tarihin, mun buɗe kasuwancinmu kuma mun kafa ka'idoji da yawa don kanmu. Ba za mu taɓa fara aiki kamar yadda muka yi a lokacin ba.

DJ Max ya haɗu da mu bayan wannan aikin, kuma har yanzu muna aiki tare sosai. Shari'ar Clickhouse ta koya mani yadda ake gudanar da cikakken bincike na kayan aiki kafin fara aiki. Mun fahimci yadda komai ke aiki kuma kawai sai mu yarda da ayyukan. Kuma idan a baya za mu yi gaggawar gaggawa don kula da ababen more rayuwa, yanzu mun fara yin aikin lokaci ɗaya, wanda ke taimaka mana fahimtar yadda za mu kawo shi cikin yanayin aiki.

Kuma a, muna guje wa ayyuka tare da abubuwan more rayuwa. Ko da don kuɗi mai yawa, ko da a cikin abota. Ba shi da riba don gudanar da ayyukan rashin lafiya. Gane wannan ya taimaka mana girma. Ko dai aikin lokaci ɗaya don samun abubuwan more rayuwa cikin tsari sannan kuma kwangilar kulawa, ko kuma mu tashi kawai. Ya wuce wani dutsen kankara.

PS Don haka idan kuna da tambayoyi game da kayan aikin ku, jin kyauta don barin buƙata.

Muna da bincike na kyauta 2 kowane wata, watakila aikinku zai kasance ɗaya daga cikinsu.

source: www.habr.com