Nov yog ib zaj dab neeg uas hloov pauv kuv txoj hauv kev mus rau devops ua haujlwm. Rov qab rau lub sijhawm ua ntej Covid, ntev, ntev ua ntej lawv, thaum cov txiv neej thiab kuv tab tom npaj peb tus kheej ua lag luam thiab ua haujlwm ywj pheej ntawm kev txiav txim siab, ib qho kev poob rau hauv kuv lub laub.
Lub tuam txhab uas sau qhov no yog lub tuam txhab cov ntaub ntawv analytics. Nws ua tiav ntau txhiab qhov kev thov txhua hnub. Lawv tuaj rau peb nrog cov lus: hais mav, peb muaj ClickHouse thiab peb xav automate nws configuration thiab installation. Peb xav kom Ansible, Terraform, Docker thiab kom nws tag nrho khaws cia hauv Git. Peb xav tau ib pawg ntawm plaub lub nodes nrog ob replicas txhua.
Nws yog tus qauv thov, muaj ntau ntau ntawm lawv, thiab koj xav tau ib qho kev daws teeb meem zoo sib xws. Peb hais tias "ok", thiab tom qab 2-3 lub lis piam, txhua yam yog npaj txhij. Lawv tau txais txoj haujlwm thiab pib tsiv mus rau ib pawg Clickhouse tshiab uas siv peb cov khoom siv.
Tsis muaj leej twg xav lossis paub yuav ua li cas tinker nrog Clickhouse. Tom qab ntawd peb xav tias qhov no yog lawv qhov teeb meem tseem ceeb, thiab yog li ntawd lub tuam txhab kev pabcuam chaw nres tsheb tsuas yog muab qhov kev mus tom ntej rau kuv pab neeg kom ua haujlwm tau zoo li sai tau, yog li tsis txhob mus rau qhov ntawd kuv tus kheej ib zaug ntxiv.
Peb nrog kev txav mus los, lwm yam dej num tshwm sim - teeb tsa kev thaub qab thiab saib xyuas. Nyob rau tib lub sijhawm, qhov chaw pabcuam ntawm lub tuam txhab no tau koom ua ke nrog lwm qhov project, tawm hauv peb nrog ib qho ntawm peb tus kheej - Leonid - ua tus thawj coj. Lenya tsis yog ib tug txiv neej zoo heev. Tus tsim tawm yooj yim uas tau muab tso rau hauv tus saib xyuas ntawm Clickhouse. Nws zoo nkaus li tias qhov no yog nws thawj txoj haujlwm los tswj hwm ib yam dab tsi, thiab kev hwm ntau dhau ua rau nws xav tias muaj hnub qub.
Ua ke peb teem txog kev ua backups. Kuv hais kom thaub qab cov ntaub ntawv qub tam sim ntawd. Cia li coj nws, zip nws thiab elegantly muab pov rau hauv ib co c3. Cov ntaub ntawv nyoos yog kub. Muaj lwm txoj hauv kev - txhawm rau thaub qab cov ntxhuav lawv tus kheej hauv Clickhouse, siv lub khov thiab luam tawm. Tab sis Lenya tuaj nrog nws tus kheej daws.
Nws tshaj tawm tias peb xav tau ib pawg Clickhouse thib ob. Thiab txij no mus peb yuav sau cov ntaub ntawv rau ob pawg - lub ntsiab thiab thaub qab. Kuv qhia nws, Lenya, nws yuav tsis yog ib qho thaub qab, tab sis ib qho kev hloov pauv nquag. Thiab yog tias cov ntaub ntawv pib poob hauv kev tsim khoom, tib yam yuav tshwm sim ntawm koj qhov thaub qab.
Tab sis Lenya tuav lub kauj tsheb kom nruj thiab tsis kam mloog kuv cov lus sib cav. Peb tau tham nrog nws ntev ntev hauv kev sib tham, tab sis tsis muaj dab tsi ua - Lenya yog tus saib xyuas qhov project, peb tsuas yog ntiav cov menyuam yaus los ntawm txoj kev.
Peb tau saib xyuas lub xeev ntawm pawg thiab them nyiaj rau kev ua haujlwm ntawm cov thawj coj nkaus xwb. Pure Clickhouse tswj tsis tau nkag mus rau hauv cov ntaub ntawv. Cov pawg tau muaj, cov disks tau zoo, cov nodes tau zoo.
Peb tsis paub tias peb tau txais qhov kev txiav txim no vim muaj kev nkag siab tsis zoo hauv lawv pab neeg
Tus thawj tswj tsis zoo siab tias Clickhouse qeeb thiab cov ntaub ntawv qee zaum poob. Nws tau teeb tsa nws lub chaw pabcuam kev ua haujlwm ntawm kev txheeb xyuas nws. Nws xav tias nws zoo tshaj plaws uas nws tuaj yeem ua tau thiab xaus lus tias peb tsuas yog xav tau los ua haujlwm rau Clickhouse - qhov ntawd yog txhua yam. Tab sis sai li sai tau tau pom meej, lawv tsis xav tau ib pab pawg devops txhua.
Tag nrho cov no tau dhau los ua mob hnyav heev. Thiab qhov ua phem tshaj plaws yog nws yog nyob rau kuv lub hnub yug.
Hnub Friday yav tsaus ntuj. Kuv tau txais kev tshwj tseg ntawm qhov kuv nyiam wine bar thiab caw cov homies.
Yuav luag ua ntej tawm mus, peb tau txais ib txoj hauj lwm los tsim ib qho kev hloov, peb ua tiav, txhua yam zoo. Hloov dhau, clickhouse paub tseeb. Peb twb mus rau qhov bar, thiab lawv sau ntawv rau peb tias tsis muaj ntaub ntawv txaus. Peb suav tias txhua yam zoo li txaus. Thiab lawv tau ncaim mus ua kev zoo siab.
Lub tsev noj mov nrov nrov rau hnub Friday. Tom qab xaj dej qab zib thiab zaub mov, peb zaum ntawm lub rooj zaum. Tag nrho lub sij hawm no, kuv slack tau maj mam dej nyab nrog cov lus. Lawv sau ib yam dab tsi txog qhov tsis muaj ntaub ntawv. Kuv xav tias - thaum sawv ntxov yog ntse dua yav tsaus ntuj. Tshwj xeeb hnub no.
Ze rau kaum ib lawv pib hu. Nws yog lub taub hau ntawm lub tuam txhab ... "Tej zaum txiav txim siab los ua kev zoo siab rau kuv,"Kuv xav tsis thoob, thiab khaws lub xov tooj.
Thiab kuv hnov ββib yam dab tsi zoo li: βKoj tau rub peb cov ntaub ntawv! Kuv them koj, tab sis tsis muaj dab tsi ua haujlwm! Koj tau lub luag haujlwm rau thaub qab, thiab koj tsis tau ua qhov phem! Cia peb kho nws!" - tsuas yog txawm ruder.
- Koj paub dab tsi, tawm ntawm fuck! Hnub no yog kuv lub hnub yug, thiab tam sim no kuv yuav haus, thiab tsis koom nrog koj lub Rau Hli Ntuj cov khoom lag luam los ntawm crap thiab sticks!
Qhov ntawd yog qhov kuv tsis tau hais. Hloov chaw, kuv tau tshem kuv lub laptop thiab tau mus ua haujlwm.
Tsis yog, kuv foob pob, kuv foob pob zoo li ntuj raug txim! Nws nchuav caustic "Kuv hais rau koj li ntawd" rau hauv kev sib tham - vim hais tias cov thaub qab, uas tsis yog ib qho thaub qab, - ntawm chav kawm, tsis txuag dab tsi.
Cov tub hluas thiab kuv xav paub yuav ua li cas thiaj li nres cov kaw lus thiab xyuas txhua yam. Peb tau ua kom paub tseeb tias qee cov ntaub ntawv tsis tau sau.
Peb nres kaw thiab suav cov xwm txheej uas nyob ntawd ib hnub. Lawv upload cov ntaub ntawv ntau ntxiv, uas tsuas yog ib feem peb tsis tau sau tseg. Peb shards nrog 2 replicas txhua. Koj ntxig 100.000 kab - 33.000 tsis kaw.
Muaj kev tsis meej pem. Txhua leej txhua tus hais rau ib leeg kom fuck tawm hauv lem: Lenya mus rau ntawd ua ntej, ua raws li kuv tus kheej thiab tus tsim ntawm lub tuam txhab. Tsuas yog lub chaw pabcuam uas koom nrog sim hloov peb lub suab hu thiab sau ntawv mus nrhiav kev daws teebmeem.
Tsis muaj leej twg to taub qhov tshwm sim tiag tiag
Cov txiv neej thiab kuv tsuas yog cua tshuab thaum peb pom tau tias ib feem peb ntawm tag nrho cov ntaub ntawv tsis tsuas yog tsis tau sau tseg, nws tau ploj lawm! Nws muab tawm hais tias qhov kev txiav txim nyob rau hauv lub tuam txhab yog raws li nram no: tom qab tso, cov ntaub ntawv raug deleted irrevocably, cov txheej xwm yog nkim nyob rau hauv batch. Kuv xav txog yuav ua li cas Sergei yuav hloov tag nrho cov no mus rau hauv poob rubles.
Kuv lub hnub yug kuj muab pov rau hauv lub thoob khib nyiab. Peb zaum ntawm qhov bar thiab tsim cov tswv yim, sim daws cov puzzle uas tau muab pov rau peb. Qhov laj thawj rau Clickhouse lub caij nplooj zeeg tsis pom tseeb. Tej zaum nws yog lub network, tej zaum nws yog qhov chaw Linux. Yog, xijpeem koj xav tau, muaj cov kev xav txaus txaus.
Kuv tsis tau ua raws li tus tsim tawm lus cog tseg, tab sis nws tsis ncaj ncees rau tso cov txiv neej nyob rau lwm qhov kawg ntawm kab - txawm tias lawv tau cem peb rau txhua yam. Kuv tau 99% paub tseeb tias qhov teeb meem tsis dag hauv peb qhov kev txiav txim, tsis yog ntawm peb sab. Qhov 1% lub caij nyoog uas peb tau rub tawm yog kub hnyiab nrog kev ntxhov siab. Tab sis tsis muaj teeb meem nyob rau sab twg, nws yuav tsum tau kho. Tawm ntawm cov neeg siv khoom, tsis hais lawv yog leej twg, nrog cov ntaub ntawv txaus ntshai no yog qhov phem heev.
Peb ua hauj lwm ntawm lub rooj noj mov kom txog thaum peb sawv ntxov. Peb ntxiv cov xwm txheej, ntxig xaiv, thiab tawm peb mus sau qhov khoob. Thaum koj ntsia cov ntaub ntawv, qhov no yog qhov koj ua: koj nqa cov ntaub ntawv nruab nrab rau hnub dhau los thiab muab tso rau hauv cov ntsia hlau ntsia.
Tom qab peb sawv ntxov, kuv tus phooj ywg thiab kuv tau mus rau kuv lub tsev thiab xaj npias los ntawm khw muag cawv. Kuv zaum nrog ib lub laptop thiab Clickhouse teeb meem, ib tug phooj ywg tau qhia kuv ib yam dab tsi. Yog li ntawd, tom qab ib teev nws tau chim siab tias kuv ua haujlwm thiab tsis haus npias nrog nws, thiab tawm mus. Classic - Kuv yog ib tug phooj ywg ntawm Devops.
Thaum 6 teev sawv ntxov, kuv rov tsim lub rooj dua, thiab cov ntaub ntawv pib dej nyab. Txhua yam ua haujlwm tsis muaj kev poob.
Ces nws nyuaj. Txhua leej txhua tus liam ib leeg rau cov ntaub ntawv poob. Yog tias muaj kab mob tshiab tshwm sim, kuv paub tseeb tias yuav muaj kev tua
Hauv cov kev sib ntaus sib tua no, peb thaum kawg pib nkag siab - lub tuam txhab xav tias peb yog cov neeg ua haujlwm nrog cov ntaub ntawv thiab saib xyuas cov qauv ntawm cov ntxhuav. Lawv tsis meej pem admins nrog cov tswv lag luam. Thiab lawv tuaj nug peb ib yam dab tsi txawv ntawm admins.
Lawv qhov kev tsis txaus siab tseem ceeb yog - dab tsi yog ntuj raug txim, koj yog lub luag haujlwm rau kev thaub qab thiab tsis ua lawv zoo, koj txuas ntxiv mus pov tseg cov ntaub ntawv. Thiab tag nrho cov no nrog rewinding lev.
Kuv xav tau kev ncaj ncees. Kuv tau khawb cov ntawv xov xwm thiab txuas cov screenshots ntawm txhua tus, qhov twg Leonid nrog tag nrho nws lub zog yuam kom lawv ua cov thaub qab uas tau ua. Lawv qhov chaw pabcuam tau coj peb sab tom qab kuv hu xovtooj. Tom qab ntawd Lenya lees nws qhov txhaum.
Lub taub hau ntawm lub tuam txhab, ntawm qhov tsis sib xws, tsis xav cem nws cov neeg. Cov duab thaij duab thiab cov lus tsis muaj txiaj ntsig rau nws. Nws ntseeg tias txij li thaum peb yog cov kws tshaj lij ntawm no, peb yuav tsum tau yaum txhua tus thiab hais kom peb txiav txim siab. Thaj, peb txoj hauj lwm yog qhia Lenya thiab, ntxiv rau, hla nws, uas tau raug xaiv los ua tus thawj tswj hwm qhov project, kom tau txais qhov tseem ceeb thiab tus kheej nchuav tawm tag nrho peb cov kev tsis ntseeg txog lub tswv yim ntawm kev thaub qab rau nws.
Kev sib tham oozed nrog kev ntxub ntxaug, zais thiab tsis zais kev ua phem. Kuv tsis paub yuav ua li cas. Txhua yam tau los rau qhov tsis txaus ntseeg. Thiab tom qab ntawd lawv tau qhia kuv txoj hauv kev yooj yim tshaj plaws - sau cov lus ntawm tus kheej rau tus thawj tswj hwm thiab npaj lub rooj sib tham nrog nws. Vasya, cov neeg nyob rau hauv lub neej tiag tiag yog tsis ceev li lawv nyob rau hauv kev sib tham. Tus thawj coj teb rau kuv cov lus: tuaj, tsis muaj lus nug.
Nws yog lub rooj sib tham txaus ntshai tshaj plaws hauv kuv txoj haujlwm. Kuv tus phooj ywg los ntawm tus neeg siv khoom - STO - nrhiav tsis tau lub sijhawm. Kuv mus rau lub rooj sib tham nrog tus thawj coj thiab Lena.
Ib zaug ntxiv kuv rov ua dua peb qhov kev sib tham tau hauv kuv lub taub hau. Kuv tau tuaj txog ntxov, ib nrab teev ua ntej. Kuv pib ntshai, kuv haus 10 luam yeeb. Kuv nkag siab, qhov ntawd yog nws - Kuv tabtom fucking ib leeg. Kuv yuav tsis muaj peev xwm ntseeg lawv. Thiab nws nce mus rau hauv lub elevator.
Thaum nws sawv, nws ntaus lub teeb hnyav heev kom nws tawg.
Yog li ntawd, Lenya tsis nyob ntawm lub rooj sib tham. Thiab peb tau sib tham zoo txog txhua yam nrog tus thawj! Sergei qhia kuv txog nws qhov mob. Nws tsis xav kom "automate Clickhouse" - nws xav "ua cov lus nug ua haujlwm."
Kuv tsis pom tus tshis, tab sis tus txiv neej zoo, txhawj xeeb txog nws txoj kev lag luam, ua haujlwm 24/7. Kev sib tham feem ntau rub peb cov neeg phem, neeg phem thiab cov neeg ruam. Tab sis hauv lub neej cov no yog cov neeg ib yam li koj.
Sergei tsis xav tau ob peb devops rau ntiav. Qhov teeb meem lawv tau dhau los ua qhov loj dua.
Kuv hais tias kuv tuaj yeem daws nws cov teeb meem - nws tsuas yog txoj haujlwm sib txawv kiag li, thiab kuv muaj ib tus phooj ywg ua haujlwm rau nws. Yog tias peb tau paub txij thaum pib tias qhov no yog kev cog lus rau lawv, peb yuav zam ntau yam. Nws yog lig, tab sis peb pom tau hais tias qhov teeb meem nteg nyob rau hauv crappy data management, tsis nyob rau hauv lub infrastructure.
Peb tuav tes, lawv tsa peb cov nyiaj them ob thiab ib nrab zaug, tab sis ntawm qhov xwm txheej uas kuv tau txais tag nrho cov kev ntxhov siab nrog lawv cov ntaub ntawv thiab Clickhouse rau kuv tus kheej. Hauv lub elevator, kuv tau sib txuas lus nrog tib tus txiv neej DI Max thiab txuas nws mus ua haujlwm. Nws yog tsim nyog los shovel tag nrho pawg.
Muaj ntau cov thoob khib nyiab hauv qhov kev pom zoo. Pib nrog qhov hais tias "kev thaub qab". Nws tau pom tias tib lub "thawj" pawg no tsis raug cais. Lawv sim txhua yam ntawm nws, qee zaum txawm muab tso rau hauv kev tsim khoom.
Peb cov neeg tsim khoom hauv tsev tau tsim lawv tus kheej cov ntaub ntawv kev cai. Nws ua hauj lwm zoo li no: nws batched cov ntaub ntawv, khiav tsab ntawv thiab merged cov ntaub ntawv rau hauv ib lub rooj. Tab sis qhov teeb meem tseem ceeb yog cov ntaub ntawv loj heev tau txais rau ib qho kev thov yooj yim. Qhov kev thov koom nrog cov ntaub ntawv txhua ob. Tag nrho rau lub hom phiaj ntawm ib tus lej - tus nqi ib hnub.
Cov neeg tsim khoom hauv tsev siv cov cuab yeej tshuaj ntsuam xyuas tsis raug. Lawv mus rau grafana thiab sau lawv cov lus thov huab tais. Nws upload cov ntaub ntawv rau 2 lub lis piam. Nws muab tawm los ua ib daim duab zoo nkauj. Tab sis qhov tseeb, cov ntaub ntawv thov yog txhua 10 vib nas this. Tag nrho cov no tau piling nyob rau hauv ib tug queue vim Clickhouse tsuas yog tsis tshem tawm cov ua. Qhov no yog qhov laj thawj tseem ceeb tau muab zais. Tsis muaj dab tsi ua haujlwm hauv Grafana, kev thov sawv hauv ib kab, thiab cov ntaub ntawv qub, tsis cuam tshuam tau los tas li.
Peb reconfigured lub pawg, redid lub insertion. Cov neeg tsim khoom hauv tsev rov sau lawv "inserter", thiab nws pib sharding cov ntaub ntawv kom raug.
Max tau ua qhov kev tshuaj xyuas tag nrho ntawm cov txheej txheem. Nws tau piav qhia txog txoj kev npaj rau kev hloov pauv mus rau qhov kev ua tiav tag nrho. Tab sis qhov no tsis haum rau lub tuam txhab. Lawv cia siab tias yuav muaj tej yam yees siv zais cia los ntawm Max uas yuav tso cai rau lawv ua haujlwm li qub, tab sis tsuas yog ua tau zoo. Lenya tseem yog tus saib xyuas qhov project, thiab nws tsis tau kawm dab tsi. Los ntawm txhua yam uas tau muab, nws rov xaiv nws txoj kev xaiv. Raws li ib txwm muaj, qhov no yog qhov kev xaiv tshaj plaws ... kev txiav txim siab siab tawv. Lenya ntseeg tias nws lub tuam txhab muaj txoj hauv kev tshwj xeeb. Thorny thiab tag nrho ntawm icebergs.
Qhov tseeb, qhov ntawd yog qhov peb sib cais - peb tau ua qhov peb ua tau.
Tag nrho ntawm kev paub thiab kev txawj ntse los ntawm keeb kwm no, peb qhib peb tus kheej kev lag luam thiab tsim ntau lub hauv paus ntsiab lus rau peb tus kheej. Peb yuav tsis pib ua haujlwm ib yam tam sim no ib yam li peb tau ua thaum ntawd.
DJ Max tau koom nrog peb tom qab qhov project no, thiab peb tseem ua haujlwm zoo ua ke. Cov ntaub ntawv Clickhouse tau qhia kuv yuav ua li cas ua kom tiav thiab ua tiav kev txheeb xyuas cov txheej txheem ua ntej pib ua haujlwm. Peb nkag siab tias txhua yam ua haujlwm li cas thiab tsuas yog tom qab ntawd lees txais cov haujlwm. Thiab yog tias ua ntej peb yuav maj nrawm los tswj cov kev tsim kho vaj tse, tam sim no peb thawj zaug ua qhov project ib zaug, uas pab peb nkag siab yuav ua li cas coj nws mus rau hauv kev ua haujlwm.
Thiab yog, peb zam tej yaam num nrog crappy infrastructure. Txawm tias yog rau nyiaj ntau, txawm tias tawm ntawm kev phooj ywg. Nws yog unprofitable los khiav tej yaam num mob. Paub qhov no pab peb loj hlob. Los yog ib qhov project ib zaug kom tau txais cov txheej txheem hauv kev txiav txim thiab tom qab ntawd daim ntawv cog lus txij nkawm, lossis peb tsuas yog ya los ntawm. Dhau lwm iceberg.
P.S. Yog li yog tias koj muaj lus nug txog koj cov infrastructure, .
Peb muaj 2 kev tshuaj xyuas dawb hauv ib hlis, tej zaum koj qhov project yuav yog ib qho ntawm lawv.
Tau qhov twg los: www.hab.com