Ity misy tantara iray izay nanova mandrakizay ny fomba fiasako amin'ny asa devops. Niverina tany amin'ny vanim-potoana talohan'ny Covid, ela be talohan'izy ireo, fony izahay sy ry zalahy dia nanomana ny orinasanay manokana sy tsy miankina amin'ny baiko kisendrasendra, nisy tolotra iray latsaka tao anaty sarehiko.
Ny orinasa nanoratra izany dia orinasa mpanadihady data. Nikarakara fangatahana an'arivony isan'andro izy. Tonga tany aminay izy ireo tamin'ny teny hoe: ry zalahy, manana ClickHouse izahay ary te-hanao automatique ny fandrindrana sy ny fametrahana azy. Tianay ny Ansible, Terraform, Docker ary mba ho voatahiry ao amin'ny Git daholo izany. Mila vondron'olona efatra misy kopia roa izahay.
Fangatahana manara-penitra izany, am-polony izy ireo, ary mila vahaolana manara-penitra mitovy amin'izany ianao. Hoy izahay "ok", ary rehefa afaka 2-3 herinandro dia efa vonona ny zava-drehetra. Nanaiky ny asa izy ireo ary nanomboka nifindra tany amin'ny cluster Clickhouse vaovao tamin'ny fampiasana ny fitaovanay.
Tsy nisy olona naniry na nahafantatra ny fomba hijerena ny Clickhouse. Avy eo dia nihevitra izahay fa io no tena olan'izy ireo, ary noho izany ny tobim-pandraharahana an'ny orinasa dia nanome lalana fotsiny ny ekipako mba hanao automatique ny asa araka izay azo atao, mba tsy handehanako any intsony.
Niaraka tamin'ny hetsika izahay, nisy asa hafa niseho - fametrahana backup sy fanaraha-maso. Tamin'izany fotoana izany, ny tobin'ny serivisy an'ity orinasa ity dia nitambatra tamin'ny tetikasa iray hafa, namela anay tamin'ny iray amin'ireo anay - Leonid - ho komandin'ny. Lenya dia tsy lehilahy nanan-talenta loatra. Mpamorona tsotra izay napetraka tampoka ho mpitantana ny Clickhouse. Toa io no fanendrena azy voalohany hitantana zavatra, ary ny voninahitra lehibe dia nahatonga azy hahatsapa ho kintana.
Niara-niasa tamin'ny fanaovana backups izahay. Nanolo-kevitra ny hanohana avy hatrany ny angona tany am-boalohany aho. Raiso fotsiny, zipo ary atsipazo ao anaty c3. Ny data manta dia volamena. Nisy safidy iray hafa - mba hanohanana ny latabatra ao amin'ny Clickhouse, amin'ny fampiasana ny fanamainana sy ny kopia. Saingy i Lenya dia namoaka ny vahaolana ho azy manokana.
Nambarany fa mila cluster Clickhouse faharoa isika. Ary manomboka izao dia hanoratra angon-drakitra amin'ny cluster roa - ny lehibe sy ny backup. Lazaiko aminy, Lenya, tsy ho backup izany, fa kopia mavitrika. Ary raha manomboka very ny angona amin'ny famokarana, dia ho toy izany koa no hitranga amin'ny backup anao.
Noraisin’i Lenya mafy anefa ny familiana, ary tsy nety nihaino ny hevitro. Niresaka taminy nandritra ny fotoana ela izahay tao amin'ny chat, saingy tsy nisy na inona na inona natao - Lenya no niandraikitra ny tetikasa, ankizy nokaramain'ny arabe fotsiny izahay.
Nanara-maso ny toetry ny cluster izahay ary ny asan'ny mpitantana ihany no nandoa vola. Fitantanana Clickhouse madio nefa tsy miditra amin'ny angon-drakitra. Nisy ny cluster, tsara ny disks, tsara ny nodes.
Tsy fantatray fa nahazo ity baiko ity izahay noho ny tsy fifankahazoana mahatsiravina tao amin'ny ekipany
Tsy faly ny mpitantana fa miadana ny Clickhouse ary very indraindray ny angona. Nametraka ny tobim-pampielezan-draharahany izy mba hamantatra izany. Noheveriny araka izay azony natao izany ary nanatsoaka hevitra izy fa mila manamboatra ny Clickhouse fotsiny izahay - izay ihany. Saingy rehefa nazava vetivety dia tsy mila ekipa devops mihitsy izy ireo.
Izany rehetra izany dia hita fa tena nampahory. Ary ny tena nanafintohina indrindra dia ny fitsingerenan'ny andro nahaterahana.
Zoma hariva. Nanao famandrihana tao amin'ny trano fisotroana divay tiako indrindra aho ary nanasa ireo homies.
Saika alohan'ny hiaingana dia mahazo asa amin'ny famoronana alter isika, vitantsika izany, milamina ny zava-drehetra. Lany ny fanovana, voamarina ny clickhouse. Efa mandeha any amin'ny bara izahay, ary manoratra aminay izy ireo fa tsy ampy ny angona. Natao kajy fa toa ampy ny zava-drehetra. Dia lasa izy ireo mba hankalaza.
Nitabataba ny trano fisakafoanana tamin'ny zoma. Rehefa avy nanafatra zava-pisotro sy sakafo izahay, dia nipetraka teo amin’ny sofa. Nandritra izany fotoana izany, ny fahakelezako dia feno hafatra. Nanoratra zavatra momba ny tsy fahampian'ny angona izy ireo. Noheveriko fa hendry noho ny hariva ny maraina. Indrindra fa androany.
Efa ho iraika ambin'ny folo izy ireo no nanomboka niantso. Lehiben'ny orinasa izany ... "Azo inoana fa nanapa-kevitra ny hiarahaba ahy," hoy aho nisalasala, ary nandray ny telefaonina.
Ary naheno zavatra toy ny hoe: “Nofoanao ny angonay! Karamako ianao fa tsy misy miasa! Tompon'andraikitra amin'ny backups ianao, ary tsy nanao zavatra ratsy ianao! Aleo amboary!" - vao mainka aza ruder.
- Fantatrao ve, mialà! Androany no fitsingerenan'ny andro nahaterahana, ary izao dia hisotro aho, ary tsy handray anjara amin'ny vokatrao an-trano amin'ny volana Jona avy amin'ny crap sy ny hazo!
Izay no tsy nolazaiko. Nesoriko kosa ny solosaina findaiko ary nandeha niasa.
Tsia, nidaroka baomba aho, nanapoaka baomba toy ny helo! Nandatsaka caustic "Nolazaiko taminao izany" tao amin'ny chat - satria ny backup, izay tsy backup mihitsy, - mazava ho azy, tsy nahavonjy na inona na inona.
Nahafantatra ny fomba hampijanonana ny fandraisam-peo sy hanamarina ny zava-drehetra izaho sy ny ankizilahy. Tena nataonay antoka fa tsy nosoratana ny sasany tamin'ireo angona.
Nitsahatra tamin'ny firaketana izahay ary nanisa ny isan'ny hetsika isan'andro. Nandefa angona bebe kokoa izy ireo, ka ny ampahatelony ihany no tsy voarakitra. Varavarankely telo misy kopia 2 avy. Mampiditra laharana 100.000 ianao - 33.000 no tsy voarakitra.
Nisy fisavoritahana tanteraka. Nifandimby nifandimby ny rehetra: tany aloha i Lenya, nanaraka ahy sy ilay mpanorina ny orinasa. Ny tobim-pamokarana izay nanatevin-daharana ihany no nanandrana nanodina ny antso mikiakiaka sy ny taratasinay mba hahitana vahaolana amin'ny olana.
Tsy nisy nahatakatra ny tena zava-nitranga
Taitra fotsiny izahay sy ry zalahy rehefa nahatsapa fa ny ampahatelon'ny angona rehetra dia tsy vitan'ny hoe tsy voarakitra fa very! Hita fa ny baiko tao amin'ny orinasa dia toy izao manaraka izao: aorian'ny fampidirana dia voafafa tsy azo ivalozana ny angon-drakitra, very ny hetsika. Nieritreritra aho hoe ahoana no hamadihan'i Sergei ho roubles very izany rehetra izany.
Natsipy tao anaty fako koa ny fitsingerenan'ny taonako. Nipetraka teo amin'ny bar izahay ary namorona hevitra, niezaka namaha ny piozila natsipy taminay. Tsy fantatra mazava ny anton'ny fianjeran'i Clickhouse. Sao dia ny tambazotra, angamba ny fandrindrana Linux. Eny, na inona na inona tianao, efa ampy ny vinavina.
Tsy nandray ny fianianan'ny mpamorona aho, fa tsy marina ny nandao ireo lehilahy teo amin'ny faran'ny andalana - na dia nanome tsiny anay aza izy ireo tamin'ny zava-drehetra. Azoko antoka 99% fa tsy tao amin'ny fanapahan-kevitray no nisy ny olana, fa tsy teo aminay. Ny vintana 1% izay nopotehinay dia nirehitra tamin'ny tebiteby. Saingy na inona na inona lafin'ny olana dia tsy maintsy nalamina. Ny fialana amin'ny mpanjifa, na iza na iza, miaraka amin'ny fivoahana data mahatsiravina toy izany dia lozabe loatra.
Niasa teo amin’ny latabatra fisakafoanana izahay hatramin’ny telo maraina. Nanampy hetsika izahay, ampidiro ny safidy, ary nandeha izahay hameno ny banga. Rehefa simbainao ny angon-drakitra dia toy izao no ataonao: alainao ny angon-drakitra antonony ho an'ny andro teo aloha ary ampidirinao ao anatin'ireo voasokajy.
Rehefa afaka telo ora maraina, dia nankany an-tranoko izahay sy ny namako ary nanafatra labiera tao amin'ny tsenan'ny alikaola. Nipetraka niaraka tamin'ny solosaina finday sy Clickhouse aho, nisy namana iray nilaza tamiko zavatra. Vokany, rehefa afaka adiny iray dia tafintohina izy fa niasa sy tsy niara-nisotro labiera taminy aho, dia lasa. Classic - Naman'i Devops aho.
Tamin'ny 6 ora maraina, namerina ny latabatra aho, ary nanomboka tondraka ny angona. Nizotra tsy nisy fatiantoka ny zava-drehetra.
Dia sarotra izany. Nifanome tsiny ny rehetra noho ny fahaverezan'ny angona. Raha nisy bibikely vaovao nitranga dia azoko antoka fa nisy fifampitifirana
Tao anatin'ireo ady ireo dia nanomboka nahatakatra ihany izahay - ny orinasa dia nihevitra fa izahay no lehilahy miasa miaraka amin'ny angona sy manara-maso ny firafitry ny latabatra. Nampisavoritaka ny admin sy ny mpivarotra izy ireo. Ary tonga nanontany anay zavatra hafa tamin'ny admin izy ireo.
Ny tena fitarainan'izy ireo dia - inona no helo, tompon'andraikitra tamin'ny backups ianao ary tsy nanao azy ireo araka ny tokony ho izy, nanohy nandany ny angon-drakitra ianao. Ary izany rehetra izany miaraka amin'ny tsihy miverimberina.
Naniry ny rariny aho. Nolavahana ny taratasim-panoratana ary nasiako pikantsarin'ny tsirairay, izay nanery azy ireo hanao ny backup izay natao i Leonid tamin'ny heriny rehetra. Niandany taminay ny tobin’ny sampan-draharahan’izy ireo taorian’ny niantsoako an-telefaonina. Niaiky ny helony i Lenya tatỳ aoriana.
Ny lehiben’ny orinasa kosa dia tsy te hanome tsiny ny olony mihitsy. Tsy nisy vokany taminy ny pikantsary sy ny teny. Nino izy fa noho izahay manam-pahaizana teto, dia tsy maintsy nandresy lahatra ny rehetra izahay ary nanamafy ny fanapahan-kevitray. Mazava ho azy fa ny andraikitray dia ny hampianatra an'i Lenya ary, ankoatra izany, handosirana azy, izay voatendry ho mpitantana ny tetikasa, mba hahatongavana any amin'ny zava-dehibe indrindra ary handatsaka ny fisalasalantsika rehetra momba ny foto-kevitry ny backups ho azy.
Ny resaka nikotrika fankahalana, herisetra miafina ary tsy miafina. Tsy hitako izay hatao. Nitsahatra ny zava-drehetra. Ary avy eo dia nanoro ahy ny fomba tsotra indrindra izy ireo - hanoratra hafatra manokana amin'ny mpitantana ary handamina fivoriana miaraka aminy. Vasya, ny olona amin'ny tena fiainana dia tsy haingana toy ny amin'ny chat. Namaly ny hafatro ny lehibeny: Avia, tsy misy fanontaniana.
Io no fihaonana mampatahotra indrindra teo amin'ny asako. Ny mpiara-miasa amiko avy amin'ny mpanjifa - STO - dia tsy nahita ny fotoana. Nandeha nivory niaraka tamin’ny lehibeny sy i Lena aho.
Naveriko tao an-dohako hatrany ny fifanakalozan-kevitra mety ho nataonay. Nahavita tonga aloha be aho, antsasak'adiny mialoha. Nanomboka nikorontan-tsaina aho, nifoka sigara 10. Takatro fa izany no izy - mifoka irery aho. Tsy ho vitako ny handresy lahatra azy ireo. Ary niditra tao amin'ny ascenseur izy.
Teo am-pitsanganana izy, dia nokapohiny mafy ilay jiro ka tapaka.
Vokany, tsy tao amin’ilay fivoriana i Lenya. Ary nifampiresaka tsara momba ny zava-drehetra niaraka tamin'ny sefo izahay! Nolazain'i Sergei tamiko ny fanaintainany. Tsy te "hanao automatique Clickhouse" izy - te "hamoaka ny fangatahana."
Tsy nahita osy aho, fa lehilahy tsara, manahy momba ny raharahany, miroboka amin'ny asa 24/7. Matetika ny chat dia misarika antsika ho olon-dratsy, olona ratsy fanahy ary olona adala. Saingy eo amin'ny fiainana dia olona toa anao ihany ireo.
Tsy nila devops roa hokaramaina i Sergei. Ny olana nianjady tamin'izy ireo dia nanjary lehibe kokoa.
Nilaza aho fa afaka mamaha ny olany - asa hafa tanteraka izany, ary manana namana miasa amin'izany aho. Raha nahafantatra hatrany am-boalohany fa fifanarahana ho azy ireo izany dia ho nisoroka zavatra maro. Tara ny andro, saingy tsikaritray fa eo amin'ny fitantanana angon-drakitra ratsy no misy ny olana, fa tsy amin'ny fotodrafitrasa.
Nifandray tanana izahay, nampiakarin'izy ireo ny karamanay indroa sy tapany, saingy amin'ny fepetra fa horaisiko ho ahy manokana ny korontana manontolo miaraka amin'ny angon-dry zareo sy ny Clickhouse. Tao amin'ny ascenseur, nifandray tamin'io lehilahy DI Max io aho ary nampifandray azy hiasa. nilaina ny angady ny cluster manontolo.
Betsaka ny fako tao anatin’ilay tetikasa noraisina. Manomboka amin'ilay voalaza hoe "backup". Hita fa tsy mitoka-monina io cluster "backup" io. Notsapain'izy ireo ny zava-drehetra tamin'izany, ary napetrany tao amin'ny famokarana mihitsy aza.
Ny mpamorona an-tranonay dia namorona ny fanisiana angona manokana azy manokana. Niasa toy izao izy: nanangona ny rakitra, nihazakazaka ny script ary nampifangaro ny angona tao anaty latabatra. Saingy ny olana lehibe dia ny angon-drakitra be dia be no nekena ho an'ny fangatahana tsotra iray. Ny fangatahana dia nanatevin-daharana ny angona isaky ny segondra. Rehetra noho ny isa iray - ny vola isan'andro.
Nampiasa ny fitaovana famakafakana tamin'ny fomba diso ny mpamorona an-trano. Nankany amin’ny grafana izy ireo ary nanoratra ny fangatahany mpanjaka. Nandefa angona nandritra ny 2 herinandro izy. Nanjary sary tsara tarehy izy io. Saingy raha ny zava-misy dia isaky ny 10 segondra ny fangatahana data. Nivondrona tao anaty filaharana izany rehetra izany satria tsy nesorin'ny Clickhouse tsotra izao ny fanodinana. Teo no nanafenana ny tena antony. Tsy nisy niasa tao Grafana, nilahatra ny fangatahana, ary tonga hatrany ny angona tranainy sy tsy misy dikany.
Namboarinay ny cluster, namerina ny fampidirana. Naverin'ireo mpamorona an-trano naveriny ny "inserter" azy ireo, ary nanomboka nizara ny angon-drakitra araka ny tokony ho izy.
Nanao fanaraha-maso tanteraka ny fotodrafitrasa i Max. Nanoritra drafitra ho an'ny fifindrana mankany amin'ny backend feno izy. Tsy nety tamin’ilay orinasa anefa izany. Nanantena tsiambaratelo mahagaga avy amin'i Max izy ireo izay hamela azy ireo hiasa amin'ny fomba taloha, saingy mahomby ihany. Mbola niandraikitra an’ilay tetikasa i Lenya, ary tsy nianatra na inona na inona izy. Avy amin'izay rehetra natolotra dia nisafidy ny safidy hafa indray izy. Toy ny mahazatra, io no fanapahan-kevitra nifantina indrindra... feno fahasahiana. Nino i Lenya fa manana lalana manokana ny orinasany. Tsilo sady feno vongan-dranomandry.
Raha ny marina, teo izahay no nisaraka - nanao izay azonay natao izahay.
Feno fahalalana sy fahendrena avy amin'ity tantara ity izahay, dia nanokatra ny orinasanay manokana ary namorona fitsipika maromaro ho an'ny tenanay. Tsy hanomboka hiasa toy ny tamin'ny taloha intsony isika ankehitriny.
Niaraka taminay i DJ Max taorian'ity tetikasa ity, ary mbola miara-miasa tsara izahay. Ny raharaha Clickhouse dia nampianatra ahy ny fomba hanaovana fanaraha-maso fotodrafitrasa feno sy feno alohan'ny hanombohana asa. Takatsika ny fomba fiasan'ny zava-drehetra ary avy eo dia manaiky ny asa. Ary raha teo aloha isika dia maika avy hatrany amin'ny fikojakojana ny fotodrafitrasa, ankehitriny isika dia manao tetikasa indray mandeha, izay manampy antsika hahatakatra ny fomba hitondrana azy amin'ny toe-javatra miasa.
Ary eny, miala amin'ny tetikasa misy fotodrafitrasa ratsy izahay. Na amin’ny vola be aza, na noho ny fisakaizana aza. Tsy mahasoa ny manao tetikasa marary. Nanampy anay hitombo ny fahatakarana izany. Na tetik'asa indray mandeha handaminana ny fotodrafitrasa ary avy eo ny fifanarahana fikojakojana, na izahay manidina fotsiny. Nandalo iceberg hafa.
P.S. Koa raha manana fanontaniana momba ny fotodrafitrasao ianao, .
Manana audit maimaim-poana 2 isam-bolana izahay, angamba ny tetikasanao dia iray amin'izy ireo.
Source: www.habr.com