Webinar ine audio isina kunaka, saka takainyora.
Ini ndinonzi Medvedev Eduard. Nhasi ndichataura nezve SRE chii, kuti SRE yakaonekwa sei, ndeapi maitiro eSRE mainjiniya ane, zvishoma nezve kuvimbika maitiro, zvishoma nezvekutarisa kwayo. Isu tichafamba pamusoro, nekuti haugone kutaura zvakawanda muawa, asi ini ndichapa zvekuwedzera ongororo, uye isu tese takakumirira iwe. . muMoscow pakupera kwaJanuary.
Chekutanga, ngatitaurei nezve SRE chii - Site Reliability Engineering. Uye kuti yairatidzika sei senzvimbo yakaparadzana, segwara rakaparadzana. Izvo zvese zvakatanga nenyaya yekuti mumatunhu ekusimudzira echinyakare, Dev neOps zvikwata zviviri zvakasiyana zvachose, kazhinji zvine zvinangwa zviviri zvakasiyana. Chinangwa chechikwata chekusimudzira ndechekuburitsa zvinhu zvitsva uye kusangana nezvinodiwa zvebhizinesi. Chinangwa chechikwata cheOps ndechekuona kuti zvese zvinoshanda uye hapana chinoputsika. Zviripachena, izvi zvinangwa zvinopokana zvakananga: kuti zvese zvishande uye hapana chekupwanya, buritsa maficha matsva zvishoma sezvinobvira. Nekuda kweizvi, kune akawanda makakatanwa emukati ayo nzira yave kunzi DevOps iri kuyedza kugadzirisa.
Dambudziko nderekuti isu hatina tsananguro yakajeka yeDevOps uye kuita kwakajeka kweDevOps. Ndakataura pamusangano muYekaterinburg makore maviri apfuura, uye kusvika zvino chikamu cheDevOps chakatanga nemushumo "Chii chinonzi DevOps". Muna 2, Devops angangoita makore gumi, asi isu tichiri kukakavara kuti chii. Uye iyi inyaya inoshamisa iyo Google yakaedza kugadzirisa makore mashoma apfuura.
Muna 2016, Google yakaburitsa bhuku rinonzi Site Reliability Engineering. Uye zvechokwadi, zvaive nebhuku iri iro sangano reSRE rakatanga. SRE ndeyekuitwa kweiyo DevOps paradigm mune imwe kambani. SRE mainjiniya akazvipira kuona kuti masisitimu anoshanda akavimbika. Ivo vanonyanya kuuya kubva kuvagadziri, dzimwe nguva maneja ane yakasimba yekusimudzira kumashure. Uye ivo vanoita izvo vatariri vehurongwa vaiwanzoita, asi kumashure kwakasimba mukusimudzira uye ruzivo rwehurongwa maererano nekodhi inotungamira kune chokwadi chekuti vanhu ava havadi kuita basa rekutonga, asi vanorerekera kune otomatiki.
Zvinoitika kuti paradigm yeDevOps muzvikwata zveSRE inoshandiswa nenyaya yekuti kune mainjiniya eSRE anogadzirisa matambudziko ezvimiro. Hezvino, kubatana kwakafanana pakati peDev neOps izvo vanhu vanga vachitaura nezvazvo kwemakore 8. Basa reSRE rakafanana neremugadziri mukuti vatsva havaite SREs. Vanhu pakutanga kwemabasa avo havasati vane ruzivo, havana ruzivo rwakakwana rwezivo. Nekuti SRE inoda ruzivo rwakadzikama rwekuti chii chaizvo uye riini chaizvo chinogona kukanganisa. Nokudaro, chimwe chiitiko chinodiwa pano, sekutonga, zvose mukati mekambani uye kunze.
Vanobvunza kana mutsauko uripo pakati peSRE uye devops uchatsanangurwa. Achangobva kutsanangurwa. Tinogona kutaura nezve nzvimbo yeSRE musangano. Kusiyana neiyi yakasarudzika DevOps maitiro, uko Ops ichiri dhipatimendi rakaparadzana, SRE chikamu cheboka rekusimudzira. Vanobatanidzwa mukugadzirwa kwechigadzirwa. Iko kune kunyange nzira iyo SRE ibasa rinopfuura kubva kune mumwe mugadziri kuenda kune mumwe. Ivo vanotora chikamu mukuongororwa kwekodhi nenzira imwecheteyo, semuenzaniso, vagadziri veUX, vanogadzira ivo pachavo, dzimwe nguva maneja ezvigadzirwa. SREs inoshanda pamwero wakafanana. Isu tinofanirwa kuvabvumira, isu tinofanirwa kuzviongorora, kuitira kuti kune yega yega yekutumirwa SRE inoti: "Zvakanaka, kutumirwa uku, chigadzirwa ichi hachizokanganisa kuvimbika. Uye kana ikadaro, ipapo mukati meimwe miganhu inogamuchirwa. Tichazotaurawo pamusoro peizvi.
Saizvozvo, iyo SRE ine veto pakuchinja kwekodhi. Uye kazhinji, izvi zvinotungamira kune imwe mhando yekukonana kudiki kana iyo SRE ikashandiswa zvisizvo. Mubhuku rimwechete nezveSaiti Kuvimbika Injiniya, zvikamu zvakawanda, kwete kana imwe chete, inotaura nzira yekudzivirira idzi kupokana.
Vanhu vanobvunza kuti SRE inoenderana sei nekuchengetedza ruzivo. SRE haina kubatanidzwa zvakananga mukuchengetedza ruzivo. Chaizvoizvo, mumakambani makuru, izvi zvinoitwa nevanhu, vanoedza, vanoongorora. Asi SRE zvakare inodyidzana navo mupfungwa yekuti mamwe mashandiro, mamwe anoita, kumwe kutumirwa kunokanganisa kuchengetedzwa kunogona kukanganisawo kuwanikwa kwechigadzirwa. Naizvozvo, SRE yese ine kudyidzana nechero zvikwata, kusanganisira zvikwata zvekuchengetedza, kusanganisira vanoongorora. Naizvozvo, maSRE anonyanya kudiwa pavanenge vachiedza kuita DevOps, asi panguva imwecheteyo, mutoro kune vanogadzira unova wakakurisa. Ndiko kuti, timu yekusimudzira pachayo haichakwanise kurarama nenyaya yekuti ikozvino ivo vanofanirwa kuve nemutoro weOps. Uye pane basa rakasiyana. Basa iri rakarongwa mubhajeti. Dzimwe nguva basa iri rinoiswa pasi muhukuru hweboka, munhu akaparadzana anooneka, dzimwe nguva mumwe wevagadziri anova. Aya ndiwo maitiro anoita yekutanga SRE muchikwata.
Iyo yakaoma yehurongwa iyo inobatwa neSRE, iyo yakaoma iyo inokanganisa kuvimbika kwekushanda, inofanirwa uye netsaona. Chinodiwa kuomarara ndipo apo kuomarara kwechigadzirwa kunowedzera kusvika padanho rinodiwa nezvitsva zvechigadzirwa. Random kuomarara ndipo apo kuoma kwehurongwa kunowedzera, asi chimiro chechigadzirwa uye zvinodiwa zvebhizinesi hazvikanganisi izvi zvakananga. Zvinoitika kuti angave mugadziri akakanganisa kumwe kunhu, kana iyo algorithm haina kunaka, kana zvimwe zvekuwedzera zvinounzwa zvinowedzera kuoma kwechigadzirwa pasina kudiwa kwakakosha. A yakanaka SRE inofanirwa kugara ichidzivirira mamiriro aya. Ndokunge, chero kuzvipira, chero kutumirwa, chero chikumbiro chekudhonza, uko kuomerwa kunowedzera nekuda kwekuwedzera kwakasarudzika, kunofanirwa kuvharwa.
Mubvunzo ndewokuti sei usingangohaya injinjiniya, maneja wehurongwa ane ruzivo rwakawanda muchikwata. Mugadziri ari pabasa reinjiniya, tinoudzwa, haisi iyo yakanakisa yevashandi mhinduro. Mugadziri ari pachinzvimbo cheinjiniya haisi nguva dzose mhinduro yakanakisa yevashandi, asi poindi iri pano ndeyekuti mugadzirisi ari kuita Ops ane chidimbu chishuwo che otomatiki, ane ruzivo rwakawanda uye hunyanzvi hwakaiswa kuti aite. otomatiki iyi. Uye maererano naizvozvo, isu tinoderedza kwete chete nguva yemamwe maitiro chaiwo, kwete chete maitiro, asiwo anokosha emabhizimisi parameters seMTTR (Mean Time To Recovery, nguva yekudzorera). Nokudaro, uye isu tichazotaurawo pamusoro peizvi zvishoma gare gare, tinochengetedza mari yesangano.
Zvino ngatitaure nezve maitiro ekushanda kweSRE. Uye chekutanga pamusoro pekuvimbika. Mumakambani maduku, kutanga, zvinowanzoitika kuti vanhu vanofunga kuti kana basa racho rakanyorwa zvakanaka, kana chigadzirwa chacho chakanyorwa zvakanaka uye zvakarurama, chichashanda, hachizoputsi. Ndizvozvo, tinonyora kodhi yakanaka, saka hapana chekutyora. Iyo kodhi iri nyore kwazvo, hapana chekutyora. Idzi dzinenge vanhu vakafanana vanoti hatidi bvunzo, nekuti, tarisai, idzi ndidzo nzira nhatu dzeVPI, sei kutyora pano.
Izvi zvose zvakaipa, hongu. Uye vanhu ava vanowanzorumwa nekodhi yakadaro mukuita, nekuti zvinhu zvinotsemuka. Zvinhu zvinoputsika dzimwe nguva nenzira dzisingatarisirwi. Dzimwe nguva vanhu vanoti kwete, hazvifi zvakaitika. Uye zvinoitika nguva dzose. Zvinowanzoitika zvakakwana. Uye ndosaka pasina munhu anombovavarira kuwanikwa kwe100%, nekuti 100% kuwanikwa hakumboitika. Izvi ndizvo zvakajairwa. Uye saka, kana tichitaura nezve kuwanikwa kwesevhisi, tinogara tichitaura nezve nines. 2 nines, 3 nines, 4 nines, 5 mapfumbamwe. Kana tikashandura izvi kuva nguva yekuderera, saka, semuenzaniso, 5 nines, zvino izvi zvishoma kudarika 5 maminetsi ekuderera pagore, 2 nines i3,5 mazuva ekuderera.
Asi zviri pachena kuti pane imwe nguva pane kuderera kwePOI, kudzoka pakudyara. Kubva pazvipfumbamwe zvipfumbamwe kusvika pazvipfumbamwe zvipfumbamwe zvinoreva kushoma nguva nemazuva anopfuura matatu. Kuenda kubva kumapfumbamwe mana kusvika mashanu kunoderedza nguva yekuderera ne3 maminetsi pagore. Uye zvinozoitika kuti kune bhizinesi zvinogona kunge zvisiri kunetsa. Uye kazhinji, kuvimbika kunodiwa haisi nyaya yehunyanzvi, kutanga kune zvese, inyaya yebhizinesi, inyaya yechigadzirwa. Ndeipi nhanho yekuderera inogamuchirwa kune vashandisi vechigadzirwa, zvavanotarisira, kuti vanobhadhara zvakadini, semuenzaniso, mari yakawanda sei yavanorasikirwa, mari yakawanda sei iyo system inorasikirwa.
Mubvunzo unokosha pano ndeupi kuvimbika kwezvikamu zvakasara. Nokuti mutsauko pakati pe4 ne5 nines hauzooneki pane smartphone ine 2 nines yekuvimbika. Kutaura zvazviri, kana chimwe chinhu chikaputsika pa smartphone mubasa rako ka10 pagore, kazhinji ka8 kuparara kwakaitika kudivi reOS. Mushandisi anoshandiswa kune izvi, uye haazoteereri kune imwezve nguva pagore. Izvo zvinodikanwa kuwiriranisa mutengo wekuwedzera kuvimbika uye kuwedzera purofiti.
Kungori mubhuku reSRE kune muenzaniso wakanaka wekuwedzera kusvika ku4 nines kubva ku3 nines. Zvinoitika kuti kuwedzera kwekuwanikwa kuri zvishoma zvishoma pane 0,1%. Uye kana mari yebasa iri $1 miriyoni pagore, ipapo kuwedzera kwemari kuri $900. Kana zvichititorera mari isingasviki $900 pagore kuti tiwedzere kugona nepfumbamwe, kuwedzera kunoita zvemari pfungwa. Kana iyo inodhura madhora anopfuura 900 pagore, haichanzwisisi, nekuti kuwedzera kwemari hakungoripe mari yebasa, mari yekushandisa. Uye 3 nines ichatikwanira isu.
Uyu ndiwo muenzaniso wakareruka apo zvikumbiro zvese zvakaenzana. Uye kuenda kubva ku3 nines kusvika ku4 nines zviri nyore zvakakwana, asi panguva imwechete, semuenzaniso, kubva pa2 nines kusvika ku3, iyi yatove kuchengetedza kwe9 zviuru zvemadhora, inogona kuita zvemari. Sezvingatarisirwa, muchokwadi, kutadza kwechikumbiro chekunyoresa kwakaipa kupfuura kutadza kuratidza peji, zvikumbiro zvine uremu hwakasiyana. Vanogona kunge vaine chirevo chakasiyana zvachose kubva pakuona kwebhizinesi, asi zvakadaro, sekutonga, kana tisingatauri nezve mamwe masevhisi chaiwo, iyi inofungidzirwa yakavimbika.
Takagamuchira mubvunzo wekuti SRE iri mumwe wevanoronga here pakusarudza mhinduro yekuvaka yebasa. Ngatitii maererano nekubatanidzwa muhutano huripo, kuitira kuti pasave nekurasikirwa mukugadzikana kwayo. Hongu, maSRE, nenzira imwechete iyo inodhonza zvikumbiro, kuita, kuburitswa kunokanganisa dhizaini, kuunzwa kwemasevhisi matsva, microservices, kuitwa kwemhinduro nyowani. Why ndamboti unoda experience, you need qualifications. Muchokwadi, SRE ndeimwe yeanovharira manzwi mune chero yekuvaka uye software mhinduro. Saizvozvo, iyo SRE seinjiniya inofanirwa, kutanga, kwete kungonzwisisa chete, asiwo kunzwisisa kuti dzimwe sarudzo dzakananga dzinokanganisa sei kuvimbika, kugadzikana, uye kunzwisisa kuti izvi zvine chekuita sei nezvido zvebhizinesi, uye kubva papi maonero angave anogamuchirwa. , uye ndeupi usipo.
Naizvozvo, ikozvino isu tinogona kungotaura nezve kuvimbika maitiro, ayo anowanzo kutsanangurwa muSRE seSLA (Service Level Agreement). Kazhinji izwi rinozivikanwa. SLI (Service Level Indicator). SLO (Sevhisi Yenhanho Chinangwa). Service Level Agreement ingangove izwi rekufananidzira, kunyanya kana iwe wakashanda nemanetwork, nevapeji, nekutambira. Ichi chibvumirano chakajairika chinotsanangura kuita kwesevhisi yako yese, zvirango, zvimwe zvirango zvekukanganisa, metrics, maitiro. Uye SLI ndiyo inowanikwa metric pachayo. Ndiko, izvo SLI inogona kuva: nguva yekupindura kubva kubasa, nhamba yezvikanganiso sezana muzana. Inogona kunge iri bandwidth kana iri imwe mhando yekubata faira. Kana zvasvika pakuzivikanwa algorithms, chiratidzo chinogona kunge chiri, semuenzaniso, kunyangwe iko kurongeka kwemhinduro. SLO (Service Level Objective) ndeye, zvichiteerana, musanganiswa wechiratidzo cheSLI, kukosha kwayo uye nguva.
Ngatitii SLA inogona kunge yakadai. Iyo sevhisi inowanikwa 99,95% yenguva mukati megore. Kana 99 matikiti akakosha ekutsigira anovharwa mukati memaawa matatu pakota. Kana 3% yemibvunzo ichawana mhinduro mukati memasekondi 85 mwedzi wega wega. Ndiko kuti, zvishoma nezvishoma tinosvika pakunzwisisa kuti zvikanganiso uye kutadza zvakajairika. Iyi ndiyo mamiriro anogamuchirwa, tiri kuronga, isu tiri kutoverengera pazviri kusvika pamwero wakati. Ndiko kuti, SRE inovaka masisitimu anogona kukanganisa, ayo anofanirwa kupindura kazhinji kune zvikanganiso, izvo zvinofanirwa kuzvifunga. Uye pese pazvinogoneka, vanofanirwa kubata zvikanganiso nenzira yekuti mushandisi haazvione, kana zviziviso, asi pane imwe mhando yekugadzirisa, nekuda kwekuti zvese hazvizodonhe zvachose.
Semuenzaniso, kana iwe ukarodha vhidhiyo kuYouTube, uye YouTube haigone kuishandura nekukasira, kana vhidhiyo yacho yakakurisa, kana fomati isina kunaka, saka chikumbiro hachizokundikana nenguva, YouTube haipe 502 kukanganisa. , YouTube ichati: "Takagadzira zvese, vhidhiyo yako iri kugadziriswa. Ichange yagadzirwa mukati memaminitsi gumi. " Uyu ndiwo musimboti wekushatiswa kwenyasha, iyo inozivikanwa, semuenzaniso, kubva kumberi-kuguma kwekusimudzira, kana iwe wakamboita izvi.
Matemu anotevera atinozotaura nezvawo, ayo akakosha kwazvo pakushanda nekuvimbika, nezvikanganiso, nezvinotarisirwa, ndeye MTBF uye MTTR. MTBF ndiyo inoreva nguva pakati pekukundikana. MTTR Zvinoreva Nguva Yekudzoreredza, avhareji yenguva yekupora. Ndiko kuti, inguva yakadii yapfuura kubva pakaonekwa kukanganisa, kubva pakaonekwa chikanganiso kusvika panguva iyo sevhisi yakadzoserwa kushanda kwakazara. MTBF inonyanya kugadziriswa nebasa pamhando yekodhi. Ndiko kuti, chokwadi chekuti maSRE anogona kuti "kwete". Uye iwe unoda kunzwisisa kweboka rose kuti kana SRE ichiti "kwete", anotaura kwete nokuti anokuvadza, kwete nokuti akaipa, asi nokuti kana zvisina kudaro munhu wose achatambura.
Zvakare, pane zvinyorwa zvakawanda, nzira dzakawanda, nzira dzakawanda kunyange mubhuku chairo randinotaura nezvaro kakawanda, maitiro ekuita kuti vamwe vagadzirisi vasatanga kuvenga SRE. MTTR, kune rumwe rutivi, ndeyekushanda pane yako SLOs (Sevhisi Yenhanho Chinangwa). Uye inonyanya kuita otomatiki. Nekuti, semuenzaniso, yedu SLO inguva yekukwira ye4 nines pakota. Izvi zvinoreva kuti mumwedzi ye3 tinogona kubvumira maminitsi gumi nematatu ekuderedza nguva. Uye zvinoitika kuti MTTR haigone kupfuura maminetsi gumi nematatu. Kana tikapindura kanenge 13 downtime mumaminetsi gumi nematatu, izvi zvinoreva kuti isu takatopedza bhajeti rese rekota. Isu tiri kutyora iyo SLO. Maminitsi gumi nematatu ekuita nekugadzirisa tsaona yakawanda kumuchina, asi ipfupi kumunhu. Nokuti kusvikira munhu agamuchira kuchenjerera, kusvikira aita, kusvikira anzwisisa kukanganisa, zvatova maminitsi akawanda. Kusvikira munhu anzwisisa kuti angagadzirisa sei, chii chaicho chokugadzirisa, chii chaunofanira kuita, zvino iyi ndiyo maminetsi mashomanana. Uye muchokwadi, kunyangwe iwe uchingoda kudzoreredza sevha, sezvazvinozoitika, kana kusimudza node nyowani, ipapo nemaoko MTTR yatove ne13-13 maminetsi. Kana otomatiki maitiro, MTTR kazhinji inosvika yechipiri, dzimwe nguva milliseconds. Google inowanzo taura nezve milliseconds, asi muchokwadi, hongu, zvese hazvina kunaka.
Sezvineiwo, iyo SRE inofanirwa kuita otomatiki basa rayo zvakazara, nekuti izvi zvinobata zvakananga iyo MTTR, metrics yayo, iyo SLO yesevhisi yese, uye, maererano, purofiti yebhizinesi. Kana nguva ikapfuudzwa, tinobvunzwa kana SRE iri kukanganisa. Sezvineiwo, hapana ane mhosva. Uye iyi itsika yakaparadzana inonzi balmeless postmortem, yatisingataure nezvayo nhasi, asi isu tichaiongorora paSlurm. Iyi inyaya inonakidza kwazvo inogona kutaurwa nezvayo zvakanyanya. Zvichireva kutaura, kana nguva yakagoverwa pakota yakapfuura, saka zvishoma zvemunhu wese ane mhosva, izvo zvinoreva kuti kupa mhosva kune wese hakuna chibereko, ngatitorei, pamwe tisapa mhosva chero munhu, asi gadzirisa mamiriro uye tishande nezvatinazvo. Mune ruzivo rwangu, nzira iyi inoshamisa kune zvikwata zvakawanda, kunyanya muRussia, asi zvine musoro uye zvinoshanda zvakanyanya. Nokudaro, ini ndichakurudzira pamagumo echinyorwa uye zvinyorwa zvaunogona kuverenga pamusoro penyaya iyi. Kana kuti huya kuSlurm SRE.
Rega nditsanangure. Kana iyo SLO nguva pakota yakapfuurwa, kana iyo downtime yanga isiri maminetsi gumi nematatu, asi gumi nemashanu, ndiani angave ane mhosva pane izvi? Ehe, SRE inogona kunge iine mhosva, nekuti akajekesa imwe mhando yekuipa kana kutumirwa. Mutariri wenzvimbo yedata angave ane mhosva yeizvi, nekuti anogona kunge akaita imwe mhando yekusarongeka kwekugadzirisa. Kana mutungamiriri we data data ane mhosva yeizvi, saka munhu anobva kuOps ane mhosva yeizvi, uyo asina kuverenga kuchengetedza paakaronga SLO. Maneja, technical director kana mumwe munhu akasaina dhata data kontrakiti uye haana kuterera kune chokwadi chekuti SLA yedata data haina kugadzirirwa iyo inodiwa downtime ndiyo ine mhosva yeizvi. Naizvozvo, zvishoma nezvishoma vose vari mumamiriro ezvinhu aya ndivo vane mhosva. Uye zvinoreva kuti hapana chikonzero chekupa mhosva kune chero munhu ari mumamiriro ezvinhu aya. Asi chokwadi zvinoda kugadziriswa. Ndosaka kune postmortems. Uye kana iwe ukaverenga, semuenzaniso, GitHub postmortems, uye iyi inogara iri nyaya inonakidza, diki uye isingatarisirwe mune yega yega nyaya, unogona kutsiva kuti hapana anombotaura kuti uyu munhu aive nemhosva. Mhosva inogara ichiiswa pamaitiro chaiwo asina kukwana.
Ngatienderei kumubvunzo unotevera. Automation. Kana ndichitaura nezve otomatiki mune mamwe mamiriro, ini ndinowanzo tarisa kune tafura inokuudza kuti yakareba sei iwe yaunogona kushanda pakuita otomatiki basa usingatore nguva yakawanda kuigadzirisa pane yaunochengeta. Pane nyoka. Iyo inobata ndeyekuti kana SREs ichiita basa, haingochengetedze nguva chete, inochengetedza mari, nekuti otomatiki inobata zvakananga MTTR. Ivo vanochengetedza, sekutaura, tsika yevashandi nevagadziri, inovawo chinhu chinopera simba. Vanoderedza muitiro. Uye izvi zvose zvine maitiro akanaka pabasa uye, semugumisiro, pane bhizinesi, kunyange kana zvichiita sekuti automation haina musoro maererano nemari yenguva.
Muchokwadi, inenge inogara iine, uye kune mashoma mashoma kesi apo chimwe chinhu hachifanirwe kuve otomatiki mubasa reSRE. Zvadaro tichazotaura pamusoro pezvinonzi kukanganisa bhajeti, bhajeti yekukanganisa. Muchokwadi, zvinozoitika kuti kana zvese zviri nani kwauri pane iyo SLO yaunozvigadzirira, izvi zvakare hazvina kunaka. Izvi zvakatoipa, nekuti SLO inoshanda kwete chete seyakaderera, asiwo seyepamusoro yakasungwa. Kana iwe ukazvimisira iwe SLO ye99% kuwanikwa, uye chokwadi iwe une 99,99%, zvinoitika kuti une imwe nzvimbo yekuyedza iyo isingazokuvadza bhizinesi zvachose, nekuti iwe pachako wakasarudza izvi zvese pamwechete, uye uri nzvimbo iyi haishandisi. Iwe une bhajeti yekukanganisa, iyo mune yako kesi haina kushandiswa.
Toita sei nazvo. Tinorishandisa kuita zvese zvese. Zvekuyedzwa mumamiriro ekugadzira, ekuburitsa zvinhu zvitsva zvinogona kukanganisa kuita, kuburitswa, kugadzirisa, kurongerwa nguva. Mutemo wekare unoshandawo: kana bhajeti yapera, hatigoni kusunungura chero chinhu chitsva, nokuti kana zvisina kudaro tichapfuura SLO. Iyo bhajeti yatove yapera, isu takaburitsa chimwe chinhu kana ichikanganisa mashandiro, ndiko kuti, kana iyi isiri imwe yerudzi rwekugadzirisa iyo pachayo pachayo inowedzera zvakananga SLO, saka isu tiri kupfuura bhajeti, uye iyi ndiyo yakaipa mamiriro. , inoda kuongororwa, postmortem, uye pamwe mamwe maitiro ekugadzirisa.
Ndiko kuti, zvinoitika kuti kana iyo sevhisi pachayo isingashande zvakanaka, uye SLO inopedzwa uye bhajeti rinoshandiswa kwete pakuedza, kwete pane zvimwe zvinoburitswa, asi pachayo, ipapo panzvimbo yezvimwe zvinonakidza zvinogadzirisa, pane zvinonakidza maficha, pachinzvimbo chekuburitsa zvinonakidza. Panzvimbo pebasa ripi neripi rekugadzira, iwe uchafanirwa kutarisana nekugadzirisa zvakapusa kuti udzorere bhajeti muhurongwa, kana kugadzirisa iyo SLO, uye iyi zvakare inzira isingafanirwe kuitika kakawanda.
Naizvozvo, zvinoitika kuti mumamiriro ezvinhu apo tine bhajeti rakawanda rezvikanganiso, munhu wese anofarira: zvese SRE nevagadziri. Kune vanogadzira, bhajeti hombe yebugs zvinoreva kuti iwe unogona kubata nekuburitswa, bvunzo, zviedzo. Kune maSRE, bhajeti rekukanganisa uye kupinda mubhajeti inoreva kuti vari kuita basa ravo nemazvo. Uye izvi zvinokanganisa kukurudzira kweimwe mhando yebasa rekubatana. Kana iwe ukateerera kune yako maSRE sevagadziri, iwe uchave uine yakawanda nzvimbo yebasa rakanaka uye zvishoma maitiro.
Zvinoitika kuti kuyedza mukugadzira kwakakosha uye kunenge kwakakosha chikamu cheSRE muzvikwata zvikuru. Uye inowanzonzi chaos engineering, inobva kuchikwata cheNetflix chakaburitsa chishandiso chinonzi Chaos Monkey.
Chaos Monkey inobatana neCI/CD pombi uye inokanganisa sevha mukugadzira. Zvekare, muSRE chimiro, tiri kutaura nezve chokwadi chekuti server yakaderedzwa haina kushata pachayo, inotarisirwa. Uye kana iri mukati mebhajeti, inogamuchirwa uye haikuvadzi bhizinesi. Ehe, Netflix ine maseva akakwana akawandisa, akakwana kudzokorora, kuitira kuti zvese izvi zvigadziriswe, uye kuitira kuti mushandisi wese arege kutombo cherechedza, uye zvakanyanya saka hapana anosiya imwe sevha kune chero bhajeti.
Netflix yaive neyakazara sutu yezvishandiso zvakadaro kwechinguva, imwe yacho, Chaos Gorilla, inovhara zvachose imwe yeAmazon Availability Zones. Uye zvinhu zvakadaro zvinobatsira kuburitsa, kutanga, zvakavanzika zvinotsamira, kana zvisinganyatso kujeka zvinobata chii, chii chinoenderana nei. Uye izvi, kana uri kushanda ne microservice, uye zvinyorwa hazvina kunyatsokwana, izvi zvinogona kunge zvakajairika kwauri. Uye zvakare, izvi zvinobatsira zvakanyanya kubata zvikanganiso mukodhi yausingakwanise kubata pachiratidziro, nekuti chero staging haisi chaiyo yekufananidza, nekuda kwekuti chiyero chemutoro chakasiyana, chiyero chemutoro chakasiyana, midziyo ndeye. uyewo, zvichida, zvimwe. Peak mitoro inogonawo kuve isingatarisirwi uye isingatarisirwi. Uye kuyedzwa kwakadaro, uko zvakare kusingapfuuri bhajeti, kunobatsira chaizvo kubata zvikanganiso mune zvivakwa izvo staging, autotests, CI / CD pombi haizombobata. Uye chero zvese zvichisanganisirwa mubhajeti yako, hazvina basa kuti sevhisi yako yakadzika ipapo, kunyangwe zvingaite sezvinotyisa, sevha inodzika, inotyisa sei. Aiwa, zvakajairika, zvakanaka, zvinobatsira kubata tsikidzi. Kana iwe uine bhajeti, iwe unogona kuipedza.
Mubvunzo: Ndeapi mabhuku andingakurudzira? Rondedzera kumagumo. Kune akawanda mabhuku, ini ndicharaira mishumo mishoma. Inoshanda sei, uye inoita kuti SRE ishande mumakambani asina yavo software chigadzirwa kana nekusimudzira kushoma. Semuenzaniso, mune bhizinesi umo chikuru chiitiko chisiri software. Mune bhizinesi, uko chiitiko chikuru chisiri software, SRE inoshanda zvakangofanana nekumwe kumwe kwese, nekuti mune bhizinesi unofanirwa kushandisa, kunyangwe isina kugadzirwa, zvigadzirwa zvesoftware, unofanirwa kuburitsa zvigadziriso, unofanirwa kushandura. zvivakwa, iwe unofanirwa kukura, unofanirwa kuyera. Uye maSRE anobatsira kuona uye kufanotaura matambudziko angangoitika mune aya maitiro uye nekuadzora mushure mekunge kumwe kukura kwatanga uye bhizinesi rinoda shanduko. Nekuti hazvidi zvachose kuve nechekuita mukuvandudza software kuti uve neSRE kana uine mashoma maseva uye unotarisirwa kuve nekumwe kukura.
Zvakafanana zvinoenda kumapurojekiti madiki, masangano madiki, nekuti makambani makuru ane bhajeti uye nzvimbo yekuyedza. Asi panguva imwecheteyo, zvese izvi zvibereko zvekuedza zvinogona kushandiswa chero kupi, kureva, SRE, hongu, yakaonekwa muGoogle, muNetflix, muDropbox. Asi panguva imwecheteyo, makambani madiki uye vanotanga vanogona kutoverenga zvakapfupikiswa, kuverenga mabhuku, kuona mishumo. Vanotanga kunzwa nezvazvo kazhinji, vanotarisa mimwe mienzaniso, ndinofunga zvakanaka, zvinogona kunyatsobatsira, isu tinoda izvi zvakare, zvakanaka.
Ndiko kuti, basa rose guru rekumisa maitiro aya rakatoitirwa iwe. Zvasara kwauri kuti uone basa reSRE mukambani yako uye wotanga kunyatsoita maitiro ese aya, ayo, zvakare, akatotsanangurwa. Ndiko kuti, kubva pamisimboti inobatsira yemakambani madiki, iyi inogara iri tsananguro yeSLA, SLI, SLO. Kana iwe usingabatanidzwe musoftware, saka aya achave emukati maSLA uye emukati maSLO, bhajeti remukati rekukanganisa. Izvi zvinogara zvichitungamira kune dzimwe nhaurirano dzinonakidza mukati mechikwata uye mukati mebhizinesi, nekuti zvinogona kuzoitika kuti iwe unopedzera pane zvivakwa, pane imwe mhando yesangano yemaitiro akakodzera, iyo pombi yakanaka yakanyanya kupfuura kudikanwa. Uye aya mana mapfumbamwe auinawo mudhipatimendi reIT, hausi kunyatsoada izvozvi. Asi panguva imwe chete, iwe unogona kushandisa nguva, kushandisa bhajeti yezvikanganiso pane chimwe chinhu.
Saizvozvo, kutarisa uye kurongeka kwekutarisa kunobatsira kune kambani chero saizi. Uye kazhinji, iyi nzira yekufunga, apo kukanganisa kune chimwe chinhu chinogamuchirwa, pane bhajeti, apo pane Zvinangwa, inobatsira zvakare kune kambani yehupi hupi hupi, kutanga kubva pakutanga kwevanhu vatatu.
Yekupedzisira yehunyanzvi nuances yekutaura nezvayo ndeyekutarisa. Nokuti kana tichitaura nezve SLA, SLI, SLO, hatigoni kunzwisisa tisingatarise kuti tinokodzera here mubhajheji, kana tichitevedzera Zvinangwa zvedu, uye kuti tinopesvedzera sei SLA yekupedzisira. Ndakaona kakawanda kuti kutarisa kunoitika seizvi: pane imwe kukosha, semuenzaniso, nguva yekukumbira kune server, nguva yepakati, kana nhamba yezvikumbiro kune database. Ane mwero wakatemwa nainjiniya. Kana iyo metric ikatsauka kubva pane yakajairwa, ipapo e-mail inosvika. Izvi zvese hazvina zvazvinobatsira zvachose, sekutonga, nekuti zvinotungamira kune kuwanda kwechenjedzo, kuwanda kwemameseji kubva pakutarisa, apo munhu, kutanga, anofanirwa kudzidudzira nguva dzese, ndiko kuti, kuona kana kukosha kwemetric nzira. kudiwa kwechimwe chiito. Uye chechipiri, anongomira kucherechedza zvese izvi chenjedzo, nepo pasina chiito chinodiwa kubva kwaari. Ndiwo mutemo wakanaka wekutarisisa uye mutemo wekutanga kana SRE ikashandiswa ndeyekuti chiziviso chinofanira kuuya chete kana chiito chichidiwa.
Muchiitiko chakajairika pane 3 mazinga ezviitiko. Pane chenjedzo, kune matikiti, kune matanda. Nyevero chinhu chipi nechipi chinoda kuti uite chiito nekukasika. Ndiko kuti, zvinhu zvose zvakaputsika, unofanira kuzvigadzirisa iye zvino. Matikiti ndiwo anoda kunonotswa kuita. Hongu, iwe unofanirwa kuita chimwe chinhu, iwe unofanirwa kuita chimwe chinhu nemaoko, otomatiki yakundikana, asi haufanirwe kuzviita kwemaminetsi mashoma anotevera. Matanda chinhu chipi nechipi chisingade chiito, uye kazhinji, kana zvinhu zvikafamba zvakanaka, hapana anozomboaverenga. Iwe unongoda kuverenga matanda apo, mukutarisa, zvakazoitika kuti chimwe chinhu chakaputsika kwenguva yakati, isu hatina kuziva nezvazvo. Kana kuti unofanira kuita tsvakurudzo. Asi kazhinji, zvese zvisingadi chero chiito chinoenda kumatanda.
Semhedzisiro yezvese izvi, kana isu takatsanangura kuti ndezvipi zviitiko zvinoda zviito uye tanyatsotsanangura kuti zviito izvi zvinofanirwa kuve zvipi, izvi zvinoreva kuti chiito chinogona kuve otomatiki. Ndiko kuti chii chinoitika. Tinoenda kubva pakuchenjerera. Handei kuita chiito. Tinoenda kune tsanangudzo yechiito ichi. Uye zvino tinoenderera mberi kune otomatiki. Kureva, chero otomatiki inotanga nekuita kune chiitiko.
Kubva pakuongorora, tinoenda kune izwi rinonzi Observability. Pakave zvakare nekamwe kakupoterera izwi iri mumakore mashoma apfuura. Uye vashoma vanhu vanonzwisisa zvazvinoreva kunze kwechirevo. Asi chinhu chikuru ndechekuti Kucherechedzwa ndeye metric yekujekesa system. Kana chimwe chinhu chisina kumira zvakanaka, ungakurumidza sei kuziva kuti chii chaizvo chakashata uye kuti mamiriro ehurongwa aive akaita sei panguva iyoyo. Panyaya yekodhi: basa ripi rakatadza, iro sevhisi rakatadza. Chii chaive mamiriro e, semuenzaniso, mukati mekuchinja, gadziriso. Panyaya yezvivakwa, iyi ndiyo nzvimbo yekuwanikwa kukundikana kwakaitika, uye kana uine chero Kubernetes, ipapo pane iyo pod kutadza kwakaitika, yaive mamiriro eipodhi. Uye maererano, Kucherechedzwa kune hukama hwakananga neMTTR. Iyo yakakwirira yeObservability yebasa, zviri nyore kuziva kukanganisa, zviri nyore kugadzirisa kukanganisa, zviri nyore kuita chikanganiso, kuderera kweMTTR.
Kuenderera mberi kumakambani madiki zvakare, zvakajairika kubvunza, kunyangwe ikozvino, maitiro ekuita nehukuru hwechikwata, uye kana timu diki inoda kuhaya yakaparadzana SRE. Ndakatotaura nezvazvo kare. Pamatanho ekutanga ekuvandudza kwekutanga kana, semuenzaniso, timu, izvi hazvidi zvachose, nekuti SRE inogona kuitwa shanduko yekuchinja. Uye izvi zvichamutsidzira timu zvishoma, nekuti pane zvishoma zvakasiyana. Uye pamwe chete ichagadzirira vanhu chokwadi chekuti nekukura, kazhinji, mabasa eSRE achachinja zvakanyanya. Kana iwe ukahaya munhu, saka, hongu, ane zvimwe zvaanotarisira. Uye izvi zvinotarisirwa hazvizoshanduki nekufamba kwenguva, asi zvinodiwa zvichachinja zvakanyanya. Naizvozvo, nzira yekuhaya SRE yakanyanya kuoma mumatanho ekutanga. Kukura iwe pachako kuri nyore. Asi zvakakodzera kufunga nezvazvo.
Iyo chete inosarudzika, pamwe, kana paine zvakanyanya kuomarara uye zvakanyatsotsanangurwa kukura zvinodiwa. Ndiko kuti, mune yekutanga, iyi inogona kunge iri imwe mhando yekumanikidza kubva kune vanoisa mari, imwe mhando yekufanotaura kwekukura kakawanda kamwechete. Ipapo kuhaya SRE kunoruramiswa nekuti inogona kururamiswa. Tine zvinodiwa kuti tikure, tinoda munhu anove nebasa rekuti nekukura kwakadai hapana chinoputsika.
Mumwe mubvunzo zvakare. Zvekuita kana kakati wandei vagadziri vakacheka chinhu chinopfuura bvunzo, asi chinotyora kugadzirwa, kurodha hwaro, kutyora zvimwe zvinhu, maitiro ekuita. Saizvozvo, mune iyi kesi, ndiyo bhajeti yezvikanganiso inounzwa. Uye mamwe masevhisi, mamwe maficha ari kutoedzwa mukugadzirwa. Inogona kunge iri canary, kana ingori nhamba diki yevashandisi, asi yatove mukugadzirwa, chinhu chinoiswa, asi nechekare netarisiro yekuti kana chimwe chinhu chikatyoka, semuenzaniso, kwehafu yezana yevashandisi vese, icharamba ichisangana. bhajeti yezvikanganiso. Saizvozvo, hongu, pachava nekukanganisa, kune vamwe vashandisi zvese zvinoputsika, asi isu tatotaura kuti izvi zvakajairika.
Paive nemubvunzo nezve SRE zvishandiso. Ndiko kuti, pane chimwe chinhu here chaizoshandiswa neSRE icho munhu wese aisazoshandisa. Muchokwadi, kune zvimwe zvine hunyanzvi zvekushandisa, kune imwe mhando yesoftware iyo, semuenzaniso, inoteedzera mitoro kana kuita canary A / B kuyedza. Asi chaizvo iyo SRE toolkit ndiyo iri kutoshandiswa nevagadziri vako. Nekuti SRE inodyidzana zvakananga neboka rekusimudzira. Uye kana uine maturusi akasiyana, zvinozoitika kuti zvinotora nguva kuwiriranisa. Kunyanya kana maSRE akashanda muzvikwata zvakakura, mumakambani makuru munogona kuve nezvikwata zvakati wandei, ikambani-yakajairwa iyo ichabatsira zvakanyanya pano, nekuti kana makumi mashanu ekushandisa akasiyana achishandiswa muzvikwata makumi mashanu, izvi zvinoreva kuti SRE inofanira kuvaziva. zvose. Uye zvechokwadi izvi hazvizomboitiki. Uye hutano hwebasa, hutano hwekutonga kwezvimwe zvezvikwata zvichaderera zvakanyanya.
Webinar yedu iri kusvika kumagumo. Ndakakwanisa kutaura zvinhu zvinokosha. Ehe, hapana chinhu nezve SRE chinogona kuudzwa nekunzwisiswa muawa. Asi ndinovimba kuti ndakakwanisa kuburitsa iyi nzira yekufunga, pfungwa huru huru. Uye zvino zvinogoneka, kana uchifarira, kunyura mumusoro wenyaya, dzidza wega, tarisa kuti iri kuitwa sei nevamwe vanhu, mune mamwe makambani. Uye saizvozvo, kutanga kwaFebruary, huya kwatiri paSlurm SRE.
Iyo Slurm SRE kosi yemazuva matatu yakadzika iyo ichataura nezve izvo zvandiri kutaura nezvazvo, asi nekudzika kwakawanda, nemakesi chaiwo, nekudzidzira, iyo yakazara inonangana nebasa rinoshanda. Vanhu vachakamurwa kuita zvikwata. Mese munenge muchishanda pamakesi chaiwo. Saizvozvo, tine Booking.com varairidzi Ivan Kruglov naBen Tyler. Tine Eugene Barabbas anoshamisa anobva kuGoogle, anobva kuSan Francisco. Uye ini ndichakuudza chimwe chinhu zvakare. Saka iva nechokwadi chekutishanyira.
Saka, bhaibheri. Pane mareferensi paSRE. pabhuku rimwe chete, kana kuti pamabhuku maviri nezve SRE, akanyorwa neGoogle. Imwe zvekare , uko mazwi uye mashandisirwo awo akatsanangurwa zvishoma. Iwo matatu anotevera mishumo paSRE mumakambani akasiyana. Chekutanga - , ichi chirevo chikuru kubva kuna Ben Trainer weGoogle. Chepiri - . Yechitatu zvakare . Chirevo chechina kubva , iyo ine chete 5 yakakosha vashandi veSRE munyika zana nemakumi mapfumbamwe. Zvinonakidza chaizvo kutarisa zvese izvi, nekuti sekureva kunoita DevOps zvinhu zvakasiyana zvakanyanya kumakambani akasiyana uye kunyangwe zvikwata zvakasiyana, SRE ine mabasa akasiyana zvakanyanya, kunyangwe mumakambani ehukuru hwakafanana.
2 zvimwe zvinongedzo pamisimboti yechaos engineering: , . Uye kumagumo kune 3 rondedzero kubva munhevedzano Awesome Lists nezve , nezve uye nezve . Rondedzero iri paSRE yakakura zvinoshamisa, hazvifanirwe kuti uende nepakati pazvo zvese, pane zvingangoita mazana maviri zvinyorwa. Ini ndinokurudzira zvikuru zvinyorwa kubva ipapo nezve kugona kuronga uye nezve isina mhosva postmortem.
Chinyorwa chinonakidza:
Ndinokutendai nekunditeerera nguva yese iyi. Ndinovimba wadzidza chimwe chinhu. Ndinovimba une zvinhu zvakakwana kuti udzidze zvakatowanda. Uye kukuona. Ndinovimba muna February.
Webinar yakaitwa naEduard Medvedev.
PS: kune avo vanoda kuverenga, Eduard akapa runyoro rwemareferensi. Avo vanosarudza kunzwisisa mukuita vanogamuchirwa .
Source: www.habr.com