Webinar e na le molumo o fokolang, kahoo re entse sengoloa.
Lebitso la ka ke Medvedev Eduard. Kajeno ke tla bua ka hore na SRE ke eng, hore na SRE e hlahile joang, litekanyetso tsa mosebetsi bakeng sa baenjiniere ba SRE ke life, ho se hokae ka mekhoa ea ho tšepahala, hanyenyane ka tlhokomelo ea eona. Re tla ea holimo, hobane ha o khone ho bua haholo ka hora, empa ke tla u fa lisebelisoa bakeng sa tlhahlobo e eketsehileng, 'me kaofela re u emetse ho . Moscow qetellong ea January.
Taba ea pele, ha re bue ka hore na SRE - Site Reliability Engineering - ke eng. Le kamoo e neng e bonahala e le boemo bo arohaneng, e le tataiso e arohaneng. Tsohle li qalile ka taba ea hore mekhatlong ea nts'etsopele ea setso, Dev le Ops ke lihlopha tse peli tse fapaneng ka ho felletseng, hangata li na le lipheo tse peli tse fapaneng ka ho felletseng. Sepheo sa sehlopha sa ntshetsopele ke ho hlahisa likarolo tse ncha ho finyella litlhoko tsa khoebo. Sepheo sa sehlopha sa Ops ke ho etsa bonnete ba hore ntho e 'ngoe le e' ngoe e sebetsa 'me ha ho letho le senyang. Ho totobetse hore lipakane tsena li hanyetsana ka ho toba: e le hore ntho e 'ngoe le e' ngoe e sebetse 'me ho se letho le robehang, ho molemo ho hlahisa likarolo tse ncha ka hohle kamoo ho ka khonehang. Ka lebaka lena, ho hlaha likhohlano tse ngata tsa ka hare, tseo mokhoa oo hona joale o bitsoang DevOps o lekang ho o rarolla.
Bothata ke hore ha re na tlhaloso e hlakileng ea DevOps le ts'ebetsong e hlakileng ea DevOps. Ke buile kopanong e Yekaterinburg lilemong tse peli tse fetileng, mme ho fihlela joale karolo ea DevOps e qalile ka tlaleho "DevOps ke eng." Ka 2, li-devops li batla li le lilemo li 2017, empa re ntse re ngangisana ka hore na ke eng. Hona ke boemo bo makatsang haholo boo Google e lekileng ho bo rarolla lilemong tse 'maloa tse fetileng.
Ka 2016, Google e ile ea lokolla buka e bitsoang "Site Reliability Engineering." 'Me ha e le hantle, ke ka buka ena moo mokhatlo oa SRE o qalileng. SRE ke khetho e ikhethileng ea ho kenya ts'ebetsong paradigm ea DevOps k'hamphaning e itseng. Baenjiniere ba SRE ba ipehetse sepheo sa ho netefatsa ts'ebetso e tšepahalang ea litsamaiso. Li nkiloe haholo-holo ho bahlahisi, ka linako tse ling ho tsoa ho batsamaisi ba nang le semelo se matla sa tsoelo-pele. 'Me ba etsa seo batsamaisi ba tsamaiso ba neng ba tloaetse ho se etsa, empa semelo se matla sa nts'etsopele le tsebo ea tsamaiso ho tloha ponong ea khoutu e lebisa tabeng ea hore batho bana ha ba na tšekamelo ea ho etsa mosebetsi oa tsamaiso, empa ba sekametse ho iketsetsa.
Hoa etsahala hore paradigm ea DevOps lihlopheng tsa SRE e sebelisoa ke taba ea hore ho na le baenjiniere ba SRE ba rarollang mathata a meralo. Mona ke, kamano e tšoanang pakeng tsa Dev le Ops eo batho ba 'nileng ba bua ka eona ka lilemo tse 8. Karolo ea SRE e tšoana le ea setsebi sa meralo ea hore li-novice ha li fetohe li-SRE. Batho qalong ea mesebetsi ea bona ha ba e-s'o be le phihlelo leha e le efe 'me ha ba na bophara bo hlokahalang ba tsebo. Hobane SRE e hloka tsebo e tsoetseng pele haholo ea hore na hantle-ntle ke eng e ka tsamaeang hampe. Ka hona, mofuta o itseng oa phihlelo o hlokahala mona, e le molao, ka hare ho khampani le ka ntle.
Ba botsa hore na phapang lipakeng tsa SRE le devops e tla hlalosoa. O sa tsoa hlalosoa. Re ka bua ka sebaka sa SRE mokhatlong. Ho fapana le mokhoa oa khale oa DevOps, moo Ops e ntseng e le lefapha le arohaneng, SRE ke karolo ea sehlopha sa nts'etsopele. Ba kenya letsoho ntlafatsong ea lihlahisoa. Ho bile ho na le mokhoa oo SRE e leng karolo e fetang ho tloha ho nts'etsopele e 'ngoe ho ea ho e' ngoe. Ba kenya letsoho litlhahlobong tsa khoutu ka mokhoa o ts'oanang, ka mohlala, baqapi ba UX, bahlahisi ka bobona, 'me ka linako tse ling batsamaisi ba lihlahisoa. Li-SRE li sebetsa maemong a tšoanang. Re hloka tumello ea bona, re hloka tlhahlobo ea bona, e le hore bakeng sa thomello e 'ngoe le e' ngoe SRE e re: "Ho lokile, phepelo ena, sehlahisoa sena se ke ke sa ama ts'epahalo hampe. 'Me haeba e ka etsa joalo, e tla ba ka har'a meeli e itseng e amohelehang. ” Le rona re tla bua ka taba ena.
Ka hona, SRE e na le veto mabapi le liphetoho tsa khoutu. Mme ka kakaretso, sena se boetse se lebisa likhohlanong tse nyane haeba SRE e kengoa ts'ebetsong ka phoso. Bukeng eona eo e buang ka Site Reliability Engineering, likarolo tse ngata, esita le tse fetang e le 'ngoe, li bolela mokhoa oa ho qoba likhohlano tsena.
Batho ba botsa hore na SRE e amana joang le ts'ireletso ea tlhahisoleseling. SRE ha e amehe ka kotloloho ts'ireletso ea tlhahisoleseling. Hangata lik'hamphaning tse kholo, sena se etsoa ke batho ka bomong, bahlahlobi le bahlahlobisisi. Empa SRE e boetse e sebelisana le bona ka kutloisiso ea hore lits'ebetso tse ling, tse ling li etsa, lisebelisoa tse ling tse amang ts'ireletso le tsona li ka ama ho fumaneha ha sehlahisoa. Ka hona, SRE ka kakaretso e na le tšebelisano le lihlopha life kapa life, ho kenyeletsoa lihlopha tsa ts'ireletso, ho kenyeletsoa le bahlahlobisisi. Ka hona, li-SRE li hlokahala haholo ha u leka ho kenya tšebetsong DevOps, empa moroalo ho bahlahisi o ba moholo haholo. Ke hore, sehlopha sa nts'etsopele ka boeona ha se khone ho sebetsana ka katleho le taba ea hore hona joale le bona ba hloka ho ikarabella bakeng sa Ops. Mme ho hlaha karolo e arohaneng. Karolo ena e reriloe tekanyetsong ea lichelete. Ka linako tse ling karolo ena e hahiloe ka boholo ba sehlopha, ho hlaha motho ea arohaneng, ka linako tse ling e mong oa bahlahisi e ba eona. Ke kamoo SRE ea pele e hlahang kateng sehlopheng.
Ho rarahana ha tsamaiso e anngoeng ke SRE, ho rarahana ho amang botšepehi ba ts'ebetso, ho ka hlokahala kapa ka phoso. Ho rarahana ho hlokahalang ke ha ho rarahana ha sehlahisoa ho eketseha ho isa moo likarolo tsa sehlahisoa se secha li se hlokang. Ho rarahana ho sa tloaelehang ke ha ho rarahana ha tsamaiso ho eketseha, empa tšobotsi ea sehlahisoa le litlhoko tsa khoebo ha li ame sena ka ho toba. Hoa etsahala hore mohlomong moqapi o entse phoso kae-kae, kapa algorithm ha e ea nepahala, kapa ho hlahisoa lithahasello tse ling tse eketsang ho rarahana ha sehlahisoa ho sa hlokahale. SRE e ntle e lokela ho qoba boemo bona kamehla. Ke hore, boitlamo bofe kapa bofe, phepelo efe kapa efe, kopo efe kapa efe ea ho hula e eketsang ho rarahana ka lebaka la litlatsetso tse sa reroang e lokela ho thibeloa.
Potso ke hore na ke hobane'ng ha u sa hire moenjiniere feela, molaoli oa tsamaiso ea nang le tsebo e ngata, ho kena sehlopheng. Re bolelloa hore moqapi ea boemong ba moenjiniere ha se tharollo e nepahetseng ka ho fetisisa ea basebetsi. Moqapi ea boemong ba moenjiniere ha se kamehla e leng tharollo e nepahetseng ea basebetsi, empa ntlha mona ke hore moqapi ea sebetsanang le Ops o na le takatso e eketsehileng ea ho iketsetsa, o na le tsebo e eketsehileng le tsebo e behiloeng bakeng sa ho phethahatsa sena. boiketsetso. 'Me ka lebaka leo, ha re fokotse nako feela bakeng sa ts'ebetso e itseng, eseng feela mokhoa o tloaelehileng, empa hape le mekhoa ea bohlokoa ea khoebo e kang MTTR (Mean Time To Recovery, nako ea ho hlaphoheloa). Kahoo, 'me re tla boela re bue ka sena hamorao, re boloka chelete bakeng sa mokhatlo.
Joale ha re bue ka litekanyetso tsa mosebetsi oa SRE. 'Me pele ho tsohle ka ho tšepahala. Lik'hamphani tse nyenyane le li-startups, hangata ho etsahala hore batho ba nahane hore haeba tšebeletso e ngotsoe hantle, haeba sehlahisoa se ngotsoe hantle le ka nepo, se tla sebetsa, se ke ke sa senya. Ke eona, re ngola khoutu e ntle, kahoo ha ho letho le ka senyang. Khoutu e bonolo haholo, ha ho letho le ka senyang. Tsena ke batho ba tšoanang ba reng ha re hloke liteko, hobane, sheba, tsena ke mekhoa e meraro ea VPI, ke hobane'ng ha u itšoenye?
Sena sohle se fosahetse, ehlile. 'Me hangata batho bana ba utloisoa bohloko ke mofuta ona oa khoutu ha ba sebetsa, hobane lintho lia senyeha. Ka linako tse ling lintho li senyeha ka litsela tse sa lebelloang. Ka linako tse ling batho ba re che, e ke ke ea etsahala. Mme ho ntse ho etsahala. E etsahala hangata. Ke ka lebaka leo ha ho motho ea kileng a loanela ho fumana 100%, hobane 100% ho fumaneha ha ho mohla ho etsahalang. Sena ke se tloaelehileng. Ke ka hona re lulang re bua ka tse robong ha re bua ka ho fumaneha ha litšebeletso. 2 robong, 3 robong, 4 robong, 5 robong. Haeba re fetolela sena ho nako ea ho theoha, joale, mohlala, 5 nines ke metsotso e fetang 5 ea nako ea ho theoha ka selemo, 2 nines ke matsatsi a 3,5 a ho theoha.
Empa ho hlakile hore ka nako e 'ngoe ho na le ho fokotseha ha POI le ho khutlela licheleteng. Ho tloha ho tse robong tse peli ho isa ho tse tharo ho bolela ho fokotsa nako ea ho theoha ka matsatsi a fetang a 3. Ho tloha ho tse 47 ho isa ho tse hlano ho fokotsa nako ea ho theoha ka metsotso e XNUMX ka selemo. 'Me hoa fumaneha hore sena se kanna sa se bohlokoa bakeng sa khoebo. 'Me ka kakaretso, ho tšepahala ho hlokahalang ha se taba ea theknoloji, pele ho tsohle, ke taba ea khoebo, ke taba ea lihlahisoa. Ke boemo bofe ba nako ea ho theoha bo amohelehang ho basebelisi ba sehlahisoa, ba lebeletse eng, ba lefa bokae, mohlala, ba lahleheloa ke chelete e kae, tsamaiso e lahleheloa ke chelete e kae.
Potso ea bohlokoa ke hore na ho tšepahala ha likarolo tse setseng ke life. Hobane phapang pakeng tsa 4 le 5 nines e ke ke ea bonahala ho smartphone e nang le li-2 tse tšepahalang tsa 10. Ka mantsoe a mang, haeba ho na le ntho e robehang ho smartphone tšebeletsong ea hau ka makhetlo a 8 ka selemo, mohlomong makhetlo a XNUMX ho senyeha ho etsahetse ka lehlakoreng la OS. Mosebelisi o tloaetse ho etsa sena, 'me a ke ke a e ela hloko nako e le' ngoe ka selemo. Hoa hlokahala ho bapisa theko ea ho tšepahala ho eketsehang le phaello e ntseng e eketseha.
Feela bukeng ea SRE ho na le mohlala o motle oa ho eketseha ho isa ho tse robong tse 4 ho tloha ho tse 3 tse robong. Hoa etsahala hore keketseho ea ho fumaneha hanyenyane ka tlase ho 0,1%. Mme haeba lekeno la ts'ebeletso ke $ 1 milione ka selemo, keketseho ea lekhetho ke $ 900. Haeba ho eketseha ho fumaneha ka borobong ho re jella chelete e ka tlaase ho $ 900 ka selemo, keketseho e etsa hore ho be le kutloisiso ea lichelete. Haeba e bitsa chelete e fetang $ 900 ka selemo, ha e sa utloahala, hobane ho eketseha ha chelete ha ho lefelle litšenyehelo tsa basebetsi le litšenyehelo tsa lisebelisoa. Mme tse 3 tse robong di tla re lekana.
Ehlile ona ke mohlala o nolofalitsoeng moo likopo tsohle li lekanang. 'Me ho tloha ho tse robong tse 3 ho isa ho tse 4 ho bonolo haholo ho tsamaea, empa ka nako e ts'oanang, mohlala, ho tloha ho tse 2 ho ea ho tse 3 e se e ntse e le poloko ea lidolara tse likete tse 9, e ka ba le kutloisiso ea lichelete. Ha e le hantle, ha e le hantle, ho hlōleha ho ngolisa kopo ho hobe ho feta ho hlōleha ho hlahisa leqephe; likōpo li na le boima bo fapaneng. Li ka 'na tsa e-ba le mekhoa e fapaneng ka ho feletseng le pono ea khoebo, empa leha ho le joalo, e le molao, haeba re sa bue ka litšebeletso leha e le life tse khethehileng, ena ke tekanyo e nepahetseng e ka tšeptjoang.
Re fumane potso ea hore na SRE ke e mong oa bahokahanyi ha re khetha tharollo ea meralo bakeng sa ts'ebeletso. Sena se amoheleha mabapi le ho kopanngoa le mekhoa ea motheo e teng e le hore ho se ke ha e-ba le tahlehelo ea botsitso ba eona. E, li-SRE li susumetsa likopo tsa ho hula, ho itlama, ho lokolla ka tsela e ts'oanang; li susumetsa meralo, ts'ebetsong ea lits'ebeletso tse ncha, li-microservices, le ts'ebetsong ea tharollo e ncha. Hobaneng ke itse pele u hloka boiphihlelo, u hloka mangolo. Ebile, SRE ke e 'ngoe ea mantsoe a thibelang tharollo efe kapa efe ea meralo le software. Ka lebaka leo, SRE e le moenjiniere o tlameha, pele ho tsohle, a se ke a utloisisa feela, empa hape a utloisise hore na liqeto tse ling tse tobileng li tla ama joang ho tšepahala, botsitso, le ho utloisisa hore na sena se amana joang le litlhoko tsa khoebo, le hore na sena se ka lumelloa ho tloha ntlheng efe, le eo e seng eona.
Ka hona, joale ke nako ea ho bua ka mekhoa ea ho tšepahala, eo ho SRE ka tloaelo e hlalosoang e le SLA (Tumellano ea Boemo ba Tšebeletso). Mohlomong ke lentsoe le tloaelehileng. SLI (Sesupo sa Boemo ba Tšebeletso). SLO (Sepheo sa Boemo ba Tšebeletso). Agreement Level Level Agreement mohlomong ke nako ea bohlokoa, haholo haeba u sebelitse le marang-rang, bafani ba litšebeletso le ba amohelang baeti. Ena ke tumellano e akaretsang e hlalosang ts'ebetso ea ts'ebeletso ea hau kaofela, likotlo, likotlo tse ling bakeng sa liphoso, metrics, litekanyetso. Mme SLI ke metric ea phihlello ka boyona. Ke hore, seo SLI e ka bang sona: nako ea karabo ho tsoa tšebeletsong, palo ea liphoso e le peresente. Sena e ka ba bandwidth haeba re bua ka mofuta o mong oa ho amohela lifaele. Haeba re bua ka li-algorithms tsa ho lemoha, letšoao le ka ba, mohlala, ho nepahala ha karabo. SLO (Sepheo sa Boemo ba Tšebeletso) ke, ka ho latellana, motsoako oa letšoao la SLI, boleng ba eona le nako.
Ha re re SLA e ka ba tjena. Tšebeletso e fumaneha 99,95% ea nako ho pholletsa le selemo. Kapa litekete tse 99 tsa bohlokoa tsa tšehetso ea tekheniki li tla koaloa nakong ea lihora tse 3 ka kotara. Kapa 85% ea lipotso li tla arajoa nakong ea metsotsoana e 1,5 khoeli le khoeli. Ke hore, butle-butle re ntse re utloisisa hore liphoso le ho hloleha ke ntho e tloaelehileng. Sena ke boemo bo amohelehang, re ntse re bo rera, re bile re itšetlehile ka bona ho isa tekanyong e itseng. Ke hore, SRE e haha litsamaiso tse ka etsang liphoso, tse lokelang ho arabela ka tloaelo liphoso, 'me li tlameha ho li ela hloko. 'Me haeba ho khoneha, ba lokela ho sebetsana le liphoso ka tsela eo mosebedisi a sa li lemoheng, kapa a li hlokomele, empa ho na le mofuta o itseng oa ho sebetsa e le hore ntho e' ngoe le e 'ngoe e se ke ea senyeha ka ho feletseng.
Mohlala, haeba u kenya video ho YouTube, 'me YouTube ha e khone ho e fetolela hang-hang, haeba video e le kholo haholo, haeba sebopeho se sa nepahala, kopo ka tlhaho e ke ke ea hloleha ka nako, YouTube e ke ke ea hlahisa 502 phoso, YouTube e tla re: "Re thehile ntho e 'ngoe le e' ngoe, video ea hau e ntse e sebetsoa. E tla be e lokile ka mor'a metsotso e ka bang 10. " Ena ke molao-motheo oa ho senyeha ha mohau, o tloaelehileng, ka mohlala, ho tloha tsoelo-pele ea pele haeba u kile ua etsa sena.
Mantsoe a latelang ao re tla bua ka 'ona, a bohlokoa haholo bakeng sa ho sebetsa ka botšepehi, ka liphoso, ka litebello, ke MTBF le MTTR. MTBF ke nako e mahareng pakeng tsa ho hloleha. MTTR e Bolela Nako ea ho Pholoha, nako e tloaelehileng ea ho hlaphoheloa. Ke hore, ho fetile nako e kae ho tloha ha phoso e fumanoa, ho tloha ha phoso e hlaha ho fihlela nakong eo tšebeletso e tsosolositsoeng ho ts'ebetso e tloaelehileng ka ho feletseng. MTBF e lokisoa haholo-holo ka ho sebetsa ka boleng ba khoutu. Ke hore, taba ea hore li-SRE li ka re "che". 'Me sehlopha sohle se hloka ho utloisisa hore ha SRE e re "che," ha e bolele hobane e kotsi, eseng hobane e le mpe, empa hobane ho seng joalo bohle ba tla utloa bohloko.
Hape, ho na le lihlooho tse ngata, mekhoa e mengata, litsela tse ngata, esita le bukeng eo ke atisang ho bua ka eona, mokhoa oa ho etsa bonnete ba hore bahlahisi ba bang ha ba qale ho hloea SRE. MTTR, ka lehlakoreng le leng, e mabapi le ho sebetsa ho SLO ea hau (Sepheo sa Boemo ba Ts'ebeletso). 'Me hangata sena ke automation. Hobane, mohlala, SLO ea rona ke nako ea ho qetela ea 4 robong ka kotara. Sena se bolela hore ka likhoeli tse 3 re ka lumella metsotso e 13 ea ho phomola. Mme ho ile ha fumaneha hore MTTR ea rona ha e khone ho feta metsotso e 13. Haeba re nka metsotso ea 13 ho arabela bonyane nako ea 1, sena se bolela hore re se re qetile tekanyetso eohle ea kotara. Re tlola SLO. Metsotso e 13 ea ho arabela le ho lokisa phoso e ngata bakeng sa mochine, empa e nyenyane haholo bakeng sa motho. Hobane ka nako eo motho a fumanang temoso, ka nako eo a itšoarang ka eona, ha a ntse a fumana phoso, e se e le metsotso e seng mekae. Ho fihlela motho a utloisisa hore na a ka e lokisa joang, hantle-ntle ho lokisa eng, ho etsa eng, ho tla nka metsotso e seng mekae hape. 'Me ha e le hantle, le haeba u hloka feela ho tsosolosa seva, joalokaha ho hlaha, kapa ho phahamisa node e ncha, joale MTTR e nka metsotso e ka bang 7-8 ka letsoho. Ha o iketsetsa ts'ebetso, MTTR hangata e fihla motsotsoana, ka linako tse ling milliseconds. Hangata Google e bua ka milliseconds, empa bonneteng, ehlile, lintho ha li ntle hakaalo.
Ha e le hantle, SRE e tlameha ho etsa mosebetsi oa eona ka ho feletseng, hobane sena se ama MTTR ka ho toba, metrics ea eona, SLO ea tšebeletso eohle, 'me, ka hona, phaello ea khoebo. Haeba nako e fetile, re botsoa hore na molato o ho SRE. Ka lehlohonolo, molato ha o behoe ho mang kapa mang. 'Me sena ke setso se arohaneng, se bitsoang balmeless postmortem, seo re ke keng ra bua ka sona kajeno, empa re tla se sekaseka ho Slurm. Ena ke taba e thahasellisang haholo eo ho ka buuoang ka eona haholo. Ka mantsoe a mang, haeba nako e behiloeng ka kotara e fetile, joale e mong le e mong o na le molato o fokolang, ho bolelang hore ho qosa motho e mong le e mong ha ho hlahise litholoana, ho e-na le hoo, mohlomong, re se ke ra beha motho molato, empa re lokise boemo le ho sebetsa ka seo re nang le sona. Ka phihlelo ea ka, mokhoa ona ke osele hanyane ho lihlopha tse ngata, haholo-holo Russia, empa hoa utloahala ebile ho sebetsa hantle haholo. Ka hona, qetellong ke tla khothaletsa lingoliloeng le lingoliloeng tseo u ka li balang ka taba ena. Kapa u tle ho Slurm SRE.
E-re ke hlalose. Haeba nako ea SLO ka kotara e fetisitsoe, haeba nako ea ho theoha e ne e se metsotso ea 13, empa 15, ke mang ea ka bang molato bakeng sa see? Ehlile, SRE e kanna ea ba le phoso hobane ka ho hlaka e entse boitlamo bo itseng bo bobe kapa ho romelloa. Mookameli oa setsi sa data e ka 'na ea e-ba molato bakeng sa sena, hobane e ka' na eaba o entse tlhokomelo e sa reroang. Haeba mookameli oa setsi sa data a le molato bakeng sa sena, joale motho ea tsoang Ops le eena o na le molato oa ho se bale tlhokomelo ha a lumellana le SLO. Ena ke phoso ea mookameli, mookameli oa theknoloji, kapa motho ea saenneng konteraka ea setsi sa data mme ha aa ka a ela hloko taba ea hore setsi sa data SLA ha se etselitsoe nako ea ho theoha e hlokahalang. Ka lebaka leo, motho e mong le e mong o na le molato o monyenyane bakeng sa boemo bona. 'Me seo se bolela hore ha ho na lebaka la ho beha molato ho mang kapa mang ka ho khetheha bakeng sa boemo bona. Empa ehlile e hloka ho lokisoa. Ke kahoo li-postmortem li leng teng. 'Me haeba u bala, ho etsa mohlala, GitHub postmortems,' me sena se lula e le pale e thahasellisang haholo, e nyenyane le e sa lebelloang tabeng e 'ngoe le e' ngoe e itseng, u ka nka sebaka sa hore ha ho motho ea kileng a re motho enoa o ne a le molato. Hangata molato o behoa lits'ebetsong tse itseng tse haellang.
Ha re feteleng potsong e latelang. Boiketsetso. Hangata, ha ke bua ka othomathike maemong a mang, hangata ke bua ka tafole e buang ka hore na u ka sebetsa nako e kae ho iketsetsa mosebetsi e le hore u se ke oa nka nako e ngata ho o etsa ho feta kamoo u bolokang ka kakaretso. Ho na le tšoasa. Ho tšoasoa ke hore ha li-SRE li iketsetsa mosebetsi, ha li boloke nako feela, li boloka chelete hobane automation e ama MTTR ka kotloloho. Ba boloka, ka mantsoe a mang, boitšoaro ba basebetsi le bahlahisi, e leng mohloli o ka felang. Ba fokotsa tloaelo. 'Me sena sohle se na le phello e ntle mosebetsing, ka lebaka leo, khoebong, esita le haeba ho bonahala eka ho iketsetsa lintho ha ho utloahale ho latela litšenyehelo tsa nako.
Ha e le hantle, e batla e etsa joalo kamehla, 'me ho na le maemo a fokolang haholo moo ho sa lokelang ho iketsetsa ntho e itseng karolong ea SRE. E latelang re tla bua ka ntho eo ho thoeng ke error budget, budget for errors. Ebile, ho ile ha fumaneha hore haeba u ntse u sebetsa betere ho feta SLO eo u ipehetseng eona, sena le sona ha se ntle haholo. Sena se mpe haholo, hobane SLO ha e sebetse feela joalo ka moeli o tlase, empa hape e le moeli o ka holimo. Ha u ipehela SLO ea ho fumaneha ha 99%, 'me ha e le hantle u na le 99,99%, ho bonahala eka u na le sebaka se itseng sa liteko, se ke keng sa senya khoebo ho hang, hobane u entse qeto ena kaofela hammoho,' me u e-ba le sebaka sena u se ke ua se sebelisa. U na le tekanyetso ea liphoso, eo molemong oa hau e sa sebelisoang.
Re etsa eng ka eona? Re e sebelisa bakeng sa ntho e 'ngoe le e' ngoe. Bakeng sa tlhahlobo maemong a tlhahiso, bakeng sa ho hlahisa likarolo tse ncha tse ka amang ts'ebetso, bakeng sa litokollo, bakeng sa tlhokomelo, bakeng sa linako tse theohileng tse reriloeng. Molao o fapaneng o boetse o sebetsa: haeba tekanyetso e felile, re ke ke ra lokolla ntho leha e le efe e ncha, hobane ho seng joalo re tla feta SLO. Budget e se e felile, re ntšitse ntho e ‘ngoe, haeba e ama ts’ebetso hampe, ke hore haeba ha se tokiso ea mofuta o itseng ka bo eona e eketsang SLO ka kotloloho, ebe re ea over budget, ‘me boemo bona bo bobe. , e hloka tlhahlobo , postmortem, 'me mohlomong le tokiso ea ts'ebetso.
Ke hore, hoa etsahala hore haeba tšebeletso ka boeona e sa sebetse hantle, 'me SLO e sebelisoa' me tekanyetso ea lichelete e sebelisoa eseng litekong, eseng ka litokollo leha e le life, empa ka boeona, joale ho e-na le ho lokisa tse ling tse thahasellisang, ho e-na le ho thahasellisang. likarolo, ho e-na le litokollo tse thahasellisang. Sebakeng sa ho etsa mosebetsi ofe kapa ofe oa boqapi, o tla tlameha ho etsa litokiso tse sa tsebeng letho ho khutlisetsa tekanyetso ka tatellano, kapa ho hlophisa SLO, hape ena ke ts'ebetso e sa lokelang ho etsahala khafetsa.
Ka hona, hoa etsahala hore boemong boo re nang le tekanyetso e ngata bakeng sa liphoso, bohle ba thahasella: ka bobeli SRE le bahlahisi. Bakeng sa bahlahisi, tekanyetso e kholo ea liphoso e bolela hore ba ka sebetsana le litokollo, liteko le liteko. Bakeng sa li-SRE, tekanyetso ea liphoso le ho kena tekanyetsong ena ho bolela hore ba hlile ba etsa mosebetsi o motle. 'Me sena se ama tšusumetso ea mofuta o mong oa mosebetsi o kopanetsoeng. Haeba u mamela li-SRE tsa hau joalo ka bahlahisi, u tla ba le sebaka se eketsehileng sa ho etsa mosebetsi o motle le mesebetsi e mengata e fokolang.
Hoa fumaneha hore liteko tsa tlhahiso ke karolo ea bohlokoa haholo ebile e batla e le karolo ea bohlokoa ea SRE lihlopheng tse kholo. 'Me hangata e tsamaea ka lebitso la chaos engineering, e tsoang sehlopheng sa Netflix se lokolotseng sesebelisoa se bitsoang Chaos Monkey.
Chaos Monkey e hokahana le phaephe ea CI/CD mme e senya seva tlhahisong ea eona ka tšohanyetso. Hape, mohahong oa SRE re re seva se senyehileng ha se mpe ka boeona, ho lebeletsoe. 'Me haeba e kenyelelitsoe ho tekanyetso, e amoheleha ebile ha e lematse khoebo. Ha e le hantle, Netflix e na le li-server tse lekaneng tse sa hlokahaleng, ho pheta-pheta ho lekaneng, hore sena sohle se ka lokisoa ntle le mosebedisi ka kakaretso esita le ho hlokomela, 'me ka sebele ha ho motho ea tlohelang seva e le' ngoe bakeng sa tekanyetso leha e le efe.
Netflix ka nako e 'ngoe e ne e e-na le lisebelisoa tse joalo, e' ngoe ea tsona, Chaos Gorilla, e thibela ka ho feletseng e 'ngoe ea libaka tse fumanehang Amazon. 'Me lintho tse joalo li thusa ho tseba, pele, litšepiso tse patiloeng, ha ho sa hlaka ka ho feletseng hore na ho susumetsa eng, ho itšetlehile ka eng. 'Me sena, haeba u sebetsa le microservice' me litokomane li sa phethahala ka ho feletseng, sena se ka 'na sa u tseba. Hape, sena se thusa ho tšoara liphoso ka khoutu eo u ke keng ua e tšoara nakong ea lipapali, hobane sethala leha e le sefe ha se papiso e nepahetseng, ka lebaka la hore tekanyo ea mojaro e fapane, mokhoa oa mojaro o fapane, thepa e boetse e, haholo. mohlomong, tse ling. Meroalo e phahameng le eona e ka ba e sa lebelloang le e sa lebelloang. 'Me liteko tse joalo, tseo hape li sa feteleng ka nģ'ane ho tekanyetso, li thusa hantle haholo ho tšoara liphoso ho mekhoa ea motheo eo staging, autotests, le liphaephe tsa CI / CD li ke keng tsa e tšoara. 'Me hafeela sena sohle se kenyelelitsoe tekanyetsong ea hau, ha ho tsotellehe hore na tšebeletso ea hau e theohile moo, le hoja e ka bonahala e tšosa haholo, seva e senyehile, ke ntho e tšosang hakaakang. Che, ho tloaelehile, ho lokile, ho thusa ho tšoara liphoso. Haeba u na le moralo oa tšebeliso ea chelete, u ka e sebelisa.
Potso: Nka khothaletsa lingoliloeng life? Lethathamo le qetellong. Ho na le lingoliloeng tse ngata, nka khothaletsa litlaleho tse 'maloa. E sebetsa joang le hore na SRE e sebetsa lik'hamphani ntle le sehlahisoa sa bona sa software kapa ka nts'etsopele e nyane. Ka mohlala, khoebong, moo mosebetsi oa mantlha e seng software. Khoebong, moo ts'ebetso ea mantlha e seng software, SRE e sebetsa hantle joalo ka kae kapa kae, hobane khoebong hape o hloka ho e sebelisa, leha o sa nts'e lihlahisoa tsa software, o hloka ho hlahisa lintlafatso, o hloka ho fetola meaho, o hloka ho hola, o hloka ho hola. 'Me li-SRE li thusa ho tseba le ho bolela esale pele mathata a ka bang teng lits'ebetsong tsena le ho a laola ka mor'a hore kholo e itseng e qale le litlhoko tsa khoebo li fetoha. Hobane ho hang ha ho hlokahale ho kenya letsoho ho nts'etsopele ea software e le hore u be le SRE, haeba bonyane u na le li-server tse 'maloa' me u lebeletse bonyane kholo e itseng.
Ho joalo le ka merero e menyenyane, mekhatlo e menyenyane, hobane lik'hamphani tse kholo li na le tekanyetso le sebaka sa liteko. Empa ka nako e ts'oanang, litholoana tsena tsohle tsa liteko li ka sebelisoa kae kapa kae, ke hore, li-SRE, ehlile, li hlahile ho Google, Netflix le Dropbox. Empa ka nako e ts'oanang, lik'hamphani tse nyane le li-startups li se li ka bala litaba tse khutsufalitsoeng, li bala libuka le litlaleho tsa ho shebella. Ba qala ho utloa ka sena khafetsa, sheba mehlala e itseng, ke nahana, ho lokile, sena se ka ba molemo, re hloka sena, se pholile.
Ke hore, mosebetsi oohle oa mantlha oa ho tiisa lits'ebetso tsena o se o etselitsoe uena. Seo u lokelang ho se etsa feela ke ho hlalosa karolo ea SRE ka ho khetheha k'hamphaning ea hau mme u qale ho kenya ts'ebetsong litloaelo tsena kaofela, tseo, hape, li seng li hlalositsoe. Ke hore, ho tloha ho melao-motheo e molemo bakeng sa lik'hamphani tse nyenyane, kamehla ke tlhaloso ea SLA, SLI, SLO. Haeba u sa kenelle ho software, joale tsena e tla ba li-SLA tsa ka hare le li-SLO tsa ka hare, tekanyetso ea ka hare bakeng sa liphoso. Hangata sena se lebisa lipuisanong tse monate ka har'a sehlopha le ka har'a khoebo, hobane ho ka etsahala hore ebe o sebelisa chelete e ngata ho feta kamoo ho hlokahalang ho meralo ea motheo, mofuta o mong oa tlhophiso ea lits'ebetso tse nepahetseng, phaephe e nepahetseng. 'Me tsena tse 4 tseo u nang le tsona lefapheng la IT, ha u li hloke hona joale. Empa ka nako e ts'oanang, ho ne ho ka khoneha ho qeta nako, ho sebelisa tekanyetso bakeng sa liphoso ho ntho e 'ngoe.
Ka hona, ho beha leihlo le tlhophiso ea ho beha leihlo ho bohlokoa bakeng sa k'hamphani ea boholo bofe kapa bofe. 'Me ka kakaretso, mokhoa ona oa ho nahana, moo liphoso e leng ntho e amohelehang, moo ho nang le tekanyetso, moo Maikemisetso a leng teng, e boetse e na le thuso bakeng sa k'hamphani ea boholo leha e le bofe, ho tloha ho batho ba 3 ba qalang.
The last of the technical nuances tseo re ka buang ka tsona ke monitoring . Hobane haeba re bua ka SLA, SLI, SLO, re ke ke ra utloisisa ntle le ho beha leihlo hore na re lumellana le tekanyetso, hore na re lumellana le Sepheo sa rona, le hore na re susumetsa SLA ea ho qetela joang. Ke hlokometse hangata hore ho beha leihlo ho etsahala ka tsela e latelang: ho na le boleng bo itseng, mohlala, nako ea kopo ho seva, nako e tloaelehileng kapa palo ea likopo ho database. O na le tekanyetso e khethiloeng ke moenjiniere. Haeba metric e kheloha ho tloaelo, lengolo-tsoibila le romelloa. Sena sohle ha se na thuso, joalo ka molao, hobane se lebisa tlhokomelong e joalo ea tlhokomeliso, ho fetella ha melaetsa ea ho beha leihlo, ha motho, pele, a tlameha ho e hlalosa nako le nako, ke hore, ho etsa qeto ea hore na boleng ba metric bo bolela tlhokahalo ea mofuta o itseng wa ketso. Ea bobeli, o khaotsa ho ela hloko litlhokomeliso tsena kaofela, ha ha e le hantle ho sa hlokahale hore a nke khato ho eena. Ke hore, molao o motle oa ho beha leihlo le molao oa pele ha ho sebelisoa SRE ke hore tsebiso e lokela ho tla feela ha ho hlokahala ketso.
Boemong bo tloaelehileng ho na le maemo a 3 a liketsahalo. Ho na le litemoso, ho na le litekete, ho na le li-log. Litlhokomeliso ke eng kapa eng e hlokang hore u nke khato hang-hang. Ke hore ntho e 'ngoe le e' ngoe e robehile, e hloka ho lokisoa hona joale. Litekete ke ntho e hlokang ketso e ntseng e emetse. E, ho hlokahala hore u etse ntho e itseng, u lokela ho etsa ntho e itseng ka letsoho, automation e hlōlehile, empa ha ua lokela ho e etsa metsotsong e seng mekae e latelang. Li-log ke ntho e 'ngoe le e' ngoe e sa hlokeng ketso, 'me ka kakaretso, haeba lintho li tsamaea hantle, ha ho motho ea tla li bala. Ho tla hlokahala ho bala lifate feela ha, ha re khutlela morao, ho hlaha hore ho na le ntho e robehileng ka nako e itseng, re ne re sa tsebe ka eona. Kapa mofuta o mong oa lipatlisiso o hloka ho etsoa. Empa ka kakaretso, ntho e 'ngoe le e' ngoe e sa hlokeng ketso leha e le efe e ea ho li-log.
E le litla-morao tsa tsena tsohle, haeba re hlokometse hore na ke liketsahalo life tse hlokang liketso 'me re hlalositse hantle hore na liketso tseo e lokela ho ba life, sena se bolela hore ketso e ka iketsetsa. Ke hore, ho etsahalang. Re tsoa tlhokomelisong. Ha re yeng ketsong. Ha re ee tlhalosong ea ketso ena. 'Me joale re fetela ho automation. Ke hore, automation efe kapa efe e qala ka karabelo ho ketsahalo.
Ho tloha ho beha leihlo re fetela lentsoeng le bitsoang Observability. Ho boetse ho bile le hype ho potoloha lentsoe lena lilemong tse 'maloa tse fetileng. 'Me ke batho ba fokolang ba utloisisang hore na sena se bolela eng ntle le moelelo oa taba. Empa taba ea mantlha ke hore Observability ke metric of transparency system. Haeba ho na le ntho e sa tsamaeeng hantle, u ka tseba kapele hakae hore na hantle-ntle ho ile ha etsahala eng le hore na boemo ba tsamaiso e ne e le bofe ka nako eo. Ho ea ka pono ea khoutu: ke mosebetsi ofe o hlōlehileng, ke tšebeletso efe e hlōlehileng. Boemo e ne e le bofe, ho etsa mohlala, diphapano tsa ka hare, tlhophiso. Ho ea ka pono ea mekhoa ea mekhoa ea mekhoa ea boipheliso, sena ke moo sebaka sa ho fumaneha se ileng sa hlōleha, 'me haeba u na le mofuta o itseng oa Kubernetes, joale ho na le ho hlōleha ho etsahetseng, boemo ba pod e ne e le bofe. 'Me ka hona, Observability e na le kamano e tobileng le MTTR. E phahameng ea Observability ea tšebeletso, ho bonolo ho khetholla phoso, ho bonolo ho lokisa phoso, ho bonolo ho iketsetsa phoso, ho theola MTTR.
Haeba re fetela ho lik'hamphani tse nyenyane hape, hangata ba botsa, esita le hona joale, seo ba lokelang ho se etsa ka boholo ba sehlopha, le hore na hoa hlokahala ho hira SRE e fapaneng sehlopheng se senyenyane. Ke se ke buile ka taba ena pejana. Mekhahlelong ea pele ea nts'etsopele ea ho qala kapa, mohlala, sehlopha, sena ha se hlokahale ho hang, hobane SRE e ka etsoa karolo ea phetoho. Mme sena se tla phelisa sehlopha hanyane, hobane bonyane ho na le mefuta e fapaneng. 'Me ho phaella moo e tla lokisetsa batho taba ea hore ka kholo, ka kakaretso, boikarabelo ba SRE bo tla fetoha haholo. Haeba u hira motho, joale, ha e le hantle, o na le litebello tse itseng. 'Me litebello tsena li ke ke tsa fetoha ha nako e ntse e ea, empa litlhoko li tla fetoha haholo. Ka hona, ho hira SRE ho thata haholo methating ea pele. Ho bonolo haholo ho iketsetsa ea hau. Empa ho bohlokoa ho nahana ka eona.
Ntho e le 'ngoe feela, mohlomong, ke ha ho na le litlhoko tse thata haholo le tse hlalositsoeng hantle tsa bophahamo. Ke hore, tabeng ea ho qala, sena se ka 'na sa e-ba mofuta o itseng oa khatello ho tsoa ho batseteli, mofuta o mong oa bolepi ba kholo ka makhetlo a' maloa ka nako e le 'ngoe. Ebe ho hira SRE hangata ho loketse hobane ho ka lokafatsoa. Re na le litlhoko tsa kholo, re hloka motho ea tla ba le boikarabello ba ho netefatsa hore ha ho letho le senyang kholo e joalo.
Potso e 'ngoe hape. Seo u lokelang ho se etsa ha ka makhetlo a 'maloa bahlahisi ba khaola tšobotsi e fetisang liteko, empa e senya sehlahisoa, e jara database, e senya likarolo tse ling, ke ts'ebetso efe e lokelang ho etsoa. Ka hona, tabeng ena, tekanyetso ea liphoso e hlahisoa. 'Me litšebeletso tse ling, likarolo tse ling li lekoa hang-hang tlhahiso. Sena e ka ba canary, ha palo e nyane feela ea basebelisi, empa e se e ntse e hlahisoa, e ntse e tsamaisa tšobotsi, empa ka tebello ea hore haeba ho na le ntho e robehang, mohlala, bakeng sa karolo ea halofo ea basebelisi bohle, e ntse e tla lekana ka har'a tekanyetso ea liphoso. Ka lebaka leo, e, ho tla ba le phoso, ho basebelisi ba bang ntho e 'ngoe le e' ngoe e tla robeha, empa re se re boletse hore sena se tloaelehile.
Ho ne ho e-na le potso mabapi le lisebelisoa tsa SRE. Ke hore, na ho na le ntho e tobileng eo li-SRE li neng li ka e sebelisa eo motho e mong le e mong a ke keng a e sebelisa? Ha e le hantle, ho na le lisebelisoa tse khethehileng haholo, ho na le software eo, ka mohlala, e etsisang meroalo kapa e etsa tlhahlobo ea canary A / B. Empa ha e le hantle, lisebelisoa tsa SRE ke seo baetsi ba hau ba seng ba se sebelisa. Hobane SRE e sebelisana ka kotloloho le sehlopha sa nts'etsopele. 'Me haeba u na le lisebelisoa tse fapaneng, ho bonahala eka ho nka nako ho hokahanya. Haholo-holo haeba li-SRE li sebetsa lihlopheng tse kholo, lik'hamphaning tse kholo moo ho ka 'nang ha e-ba le lihlopha tse' maloa, ho lumellana le lik'hamphani ka bophara ho tla thusa haholo mona, hobane haeba lihlopha tsa 50 li sebelisa lisebelisoa tse fapaneng tsa 50, sena se bolela hore SRE e tlameha ho ba tseba kaofela. Mme ehlile sena se ke ke sa etsahala. 'Me boleng ba mosebetsi, boleng ba taolo ea bonyane lihlopha tse ling li tla fokotseha haholo.
Webinar ea rona e ntse e fela butle-butle. Ke khonne ho u bolella lintho tse ling tsa motheo. Ehlile, ha ho letho ka SRE le ka bolelloang le ho utloisisoa ka hora. Empa ke tšepa hore ke khonne ho fetisa mokhoa ona oa ho nahana, lintlha tsa sehlooho. 'Me joale, haeba u na le thahasello, u ka teba ka ho teba sehloohong sena, u ithute u le mong, 'me u shebe hore na e sebelisoa joang ke batho ba bang, lik'hamphani tse ling. 'Me ka hona, mathoasong a Hlakola, tloho ho rona ho Slurm SRE.
Slurm SRE ke thupelo e matla ea matsatsi a mararo e tla akaretsa hoo e ka bang seo ke buang ka sona hona joale, empa ka botebo bo boholo, ka linyeoe tsa 'nete, ka boikoetliso, mosebetsi o matla o reretsoe ho sebetsa. Batho ba tla aroloa ka lihlopha. Kaofela le tla be le sebetsa litabeng tsa 'nete. Ka hona, re na le barupeli ba tsoang Booking.com Ivan Kruglov le Ben Tyler. Re na le Evgeniy Varabbas ea makatsang ea tsoang ho Google, ea tsoang San Francisco. Mme ke tla o bolella ho hong hape. Kahoo etsa bonnete ba hore u tla re etela.
Kahoo, lethathamo la litšupiso. Ho na le lihokelo ho SRE. bukeng eona eo, kapa ho fapana le libukeng tse 2 tse buang ka SRE, tse ngotsoeng ke Google. E 'ngoe hape , moo lipehelo le tšebeliso ea tsona li hlalosoang ka ho qaqileng haholoanyane. Tse 3 tse latelang ke litlaleho tsa SRE lik'hamphaning tse fapaneng. Ea pele - , ena ke mantsoe a sehlooho a tsoang ho Ben Trainer ho tsoa ho Google. Ea bobeli - . Ea boraro e boetse e bua ka . Tlaleho ea bone ho tloha , e nang le basebetsi ba 5 feela ba bohlokoa ba SRE linaheng tse 190. Hoa thahasellisa haholo ho sheba sena sohle, hobane feela joalokaha DevOps e bolela lintho tse fapaneng haholo ho lik'hamphani tse fapaneng esita le lihlopha tse fapaneng, SRE e na le boikarabelo bo fapaneng haholo, esita le lik'hamphani tsa boholo bo tšoanang.
Lihokelo tse ling tse 2 mabapi le melao-motheo ea boenjiniere ba merusu: , . 'Me qetellong ho na le manane a 3 a tsoang lethathamong la Awesome Lists mabapi le , hoo e ka bang le hoo e ka bang . Lethathamo la SRE le leholo ka mokhoa o makatsang, ha ua tlameha ho feta ho lona kaofela, ho na le lingoliloeng tse ka bang 200. Ke khothaletsa haholo lingoliloeng tse mabapi le moralo oa bokhoni le postmortem e se nang molato.
Sengoloa se khahlisang:
Kea le leboha ka ho 'mamela nako ena kaofela. Ke tšepa hore u ithutile ho hong. Ke tšepa hore u na le lisebelisoa tse lekaneng ho ithuta le ho feta. Mme ke tla o bona hamorao. Re tšepa ka Hlakola.
Webinar e ne e tsamaisoa ke Eduard Medvedev.
PS: bakeng sa ba ratang ho bala, Eduard o fane ka lethathamo la litšupiso. Ba khethang ho e utloisisa ka ts'ebetso ba amoheleha ho .
Source: www.habr.com