SRE (Site Reliability Engineering) ke mokhoa oa ho netefatsa boteng ba merero ea marang-rang. E nkoa e le moralo oa DevOps mme e bua ka mokhoa oa ho fumana katleho ho sebelisa mekhoa ea DevOps. Phetolelo sehloohong sena libuka ho tsoa ho Google. Ke itokiselitse phetolelo ena 'me ka itšetleha ka phihlelo ea ka ea ho utloisisa mekhoa ea ho beha leihlo. Ka mocha oa thelekramo и Ke boetse ke hatisitse sehokelo sa phetolelo ea Khaolo ea 4 ea buka eona eo mabapi le lipakane tsa boemo ba tšebeletso.
Phetolelo ka katse. Natefeloa ke ho bala!
Lihlopheng tsa Google tsa SRE li na le melao-motheo le mekhoa e metle ea ho theha mekhoa e atlehileng ea ho beha leihlo le ea litsebiso. Khaolo ena e fana ka tataiso mabapi le mathata ao moeti oa leqephe a ka kopanang le ona le mokhoa oa ho rarolla mathata a etsang hore ho be thata ho hlahisa maqephe a webo.
Litlhaloso
Ha ho na pokello ea mantsoe a le mong e sebelisoang ho buisana ka lihlooho tse amanang le ho beha leihlo. Esita le ho Google, mantsoe a ka tlase ha a sebelisoe hangata, empa re tla thathamisa litlhaloso tse tloaelehileng haholo.
Tlhokomelo
Ho bokella, ho sebetsana, ho kopanya le ho bonts'a lintlha tse ngata ka nako ea sebele mabapi le tsamaiso: palo ea likōpo le mefuta ea likōpo, palo ea liphoso le mefuta ea liphoso, nako ea ho etsa kopo le nako ea ho qetela ea seva.
Tlhokomelo ea lebokose le lesoeu
Tlhokomelo e ipapisitse le lipalo tse hlahisoang ke likarolo tsa sistimi ea ka hare, ho kenyeletsoa li-log, metrics ea profiling ea Java Virtual Machine, kapa metrics ea sebapali sa HTTP tse hlahisang lipalo-palo tsa kahare.
Tlhokomelo ea lebokose le letšo
Lekola boitšoaro ba ts'ebeliso ho latela pono ea mosebelisi.
Dashboard
Sehokelo (hangata webo) se fanang ka kakaretso ea matšoao a mantlha a bophelo bo botle ba lits'ebeletso. Dashboard e ka 'na ea e-ba le li-filters, bokhoni ba ho khetha matšoao a bontšitsoeng, joalo-joalo. Sebopeho se etselitsoe ho khetholla matšoao a bohlokoa haholo ho basebelisi. Dashboard e ka boela ea bonts'a tlhahisoleseling bakeng sa basebetsi ba ts'ehetso ea tekheniki: lethathamo la likopo, lethathamo la liphoso tse tlang pele, le moenjiniere ea abetsoeng sebaka se itseng sa boikarabello.
Tlhokomeliso (tsebiso)
Litsebiso tse reretsoeng ho amoheloa ke motho ka imeile kapa mekhoa e meng, e ka 'nang ea bakoa ke liphoso kapa ho eketseha ha mokoloko oa kopo. Litsebiso li hlophisoa e le: litekete, litemoso tsa lengolo-tsoibila le melaetsa ea manqosa hang-hang.
Sesosa sa ho qala
Phoso ea software kapa phoso ea motho eo, hang ha e lokisitsoe, ha ea lokela ho etsahala hape. Bothata bo ka 'na ba e-ba le lisosa tse' maloa tse ka sehloohong: mokhoa o sa lekaneng oa ho iketsetsa ts'ebetso, bothata ba software, tlhaloso e sa lekaneng ea logic ea kopo. E 'ngoe le e' ngoe ea lintlha tsena e ka 'na ea e-ba sesosa,' me e 'ngoe le e' ngoe ea tsona e tlameha ho felisoa.
Node le mochini (node le mochini)
Mantsoe a ka fapanyetsanoang a bolela ketsahalo e le 'ngoe ea ts'ebeliso e sebetsang ho seva sa 'mele, mochini o sebetsang, kapa setshelo. Mochine o le mong o ka amohela litšebeletso tse 'maloa. Litšebeletso li ka ba:
- e hokahaneng: mohlala, seva sa caching le seva sa webo;
- litšebeletso tse sa amaneng karolong e le 'ngoe ea hardware: mohlala, polokelo ea khoutu le wizate bakeng sa tsamaiso ea tlhophiso, joalo ka kapa .
Sututsa
Phetoho efe kapa efe ho tlhophiso ea software.
Ke hobane'ng ha ho hlokahala hore ho behoe leihlo?
Ho na le mabaka a 'maloa a hore na ke hobane'ng ha likopo li hloka ho beoa leihlo:
Tlhahlobo ea mekhoa ea nako e telele
Database e kholo hakae, 'me e hola ka potlako hakae? Palo ea letsatsi le letsatsi ea basebelisi e fetoha joang?
Papiso ya tshebetso
Na likopo li potlakile ho Acme Bucket ea Bytes 2.72 ha e bapisoa le Ajax DB 3.14? Likopo li betere hakae ka mor'a ho hlaha ha node e eketsehileng? Na sebaka se sebetsa butle ha se bapisoa le bekeng e fetileng?
Tlhokomeliso (litemoso)
Ho na le ntho e robehileng 'me ho na le motho ea lokelang ho e lokisa. Kapa ntho e tla robeha haufinyane 'me motho e mong o hloka ho e hlahloba haufinyane.
Ho theha li-dashboards
Li-dashboard li lokela ho araba lipotso tsa mantlha le ho kenyelletsa ho hong ho tsoa ho — tieho (latency), sephethephethe (sephethephethe), liphoso (liphoso) le boholo ba mojaro (saturation).
Ho etsa tlhahlobo ea retrospective (debugging)
Ho lieha ho sebetsa ha kopo ho eketsehile, empa ho etsahetse eng hape ka nako e tšoanang?
Litsamaiso tsa ho beha leihlo li na le thuso e le mohloli oa data bakeng sa litsamaiso tsa bohlale ba khoebo le ho thusa tlhahlobo ea liketsahalo tsa ts'ireletso. Hobane buka ena e shebane le libaka tsa boenjiniere tseo li-SRE li nang le boiphihlelo ho tsona, re ke ke ra bua ka mekhoa ea ho beha leihlo mona.
Tlhokomelo le litlhokomeliso li lumella sistimi hore e u bolelle ha e robehile kapa e haufi le ho senyeha. Ha tsamaiso e sitoa ho itokisa, re batla hore motho a hlahlobe tlhokomeliso, a bone hore na bothata bo ntse bo le teng, a bo rarolle, 'me a tsebe hore na sesosa ke sefe. Haeba u sa hlahlobe likarolo tsa sistimi, ha ho mohla u tla fumana tlhokomeliso hobane feela "ho bonahala ho makatsa."
Ho jarisa motho ka litemoso ke tšebeliso e theko e boima ea nako ea mohiruoa. Haeba mosebeletsi a sebetsa, tlhokomeliso e sitisa ts'ebetso ea mosebetsi. Haeba mosebeletsi a le hae, tlhokomeliso e sitisa nako ea hae mme mohlomong le ho robala. Ha litemoso li etsahala khafetsa, basebetsi ba li sheba, ba li behe fatše, kapa ba iphapanyetsa litlhokomeliso tse tlang. Nako le nako ba iphapanyetsa tlhokomeliso ea sebele, e sirelelitsoeng ke liketsahalo tsa lerata. Litšitiso tsa litšebeletso li ka nka nako e telele kaha liketsahalo tsa lerata li thibela bothata hore bo se ke ba fumanoa kapele le ho lokisoa. Lisebelisoa tse sebetsang hantle tsa temoso li na le karo-karolelano e ntle ea mats'oao-ho-lerata.
Ho beha litebello tse utloahalang bakeng sa tsamaiso ea tlhokomelo
Ho beha leihlo bakeng sa kopo e rarahaneng ke mosebetsi o rarahaneng oa boenjiniere ka bohona. Leha ho na le lisebelisoa tsa bohlokoa tsa ho bokella, ho bonts'a le ho lemosa, sehlopha sa Google SRE sa litho tse 10–12 hangata se kenyelletsa motho a le mong kapa ba babeli bao sepheo sa bona sa mantlha e leng ho aha le ho hlokomela litsamaiso tsa ho beha leihlo. Nomoro ena e fokotsehile ha nako e ntse e ea ha re ntse re kopanya le ho beha setsi sa ts'ebetso ea ho beha leihlo, empa sehlopha ka seng sa SRE hangata se na le motho a le mong ea inehetseng feela ho beha leihlo. Re tlameha ho re le hoja li-dashboard tsa tsamaiso li thahasellisa haholo ho li sheba, lihlopha tsa SRE li qoba ka hloko maemo a hlokang hore motho a shebe skrine ho shebella mathata.
Ka kakaretso, Google e falletse lits'ebetsong tse bonolo le tse potlakileng tsa ho beha leihlo ka lisebelisoa tse nepahetseng tsa tlhahlobo ea kamora 'nete. Re qoba litsamaiso tsa "boselamose" tse lekang ho bolela esale pele menyako kapa ho lemoha sesosa sa mantlha. Li-sensor tse lemohang litaba tse sa rereloang likopong tsa basebelisi ke tsona feela mohlala; Hafeela li-sensor tsena li ntse li le bonolo, li ka lemoha kapele lisosa tsa ho se tsebe hantle ho hoholo. Mefuta e meng ea ho sebelisa lintlha tsa ho beha leihlo, joalo ka moralo oa bokhoni kapa ponelopele ea sephethephethe, e thata haholoanyane. Ho shebella ka nako e telele haholo (likhoeli kapa lilemo) ka tekanyo e tlaase ea lisampole (lihora kapa matsatsi) ho tla senola mokhoa oa nako e telele.
Sehlopha sa Google SRE se bile le katleho e fapaneng le maemo a thata a ho itšetleha. Ha se hangata re sebelisang melao e kang "ha ke fumana hore database e ea lieha, ke fumana tlhokomeliso ea hore database e ea lieha, ho seng joalo ke fumana tlhokomeliso ea hore sebaka sa marang-rang se ea lieha." Melao e thehiloeng ho ts'epo hangata e bua ka likarolo tse sa fetoheng tsa sistimi ea rona, joalo ka sistimi ea ho sefa sephethephethe sa basebelisi setsing sa data. Ka mohlala, "haeba ho hloekisoa ha sephethephethe ho setsi sa data ho lokiselitsoe, u se ke ua ntemosa ka tieho ea ho sebetsana le likopo tsa basebelisi" ke molao o le mong o akaretsang oa litlhokomeliso tse tsoang setsing sa boitsebiso. Ke lihlopha tse fokolang ho Google tse tšehetsang maemo a mangata a ho itšetleha ka maemo hobane lisebelisoa tsa rona li lula li fetoha.
Mehopolo e meng e hlalositsoeng khaolong ena e ntse e le ea bohlokoa: kamehla ho na le monyetla oa ho falla ka potlako ho tloha matšoao ho ea ho sesosa, haholo-holo ka mekhoa e lulang e fetoha. Ka hona, leha khaolo ena e fana ka lipheo tse ling tsa lits'ebetso tsa ho beha leihlo le mokhoa oa ho fihlela lipheo tseo, ho bohlokoa hore litsamaiso tsa ho beha leihlo li be bonolo, li utloisisehe ho bohle sehlopheng.
Ka mokhoa o ts'oanang, ho boloka maemo a lerata a le tlase le maemo a mats'oao a le holimo, mekhoa ea ho beha leihlo matlotlo a hlokometsoeng e tlameha ho ba bonolo haholo 'me e ka tšeptjoa. Melao e hlahisang litemoso bakeng sa batho e lokela ho ba bonolo ho e utloisisa le ho hlahisa bothata bo hlakileng.
Matšoao khahlano le lisosa
Sistimi ea hau ea ho beha leihlo e lokela ho araba lipotso tse peli: "ke eng e robehileng" le "hobane e robehile."
"Se robehileng" se bua ka letšoao, 'me "ke hobane'ng ha se robehile" se bua ka sesosa. Tafole e ka tlase e bontša mehlala ea likhokahano tse joalo.
Letšoao
Lebaka
Ho fumana HTTP Phoso 500 kapa 404
Li-server tsa database li hana likhokahano
Likarabo tse tsamaeang butle
Tšebeliso e phahameng ea CPU kapa thapo ea Ethernet e senyehileng
Basebelisi ba Antarctica ha ba fumane li-GIF tsa katse
CDN ea hau e hloile bo-rasaense le likatse, kahoo liaterese tse ling tsa IP li ile tsa qetella li ngotsoe hampe
Litaba tsa lekunutu li fumaneha hohle
Ho phatlalatsoa ha software e ncha ho entse hore firewall e lebale li-ACL tsohle mme e lumelle bohle ho kena
"Ke eng" le "hobaneng" ke tse ling tsa litšiea tsa bohlokoa ka ho fetisisa bakeng sa ho theha tsamaiso e ntle ea ho shebella e nang le letšoao le phahameng le lerata le fokolang.
Lebokose le Letšo vs Lebokose le Lesoeu
Re kopanya leihlo le pharalletseng la White-box le tlhahlobo e itekanetseng ea Black-box bakeng sa metrics ea bohlokoa. Tsela e bonolo ka ho fetisisa ea ho bapisa Black-box le White-box ke hore Black-box e shebane le matšoao 'me e sebetsa ka thata ho e-na le ho beha leihlo ka matla: "sistimi ha e sebetse hantle hona joale." Lebokose le tšoeu le ipapisitse le matla a netefatso a kahare a sistimi: li-log tsa liketsahalo kapa li-server tsa webo. Kahoo, White-box e u lumella ho bona mathata a tlang, liphoso tse bonahalang e le phetisetso ea kopo, joalo-joalo.
Hlokomela hore tsamaisong ea mekhahlelo e mengata, letšoao sebakeng sa boikarabelo ba moenjiniere e mong ke letšoao sebakeng sa boikarabelo ba moenjiniere e mong. Mohlala, ts'ebetso ea database e fokotsehile. Ho baloa butle ha database ke sesupo sa polokelo ea SRE e li lemohang. Leha ho le joalo, bakeng sa SRE e ka pele e shebileng sebaka sa marang-rang se liehang, sesosa sa "database e tšoanang butle" e baloang ke polokelo e liehang. Ka hona, leihlo la lebokose le lesoeu ka linako tse ling le shebane le matšoao 'me ka linako tse ling le shebane le sesosa, ho itšetlehile ka hore na le pharaletse hakae.
Ha ho bokelloa telemetry bakeng sa debugging, leihlo la White-box lea hlokahala. Haeba li-server li lieha ho araba lipotso tsa database, u lokela ho tseba hore na seva sa marang-rang se buisana ka potlako hakae le database le hore na se arabela kapele hakae. Ho seng joalo, u ke ke ua khona ho khetholla pakeng tsa seva e liehang ea database le bothata ba marang-rang pakeng tsa seva sa marang-rang le database.
Tlhokomelo ea lebokose le letšo e na le molemo o ka sehloohong ha o romela litlhokomeliso: o hlahisa tsebiso ho moamoheli ha bothata bo se bo hlahisitse matšoao a sebele. Ka lehlakoreng le leng, ho beha leihlo ha ho na thuso bakeng sa bothata ba Black-box bo e-so hlahe empa bo le haufi.
Lipontšo tse 'nè tsa khauta
Matshwao a mane a kgauta a ho beha leihlo ke latency, traffic, liphoso le saturation. Haeba o khona ho lekanya metrics e mene ea sistimi ea basebelisi, tsepamisa maikutlo ho tse 'ne.
Ho lieha
Nako e hlokahalang ho sebetsa kopo. Ho bohlokoa ho khetholla pakeng tsa latency ea likopo tse atlehileng le tse sa atleheng. Ka mohlala, phoso ea HTTP 500 e bakoang ke ho lahleheloa ke khokahanyo ho database kapa backend e 'ngoe e ka fumanoa ka potlako haholo, leha ho le joalo, phoso ea HTTP 500 e ka bontša kopo e hlōlehileng. Ho fumana phello ea phoso ea 500 ho latency ka kakaretso ho ka lebisa ho liqeto tse fosahetseng. Ka lehlakoreng le leng, phoso e liehang e bile phoso e potlakileng! Ka hona, ho bohlokoa ho hlokomela latency ea liphoso ho fapana le ho sefa liphoso feela.
Sephethephethe
Palo ea likopo ho sistimi ea hau e lekantsoe ka metrics ea boemo bo holimo. Bakeng sa ts'ebeletso ea Marang-rang, tekanyo ena hangata e emela palo ea likopo tsa HTTP motsotsoana, e arotsoe ke mofuta oa likopo (mohlala, litaba tse sa fetoheng kapa tse feto-fetohang). Bakeng sa tsamaiso ea molumo oa molumo, tekanyo ena e ka shebana le lebelo la marang-rang la I/O kapa palo ea mananeo a nako e le 'ngoe. Bakeng sa sistimi ea polokelo ea boleng bo holimo, tekanyo ena e ka ba litšebelisano kapa liphetho tsa lipatlisiso motsotsoana.
Liphoso
Ena ke sekhahla sa likopo tse hlolehileng tse hlakileng (mohlala, HTTP 500), tse hlakileng (mohlala, HTTP 200 empa li kopantsoe le litaba tse fosahetseng) kapa leano (mohlala, "Haeba u hapile karabo ka motsotsoana o le mong, motsotsoana o mong ke phoso"). Haeba likhoutu tsa karabo ea HTTP li sa lekana ho hlalosa maemo ohle a ho hloleha, ho ka hlokahala liprothokholo tsa bobeli (tse ka hare) ho bona ho hloleha ho itseng. Ho beha leihlo likopo tse joalo tse hlolehileng ho kanna ha se be le tsebo, athe liteko tsa ho qetela tsa sistimi li tla thusa ho bona hore o ntse o sebetsana le litaba tse fosahetseng.
Phatlalatso
Metric e bonts'a hore na ts'ebeletso ea hau e sebelisoa ka matla hakae. Ena ke mokhoa oa ho hlahloba tsamaiso o khethollang lisebelisoa tse thibetsoeng ka ho fetisisa (mohlala, tsamaisong ea mohopolo, e bonts'a mohopolo, tsamaisong ea I / O-constrained, e bonts'a palo ea I / Os). Hlokomela hore litsamaiso tse ngata li nyenyefatsa ts'ebetso pele li fihlella ts'ebeliso ea 100%, kahoo ho ba le sepheo sa ts'ebeliso ho bohlokoa.
Litsamaisong tse rarahaneng, ho tlala hohle ho ka tlatselletsoa ke litekanyo tsa mojaro oa maemo a holimo: na ts'ebeletso ea hau e khona ho sebetsana hantle le sephethephethe se habeli, ho sebetsana le sephethephethe se fetang 10% feela, kapa ho sebetsana le sephethephethe se tlase ho feta seo se se etsang hajoale? Bakeng sa lits'ebeletso tse bonolo tse se nang li-parameter tse fetolang ho rarahana ha kopo (mohlala, "U se mphe letho" kapa "Ke hloka palo e ikhethang e ikhethang ea monotonic"), tse sa fetoleng tlhophiso, boleng ba tlhahlobo ea mojaro o sa fetoheng bo ka ba bo lekaneng. Leha ho le joalo, joalokaha ho boletsoe serapeng se fetileng, litšebeletso tse ngata li tlameha ho sebelisa lipontšo tse sa tobang tse kang ts'ebeliso ea CPU kapa marang-rang a marang-rang, a nang le moeli o ka holimo o tsejoang. Ho eketseha ha latency hangata ke sesupo se ka sehloohong sa ho tlala. Ho lekanya nako ea karabo ea liperesente tse 99 ka fensetere e nyane (mohlala, motsotso o le mong) ho ka fana ka lets'oao la pele la ho tlala.
Qetellong, saturation e boetse e amahanngoa le likhakanyo mabapi le ho tlala ho tlang, mohlala: "Ho bonahala eka database ea hau e tla tlatsa hard drive ea hau ka lihora tse 4."
Haeba u lekanya lipontšo tsohle tse 'nè tsa khauta' me ha ho e-na le bothata ho e 'ngoe ea metrics (kapa, tabeng ea saturation, bothata bo haufi), u lemosa motho, tšebeletso ea hau e tla koaheloa haholo ke ho beha leihlo.
Ho tšoenyeha ka "mohatla" (kapa lisebelisoa le ts'ebetso)
Ha u theha sistimi ea ho beha leihlo ho tloha qalong, ho na le moleko oa ho theha sistimi e ipapisitseng le litekanyetso tse tloaelehileng: latency e tloaelehileng, tšebeliso e tloaelehileng ea li-node tsa CPU, kapa botlalo ba database. Kotsi ea mehlala e 'meli ea ho qetela e hlakile: li-processor le li-database li lahliloe ka tsela e sa lebelloang haholo. Ho joalo le ka tieho. Haeba o tsamaisa tšebeletso ea tepo ka karolelano ea latency ea 100ms ka likopo tse 1000 motsotsoana, 1% ea likopo e ka nka metsotsoana e 5. Haeba basebelisi ba itšetlehile ka lits'ebeletso tse joalo tsa marang-rang tse ngata, karolo ea 99 ea karolo e le 'ngoe e ka morao e ka fetoha nako ea karabelo e bohareng ea karolo e ka pele.
Mokhoa o bonolo oa ho khetholla lipakeng tsa likopo tse liehang haholo le tse liehang haholo ke ho bokella litekanyo tsa likopo tse hlahisitsoeng ho lipalo-palo (sesebelisoa se setle sa ho bonts'a ke li-histograms) ho fapana le li-latency tsa nnete: ke likopo tse kae tseo tšebeletso e faneng ka tsona tse nkileng lipakeng tsa 0 ms. le 10 ms, pakeng tsa 10 ms le 30 ms, pakeng tsa 30 ms le 100 ms, pakeng tsa 100 ms le 300 ms, joalo-joalo Ho atolosa meeli ea histogram hoo e batlang e le exponentially (ka tekanyo e ka bang 3) hangata ke mokhoa o bonolo oa ho bona kabo. tsa likopo.
Ho khetha boemo bo nepahetseng ba lintlha bakeng sa litekanyo
Lintlha tse fapaneng tsa sistimi li tlameha ho lekanyetsoa maemong a fapaneng a lintlha. Ka mohlala:
- Ho beha leihlo tšebeliso ea CPU ka nako e telele ho ke ke ha bontša li-spikes tsa nako e telele tse lebisang ho latency e phahameng.
- Ka lehlakoreng le leng, bakeng sa ts'ebeletso ea marang-rang e sa shebaneng le lihora tse fetang 9 tsa nako ea ho theoha ka selemo (99,9% ea selemo le selemo), ho hlahloba karabo ea HTTP 200 ho feta hanngoe kapa habeli ka motsotso ho ka etsahala khafetsa ho sa hlokahale.
- Ka mokhoa o ts'oanang, ho hlahloba sebaka sa hard drive bakeng sa ho fumaneha ha 99,9% ho feta hanngoe metsotso e meng le e meng ea 1-2 mohlomong ha ho hlokahale.
Hlokomela ka moo o hlophisang granularity ea litekanyo tsa hau. Ho bokella CPU hanngoe motsotsoana ho ka fana ka lintlha tse khahlisang, empa litekanyo tse joalo khafetsa li ka bitsa chelete e ngata haholo ho li bokella, ho li boloka le ho li sekaseka. Haeba sepheo sa hau sa ho beha leihlo se hloka granularity e phahameng 'me e sa hloke karabelo e phahameng, o ka fokotsa litšenyehelo tsena ka ho theha pokello ea metrics ho seva ebe o theha sistimi ea kantle ho bokella le ho kopanya metrics. A na u ka:
- Lekanya mojaro oa CPU motsotsoana o mong le o mong.
- Fokotsa lintlha ho isa ho 5%.
- Aggregate metrics motsotso o mong le o mong.
Leano lena le tla u lumella ho bokella lintlha ka granularity e phahameng ntle le ho etsa tlhahlobo e phahameng le ho boloka holimo.
E bonolo ka hohle kamoo ho ka khonehang, empa eseng ho feta
Ho koaheloa ha litlhoko tse fapaneng ka holim'a tse ling ho ka fella ka mokhoa o rarahaneng haholo oa ho beha leihlo. Mohlala, sistimi ea hau e kanna ea ba le lintlha tse latelang tse thatafatsang:
- Litlhokomeliso ho latela litemoso tse fapaneng bakeng sa latency ea kopo, ka lipersente tse fapaneng, bakeng sa mefuta eohle ea matšoao a fapaneng.
- Ho ngola khoutu e eketsehileng ho fumana le ho tseba lisosa tse ka bang teng.
- Theha li-dashboards tse amanang bakeng sa sesosa se seng le se seng sa mathata.
Mehloli ea mathata a ka bang teng ha e fele. Joalo ka lits'ebetso tsohle tsa software, ho beha leihlo ho ka ba thata haholo hoo ho ka bang thata ho fetola le ho hlokomela.
Ka hona, rala sistimi ea hau ea ho beha leihlo ho e nolofatsa ka hohle kamoo ho ka khonehang. Ha u khetha seo u lokelang ho se latela, hopola tse latelang:
- Melao eo hangata e tšoarang liketsahalo tsa 'nete e lokela ho ba bonolo, e lebeletsoe esale pele ebile e ka tšeptjoa ka hohle kamoo ho ka khonehang.
- Litlhophiso tsa pokello ea lintlha, ho kopanya, le tlhokomeliso tse sa etsoeng khafetsa (mohlala, ka tlase ho kotara bakeng sa lihlopha tse ling tsa SRE) li lokela ho tlosoa.
- Metrics e bokelletsoeng empa e sa hlahisoa deshebotong efe kapa efe ea ponelopele kapa e sebelisoang ke tlhokomeliso efe kapa efe ke likarolo tsa ho hlakoloa.
Ho Google, pokello ea metrics ea mantlha le ho kopanya, ho kopantsoe le litemoso le li-dashboards, li sebetsa hantle joalo ka sistimi e batlang e ikemetse (Sistimi ea ho lekola ea Google e hlile e arotsoe ka litsamaiso tse 'maloa, empa batho ba tseba likarolo tsohle tsa lits'ebetso tsena). Ho ka 'na ha e-ba tekong ea ho kopanya ho beha leihlo le mekhoa e meng ea ho hlahloba mekhoa e rarahaneng: lintlha tse qaqileng tsa tsamaiso, ts'ebetso ea ho lokisa liphoso, ho latela lintlha tse mabapi le mekhelo kapa ho hlōleha, tlhahlobo ea mojaro, pokello ea li-log le tlhahlobo, kapa tlhahlobo ea sephethephethe. Le hoja boholo ba lintho tsena li na le lintho tse tloaelehileng tse nang le tlhokomelo ea motheo, ho li kopanya ho tla fella ka liphello tse ngata haholo le ho theha tsamaiso e rarahaneng le e fokolang. Joalo ka likarolo tse ling tse ngata tsa nts'etsopele ea software, ho ts'ehetsa lits'ebetso tse fapaneng tse nang le lintlha tse hlakileng, tse bonolo, tse kopantsoeng ka mokhoa o hlephileng ke leano le letle (mohlala, ho sebelisa web API ho fumana lintlha tse kopaneng ka mokhoa o ka lulang o tsitsitse nako e telele. ).
Ho Kopanya Melao-motheo Hammoho
Melao-motheo e tšohliloeng khaolong ena e ka kopanngoa hore e be filosofi ea ho beha leihlo le ea tlhokomeliso e amohelehang le ho lateloa ke lihlopha tsa Google SRE. Ho latela filosofi ena ea ho beha leihlo ke ntho e lakatsehang, ke qaleho e ntle ea ho theha kapa ho nchafatsa mokhoa oa hau oa tlhokomeliso, 'me ho ka u thusa ho botsa lipotso tse nepahetseng mabapi le ts'ebetso ea ts'ebetso ea hau, ho sa tsotelehe boholo ba mokhatlo oa hau kapa ho rarahana ha ts'ebeletso kapa sistimi.
Ha u theha melao ea ho beha leihlo le tlhokomeliso, ho botsa lipotso tse latelang ho ka u thusa ho qoba maikutlo a fosahetseng le litemoso tse sa hlokahaleng:
- Na molao ona o lemoha boemo bo sa bonahaleng ba sistimi bo potlakileng, bo ipiletsang ho nka khato, mme bo ama mosebelisi ka mokhoa o ke keng oa qojoa?
- A na nka iphapanyetsa temoso ee ke tseba hore e kotsi? Ke neng hona hobaneng nka iphapanyetsa temoso ee le hore nka qoba boemo bona joang?
- Na tlhokomeliso ee e bolela hore basebelisi ba ameha hampe? Na ho na le maemo ao basebelisi ba sa ameheng hampe, joalo ka ho sefa sephethephethe kapa ha ho sebelisoa litsamaiso tsa liteko tseo litemoso li lokelang ho sefuoa?
- A na nka nka khato ho latela tlhokomeliso ee? Na mehato ee e potlakile kapa e ka ema ho fihlela hoseng? Na ketso e ka etsoa ka mokhoa o sireletsehileng? Na ketso ee e tla ba tharollo ea nako e telele kapa tharollo ea nakoana?
- Batho ba bang ba fumana litemoso tse ngata mabapi le taba ee, joale na ho na le mokhoa oa ho fokotsa palo ea litlhokomeliso?
Lipotso tsena li bonts'a filosofi ea mantlha mabapi le litemoso le lits'ebetso tsa temoso:
- Nako le nako ha tlhokomeliso e kena, ke tlameha ho nka khato hang-hang. Ke khona ho itšoara ka potlako ka makhetlo a 'maloa ka letsatsi pele ke khathala.
- Tlhokomeliso e 'ngoe le e 'ngoe e tlameha ho ba ea bohlokoa.
- Karabelo e 'ngoe le e' ngoe ho tlhokomeliso e tlameha ho hloka ho kenella ha motho. Haeba tsebiso e ka sebetsoa ka bo eona, ha ea lokela ho fihla.
- Litlhokomeliso li lokela ho ba ka bothata bo bocha kapa ketsahalo e neng e le sieo pele.
Mokhoa ona o fifatsa liphapang tse itseng: haeba tlhokomeliso e khotsofatsa maemo a mane a fetileng, ha ho na taba hore na temoso e rometsoe ho tsoa ho White-box kapa Black-Box monitoring system. Mokhoa ona o boetse o tiisa liphapang tse itseng: ho molemo ho sebelisa boiteko bo bongata ho khetholla matšoao ho feta lisosa; ha ho tluoa tabeng ea lisosa, u hloka feela ho tšoenyeha ka lisosa tse ke keng tsa qojoa.
Tlhokomelo ea nako e telele
Libakeng tsa kajeno tsa tlhahiso, litsamaiso tsa ho beha leihlo li beha leihlo sistimi ea tlhahiso e lulang e fetoha e nang le meralo ea software e fetohang, litšobotsi tsa mosebetsi le lipehelo tsa ts'ebetso. Litlhokomeliso tseo hajoale ho leng thata ho li iketsetsa li ka 'na tsa tloaeleha, mohlomong le ho lokisoa. Mothating ona, motho o tlameha ho fumana le ho felisa lisosa tsa bothata; haeba tharollo e joalo e sa khonehe, karabelo ho tlhokomeliso e hloka boiketsetso bo felletseng.
Ke habohlokoa hore liqeto tsa ho beha leihlo li etsoe ho nahanoa ka lipakane tsa nako e telele. Tlhokomeliso e 'ngoe le e' ngoe e sebetsang kajeno e sitisa motho ho ntlafatsa tsamaiso hosasane, kahoo hangata ho na le phokotso ea ho fumaneha kapa ts'ebetso ea tsamaiso ea tlhahiso bakeng sa nako e hlokahalang ho ntlafatsa tsamaiso ea ho shebella nako e telele. A re shebeng mehlala e ’meli ho bontša ketsahalo ena.
Bigtable SRE: Tale of Over-Alert
Lisebelisoa tsa ka hare tsa Google hangata li fanoa le ho lekanyetsoa ho latela boemo ba litšebeletso (SLO). Lilemong tse ngata tse fetileng, tšebeletso ea Bigtable SLO e ne e ipapisitse le ts'ebetso e tloaelehileng ea transaction ea maiketsetso e etsisang moreki ea phelang. Ka lebaka la mathata a Bigtable le maemo a tlase a pokello ea polokelo, ts'ebetso e tloaelehileng e tsamaisitsoe ke mohatla o "moholo": 5% e mpe ka ho fetesisa ea lipotso hangata e ne e tsamaea butle ho feta tse ling kaofela.
Litsebiso tsa lengolo-tsoibila li ile tsa romeloa ha moeli oa SLO o ntse o atameloa, 'me litlhokomeliso tsa manqosa li rometsoe ha SLO e fetisitsoe. Litlhokomeliso tsa mefuta e 'meli li ne li romeloa hangata, li ja nako e sa amoheleheng ea boenjiniere: sehlopha se ile sa qeta nako e ngata se hlophisa litlhokomeliso ho fumana tse 'maloa tse hlileng li leng bohlokoa. Hangata re ne re hloloheloa taba e hlileng e amang basebelisi hobane ke tse ling feela tsa litemoso tse neng li le mabapi le taba eo e khethehileng. Litlhokomeliso tse ngata li ne li sa potlaka ka lebaka la mathata a utloahalang ho lisebelisoa tsa motheo 'me li ne li sebetsoa ka mokhoa o tloaelehileng, kapa ha lia ka tsa sebetsoa ho hang.
Ho lokisa boemo bona, sehlopha se ile sa nka mekhoa e meraro: Ha re ntse re sebetsa ka thata ho ntlafatsa ts'ebetso ea Bigtable, re ile ra beha sepheo sa rona sa SLO ka nakoana hore e be karolo ea 75 ea ho lieha ha likarabo tsa lipotso. Hape re ile ra tima litemoso tsa lengolo-tsoibila hobane li ne li le ngata hoo ho neng ho sa khonehe ho qeta nako re li hlahloba.
Leano lena le ile la re fa sebaka sa ho hema ho qala ho lokisa litaba tsa nako e telele ho Bigtable le maemo a tlase a pokello ea polokelo, ho fapana le ho lula re lokisa mathata a mahlale. Baenjiniere ba ne ba ka etsa hore mosebetsi o etsoe ntle le ho hlaseloa ke litemoso ka linako tsohle. Qetellong, ho chechisa tlhokomeliso ka nakoana ho re lumelletse ho ntlafatsa boleng ba litšebeletso tsa rona.
Gmail: Likarabo tse ka Lebelloang, Algorithmic Batho
Ha e qala, Gmail e ne e hahiloe holim'a sistimi e fetotsoeng ea tsamaiso ea Workqueue e neng e etselitsoe ho kopanya likarolo tsa index ea lipatlisiso. Lenaneo la mosebetsi le ile la ikamahanya le mekhoa ea nako e telele 'me hamorao la sebelisoa ho Gmail, empa likokoana-hloko tse ling tsa khoutu ea opaque scheduler li ile tsa ipaka li le thata haholo ho li lokisa.
Ka nako eo, tlhahlobo ea Gmail e ne e hlophisitsoe e le hore litemoso li tle li hlahisoe ha mesebetsi ea motho ka mong e hlakotsoe ho sebelisoa Workqueue. Mokhoa ona o ne o sa tšoanelehe, hobane le ka nako eo, Gmail e ne e etsa mesebetsi e likete-kete, e 'ngoe le e 'ngoe ea eona e ne e fuoa karolo ea karolo ea liperesente tsa basebelisi ba rona. Re ne re tšoenyehile haholo ka ho fa basebelisi ba Gmail boiphihlelo bo botle ba mosebelisi, empa ho sebetsana le litemoso tse ngata ho ne ho sa khonehe.
Ho rarolla bothata bona, Gmail SRE e thehile sesebelisoa sa ho thusa ho lokisa kemiso ka hohle kamoo ho ka khonehang ho fokotsa tšusumetso ho basebelisi. Sehlopha se ne se e-na le lipuisano tse mabapi le ho iketsetsa potoloho eohle ho tloha ho sibolloa ha bothata ka ho lokisa ho fihlela ho fumanoa tharollo ea nako e telele, empa ba bang ba ne ba amehile ka hore tharollo e joalo e tla lieha ho lokisa bothata.
Khohlano ena e ne e tloaelehile sehlopheng ’me hangata e ne e bontša ho hloka tšepo ho itaea: ha litho tse ling tsa sehlopha li batla ho lumella nako bakeng sa tokiso e nepahetseng, ba bang ba tšoenyehile ka hore tokiso ea ho qetela e tla lebaloa ’me tokiso ea nakoana e tla nka ka ho sa feleng. Taba ena e tšoanela ho eloa hloko hobane ho bonolo haholo ho lokisa mathata ka nakoana ho e-na le ho etsa hore boemo bo be teng ka ho sa feleng. Baokameli le basebeletsi ba theknoloji ba phetha karolo ea bohlokoa ho kenya ts'ebetsong litokiso tsa nako e telele, ho tšehetsa le ho etelletsa pele litokiso tse ka bang teng ka nako e telele esita le ka mor'a hore "bohloko" ba pele bo kokobele.
Litlhokomeliso tse tloaelehileng, tse pheta-phetoang le likarabo tsa algorithm e lokela ho ba folakha e khubelu. Ho tsilatsila ha sehlopha sa hau ho iketsetsa litlhokomeliso tsena ho bolela hore sehlopha ha se na tšepo ea hore se ka tšepa li-algorithms. Bona ke bothata bo tebileng bo lokelang ho rarolloa.
Nako e telele
Sehlooho se tloaelehileng se hokahanya mehlala ea Bigtable le Gmail: tlholisano lipakeng tsa ho fumaneha ha nako e khuts'oane le nako e telele. Hangata, boiteko bo matla bo ka thusa tsamaiso e senyehileng hore e fihlelle boteng bo phahameng, empa tsela ena hangata ke ea nakoana, e tletse ho khathala ha sehlopha le ho itšetleha ka palo e nyenyane ea litho tsa sehlopha seo sa bahale.
Phokotso e laoloang, ea nako e khuts'oane ea ho fumaneha hangata e bohloko, empa e le ea bohlokoa bakeng sa botsitso ba nako e telele ea tsamaiso. Ke habohlokoa hore u se ke ua sheba tlhokomeliso e 'ngoe le e' ngoe ka thōko, empa ho nahana hore na boemo bo akaretsang ba molumo oa tlhokomeliso bo lebisa tsamaisong e phetseng hantle, e fumanehang ka mokhoa o nepahetseng e nang le sehlopha se sebetsang le ho ba le tšoaetso e ntle. Re sekaseka lipalo-palo tsa tlhokomeliso (tseo hangata li hlahisoang e le liketsahalo ka linako tse ling, moo ketsahalo e ka 'nang ea e-ba le liketsahalo tse ngata tse amanang) litlalehong tsa kotara tse eang ho batsamaisi, e leng se lumellang baetsi ba liqeto ho ba le pono e tsoelang pele ea ho laola tsamaiso ea tlhokomeliso le bophelo bo botle ba sehlopha.
fihlela qeto e
Tsela ea ho beha leihlo le tlhokomeliso e phetseng hantle e bonolo ebile e hlakile. E lebisa tlhokomelo matšoaong a bothata bo bakang litlhokomeliso, 'me ho beha leihlo sesosa ho sebetsa e le thuso ho rarolla mathata. Ho beha leihlo matšoao ho bonolo ha u le holimo ka har'a stack eo u e laolang, leha ho lekola mojaro le ts'ebetso ea database li lokela ho etsoa ka kotloloho ho database ka boeona. Litsebiso tsa lengolo-tsoibila li na le thuso e fokolang haholo 'me li atisa ho fetoha lerata habonolo; ho e-na le hoo, u lokela ho sebelisa dashboard e behang leihlo litaba tsohle tsa hajoale tse hlahisang litemoso tsa lengolo-tsoibila. Dashboard e ka boela ea kopanngoa le tlaleho ea liketsahalo ho hlahloba likamano tsa histori.
Ka nako e telele, hoa hlokahala ho finyella ho potoloha ka katleho ha litlhokomeliso mabapi le matšoao le mathata a sebele a haufi, ho fetola lipakane ho netefatsa hore ho beha leihlo ho tšehetsa tlhahlobo e potlakileng.
Kea leboha ha u balile phetolelo ho fihlela qetellong. Ingolise ho mocha oa ka oa thelekramo mabapi le ho beha leihlo и .
Source: www.habr.com