SRE (Site Reliability Engineering) o se auala e faʻamautinoa ai le maua o poloketi i luga ole laiga. O loʻo manatu o se faʻavae mo DevOps ma talanoa e uiga i le auala e ausia ai le manuia i le faʻaaogaina o faiga DevOps. Fa'aliliuga i lenei tusiga Mataupu 6 Mata'ituina Faiga Fa'asoa tusi Site Reliability Engineering mai Google. Sa ou sauniaina e aʻu lava ia lenei faaliliuga ma faalagolago i loʻu lava poto masani i le malamalama i faiga mataʻituina. I le ala telegram @monitorim_it и blog i luga ole Medium Sa ou lolomiina foi se sootaga i le faaliliuga o le Mataupu 4 o le tusi lava lea e tasi e uiga i sini tulaga o auaunaga.

Fa'aliliuga e pusi. Fiafia faitau!

O 'au a le SRE a Google e iai fa'avae fa'avae ma faiga sili mo le fa'atupuina o faiga mata'itu ma fa'ailoa manuia. O lenei mataupu o loʻo tuʻuina atu ai le taʻiala i faʻafitauli e ono feagai ma se tagata asiasi i luga o le upega tafaʻilagi ma auala e foia ai faʻafitauli e faigata ai ona faʻaalia itulau.

Faʻamatalaga

E leai se 'upu e tasi e fa'aogaina e fa'atalanoa ai mataupu e fa'atatau i le mata'ituina. E oo lava ile Google, o faaupuga o loʻo i lalo e le masani ona faʻaaogaina, ae o le a matou lisiina faʻamatalaga sili ona taatele.

Mataitu

Aoina, faʻagasologa, faʻapipiʻi ma faʻaalia o faʻamaumauga faʻatusatusa i le taimi moni e uiga i le faiga: numera o talosaga ma ituaiga o talosaga, numera o mea sese ma ituaiga o mea sese, talosaga taimi faʻagaioiga ma server uptime.

Mata'ituina le pusa pa'epa'e

Mata'ituina e fa'atatau i fua fa'atatau e fa'aalia e vaega fa'alotoifale, e aofia ai ogalaau, Java Virtual Machine profiling metrics, po'o le HTTP handler metrics e maua ai fa'amaumauga i totonu.

Mata'ituina le pusa uliuli

Fa'ata'ita'iina amioga fa'aoga mai le va'aiga a le tagata fa'aoga.

Laupapa laupapa

O se atina'e (e masani lava i luga ole laiga) e maua ai se aotelega o fa'ailoga autu ole soifua maloloina o au'aunaga. O le dashboard e mafai ona i ai ni filiga, le mafai ona filifili faʻailoga o loʻo faʻaalia, ma isi. O le atinaʻe ua mamanuina e iloa ai faʻailoga e sili ona taua i tagata faʻaoga. E mafai foi e le dashboard ona faʻaalia faʻamatalaga mo le aufaigaluega lagolago faʻapitoa: o se laina o talosaga, se lisi o mea e sili ona faʻamuamua, ma se inisinia tofia mo se vaega o le matafaioi.

Lapata'i (fa'asilasilaga)

Fa'asilasilaga e fa'amoemoe e maua mai e se tagata e ala i imeli po'o isi auala, e ono fa'aosoina i mea sese po'o le fa'ateleina o le fa'asologa o talosaga. O fa'amatalaga e fa'avasegaina e pei o: tiketi, fa'ailoga imeli ma fe'au avefe'au vave.

A'a mafuaaga

O se fa'aletonu polokalame po'o se mea sese a tagata, pe a fa'asa'o, e le tatau ona toe tupu. O le fa'afitauli atonu e tele mafua'aga autu: le lava le fa'agasologa o masini, fa'aletonu polokalame, le lava fa'amalamalamaga o le fa'atatauga o talosaga. O nei mea uma e mafai ona avea ma mafuaʻaga, ma e tatau ona faʻaumatia.

Node ma masini (node ​​ma masini)

Fa'afesuia'i upu e fa'asino i se fa'ata'ita'iga e tasi o se talosaga fa'agasolo i luga o se fa'aumau fa'aletino, masini masini, po'o se atigipusa. E tasi le masini e mafai ona faʻafeiloaʻi le tele o auaunaga. Au'aunaga e mafai ona:

• feso'ota'i le tasi i le isi: mo se fa'ata'ita'iga, se fa'aoga fa'aoga ma se upegatafa'ilagi;
• 'au'aunaga e le feso'ota'i i luga o se mea e tasi o meafaigaluega: mo se fa'ata'ita'iga, se fa'ailoga fa'ailoga ma se fa'ata'ita'i mo se faiga fa'atulagaina, e pei o le Papeti poʻo ulu.

tūlei

So'o se suiga ile fa'atulagaina o polokalame.

Aisea e manaomia ai le mataituina

E tele mafua'aga e mana'omia ai le mata'ituina o talosaga:

Iloiloga o aga i taimi uumi

O le a le tele o le database ma o le a le saoasaoa o lona tuputupu aʻe? E fa'afefea ona suia le numera o tagata fa'aoga i aso ta'itasi?

Fa'atusatusaga fa'atinoga

O talosaga vave ile Acme Bucket of Bytes 2.72 faʻatusatusa ile Ajax DB 3.14? O le a le sili atu ona lelei o talosaga e teu pe a uma ona aliali mai se node faaopoopo? O fa'agasolo lemu le saite pe a fa'atusatusa i le vaiaso talu ai?

Fa'ailoa (fa'asilasilaga)

E iai se mea ua gau ma e manaʻomia e se tasi ona toe faaleleia. Pe o le a vave ona malepe se mea ma e manaʻomia e se tasi ona siaki vave.

Fausia dashboards

E tatau i Dashboard ona tali fesili masani ma aofia ai se mea mai "4 faailo auro" — tuai (latency), feoaiga (taavale), mea sese (sese) ma le tele o uta (saturation).

Fa'atino su'esu'ega i tua (debugging)

Ua fa'atupula'ia le tuai o le faagasologa o talosaga, ae o le a se isi mea na tupu i le taimi lava e tasi?
O faiga mata'ituina e aoga e avea o se puna o fa'amaumauga mo faiga fa'apitoa tau pisinisi ma fa'afaigofie ai le su'esu'eina o fa'alavelave tau puipuiga. Talu ai ona o lenei tusi e taulaʻi i vaega faʻainisinia o loʻo i ai le poto masani a le SRE, matou te le talanoaina auala mataʻituina iinei.

O le mata'ituina ma fa'ailo e mafai ai e le faiga ona ta'u atu ia te oe pe a malepe pe toeitiiti malepe. Afai e le mafai e se faiga otometi ona toe faaleleia o ia lava, tatou te mananao i se tagata e iloilo le mataala, fuafua pe o malosi pea le faafitauli, foia, ma fuafua le mafuaaga autu. Afai e te le su'eina vaega o faiga, e te le maua lava se mataala ona "e foliga mai e ese teisi."

O le fa'amafatia o se tagata i fa'amatalaga o se fa'aoga taugata tele o le taimi a le tagata faigaluega. Afai o loʻo faigaluega le tagata faigaluega, o le mataala e faʻalavelaveina le faagasologa o galuega. Afai o loʻo i le fale le tagata faigaluega, o le mataala e faʻalavelaveina le taimi patino ma atonu o le moe. Pe a tupu soo fa'aaliga, e fa'ata'ita'i e tagata faigaluega, tu'u ese, pe le amana'ia fa'aaliga o lo'o sau. Mai lea taimi i lea taimi latou te le amanaiaina le mataala moni, lea o loʻo ufiufi i mea pisa. O fa'alavelave tau auaunaga e mafai ona umi se taimi ona o mea pisa e taofia ai le fa'afitauli mai le vave iloa ma fa'asa'o. O faiga lapata'iga lelei o lo'o i ai se fua fa'atatau lelei o fa'ailo i le pisa.

Fa'atulagaina o fa'amoemoega talafeagai mo le faiga o le mata'ituina

O le fa'atulagaina o le mata'ituina mo se fa'aoga lavelave ose galuega fa'ainisinia lavelave lava ia. E tusa lava pe i ai le tele o atinaʻe o le aoina, faʻaalia, ma le mataala, o le Google SRE au o le 10-12 sui e masani ona aofia ai se tasi pe lua tagata o latou faʻamoemoega autu o le fausiaina ma le tausia o faiga mataʻituina. O lenei numera ua fa'aitiitia i le aluga o taimi a'o matou tu'ufa'atasia ma fa'atotonugalemu atina'e mata'ituina, ae o vaega ta'itasi a le SRE e masani lava ona i ai le itiiti ifo ma le to'atasi le tagata na'o le mata'ituina. E tatau ona matou fai atu e ui o le mataʻituina o faʻasalalauga faʻapipiʻi e manaia tele e vaʻai i ai, o vaega a le SRE e aloese ma le faʻaeteete tulaga e manaʻomia ai se tasi e tilotilo i se lau e mataʻituina faʻafitauli.

Aotelega, Google ua si'i atu i faiga mata'ituina faigofie ma vave fa'atasi ai ma mea faigaluega su'esu'e sili ona lelei pe a mae'a le mea moni. Matou te aloese mai faiga "magic" e taumafai e vaʻai faʻailoga pe otometi ona iloa le mafuaʻaga. O masini e iloa ai mea e le'i mafaufauina i talosaga a tagata fa'au'u e na'o le pau lea o fa'ata'ita'iga; O le a lava le umi e tumau ai le faigofie o nei masini, e mafai ona vave iloa mafuaʻaga o faʻalavelave matuia. O isi fa'atulagaga mo le fa'aogaina o fa'amatalaga mata'ituina, e pei o le gafatia o fuafuaga po'o le va'aiga o felauaiga, e sili atu ona lavelave. O le mata'ituina i se vaitaimi umi lava (masina po'o tausaga) i se fa'ata'ita'iga maualalo (itula po'o aso) o le a fa'aalia ai se fa'asologa umi.

O le vaega a le Google SRE na manuia fa'atasi ma fa'atonuga fa'alagolago lavelave. E seasea matou faʻaaogaina tulafono e pei o le "afai ou te iloa e telegese le database, ou te maua se mataala o le database e telegese, a leai ou te maua se mataala e telegese le saite." O tulafono fa'alagolago e masani lava ona fa'asino i vaega e le masuia o la tatou polokalama, e pei o le faiga mo le fa'amamaina o felauaiga a tagata i le nofoaga autu o fa'amaumauga. Mo se faʻataʻitaʻiga, "afai o loʻo faʻatulagaina le faʻaogaina o fefaʻatauaiga i le nofoaga autu o faʻamatalaga, aua le faʻailoa mai ia te aʻu e uiga i le tuai i le faʻaogaina o talosaga a tagata faʻaoga" o se tasi o tulafono lautele mo faʻasalalauga mai le nofoaga autu o faʻamatalaga. E to'aitiiti 'au i Google e lagolagoina fa'atonuga fa'alagolago fa'alagolago ona o a tatou atina'e e fa'aauau pea le toe fa'aleleia.

O nisi o manatu o loʻo faʻamatalaina i lenei mataupu o loʻo talafeagai pea: o loʻo i ai pea le avanoa e faʻavavevave ai mai faʻamaʻi i aʻa, aemaise lava i suiga faifaipea. O le mea lea, e ui o lenei mataupu o loʻo faʻamatalaina ai nisi o sini mo le mataʻituina o faiga ma auala e ausia ai na sini, e taua tele le mataʻituina o faiga e faigofie ma malamalama i tagata uma o le au.

E fa'apena fo'i, ina ia fa'amaualalo le pisa ma maualuga fa'ailo, o auala e mata'ituina ai aseta fa'ailoa e tatau ona matua faigofie ma fa'atuatuaina. O tulafono e maua ai lapataiga mo tagata e tatau ona faigofie ona malamalama ma faʻaalia se faʻafitauli manino.

Fa'ailoga ma mafua'aga

E tatau ona taliina e lau masini mataʻituina fesili e lua: "o le a le mea na gau" ma le "aisea na malepe ai."
"O le a le mea na gau" e talanoa e uiga i le faailoga, ma le "aisea na gau" e talanoa e uiga i le mafuaaga. O le laulau o loʻo i lalo o loʻo faʻaalia ai faʻataʻitaʻiga o ia fesoʻotaʻiga.

Fa'ailoga
Mafuaʻaga

Mauaina o le HTTP Error 500 poʻo le 404
Te'ena e 'au'aunaga fa'amaumauga feso'ota'iga

Tali lemu a le server
Fa'aoga maualuga le CPU po'o le uaea Ethernet ua faaleagaina

E le o mauaina e tagata fa'aoga i Antarctica ni pusi GIF
O lau CDN e 'ino'ino i saienitisi ma pusi, o lea na iu ai ina fa'auliuli nisi o tuatusi IP

O mea fa'apitoa ua maua mai so'o se mea
O le fa'asalalauina o se fa'asalalauga fou na fa'agalo ai le puipui afi ACL uma ma fa'ataga tagata uma i totonu

"O le a" ma le "aisea" o nisi o poloka faufale sili ona taua mo le fatuina o se faiga mataʻituina lelei ma le maualuga o le faailo ma le leo maualalo.

Pusa uliuli vs Pusa-pa'epa'e

Matou te tu'ufa'atasia le mata'ituina o le Pusa Pa'epa'e fa'atasi ma le mata'ituina lelei o le Pusa-uliuli mo fua fa'atatau. O le auala pito sili ona faigofie e faʻatusatusa ai le Pusa Uliuli i le Pusa Paʻepaʻe o le Pusa-uliuli e taulaʻi i faʻamaʻi ma e faʻaalia nai lo le mataʻituina lelei: "e le o saʻo le faiga o le taimi nei." Pa'epa'e-pusa e fa'alagolago i le fa'amaoniaga i totonu o le fa'aogaina o faiga: fa'amaumauga o mea na tutupu po'o le upega tafa'ilagi. O le mea lea, White-box e mafai ai ona e iloa faʻafitauli o loʻo oʻo mai, faʻaletonu e foliga mai o se toe faʻaliliuina o se talosaga, ma isi.

Manatua i totonu o le tele-layer system, o se faʻailoga i se tasi enisinia vaega o le matafaioi o se faʻailoga i le isi inisinia o le matafaioi. Mo se faʻataʻitaʻiga, ua faʻaititia le faʻatinoga o faʻamaumauga. Lemu faitau fa'amaumauga o se fa'ailoga o le SRE fa'amaumauga e iloa ai. Ae ui i lea, mo se SRE pito i luma o loʻo mataʻituina se upega tafaʻilagi tuai, o le mafuaʻaga o le faitau faʻamatalaga tuai lava e tasi o se faʻamaumauga tuai. O le mea lea, o le mataʻituina o le pusa paʻepaʻe o nisi taimi e taulaʻi atu i faʻailoga ma o nisi taimi e faʻamoemoeina, e faʻatatau i le lautele.

Pe a aoina le telemetry mo le debugging, White-pusa mataʻituina e manaʻomia. Afai e telegese le tali atu a le 'upega tafaʻilagi i fesili faʻamaumauga, e tatau ona e iloa le vave ona fesoʻotaʻi le upega tafaʻilagi ma le database ma le vave ona tali mai. A leai, o le a le mafai ona e va'ava'ai i le va o se fa'amaumauga tuai o fa'amaumauga ma se fa'afitauli feso'ota'iga i le va o le upega tafa'ilagi ma le fa'amaumauga.

O le mataʻituina o le pusa uliuli e iai se avanoa taua pe a tuʻuina atu faʻasalalauga: e te faʻaosoina le faʻamatalaga i le tagata e mauaina pe a oʻo mai le faʻafitauli i faʻamaoniga moni. I le isi itu, o le mataʻituina e le aoga mo se faʻafitauli Black-pusa e leʻi tulaʻi mai ae ua lata mai.

Fa faailo auro

O faʻailoga mataʻituina auro e fa o le latency, traffic, errors, ma le saturation. Afai e mafai ona e fuaina na'o le fa fa'aoga faiga fa'aoga, ia taula'i i na mea e fa.

Faatuai

Le taimi e mana'omia e fa'agasolo ai le talosaga. E taua le va'aiga i le va o le taofiofia o talosaga manuia ma talosaga le manuia. Mo se faʻataʻitaʻiga, o se HTTP 500 sese e mafua mai i le leiloa o le fesoʻotaʻiga i se faʻamaumauga poʻo isi pito i tua e mafai ona vave iloa, ae ui i lea, o le HTTP 500 sese e ono faʻaalia ai se talosaga le manuia. O le fuafuaina ole a'afiaga ole 500 mea sese ile fa'agasolo atoa e ono o'o atu ai ile fa'ai'uga sese. I le isi itu, o se mea sese tele e oʻo lava i se mea vave! O le mea lea, e taua tele le mata'ituina o mea sese nai lo le na'o le faamamaina o mea sese.

feōaʻiga

Ole numera ole talosaga ile lau masini e fuaina ile tulaga maualuga ole faiga. Mo se 'upega tafaʻilagi, o lenei fuataga e masani ona faʻatusalia le numera o talosaga HTTP i le sekone, vaevaeina i le natura o talosaga (mo se faʻataʻitaʻiga, mea faʻapitoa poʻo le malosi). Mo se masini fa'alogo leo, e mafai ona taula'i lenei fua ile saosaoa I/O feso'ota'iga po'o le numera o sauniga fa'atasi. Mo se faiga e teu ai mea taua, o lenei fua e mafai ona avea ma fefa'atauaiga po'o fa'ai'uga su'esu'e ile sekone.

Mea sese

O le fua faatatau lea o talosaga le manuia o loʻo manino (eg HTTP 500), faʻamaonia (eg HTTP 200 ae tuʻufaʻatasia ma mea e le aoga) poʻo faiga faʻavae (faʻataʻitaʻiga "Afai na e maua se tali i le tasi sekone, soʻo se tasi sekone o se mea sese"). Afai e le lava le HTTP tali code e faʻaalia ai tulaga faʻaletonu uma, tulaga lua (i totonu) atonu e manaʻomia e iloa ai se vaega le manuia. O le mata'ituina o ia talosaga uma e le mafai ona fa'ailoa mai, a'o fa'ata'ita'iga fa'ai'uga e fesoasoani e iloa ai o lo'o e fa'agasolo mea e le sa'o.

Tulaga

O le fua fa'atatau e fa'aalia ai le malosi o le fa'aogaina o lau 'au'aunaga. O se faiga mataʻituina faiga e iloagofie ai punaoa e sili ona faʻamalosia (mo se faʻataʻitaʻiga, i luga o se faiga faʻapipiʻi manatua, faʻaalia le manatua, i luga o le I / O-faʻatapulaʻaina faiga, faʻaalia le numera o I / Os). Manatua o le tele o faiga e faʻaleagaina ai le faʻatinoga aʻo leʻi oʻo i le 100% faʻaoga, o lea e taua ai le i ai o se faʻaoga faʻaoga.

I faiga lavelave, e mafai ona fa'aopoopoina le saturation i fua fa'atatau o uta maualuga: e mafai e lau 'au'aunaga ona fa'atautaia lelei fe'avea'i fa'alua, taulima na'o le 10% sili atu fefa'ataua'iga, po'o le fa'aitiitiga o feoaiga nai lo le taimi nei? Mo 'au'aunaga faigofie e leai ni fa'amaufa'ailoga e suia ai le lavelave o le talosaga (mo se fa'ata'ita'iga, "Tuu mai ia te a'u se mea" po'o le "Ou te mana'omia se numera tasi monotonik fa'apitoa"), e seasea suia le fa'atulagaga, e ono lava le tau o le su'ega o uta. Ae ui i lea, e pei ona talanoaina i le parakalafa muamua, o le tele o auʻaunaga e tatau ona faʻaogaina faʻailoga faʻapitoa e pei o le faʻaogaina o le CPU poʻo le bandwidth network, lea e iloa ai le pito i luga. O le fa'atuputeleina o le taofiofia e masani lava o se fa'ailoga ta'imua o le saturation. O le fuaina o le 99th percentile tali taimi i totonu o se tamai faamalama (faʻataʻitaʻiga, tasi le minute) e mafai ona maua ai se faailo vave o le saturation.

Ma le mea mulimuli, o le saturation e fesoʻotaʻi foʻi ma faʻamatalaga e uiga i le saturation o loʻo lumanaʻi, mo se faʻataʻitaʻiga: "E foliga mai o lau database o le a faʻatumu lau kesi malo i le 4 itula."

Afai e te fuaina faʻailoga auro uma e fa ma pe a iai se faʻafitauli i se tasi o metrics (poʻo, i le tulaga o le saturation, o se faʻafitauli lata mai), e te faʻailoaina se tagata, o lau 'auʻaunaga o le a sili atu pe itiiti ifo le ufiufi e le mataʻituina.

O popolega i le "si'usi'u" (po'o meafaifa'aili ma fa'atinoga)

Pe a fatuina se faiga mataʻituina mai le maoaʻe, o loʻo i ai se faʻaosoosoga e atiaʻe se faiga e faʻavae i luga o tau averesi: averesi latency, averesi CPU faʻaogaina o nodes, poʻo le averesi o faʻamaumauga tumu. O le mataʻutia o faʻataʻitaʻiga mulimuli e lua e manino lava: faʻapipiʻi ma faʻamaumauga o loʻo faʻaumatia i se auala e le mafaamatalaina. E faapena foi i le faatuai. Afai e te fa'atautaia se 'au'aunaga i luga ole laiga ma le averesi ole 100ms ma le 1000 talosaga ile sekone, ole 1% ole talosaga e ono alu ile 5 sekone. Afai e faʻalagolago tagata faʻaoga i le tele o ia 'auʻaunaga i luga o le initaneti, o le 99th pasene o le tasi pito i tua e mafai ona faigofie ona avea ma taimi tali a le pito i luma.

O le auala pito sili ona faigofie e vaʻavaʻai ai i le va o le tuai tele ma le telegese o le siʻusiʻu o talosaga o le aoina lea o fuataga o talosaga o loʻo faʻaalia i fuainumera (o se meafaigaluega lelei e faʻaalia o histograms) nai lo le faʻaogaina moni: e fia le tele o talosaga na tuʻuina atu le auaunaga na faia i le va o le 0 ms ma le 10 ms, i le va o le 10 ms ma le 30 ms, i le va o le 30 ms ma le 100 ms, i le va o le 100 ms ma le 300 ms, ma isi. o talosaga.

Filifilia le tulaga talafeagai o auiliiliga mo fua

O elemene eseese o le faiga e tatau ona fuaina i tulaga eseese o auiliiliga. Faataitaiga:

• O le mata'ituina o le fa'aogaina o le PPU i se vaitaimi o le a le fa'aalia ai ni fa'aputuga umi e o'o atu ai i tulaga maualuga.
• I le isi itu, mo se 'auʻaunaga i luga ole laiga e le sili atu i le 9 itula ole taimi faʻaletonu i le tausaga (99,9% taimi faʻaletausaga), siaki mo se HTTP 200 tali sili atu i le tasi pe faalua i le minute e foliga mai e le tatau ona fai soo.
• E fa'apea fo'i, siaki le avanoa mo le 99,9% avanoa sili atu i le tasi i le 1-2 minute e le mana'omia.

Fa'aeteete i le auala e te fa'atulagaina ai le fa'avasegaina o au fua. O le aoina o uta PPU tasi i le sekone e mafai ona maua ai faʻamatalaga mataʻina, ae o ia fua masani e mafai ona taugata tele e aoina, teuina, ma auʻiliʻili. Afai o lau sini mataʻituina e manaʻomia ai le maualuga tele ma e le manaʻomia se tali maualuga, e mafai ona e faʻaititia nei tau e ala i le faʻatulagaina o metrics collection i luga o le server ona faʻatulagaina lea o se faiga i fafo e aoina ma faʻapipiʻi na metrics. E mafai ona e:

1. Fua le uta CPU i sekone uma.
2. Fa'aitiitia fa'amatalaga ile 5%.
3. Fua fa'atasi i minute uma.

O lenei ta'iala o le a fa'atagaina oe e aoina fa'amaumauga i se tulaga maualuga e aunoa ma le fa'atupuina o su'esu'ega maualuga ma le teuina i luga.

I le faigofie e mafai, ae le faigofie

O le faʻapipiʻiina o manaʻoga eseese i luga o le tasi ma le isi e mafai ona iʻu ai i se faiga mataʻituina faigata tele. Mo se faʻataʻitaʻiga, atonu o loʻo i ai i lau masini elemene faʻalavelave nei:

• Fa'aliga e tusa ai ma fa'ailoga eseese mo le fa'agaioia o talosaga, i pasene eseese, mo ituaiga uma o fa'ailoga eseese.
• Tusia tulafono fa'aopoopo e su'esu'e ma iloa ai mafua'aga e ono tupu.
• Fausia dashboards feso'ota'i mo mafua'aga ta'itasi o fa'afitauli.

O fa'apogai o fa'alavelave fa'alavelave e le uma. E pei o polokalama faakomepiuta uma, o le mata'ituina e mafai ona faigata tele ma avea ma maaleale ma faigata ona suia ma tausia.

O lea la, fuafua lau faiga mata'ituina e faafaigofie ai i le tele e mafai ai. A filifilia mea e siaki, ia manatua mea nei:

• O tulafono e masani ona maua ai faʻalavelave moni e tatau ona faigofie, vaʻaia ma faʻatuatuaina pe a mafai.
• Fa'atonuga mo le aoina mai o fa'amaumauga, fa'aputu'ega, ma fa'ailoilo e fai fa'aseā (fa'ata'ita'iga, itiiti ifo i le ta'i kuata mo nisi 'au SRE) e tatau ona 'ave'esea.
• Fuafuaga e aoina ae e le o faʻaalia i soʻo se faʻaaliga lisi poʻo faʻaoga e soʻo se mataala o sui ia mo le tapeina.

I Google, o le aoina ma le tu'ufa'atasiga o fua fa'atatau, tu'ufa'atasia ma fa'aaliga ma dashboards, o lo'o galue lelei e pei o se faiga tuto'atasi (o le Google's mata'ituina faiga moni ua malepe i lalo i le tele o subsystems, ae e masani lava ona iloa e tagata vaega uma o nei subsystems). Atonu e fa'aosoosoina le tu'ufa'atasia o le mata'ituina ma isi metotia mo le su'esu'eina o faiga lavelave: fa'avasegaina o faiga fa'apitoa, fa'avasegaina o fa'agasologa, su'esu'eina fa'amatalaga e uiga i tuusaunoaga po'o fa'aletonu, su'ega uta, aoina o ogalaau ma au'ili'iliga, po'o su'esu'ega o ta'avale. E ui o le tele o nei mea e iai mea e masani ai ma le mataʻituina faʻavae, o le faʻafefiloi o ia mea o le a iʻu ai i le tele o taunuuga ma fatuina ai se faiga faʻalavelave ma maaleale. E pei o le tele o isi vaega o le atinaʻeina o masini komepiuta, o le lagolagoina o faiga eseese ma le manino, faigofie, faʻapipiʻi tuʻufaʻatasiga o le taʻiala sili lea (mo se faʻataʻitaʻiga, faʻaaogaina o le API i luga ole laiga e toe aumai ai faʻamaumauga tuʻufaʻatasia i se faatulagaga e mafai ona tumau tumau mo se taimi umi. ).

Nonoa Faatasi o Mataupu Faavae

O mataupu faavae o loʻo talanoaina i lenei mataupu e mafai ona tuʻufaʻatasia i se mataʻituina ma mataala filosofia e faʻamaonia ma mulimulitaia e Google SRE 'au. O le tausisia o lenei filosofia mataʻituina e manaʻomia, o se amataga lelei mo le fatuina poʻo le toe faʻaleleia o lau auala faʻalauiloa, ma e mafai ona fesoasoani ia te oe e fesiligia fesili saʻo o lau galuega faʻatino, tusa lava po o le a le tele o lau faʻalapotopotoga poʻo le lavelave o le auaunaga poʻo le faiga.

Pe a fatuina tulafono e mataʻituina ma mataala, o le faia o fesili nei e mafai ona fesoasoani ia te oe e aloese ai mai faʻamatalaga sese ma faʻasalalauga le manaʻomia:

• E iloa e lenei tulafono se tulaga e le mafai ona iloa o le faiga e faanatinati, valaau e faatino, ma e mautinoa e aafia ai le tagata faʻaoga?
• E mafai ona ou le amanaiaina lenei lapataiga i le iloaina e le aoga? O afea ma aisea e mafai ai ona ou le amanaiaina lenei lapataiga ma e mafai faapefea ona ou aloese mai lenei tulaga?
• O lona uiga o lenei fa'aaliga o lo'o a'afia tagata fa'aoga? E iai ni tulaga e le a'afia ai tagata fa'aoga, e pei o le fa'amamaina o ta'avale po'o le fa'aogaina o faiga fa'ata'ita'i e tatau ona fa'amama ai fa'aaliga?
• E mafai ona ou faia se gaioiga e tali atu ai i lenei mataala? O fa'anatinati nei faiga pe mafai ona fa'atali se'ia o'o i le taeao? E mafai ona fa'aautomate saogalemu se gaioiga? O le a avea lenei gaioiga ma fofo umi poʻo se fofo mo se taimi pupuu?
• O nisi tagata o loʻo maua le tele o faʻasalalauga mo lenei mataupu, o loʻo i ai se auala e faʻaitiitia ai le numera o faʻasalalauga?

O fesili nei e atagia mai ai le filosofia faavae i luga o lapataiga ma lapataiga:

• Soo se taimi lava e sau ai se mataala, e tatau ona ou vave tali atu. E mafai ona ou tali faanatinati i le tele o taimi i le aso ae ou te le'i vaivai.
• E tatau ona fetaui ma mataala taitasi.
• O tali uma i se mataala e tatau ona manaʻomia le faʻalavelave a tagata. Afai e mafai ona faʻagasolo otometi le faʻamatalaga, e le tatau ona taunuu.
• O fa'aliga e tatau ona fa'atatau i se fa'afitauli fou po'o se mea na tupu e le'i iai muamua.

O lenei faiga e faʻafefe ai nisi faʻailoga: afai o le mataala e faʻamalieina tulaga muamua e fa, e le afaina pe o le mataala e lafo mai i le White-box poʻo le Black-Box mataʻituina faiga. O lenei faiga e faʻamalosia ai foi nisi o eseesega: e sili atu le faʻaaluina o le tele o taumafaiga i le faʻamaonia o faʻamaoniga nai lo mafuaʻaga; pe a oʻo i mafuaʻaga, e tatau ona e popole i mafuaʻaga e le maalofia.

Mata'ituina umi

I si'osi'omaga fa'aola i aso nei, e mata'ituina faiga e mata'ituina ai le fa'agasologa o faiga gaosiga ma suiga o le fausaga fa'akomepiuta, uiga o galuega, ma fa'amoemoega o fa'atinoga. O fa'aliga o lo'o faigata ona fa'autometi i le taimi nei e ono avea ma mea masani, atonu e aoga fo'i ona fa'ailoa. I le taimi nei, e tatau i se tasi ona sailia ma faʻaumatia mafuaʻaga o le faʻafitauli; afai e le mafai ona maua lea fofo, o le tali atu i le mataala e manaʻomia ai le masini atoa.

E taua tele le mataituina o faaiuga e faia ma le mafaufau i sini umi. Soo se mataala o loʻo faʻagasolo i aso nei e faʻalavelaveina ai se tagata mai le faʻaleleia o le polokalama a taeao, o lea e masani ona i ai se faʻaitiitia o le avanoa poʻo le faʻatinoina o se faiga faʻaleleia mo le taimi e manaʻomia e faʻaleleia ai le faiga o le mataʻituina i se taimi umi. Seʻi o tatou vaavaai i ni faaaʻoaʻoga se lua e faaāta mai ai lea tulaga.

Bigtable SRE: Ose Tala o le Ova Mataala

E masani lava ona tu'uina atu ma fua fa'atatau ile tulaga o auaunaga (SLO) ole atina'e totonu ole Google. I le tele o tausaga talu ai, o le auaunaga a Bigtable SLO na faʻavae i luga o le averesi faʻatinoga o se fefaʻatauaʻiga faʻapipiʻi faʻataʻitaʻiina se tagata ola ola. Ona o fa'afitauli ile Bigtable ma la'asaga maualalo ole fa'aputuga o mea e teu ai, o le fa'atinoga na fa'atinoina e le si'usi'u "tele": o le sili ona leaga o le 5% o fesili e masani ona matua telegese nai lo isi.

Na auina atu fa'amatalaga imeli a'o latalata atu le SLO, ma fa'ailoa mai avefe'au pe a sili atu le SLO. O ituaiga fa'aaliga uma e lua na lafo soo, fa'aalu le tele o taimi fa'ainisinia: na fa'aalu e le 'au le tele o le taimi e fa'avasega ai fa'aliga e su'e ni nai mea e talafeagai. E masani ona matou misia se fa'afitauli na matua a'afia ai tagata fa'aoga ona e na'o nisi o fa'aaliga e mo lena fa'afitauli fa'apitoa. O le tele o faʻasalalauga e leʻi faʻanatinati ona o faʻafitauli malamalama i totonu o atinaʻe tetele ma sa faʻatautaia i se auala masani, pe leʻi faʻatinoina.

Ina ia foia le tulaga, sa faia e le 'au se auala e tolu-vaega: A o galulue malosi e faaleleia le faatinoga a Bigtable, na matou setiina mo sina taimi le matou sini SLO e avea ma 75th percentile mo le tali atu i fesili. Na matou tapeina foʻi faʻasalalauga imeli ona e tele naua na le mafai ona faʻaalu se taimi e suʻesuʻe ai.

O lenei taʻiala na faʻatagaina ai i matou le potu manava e amata faʻapipiʻi mataupu umi i Bigtable ma vaega pito i lalo o le faaputuga teu oloa, nai lo le faʻasaʻoina pea o mataupu faʻapitoa. E mafai moni lava e inisinia ona fai galuega e aunoa ma le fa'aolaina i fa'ailo i taimi uma. Mulimuli ane, o le tolopoina mo se taimi le tumau le faʻagaioiga mataala na mafai ai ona matou faʻaleleia le tulaga lelei o la matou auaunaga.

Gmail: Va'ai, Algorithmic Tali a Tagata

I lona amataga, na fausia ai le Gmail i luga o se faiga fa'atonutonuina o le fa'agasologa o le Workqueue lea na fa'atulagaina e fa'aputu ai vaega o fa'asologa o se fa'ailoga su'esu'e. Workqueue sa fetuutuunai i faiga ua leva ona faaaoga ma mulimuli ane faaaoga i Gmail, ae o nisi bug i le opaque scheduler code na matua faigata lava ona faaleleia.

I lena taimi, na faʻatulagaina le mataʻituina o Gmail ina ia faʻaalia faʻaaliga pe a faʻaleaogaina galuega taʻitasi e faʻaaoga ai le Workqueue. O lenei faiga e le lelei, aua e oo lava i lena taimi, na faia e Gmail le tele o afe o galuega, o ia mea uma na tuʻuina atu i se vaega o le pasene o matou tagata faʻaoga. Sa matou popole tele e uiga i le tuʻuina atu o tagata faʻaoga Gmail i se poto masani faʻaoga lelei, ae o le taulimaina o le tele o faʻasalalauga e le mafai ona maua.

Ina ia foia lenei mataupu, na faia e Gmail SRE se meafaigaluega e fesoasoani i le debug o le faasologa i le mea sili e mafai ai e faaitiitia ai le aafiaga i tagata faaaoga. Sa iai ni talanoaga a le vaega pe na o le fa'aautomatika atoa o le taamilosaga mai le mauaina o fa'afitauli e ala i le toe fa'aleleia seia maua se fofo umi, ae o nisi na popole o sea fofo o le a tuai ai ona foia moni le faafitauli.

O lenei vevesi sa taatele i totonu o le au ma e masani ona atagia mai ai le leai o se faʻalagolago i le amio pulea: e ui o nisi tagata o le 'au e manaʻo e faʻaavanoa se taimi mo le faʻasaʻo saʻo, o isi e popole o le a faʻagaloina le faʻatonuga mulimuli ma o le a faʻavavau le faʻaleleia le tumau. O lenei mataupu e tatau ona gauai atu i ai aua e faigofie tele ona foia mo sina taimi faʻafitauli nai lo le faʻamautu o le tulaga. O pule ma tagata faigaluega faʻapitoa latou te faia se sao taua i le faʻatinoina o faʻatonuga umi, lagolagoina ma faʻamuamua le faʻaleleia o taimi umi e tusa lava pe ua maeʻa le "tiga" muamua.

O fa'aliga masani, fa'aauau ma tali algorithmic e tatau ona avea ma fu'a mumu. O le mumusu o lau 'au e fa'autometi nei fa'aaliga o lona uiga e leai se talitonuga o le 'au e mafai ona latou fa'atuatuaina algorithms. Ose fa'afitauli tuga lea e mana'omia ona fo'ia.

Taimi umi

O se autu masani e fesoʻotaʻi ai le Bigtable ma Gmail faʻataʻitaʻiga: o le tauvaga i le va o avanoa pupuu ma taimi umi. E masani lava, o se taumafaiga malosi e mafai ona fesoasoani i se faiga maʻaleʻale e maua ai le avanoa maualuga, ae o lenei auala e masani ona puupuu, tumu i le mu o le au ma le faʻalagolago i se vaega toʻaitiiti o sui o lena lava au toa.

Puleaina, faʻaitiitia taimi pupuu o avanoa e masani ona tiga, ae taua tele mo le faʻamautuina o le faiga. E taua le aua le vaʻavaʻai i mataala taʻitasi, ae ia mafaufau pe o le tulaga lautele o le leo mataala e oʻo atu ai i se soifua maloloina, faʻaogaina lelei ma se 'au faʻaogaina ma se faʻataʻitaʻiga lelei. Matou te au'ili'ili fa'amaumauga o fa'amaufa'ailoga mataalia (e masani ona fa'aalia o fa'alavelave i le sifi, pe a fa'alavelave e ono aofia ai le tele o fa'alavelave fa'atatau) i lipoti ta'ikuata i le pulega, fa'ataga ai le au fai fa'ai'uga e iai se va'aiga faifaipea o le uta mataalia ma le soifua maloloina o le 'au.

iʻuga

O le ala i le mataituina lelei ma le mataala e faigofie ma manino. O loʻo taulaʻi atu i faʻamaoniga o le faʻafitauli e faʻaalia ai faʻasalalauga, ma le mataʻituina o le mafuaʻaga e avea o se fesoasoani i faʻafitauli faʻafitauli. E faigofie le mata'ituina o fa'ailoga pe a maualuga lou i ai i le faaputuga e te pulea, e ui o le mata'ituina o uta ma le fa'atinoga o le fa'amaumauga e tatau ona faia sa'o i luga o le fa'amaumauga lava ia. O fa'amatalaga imeli e fa'atapula'aina le aoga ma e faigofie ona pisa; nai lo lena, e tatau ona e faʻaogaina se dashboard e mataʻituina uma faʻafitauli o loʻo iai nei e faʻaoso ai faʻasalalauga imeli. E mafai fo'i ona tu'u fa'atasi le dashboard ma se fa'amaumauga o mea na tutupu e iloilo ai fa'atasiga fa'asolopito.

I le taimi umi, e tatau ona ausia se suiga manuia o mataala e uiga i faʻamaoniga ma faʻafitauli moni o loʻo lata mai, fetuutuunai sini e faʻamautinoa ai o le mataʻituina e lagolagoina vave suʻesuʻega.

Faafetai mo le faitauina o le faaliliuga seia oo i le faaiuga. Fa'asoa i la'u auala telegram e uiga i le mata'ituina @monitorim_it и blog i luga ole Medium.

puna: www.habr.com