Tha SRE (Innleadaireachd earbsachd Làraich) na dhòigh air dèanamh cinnteach gu bheil pròiseactan lìn rim faighinn. Tha e air a mheas mar fhrèam airson DevOps agus a’ bruidhinn air mar as urrainn dhut soirbheachadh ann a bhith a’ cleachdadh chleachdaidhean DevOps. Eadar-theangachadh san artaigil seo Caibideilean 6 A’ cumail sùil air Siostaman Sgaoilte leabhraichean Innleadaireachd earbsachd làraich bho Google. Dh’ullaich mi an eadar-theangachadh seo mi fhìn agus bha mi an urra ris an eòlas agam fhìn ann a bhith a’ tuigsinn pròiseasan sgrùdaidh. Anns an t-sianal teileagram @monitorim_it и blog air Meadhanach Dh'fhoillsich mi cuideachd ceangal gu eadar-theangachadh Caibideil 4 den aon leabhar mu amasan ìre seirbheis.

Eadar-theangachadh le cat. Faigh tlachd bho leughadh!

Tha prionnsapalan bunaiteach agus cleachdaidhean as fheàrr aig sgiobaidhean SRE Google airson siostaman sgrùdaidh agus fios soirbheachail a chruthachadh. Tha a’ chaibideil seo a’ toirt seachad stiùireadh air dè na duilgheadasan a dh’ fhaodadh a bhith aig neach-tadhail duilleag-lìn agus mar a gheibh iad fuasgladh air duilgheadasan a tha ga dhèanamh duilich duilleagan lìn a thaisbeanadh.

Mìneachaidhean

Chan eil briathrachas singilte air a chleachdadh airson cuspairean co-cheangailte ri sgrùdadh a dheasbad. Eadhon air Google, chan eil na teirmean gu h-ìosal air an cleachdadh gu cumanta, ach liostaichidh sinn na mìneachaidhean as cumanta.

Sgrùdadh

Cruinneachadh, giullachd, cruinneachadh agus taisbeanadh dàta cainneachdail mun t-siostam ann an àm fìor: an àireamh de dh’ iarrtasan agus seòrsa de dh’iarrtasan, àireamh mhearachdan agus seòrsa de mhearachdan, ùine giollachd iarrtasan agus àm ùrachadh an fhrithealaiche.

Sgrùdadh bogsa geal

Sgrùdadh stèidhichte air meatrach air an taisbeanadh le co-phàirtean siostam a-staigh, a’ toirt a-steach logaichean, metrics pròifil Java Virtual Machine, no meatrach làimhseachadh HTTP a ghineas staitistig a-staigh.

Sgrùdadh bogsa dubh

A’ dèanamh deuchainn air giùlan an tagraidh bho shealladh an neach-cleachdaidh.

Deas-bhòrd

Eadar-aghaidh (mar as trice lìon) a bheir sealladh farsaing air prìomh chomharran slàinte nan seirbheisean. Faodaidh sìoltachain a bhith aig an deas-bhòrd, an comas na comharran a tha air an sealltainn a thaghadh, msaa. Tha an eadar-aghaidh air a dhealbhadh gus na comharran as cudromaiche do luchd-cleachdaidh a chomharrachadh. Faodaidh an deas-bhòrd cuideachd fiosrachadh a thaisbeanadh airson luchd-obrach taic theicnigeach: ciudha iarrtasan, liosta de mhearachdan àrd-phrìomhachais, agus innleadair ainmichte airson raon sònraichte de dhleastanas.

Rabhadh (fios)

Brathan an dùil a bhith air fhaighinn le neach tro phost-d no dòighean eile, a dh’ fhaodadh a bhith air adhbhrachadh le mearachdan no àrdachadh ann an ciudha an iarrtais. Tha fiosan air an seòrsachadh mar: tiogaidean, rabhaidhean post-d agus teachdaireachdan teachdaire sa bhad.

Bun-adhbhar

uireasbhaidh bathar-bog no mearachd daonna nach bu chòir, nuair a thèid a cheartachadh, tachairt a-rithist. Faodaidh grunn phrìomh adhbharan a bhith aig an duilgheadas: fèin-ghluasad pròiseas gu leòr, locht bathar-bog, mion-sgrùdadh gu leòr air loidsig an tagraidh. Is dòcha gur e gach aon de na factaran sin am prìomh adhbhar, agus feumar cuir às do gach fear dhiubh.

Node agus inneal (nód agus inneal)

Teirmean eadar-ghluasadach airson iomradh a thoirt air aon eisimpleir de thagradh ruith air frithealaiche fiosaigeach, inneal mas-fhìor, no soitheach. Faodaidh aon inneal aoigheachd a thoirt do ghrunn sheirbheisean. Faodaidh seirbheisean a bhith:

• ceangailte ri chèile: for example, a caching server and a web server;
• seirbheisean neo-cheangailte air aon phìos bathar-cruaidh: mar eisimpleir, stòr còd agus draoidh airson siostam rèiteachaidh, leithid Pupaid no ceann.

Push

Atharrachadh sam bith ann an rèiteachadh bathar-bog.

Carson a tha feum air sgrùdadh?

Tha grunn adhbharan ann airson gum feumar sùil a chumail air tagraidhean:

Mion-sgrùdadh air gluasadan fad-ùine

Dè cho mòr sa tha an stòr-dàta agus dè cho luath sa tha e a’ fàs? Ciamar a tha an àireamh làitheil de luchd-cleachdaidh ag atharrachadh?

Coimeas coileanaidh

A bheil iarrtasan nas luaithe air Acme Bucket of Bytes 2.72 an coimeas ri Ajax DB 3.14? Dè cho math ‘s a tha iarrtasan air an tasgadh às deidh coltas nód a bharrachd? A bheil an làrach a’ ruith nas slaodaiche an taca ris an t-seachdain sa chaidh?

Rabhadh (fios)

Tha rudeigin briste agus feumaidh cuideigin a chàradh. No brisidh rudeigin a dh’ aithghearr agus feumaidh cuideigin sgrùdadh a dhèanamh air a dh’ aithghearr.

A 'cruthachadh clàran-amais

Bu chòir clàran-làimhe ceistean bunaiteach a fhreagairt agus rudeigin a thoirt a-steach "4 comharran òir" - dàil (latency), trafaic (trafaig), mearachdan (mearachdan) agus meud luchdan (sàthadh).

A’ dèanamh mion-sgrùdadh ath-shealladh (debugging)

Tha an dàil giollachd iarrtasan air a dhol suas, ach dè eile a thachair timcheall air an aon àm?
Tha siostaman sgrùdaidh feumail mar stòr dàta airson siostaman fiosrachaidh gnìomhachais agus gus mion-sgrùdadh air tachartasan tèarainteachd a dhèanamh comasach. Leis gu bheil an leabhar seo a’ cuimseachadh air raointean innleadaireachd anns a bheil eòlas aig SREn, cha bhruidhinn sinn mu dhòighean sgrùdaidh an seo.

Leigidh sgrùdadh agus rabhaidhean leis an t-siostam innse dhut cuin a tha e air briseadh sìos no gu bheil e gu bhith briste. Nuair nach urrainn do shiostam e fhèin a chàradh gu fèin-ghluasadach, tha sinn airson gum bi mac an duine a’ sgrùdadh an rabhaidh, a’ dearbhadh a bheil an duilgheadas fhathast gnìomhach, ga fhuasgladh, agus a’ dearbhadh a’ bhunait. Mura dèan thu sgrùdadh air co-phàirtean an t-siostaim, chan fhaigh thu rabhadh gu bràth dìreach air sgàth gu bheil “rudeigin a’ coimhead car neònach. ”

Tha a bhith a’ cur eallach air neach le fiosan na chleachdadh gu math daor air ùine neach-obrach. Ma tha an neach-obrach ag obair, bidh an rabhadh a 'cur bacadh air a' phròiseas obrach. Ma tha an neach-obrach aig an taigh, bidh an rabhadh a 'cur bacadh air ùine phearsanta agus' s dòcha cadal. Nuair a bhios rabhaidhean a’ tachairt ro thric, bidh luchd-obrach a’ leum troimhe, gan cuir dheth, no a’ leigeil seachad rabhaidhean a thig a-steach. Bho àm gu àm bidh iad a’ seachnadh an fhìor rabhadh, a tha air a chuartachadh le tachartasan fuaim. Faodaidh briseadh seirbheis mairsinn airson ùine mhòr oir tha tachartasan fuaim a’ cur casg air an duilgheadas a bhith air a dhearbhadh gu sgiobalta agus air a cheartachadh. Tha co-mheas comharra-gu-fuaim math aig siostaman rabhaidh èifeachdach.

A’ suidheachadh dhùilean reusanta airson an t-siostam sgrùdaidh

Tha stèidheachadh sgrùdadh airson tagradh iom-fhillte na obair innleadaireachd iom-fhillte ann fhèin. Eadhon le bun-structar cudromach de chruinneachadh, taisbeanaidh, agus innealan rabhaidh, mar as trice bidh sgioba SRE Google de 10-12 ball a’ toirt a-steach aon no dithis aig a bheil prìomh adhbhar siostaman sgrùdaidh a thogail agus a chumail suas. Tha an àireamh seo air a dhol sìos thar ùine agus sinn a’ daingneachadh agus a’ meadhanachadh a’ bhun-structair sgrùdaidh, ach mar as trice bidh co-dhiù aon neach aig gach sgioba SRE a tha coisrigte ri sgrùdadh a-mhàin. Feumaidh sinn a ràdh ged a tha e gu math inntinneach coimhead air clàran-dannsa an t-siostaim, bidh sgiobaidhean SRE gu faiceallach a’ seachnadh shuidheachaidhean a dh’ fheumas cuideigin coimhead air scrion gus sùil a chumail air duilgheadasan.

Gu h-iomlan, tha Google air gluasad gu siostaman sgrùdaidh sìmplidh agus luath leis na h-innealan sgrùdaidh as fheàrr às deidh an fhìrinn. Bidh sinn a’ seachnadh siostaman “draoidheachd” a bhios a’ feuchainn ri stairsnich ro-innse no a’ lorg adhbhar bunaiteach gu fèin-ghluasadach. Is e mothachairean a lorgas susbaint gun dùil ann an iarrtasan neach-cleachdaidh deireannach an aon fhrith-eisimpleir; Cho fad 's a tha na mothachairean sin fhathast sìmplidh, faodaidh iad adhbharan fìor neo-riaghailteachdan a lorg gu luath. Tha cruthan eile airson a bhith a’ cleachdadh dàta sgrùdaidh, leithid dealbhadh comais no ro-aithris trafaic, nas toinnte. Nochdaidh amharc thar ùine glè fhada (mìosan no bliadhnaichean) aig ìre samplachaidh ìosal (uairean no làithean) gluasad fad-ùine.

Tha soirbheachas measgaichte air a bhith aig sgioba Google SRE le rangachd eisimeileachd iom-fhillte. Is ann ainneamh a bhios sinn a’ cleachdadh riaghailtean mar “ma gheibh mi a-mach gu bheil an stòr-dàta slaodach, gheibh mi rabhadh gu bheil an stòr-dàta slaodach, air neo gheibh mi rabhadh gu bheil an làrach slaodach.” Mar as trice bidh riaghailtean stèidhichte air eisimeileachd a’ toirt iomradh air pàirtean so-ruigsinneach den t-siostam againn, leithid an siostam airson trafaic luchd-cleachdaidh a shìoladh chun ionad dàta. Mar eisimpleir, “ma tha sìoladh trafaic chun ionad dàta air a rèiteachadh, na cuir fios thugam mu dàil ann a bhith a’ làimhseachadh iarrtasan luchd-cleachdaidh ”Is e aon riaghailt choitcheann airson rabhaidhean bhon ionad dàta. Is e glè bheag de sgiobaidhean aig Google a tha a’ toirt taic do rangachd eisimeileachd iom-fhillte leis gu bheil ìre ath-nuadhachadh leantainneach aig a’ bhun-structar againn.

Tha cuid de na beachdan a tha air am mìneachadh sa chaibideil seo fhathast buntainneach: tha an-còmhnaidh cothrom ann gluasad nas luaithe bho symptom gu adhbhar bunaiteach, gu sònraichte ann an siostaman a tha ag atharrachadh gu cunbhalach. Mar sin, ged a tha a’ chaibideil seo a’ mìneachadh cuid de na h-amasan airson siostaman sgrùdaidh agus mar a choileanar na h-amasan sin, tha e cudromach gu bheil siostaman sgrùdaidh sìmplidh agus so-thuigsinn don h-uile duine san sgioba.

Mar an ceudna, gus ìrean fuaim a chumail ìosal agus ìrean chomharran àrd, feumaidh dòighean-obrach airson sùil a chumail air so-mhaoin rabhaidh a bhith gu math sìmplidh agus earbsach. Bu chòir riaghailtean a ghineadh rabhaidhean do dhaoine a bhith furasta an tuigsinn agus duilgheadas soilleir a nochdadh.

Comharraidhean an aghaidh adhbharan

Bu chòir don t-siostam sgrùdaidh agad dà cheist a fhreagairt: “dè bhris” agus “carson a bhris e.”
Tha “Dè bhris” a’ bruidhinn mun symptom, agus “carson a bhris e” a’ bruidhinn mun adhbhar. Tha an clàr gu h-ìosal a’ sealltainn eisimpleirean de cheanglaichean mar sin.

Comharra
Adhbhar

A’ faighinn Mearachd HTTP 500 no 404
Bidh frithealaichean stòr-dàta a’ diùltadh ceanglaichean

Freagairtean frithealaiche slaodach
Cleachdadh àrd CPU no càball Ethernet millte

Chan eil luchd-cleachdaidh san Antartaig a’ faighinn GIFs cat
Tha gràin aig an CDN agad air luchd-saidheans agus cait, agus mar sin thàinig cuid de sheòlaidhean IP gu bhith air an liosta dhubh

Tha susbaint prìobhaideach air a bhith ri fhaighinn bho gach àite
Thug sgaoileadh bathar-bog ùr air a’ bhalla-teine ​​​​dìochuimhneachadh a h-uile ACL agus leig leis a h-uile duine a dhol a-steach

Is e “Dè” agus “carson” cuid de na blocaichean togail as cudromaiche airson siostam sgrùdaidh math a chruthachadh leis a’ chomharra as àirde agus an ìre fuaim as lugha.

Bogsa dubh vs bogsa geal

Bidh sinn a’ cothlamadh sgrùdadh farsaing air bogsa geal le sgrùdadh bogsa-dubh beag airson meatrach èiginneach. Is e an dòigh as fhasa coimeas a dhèanamh eadar Black-box agus White-box gu bheil Black-box ag amas air comharran agus gu bheil e ath-ghnìomhach seach sgrùdadh for-ghnìomhach: “chan eil an siostam ag obair ceart an-dràsta.” Tha bogsa geal an urra ri comasan dearbhaidh taobh a-staigh shiostaman: logaichean tachartais no frithealaichean lìn. Mar sin, leigidh White-box leat duilgheadasan a tha ri thighinn a lorg, sgàinidhean a tha coltach ri ath-chraoladh iarrtas, msaa.

Thoir fa-near, ann an siostam ioma-fhilleadh, gu bheil symptom ann an raon dleastanais aon innleadair na symptom ann an raon dleastanais innleadair eile. Mar eisimpleir, tha coileanadh stòr-dàta air a dhol sìos. Tha leughadh stòr-dàta slaodach mar chomharra air an stòr-dàta SRE a lorgas iad. Ach, airson SRE aghaidh-aghaidh a’ coimhead air làrach-lìn slaodach, is e stòr-dàta slaodach adhbhar an aon stòr-dàta slaodach a chaidh a leughadh. Mar sin, bidh sgrùdadh bogsa geal uaireannan ag amas air comharran agus uaireannan ag amas air adhbharan, a rèir dè cho farsaing sa tha e.

Nuair a bhios tu a’ cruinneachadh telemetry airson debugging, tha feum air sgrùdadh bogsa geal. Ma tha luchd-frithealaidh lìn slaodach gus freagairt a thoirt do cheistean stòr-dàta, feumaidh fios a bhith agad dè cho luath sa bhios am frithealaiche lìn a’ conaltradh ris an stòr-dàta agus dè cho luath sa fhreagras e. Rud eile, chan urrainn dhut eadar-dhealachadh a dhèanamh eadar frithealaiche stòr-dàta slaodach agus duilgheadas lìonraidh eadar am frithealaiche lìn agus an stòr-dàta.

Tha prìomh bhuannachd aig sgrùdadh bogsa dubh nuair a chuireas tu rabhaidhean: bidh thu a’ toirt fios don neach a gheibh e nuair a tha an duilgheadas air leantainn gu fìor chomharran. Air an làimh eile, tha sgrùdadh gun fheum airson duilgheadas Bogsa Dubh nach eil air èirigh fhathast ach a tha ri thighinn.

Ceithir comharran òir

Is e na ceithir comharran sgrùdaidh òrail latency, trafaic, mearachdan agus sùghaidh. Mura h-urrainn dhut ach ceithir meatrach siostam luchd-cleachdaidh a thomhas, cuir fòcas air na ceithir sin.

Dàil

An ùine a dh'fheumar airson an t-iarrtas a làimhseachadh. Tha e cudromach eadar-dhealachadh a dhèanamh eadar latency iarrtasan soirbheachail agus neo-shoirbheachail. Mar eisimpleir, faodar mearachd HTTP 500 a dh’ adhbhraich call ceangail ri stòr-dàta no backend eile a dhearbhadh gu math luath, ge-tà, is dòcha gu bheil mearachd HTTP 500 a’ nochdadh iarrtas air fàiligeadh. Le bhith a’ dearbhadh buaidh mearachd 500 air latency iomlan dh’ fhaodadh sin leantainn gu co-dhùnaidhean mearachdach. Air an làimh eile, tha mearachd slaodach eadhon na mhearachd luath! Mar sin, tha e cudromach sùil a chumail air latency mhearachdan seach dìreach a bhith a’ sìoladh a-mach mhearachdan.

trafaig

Tha an àireamh de dh’ iarrtasan don t-siostam agad air a thomhas ann am meatrach siostam àrd-ìre. Airson seirbheis lìn, mar as trice tha an tomhas seo a’ riochdachadh an àireamh de dh’ iarrtasan HTTP gach diog, air a roinn le nàdar nan iarrtasan (mar eisimpleir, susbaint statach no fiùghantach). Airson siostam sruthadh claisneachd, faodaidh an tomhas seo fòcas a chuir air astar lìonra I / O no an àireamh de sheiseanan aig an aon àm. Airson siostam stòraidh prìomh luach, dh’ fhaodadh an tomhas seo a bhith mar ghnothaichean no toraidhean sgrùdaidh gach diog.

Errors

Is e seo an ìre de dh’ iarrtasan a dh’fhàillig a tha follaiseach (me HTTP 500), a tha so-thuigsinn (me HTTP 200 ach còmhla ri susbaint neo-dhligheach) no poileasaidh (me “Ma ghlac thu freagairt ann an aon diog, is e mearachd a th’ ann an diog). Mura h-eil còdan freagairt HTTP gu leòr airson a h-uile suidheachadh fàilligeadh a chuir an cèill, is dòcha gum bi feum air protocolaidhean àrd-sgoile (a-staigh) gus pàirt fàiligeadh a lorg. Is dòcha nach bi e fiosrachail a bhith a’ cumail sùil air a h-uile iarrtas a dh’ fhàillig, agus cuidichidh deuchainnean siostam deireadh-gu-deireadh le bhith a’ lorg gu bheil thu a’ giullachd susbaint ceàrr.

Sàthadh

Tha an meatrach a’ sealltainn cho dian sa tha an t-seirbheis agad air a chleachdadh. Is e seo tomhas sgrùdaidh siostam a tha a’ comharrachadh nan goireasan as motha a tha cuingealaichte (mar eisimpleir, air siostam le cuimhne, a’ sealltainn cuimhne, air siostam cuibhrichte I/O, a’ sealltainn an àireamh de I/O). Thoir an aire gu bheil mòran shiostaman a’ lughdachadh coileanadh mus ruig iad cleachdadh 100%, agus mar sin tha amas cleachdaidh cudromach.

Ann an siostaman iom-fhillte, faodar sùghaidh a chuir ris le tomhasan luchdan aig ìre nas àirde: an urrainn don t-seirbheis agad trafaic dhùbailte a làimhseachadh gu ceart, dìreach 10% a bharrachd trafaic a làimhseachadh, no eadhon nas lugha de thrafaig a làimhseachadh na tha e an-dràsta? Airson seirbheisean sìmplidh aig nach eil paramadairean a dh’ atharraicheas iom-fhillteachd an iarrtais (mar eisimpleir, “Na toir dhomh dad” no “tha feum agam air aon shloinneadh monotonach sònraichte”), nach ann ainneamh a dh’ atharraicheas an rèiteachadh, is dòcha gum bi luach deuchainn luchdan statach iomchaidh. Ach, mar a chaidh a dheasbad sa pharagraf roimhe, feumaidh a’ mhòr-chuid de sheirbheisean comharran neo-dhìreach a chleachdadh leithid cleachdadh CPU no leud-bann lìonra, aig a bheil crìoch àrd aithnichte. Tha àrdachadh latency gu tric na phrìomh chomharradh air sùghaidh. Le bhith a’ tomhas an ùine freagairt 99mh sa cheud ann an uinneag bheag (me, aon mhionaid) faodaidh sin comharra fìor thràth de shàthachadh a thoirt seachad.

Mu dheireadh, tha sùghaidh cuideachd co-cheangailte ri ro-innse mu shàthachadh a tha ri thighinn, mar eisimpleir: “Tha e coltach gun lìon an stòr-dàta agad do chlàr cruaidh ann an 4 uairean.”

Ma thomhaiseas tu na ceithir comharran òir agus nuair a tha duilgheadas ann le aon de na meatrach (no, a thaobh sùghaidh, duilgheadas faisg air làimh), bheir thu rabhadh do neach, bidh an t-seirbheis agad gu ìre mhòr air a chòmhdach le sgrùdadh.

A 'cur dragh air an "earball" (no ionnsramaid agus coileanadh)

Nuair a chruthaicheas tu siostam sgrùdaidh bhon fhìor thoiseach, tha buaireadh ann siostam a leasachadh stèidhichte air luachan cuibheasach: latency cuibheasach, cleachdadh CPU cuibheasach de nodan, no lànachd stòr-dàta cuibheasach. Tha cunnart an dà eisimpleir mu dheireadh follaiseach: thathas a’ faighinn cuidhteas luchd-giullachd agus stòran-dàta ann an dòigh nach gabh a thuigsinn. Tha an aon rud a 'buntainn ri dàil. Ma ruitheas tu seirbheis lìn le latency cuibheasach de 100ms le 1000 iarrtas gach diog, dh’ fhaodadh gun toir 1% de dh’iarrtasan 5 diogan. Ma tha luchd-cleachdaidh an urra ri grunn sheirbheisean lìn mar sin, faodaidh an 99mh ceudad de aon backend a bhith gu furasta mar an ùine freagairt meadhanach den aghaidh.

Is e an dòigh as sìmplidh air eadar-dhealachadh a dhèanamh eadar a’ chuibheasachd slaodach agus an earball gu math slaodach de dh’iarrtasan a bhith a’ tional tomhais de dh’iarrtasan air an cur an cèill ann an staitistig (is e histograman inneal math airson a thaisbeanadh) seach fìor latencies: cia mheud iarrtas a thug an t-seirbheis seachad eadar 0 ms agus 10 ms, eadar 10 ms agus 30 ms, eadar 30 ms agus 100 ms, eadar 100 ms agus 300 ms, msaa. Gu tric is e dòigh shìmplidh air an sgaoileadh fhaicinn a th' ann a bhith a' leudachadh chrìochan an histogram gu neo-sheasmhach (le factar tuairmseach de 3). de dh'iarrtasan.

Taghadh an ìre iomchaidh de mhion-fhiosrachadh airson tomhais

Feumar diofar eileamaidean den t-siostam a thomhas aig diofar ìrean mionaideachd. Mar eisimpleir:

• Le bhith a’ cumail sùil air cleachdadh CPU thar ùine cha sheall sin spìcean fad-ùine a dh’ adhbhraicheas latencies àrd.
• Air an làimh eile, airson seirbheis lìn a tha ag amas air gun a bhith nas fhaide na 9 uairean de dh ’ùine downt sa bhliadhna (99,9% uptime bliadhnail), tha e coltach gum bi sgrùdadh airson freagairt HTTP 200 barrachd air uair no dhà sa mhionaid gu tric gun fheum.
• Mar an ceudna, is dòcha nach eil e riatanach sgrùdadh a dhèanamh air àite cruaidh-chruaidh airson 99,9% ri fhaighinn barrachd air aon uair gach 1-2 mionaid.

Bi faiceallach mun dòigh anns a bheil thu a’ structaradh granularity nan tomhais agad. Faodaidh cruinneachadh luchdan CPU aon uair san diog dàta inntinneach a thoirt seachad, ach faodaidh tomhasan tric a bhith gu math daor a chruinneachadh, a stòradh agus a sgrùdadh. Ma tha feum aig an amas sgrùdaidh agad air granularity àrd agus nach eil feum air freagairteach àrd, faodaidh tu na cosgaisean sin a lughdachadh le bhith a’ stèidheachadh cruinneachadh meatrach air an fhrithealaiche agus an uairsin a’ stèidheachadh siostam a-muigh gus na meatrach sin a chruinneachadh agus a chruinneachadh. Am b' urrainn dhut:

1. Tomhais luchd CPU gach diog.
2. Lùghdaich mion-fhiosrachadh gu 5%.
3. Measgachadh iomlan gach mionaid.

Leigidh an ro-innleachd seo leat dàta a chruinneachadh aig ìre àrd gun a bhith a’ toirt a-steach mion-sgrùdadh àrd agus stòradh os an cionn.

Cho sìmplidh 'sa ghabhas, ach chan eil e nas sìmplidh

Faodaidh ath-chòmhdach de dhiofar riatanasan a bharrachd air a chèile siostam sgrùdaidh gu math toinnte a thighinn gu buil. Mar eisimpleir, is dòcha gu bheil na h-eileamaidean toinnte a leanas aig an t-siostam agad:

• Rabhaidhean a rèir diofar stairsnich airson latency giollachd iarrtasan, ann an diofar percentiles, airson a h-uile seòrsa de dhiofar chomharran.
• A’ sgrìobhadh còd a bharrachd gus adhbharan a lorg agus a chomharrachadh.
• Cruthaich deas-bhòrd co-cheangailte airson gach aon de na h-adhbharan a dh’ fhaodadh a bhith ann airson duilgheadasan.

Chan eil na stòran de dhuilgheadas a dh’ fhaodadh a bhith gun chrìoch. Coltach ris a h-uile siostam bathar-bog, faodaidh sgrùdadh a bhith cho iom-fhillte is gum fàs e cugallach agus duilich atharrachadh agus cumail suas.

Mar sin, dealbhaich an siostam sgrùdaidh agad gus a dhèanamh nas sìmplidhe cho mòr ‘s as urrainn dhut. Nuair a bhios tu a 'taghadh dè a bu chòir dhut a leantainn, cumaibh na leanas ann an cuimhne:

• Bu chòir na riaghailtean as trice a ghlacas fìor thachartasan a bhith cho sìmplidh, ro-innseach agus earbsach sa ghabhas.
• Bu chòir an rèiteachadh airson cruinneachadh dàta, cruinneachadh, agus rabhaidhean nach eilear a’ coileanadh gu tric (mar eisimpleir, nas lugha na ràitheil airson cuid de sgiobaidhean SRE) a thoirt air falbh.
• Tha metrics a thèid a chruinneachadh ach nach eil air an sealltainn ann an deas-bhòrd ro-shealladh sam bith no air an cleachdadh le rabhadh sam bith nan tagraichean airson cuir às.

Aig Google, bidh cruinneachadh agus cruinneachadh meatrach bunaiteach, còmhla ri rabhaidhean agus clàran-dannsa, ag obair gu math mar shiostam an ìre mhath fa-leth (tha siostam sgrùdaidh Google gu dearbh air a bhriseadh sìos gu grunn fo-shiostaman, ach mar as trice bidh daoine mothachail air gach taobh de na fo-shiostaman sin). Dh’ fhaodadh gum biodh e tàmailteach sgrùdadh a chur còmhla ri dòighean eile airson siostaman iom-fhillte a sgrùdadh: pròifil siostam mionaideach, dì-bhugachadh phròiseasan, cumail sùil air mion-fhiosrachadh mu eisgeachdan no fàilligidhean, deuchainn luchdan, cruinneachadh agus mion-sgrùdadh logaichean, no sgrùdadh trafaic. Ged a tha a’ mhòr-chuid de na rudan sin co-chosmhail ri sgrùdadh bunaiteach, le bhith gam measgachadh thig cus thoraidhean agus cruthaichidh e siostam iom-fhillte agus lag. Coltach ri iomadh taobh eile de leasachadh bathar-bog, is e a bhith a’ toirt taic do shiostaman eadar-dhealaichte le puingean amalachaidh soilleir, sìmplidh, ceangailte gu dlùth an ro-innleachd as fheàrr (mar eisimpleir, a’ cleachdadh API lìn gus dàta cruinnichte fhaighinn air ais ann an cruth a dh’ fhaodas fuireach cunbhalach thar ùine fhada. ).

A’ ceangal nam prionnsapalan ri chèile

Faodar na prionnsapalan air a bheilear a’ beachdachadh sa chaibideil seo a chur còmhla ri feallsanachd sgrùdaidh is rabhaidh a tha air aontachadh agus air a leantainn le sgiobaidhean Google SRE. Tha e ion-mhiannaichte cumail ris an fheallsanachd sgrùdaidh seo, tha e na dheagh àite tòiseachaidh airson a bhith a’ cruthachadh no ag ath-sgrùdadh do mhodh rabhaidh, agus faodaidh e do chuideachadh le bhith a’ faighneachd na ceistean ceart mu do ghnìomhachd gnìomhachd, ge bith dè cho mòr sa tha do bhuidheann no cho iom-fhillteachd sa tha an t-seirbheis no an siostam.

Nuair a bhios tu a’ cruthachadh riaghailtean sgrùdaidh is rabhaidh, faodaidh faighneachd na ceistean a leanas do chuideachadh le bhith a’ seachnadh nithean ceàrr agus rabhaidhean neo-riatanach:

• A bheil an riaghailt seo a’ lorg suidheachadh neo-aithnichte san t-siostam a tha èiginneach, fiosan gu gnìomh, agus gu do-sheachanta a’ toirt buaidh air an neach-cleachdaidh?
• An urrainn dhomh an rabhadh seo a leigeil seachad le fios gu bheil e mì-laghail? Cuin agus carson as urrainn dhomh an rabhadh seo a leigeil seachad agus ciamar as urrainn dhomh an suidheachadh seo a sheachnadh?
• A bheil an rabhadh seo a’ ciallachadh gu bheil droch bhuaidh air luchd-cleachdaidh? A bheil suidheachaidhean ann far nach eil droch bhuaidh aig luchd-cleachdaidh, leithid sìoladh trafaic no nuair a bhios tu a’ cleachdadh siostaman deuchainn airson am bu chòir rabhaidhean a shìoladh?
• An urrainn dhomh gnìomh a ghabhail mar fhreagairt don rabhadh seo? A bheil na ceumannan sin èiginneach no an urrainn dhaibh feitheamh gus a’ mhadainn? Am faod gnìomh a bhith fèin-ghluasadach gu sàbhailte? Am bi an gnìomh seo na fhuasgladh fad-ùine no na dhòigh-obrach geàrr-ùine?
• Tha cuid de dhaoine a’ faighinn grunn rabhaidhean mun chùis seo, agus mar sin a bheil dòigh ann air an àireamh de rabhaidhean a lughdachadh?

Tha na ceistean sin a’ nochdadh na feallsanachd bunaiteach mu shiostaman rabhaidh agus rabhaidh:

• Gach uair a thig rabhadh a-steach, feumaidh mi freagairt sa bhad. Is urrainn dhomh freagairt gu h-èiginneach grunn thursan san latha mus fàs mi sgìth.
• Feumaidh gach rabhadh a bhith buntainneach.
• Feumaidh a h-uile freagairt do rabhadh a bhith feumach air eadar-theachd daonna. Mas urrainnear am fios a phròiseasadh gu fèin-ghluasadach, cha bu chòir dha ruighinn.
• Bu chòir rabhaidhean a bhith mu dhuilgheadas no tachartas ùr nach robh ann roimhe.

Tha an dòigh-obrach seo a’ dèanamh mì-chinnt air cuid de dh’eadar-dhealachaidhean: ma tha an rabhadh a’ coinneachadh ris na ceithir cumhachan a bh’ ann roimhe, chan eil e gu diofar an tèid an rabhadh a chuir bho shiostam sgrùdaidh White-box no Black-Box. Tha an dòigh-obrach seo cuideachd a’ daingneachadh eadar-dhealachaidhean sònraichte: tha e nas fheàrr tòrr a bharrachd oidhirp a dhèanamh air comharraidhean aithneachadh seach air adhbharan; nuair a thig e gu adhbharan, cha leig thu leas ach a bhith draghail mu na h-adhbharan do-sheachanta.

Sgrùdadh fad-ùine

Ann an àrainneachdan cinneasachd an latha an-diugh, bidh siostaman sgrùdaidh a’ cumail sùil air siostam toraidh a tha a’ sìor atharrachadh le ailtireachd bathar-bog ag atharrachadh, feartan eallach obrach, agus targaidean coileanaidh. Is dòcha gum fàs rabhaidhean a tha doirbh an fèin-ghluasad an-dràsta gu bhith cumanta, is dòcha eadhon as fhiach dèiligeadh riutha. Aig an ìre seo, feumaidh cuideigin bun-adhbharan na trioblaid a lorg agus a chuir às; mura h-eil an leithid de rèiteachadh comasach, feumaidh an fhreagairt don rabhadh làn fèin-ghluasad.

Tha e cudromach gun tèid co-dhùnaidhean sgrùdaidh a dhèanamh le amasan fad-ùine san amharc. Bidh a h-uile rabhadh a tha a’ ruith an-diugh a’ tarraing aire neach bho bhith a’ leasachadh an t-siostam a-màireach, agus mar sin gu tric bidh lùghdachadh ann an cothrom no coileanadh siostam cinneasach airson na h-ùine a dh’ fheumar gus an siostam sgrùdaidh a leasachadh san fhad-ùine. Bheir sinn sùil air dà eisimpleir gus an iongantas seo a nochdadh.

SRE Bigtable: Sgeulachd mu Thar-rabhaidh

Mar as trice tha bun-structar taobh a-staigh Google air a sholarachadh agus air a thomhas a rèir ìre seirbheis (SLO). O chionn mòran bhliadhnaichean, bha SLO seirbheis Bigtable stèidhichte air coileanadh cuibheasach malairt synthetigeach a ’dèanamh atharrais air teachdaiche beò. Mar thoradh air cùisean ann am Bigtable agus ìrean nas ìsle den chruach stòraidh, bha coileanadh cuibheasach air a stiùireadh le earball “mòr”: bha an 5% as miosa de cheistean gu tric gu math nas slaodaiche na an còrr.

Chaidh fiosan post-d a chuir a-steach fhad ‘s a chaidh an ìre SLO faisg air làimh, agus chaidh rabhaidhean teachdaire a chuir nuair a chaidh an SLO thairis air. Chaidh an dà sheòrsa rabhadh a chuir a-mach gu math tric, a’ caitheamh ùine innleadaireachd neo-iomchaidh: chuir an sgioba seachad mòran ùine a’ rèiteach tro na rabhaidhean gus am beagan a bha iomchaidh a lorg. Gu tric bha sinn ag ionndrainn cùis a thug buaidh dha-rìribh air luchd-cleachdaidh leis nach robh ach cuid de na rabhaidhean ann airson a’ chùis shònraichte sin. Cha robh mòran de na rabhaidhean èiginneach mar thoradh air duilgheadasan so-thuigsinn sa bhun-structar agus chaidh an giullachd ann an dòigh àbhaisteach, no cha deach an giullachd idir.

Gus an suidheachadh a cheartachadh, ghabh an sgioba dòigh-obrach trì-fhillte: Fhad ‘s a bha iad ag obair gu cruaidh gus coileanadh Bigtable a leasachadh, shuidhich sinn airson ùine ghoirid ar n-amas SLO a bhith mar an 75mh ceudad airson latency freagairt ceiste. Chuir sinn dheth rabhaidhean post-d cuideachd leis gu robh uimhir dhiubh ann is gun robh e do-dhèanta ùine a chaitheamh a’ lorg an lorg.

Thug an ro-innleachd seo cothrom dhuinn an t-seòmar anail a thòiseachadh gus cùisean fad-ùine a chàradh ann am Bigtable agus ìrean nas ìsle den chruach stòraidh, seach a bhith an-còmhnaidh a’ càradh chùisean innleachdach. Dh'fhaodadh innleadairean obair a dhèanamh gun a bhith air am bualadh le rabhaidhean fad na h-ùine. Aig a’ cheann thall, le bhith a’ cur dheth làimhseachadh rabhaidh airson ùine ghoirid leig sin leinn càileachd ar seirbheis adhartachadh.

Gmail: Freagairtean daonna Algorithmic a dh’ fhaodadh dùil a bhith agad

Aig an toiseach, chaidh Gmail a thogail air siostam riaghlaidh pròiseas Workqueue atharraichte a chaidh a dhealbhadh gus pìosan pròiseas de chlàr-amais sgrùdaidh a chruinneachadh. Chaidh Ciudha obrach atharrachadh gu pròiseasan fad-ùine agus an uairsin a chuir an sàs ann an Gmail, ach bha cuid de bhiteagan anns a’ chòd clàr-ama neo-shoilleir air a bhith glè dhoirbh a chàradh.

Aig an àm, bha sgrùdadh Gmail air a structaradh gus an deidheadh ​​​​rabhaidh a chuir an sàs nuair a chaidh gnìomhan fa-leth a chuir dheth le bhith a’ cleachdadh Workqueue. Cha robh an dòigh-obrach seo air leth freagarrach, oir eadhon aig an àm sin, rinn Gmail mìltean de ghnìomhan, agus chaidh gach fear dhiubh a thoirt do bhloigh sa cheud de ar luchd-cleachdaidh. Bha dragh mòr oirnn mu bhith a’ toirt deagh eòlas cleachdaiche do luchd-cleachdaidh Gmail, ach bha làimhseachadh uimhir de rabhaidhean a-mach à ruigsinneachd.

Gus dèiligeadh ris a’ chùis seo, chruthaich Gmail SRE inneal gus cuideachadh le bhith a’ deasbaireachd a’ chlàr-ama cho math sa ghabhas gus a’ bhuaidh air luchd-cleachdaidh a lughdachadh. Bha beagan chòmhraidhean aig an sgioba a thaobh am bu chòir dhaibh dìreach a’ chearcall gu lèir a dhèanamh fèin-ghluasadach bho bhith a’ lorg duilgheadas tro leigheas gus an deidheadh ​​fuasgladh fad-ùine a lorg, ach bha dragh air cuid gun cuireadh fuasgladh mar seo dàil air fuasgladh na trioblaid.

Bha an teannachadh seo cumanta san sgioba agus gu tric bha e a’ nochdadh dìth earbsa ann am fèin-smachd: ged a tha cuid de bhuill na sgioba ag iarraidh ùine a cheadachadh airson an rèiteachadh ceart, tha dragh air cuid eile gun tèid an suidheachadh mu dheireadh a dhìochuimhneachadh agus gun toir an suidheachadh sealach gu bràth. Tha a’ chùis seo airidh air aire oir tha e ro fhurasta duilgheadasan fhuasgladh airson ùine seach an suidheachadh a dhèanamh maireannach. Tha prìomh phàirt aig manaidsearan agus luchd-obrach teignigeach ann a bhith a’ buileachadh rèiteachaidhean fad-ùine, a’ toirt taic agus a’ toirt prìomhachas do rèiteachaidhean a dh’ fhaodadh a bhith san fhad-ùine eadhon às deidh don chiad “phian” a dhol sìos.

Bu chòir gum biodh rabhaidhean cunbhalach, ath-aithriseach agus freagairtean algorithmach mar bhratach dhearg. Tha leisg an sgioba agad na rabhaidhean sin a dhèanamh fèin-ghluasadach a’ ciallachadh nach eil misneachd aig an sgioba gun urrainn dhaibh earbsa a bhith anns na h-algorithms. Is e fìor dhuilgheadas a tha seo ris am feumar dèiligeadh.

Fad-ùine

Tha cuspair cumanta a’ ceangal eisimpleirean Bigtable agus Gmail: an fharpais eadar cothrom geàrr-ùine agus fad-ùine. Gu tric, faodaidh oidhirp làidir siostam cugallach a chuideachadh gus ruigsinneachd àrd a choileanadh, ach mar as trice tha an t-slighe seo geàrr-ùine, làn de sgioba a’ losgadh agus an eisimeil àireamh bheag de bhuill den aon sgioba ghaisgeach sin.

Tha lùghdachadh fo smachd geàrr-ùine ann an ruigsinneachd gu math pianail, ach gu ro-innleachdail cudromach airson seasmhachd fad-ùine an t-siostaim. Tha e cudromach gun a bhith a’ coimhead air gach rabhadh leotha fhèin, ach a bhith a’ beachdachadh a bheil an ìre rabhaidh iomlan a’ leantainn gu siostam fallain, ruigsinneach le sgioba obrachail agus prognosis fàbharach. Bidh sinn a’ mion-sgrùdadh staitistig tricead rabhaidh (mar as trice air an cur an cèill mar thachartasan gach gluasad, far am faodadh tachartas a bhith mar iomadh tachartas co-cheangailte) ann an aithisgean ràitheil don luchd-stiùiridh, a’ leigeil le luchd-co-dhùnaidh sealladh leantainneach a bhith aca air eallach siostam rabhaidh agus slàinte iomlan sgioba.

co-dhùnadh

Tha an t-slighe gu sgrùdadh fallain agus rabhadh sìmplidh agus soilleir. Bidh e a’ cuimseachadh air comharran na trioblaid a bhrosnaicheas rabhaidhean, agus a’ cumail sùil air an adhbhar mar thaic do dhuilgheadasan deasbaid. Tha e nas fhasa sùil a chumail air comharraidhean mar as àirde a tha thu sa chruach a tha thu a’ cumail smachd, ged a bu chòir sùil a chumail air eallach agus coileanadh an stòr-dàta gu dìreach air an stòr-dàta fhèin. Chan eil mòran feum aig fiosan post-d agus tha iad buailteach a bhith nan fuaim gu furasta; an àite sin, bu chòir dhut deas-bhòrd a chleachdadh a bhios a’ cumail sùil air a h-uile cùis làithreach a bhrosnaicheas rabhaidhean post-d. Faodar an deas-bhòrd a chàradh cuideachd le log tachartais gus sgrùdadh a dhèanamh air co-dhàimhean eachdraidheil.

San fhad-ùine, feumar cuairteachadh soirbheachail de rabhaidhean mu chomharran agus fìor dhuilgheadasan a tha ri thighinn, ag atharrachadh amasan gus dèanamh cinnteach gu bheil sgrùdadh a’ toirt taic do dhearbhadh luath.

Tapadh leibh airson an eadar-theangachadh gu deireadh a leughadh. Clàraich a-steach don t-sianal teileagram agam mu sgrùdadh @monitorim_it и blog air Meadhanach.

Source: www.habr.com