SRE (Injinin Amincewar Yanar Gizo) hanya ce ta tabbatar da samun damar ayyukan yanar gizo. Ana la'akari da tsarin don DevOps kuma yayi magana game da yadda ake samun nasara wajen aiwatar da ayyukan DevOps. Fassara a cikin wannan labarin Babi na 6 Kula da Tsarukan Rarraba littattafai Injiniyan Amincewar Yanar Gizo daga Google. Na shirya wannan fassarar da kaina kuma na dogara da gogewar kaina wajen fahimtar hanyoyin sa ido. A cikin tashar telegram @monitorim_it и blog akan Matsakaici Na kuma buga hanyar haɗi zuwa fassarar Babi na 4 na wannan littafin game da burin matakin sabis.

Fassara ta cat. Ji daɗin karatu!

Ƙungiyoyin SRE na Google suna da ƙa'idodi na asali da mafi kyawun ayyuka don ƙirƙirar ingantaccen tsarin sa ido da sanarwa. Wannan babin yana ba da jagora kan irin matsalolin da mai ziyara zai iya fuskanta da kuma yadda za a warware matsalolin da ke sa shafukan yanar gizon ke da wahalar nunawa.

Ma'anoni

Babu ƙamus guda ɗaya da aka yi amfani da su don tattauna batutuwan da suka shafi sa ido. Ko a Google, ba a saba amfani da kalmomin da ke ƙasa ba, amma za mu lissafa fassarori da aka fi sani.

Kulawa

Tattara, sarrafawa, tarawa da nunin ƙididdiga bayanai a cikin ainihin lokacin game da tsarin: adadin buƙatun da nau'ikan buƙatun, adadin kurakurai da nau'ikan kurakurai, lokacin sarrafa buƙatar buƙatar lokaci da lokacin sabar uwar garke.

Saka idanu fari-akwatin

Kulawa bisa ma'auni da aka nuna ta abubuwan haɗin tsarin ciki, gami da rajistan ayyukan, ma'aunin ƙididdiga na Injin Virtual na Java, ko ma'aunin mai sarrafa HTTP waɗanda ke haifar da ƙididdiga na ciki.

Black-akwatin saka idanu

Gwajin halayyar aikace-aikacen daga mahangar mai amfani.

Dashboard

Keɓancewa (yawanci gidan yanar gizo) wanda ke ba da bayyani na mahimman alamun kiwon lafiya na ayyuka. Dashboard ɗin yana iya samun masu tacewa, ikon zaɓar abubuwan da aka nuna, da sauransu. An ƙera keɓancewa don gano alamun da ke da mahimmanci ga masu amfani. Dashboard ɗin yana iya nuna bayanai don ma'aikatan goyan bayan fasaha: jerin buƙatun, jerin kurakurai masu fifiko, da injiniyan da aka keɓe don wani yanki na alhakin.

Fadakarwa (sanarwa)

Sanarwa da aka yi niyya don karɓar mutum ta hanyar imel ko wasu hanyoyi, waɗanda kurakurai za su iya haifar da su ko karuwa a jerin gwano. An rarraba sanarwar azaman: tikiti, faɗakarwar imel da saƙon saƙon nan take.

Tushen dalili

Lalacewar software ko kuskuren ɗan adam wanda, da zarar an gyara, bai kamata ya sake faruwa ba. Matsalolin na iya samun manyan dalilai da yawa: rashin isassun aiki da kai, lahani na software, rashin isasshen bayanin dabaru na aikace-aikacen. Kowane ɗayan waɗannan abubuwan na iya zama tushen tushen, kuma kowannensu dole ne a kawar da su.

Node da inji (kumburi da inji)

Sharuɗɗa masu musanya don komawa zuwa misali guda ɗaya na aikace-aikacen da ke gudana akan sabar ta zahiri, injin kama-da-wane, ko akwati. Na'ura ɗaya na iya ɗaukar ayyuka da yawa. Ayyuka na iya zama:

• haɗi da juna: misali, uwar garken caching da sabar gidan yanar gizo;
• sabis ɗin da ba su da alaƙa akan kayan masarufi guda ɗaya: misali, ma'ajin lamba da mayen tsarin daidaitawa, kamar su. 'Yar tsana ko kai.

tura

Duk wani canji a cikin tsarin software.

Me yasa ake buƙatar sa ido?

Akwai dalilai da yawa da yasa ake buƙatar kulawa da aikace-aikacen:

Analysis na dogon lokaci trends

Yaya girman rumbun adana bayanai kuma yaya saurin girma yake? Ta yaya yawan masu amfani da kullun ke canzawa?

Kwatancen aiki

Shin buƙatun suna sauri akan Acme Bucket na Bytes 2.72 idan aka kwatanta da Ajax DB 3.14? Nawa yafi kyau ana adana buƙatun bayan bayyanar ƙarin kumburi? Shin rukunin yanar gizon yana tafiya a hankali idan aka kwatanta da makon da ya gabata?

Fadakarwa (sanarwa)

Wani abu ya karye kuma wani yana buƙatar gyara shi. Ko kuma wani abu zai karye ba da jimawa ba kuma wani yana buƙatar duba shi da wuri.

Ƙirƙirar dashboards

Dashboards yakamata su amsa tambayoyi na asali kuma su haɗa da wani abu daga "4 siginar zinariya" - jinkiri (latency), zirga-zirga (tafiya), kurakurai (kurakurai) da girman kaya (jikewa).

Gudanar da bincike na baya (debugging)

Jinkirin sarrafa buƙatun ya ƙaru, amma menene kuma ya faru a lokaci guda?
Tsarin sa ido yana da amfani azaman tushen bayanai don tsarin leken asirin kasuwanci da sauƙaƙe nazarin abubuwan tsaro. Saboda wannan littafin yana mayar da hankali kan wuraren aikin injiniya wanda SREs ke da ƙwarewa, ba za mu tattauna dabarun saka idanu ba a nan.

Sa ido da faɗakarwa suna ba da damar tsarin ya gaya muku lokacin da ya lalace ko kuma yana shirin karyewa. Lokacin da tsarin ba zai iya gyara kansa ta atomatik ba, muna son ɗan adam ya bincika faɗakarwa, tantance idan har yanzu matsalar tana aiki, warware ta, kuma ya tantance tushen dalilin. Idan ba ku duba abubuwan da ke cikin tsarin ba, ba za ku taɓa samun faɗakarwa ba kawai saboda "wani abu da alama ɗan ban mamaki."

Dauke wa mutum sanarwa yana da tsadar gaske amfani da lokacin ma'aikaci. Idan ma'aikaci yana aiki, faɗakarwa ta katse tsarin aikin. Idan ma'aikaci yana gida, faɗakarwar tana katse lokacin sirri da yiwuwar barci. Lokacin da faɗakarwa ke faruwa akai-akai, ma'aikata suna zazzage su, kashe su, ko watsi da faɗakarwa mai shigowa. Daga lokaci zuwa lokaci suna yin watsi da ainihin faɗakarwa, wanda ke rufe da abubuwan da suka faru amo. Katsewar sabis na iya ɗaukar lokaci mai tsawo kamar yadda abubuwan da ke faruwa amo ke hana a gano matsalar da sauri da kuma gyara su. Tsarukan faɗakarwa masu inganci suna da kyakkyawan rabon sigina-zuwa amo.

Ƙirƙirar kyakkyawan tsammanin don tsarin sa ido

Kafa sa ido don aikace-aikace mai rikitarwa aiki ne mai rikitarwa a cikin kansa. Ko da tare da mahimman kayan aikin tattarawa, nuni, da faɗakarwa, ƙungiyar Google SRE na membobi 10-12 yawanci sun haɗa da mutane ɗaya ko biyu waɗanda babban manufarsu shine ginawa da kula da tsarin kulawa. Wannan lambar ta ragu a tsawon lokaci yayin da muke haɓakawa da daidaita kayan aikin sa ido, amma kowace ƙungiyar SRE galibi tana da aƙalla mutum ɗaya da aka keɓe don saka idanu. Dole ne mu faɗi cewa yayin da dashboards tsarin saka idanu suna da ban sha'awa sosai don kallo, ƙungiyoyin SRE a hankali suna guje wa yanayin da ke buƙatar wani ya kalli allo don saka idanu kan matsaloli.

Gabaɗaya, Google ya ƙaura zuwa tsarin sa ido mai sauƙi da sauri tare da ingantaccen kayan aikin bincike na gaskiya. Muna guje wa tsarin "sihiri" waɗanda ke ƙoƙarin yin hasashen ƙofa ko gano tushen tushen ta atomatik. Na'urori masu auna firikwensin da ke gano abubuwan da ba a yi niyya ba a cikin buƙatun mai amfani su ne kawai misali; Muddin waɗannan na'urori masu auna firikwensin sun kasance masu sauƙi, za su iya gano musabbabin munanan halaye da sauri. Sauran tsarin yin amfani da bayanan sa ido, kamar tsara iya aiki ko hasashen zirga-zirga, sun fi rikitarwa. Dubawa a cikin dogon lokaci (watanni ko shekaru) a ƙaramin ƙima (awanni ko kwanaki) zai bayyana yanayin dogon lokaci.

Tawagar Google SRE ta samu gauraya nasara tare da hadadden tsarin dogaro. Ba mu cika yin amfani da ka'idoji kamar "idan na gano cewa ma'ajin bayanai ba sa jinkiri, ina samun faɗakarwa cewa rumbun adana bayanan ba sa jinkiri, in ba haka ba na sami faɗakarwa cewa rukunin yanar gizon yana jinkiri." Dokokin dogarawa yawanci suna magana ne ga sassan tsarin mu marasa canzawa, kamar tsarin tace zirga-zirgar mai amfani zuwa cibiyar bayanai. Misali, "idan an saita tace zirga-zirga zuwa cibiyar bayanai, kar a faɗakar da ni game da jinkirin aiwatar da buƙatun mai amfani" ɗaya ce ta gama gari don faɗakarwa daga cibiyar bayanai. Ƙungiyoyi kaɗan a Google suna tallafawa hadaddun matakan dogaro saboda abubuwan more rayuwa namu suna da adadin ci gaba da sake fasalin.

Wasu daga cikin ra'ayoyin da aka bayyana a cikin wannan babi har yanzu suna da dacewa: koyaushe akwai damar da za a yi sauri daga alama zuwa tushen tushen, musamman a cikin tsarin canzawa akai-akai. Saboda haka, yayin da wannan babi ya bayyana wasu manufofi don tsarin sa ido da kuma yadda za a cimma waɗannan manufofin, yana da mahimmanci cewa tsarin sa ido yana da sauƙi kuma mai fahimta ga kowa da kowa a cikin tawagar.

Hakazalika, don kiyaye matakan ƙarar ƙara da matakan sigina, hanyoyin sa ido kan kadarorin da aka faɗakar da su dole ne su kasance masu sauƙi kuma abin dogaro. Dokokin da ke haifar da gargaɗi ga mutane ya kamata su kasance masu sauƙin fahimta da gabatar da matsala bayyananne.

Alamomi da dalilai

Tsarin sa ido ya kamata ya amsa tambayoyi biyu: "abin da ya karye" da "me yasa ya karye."
"Abin da ya karye" yayi magana game da alamar, kuma "me yasa ya karye" yayi magana game da dalilin. Teburin da ke ƙasa yana nuna misalan irin waɗannan haɗin.

Alama
Dalili

Samun Kuskuren HTTP 500 ko 404
Sabar bayanan bayanai sun ƙi haɗi

Sannun martanin uwar garken
Babban amfani da CPU ko kebul na Ethernet ya lalace

Masu amfani a Antarctica ba sa karɓar GIF cat
CDN ɗinku yana ƙin masana kimiyya da kuliyoyi, don haka wasu adiresoshin IP sun ƙare an sanya su baƙar fata

Keɓaɓɓen abun ciki ya zama samuwa daga ko'ina
Fitowar sabuwar software ta sa tacewar ta manta da duk ACLs kuma ta bar kowa ya shiga

"Menene" da "me yasa" sune wasu mahimman tubalan ginin don ƙirƙirar tsarin kulawa mai kyau tare da matsakaicin sigina da ƙaramar amo.

Black-akwatin vs White-akwatin

Muna haɗa babban saka idanu na White-box tare da matsakaicin saka idanu na Black-box don ma'auni masu mahimmanci. Hanya mafi sauƙi don kwatanta Black-akwatin zuwa White-akwatin ita ce Black-box yana mai da hankali kan alamomi kuma yana mai da martani maimakon sa ido: "tsarin ba ya aiki daidai a yanzu." Akwatin-fari ya dogara da ƙarfin tabbatarwa na ciki na tsarin: rajistan ayyukan ko sabar yanar gizo. Don haka, White-box yana ba ku damar gano matsalolin da ke tafe, kurakuran da suka bayyana kamar sake aikawa da buƙatun, da sauransu.

Lura cewa a cikin tsarin multilayer, alamar da ke cikin wani yanki na aikin injiniya alama ce ta wani yanki na alhakin. Misali, aikin bayanai ya ragu. Slow database karanta su ne alamun SRE database cewa gano su. Duk da haka, don SRE na gaba-gaba yana lura da gidan yanar gizon jinkirin, dalilin jinkirin karanta bayanai guda ɗaya shine jinkirin bayanai. Don haka, saka idanu na farin-akwatin wani lokaci yana mai da hankali kan alamomi kuma wani lokacin yana haifar da mai da hankali, gwargwadon girmansa.

Lokacin tattara telemetry don gyara kurakurai, ana buƙatar saka idanu na White-box. Idan uwar garken yanar gizo ba ta jinkirin amsa tambayoyin bayanai, kuna buƙatar sanin yadda uwar garken gidan yanar gizon ke saurin sadarwa tare da bayanan da kuma saurin amsawa. In ba haka ba, ba za ku iya bambancewa tsakanin uwar garken bayanan jinkiri da matsalar hanyar sadarwa tsakanin sabar gidan yanar gizo da ma'ajin bayanai ba.

Saka idanu na Black-box yana da fa'ida mai mahimmanci lokacin aika faɗakarwa: kuna jawo sanarwar ga mai karɓa lokacin da matsala ta riga ta haifar da alamun gaske. A gefe guda, saka idanu ba shi da amfani ga matsalar Black-box wacce ba ta taso ba tukuna amma tana nan kusa.

Alamun zinari huɗu

Alamun sa ido na zinare guda huɗu sune latency, zirga-zirga, kurakurai, da jikewa. Idan za ku iya auna ma'aunin tsarin mai amfani huɗu kawai, mayar da hankali kan waɗannan huɗun.

Jinkirtawa

Lokacin da ake buƙata don aiwatar da buƙatar. Yana da mahimmanci a rarrabe tsakanin latency na buƙatun nasara da rashin nasara. Misali, kuskuren HTTP 500 da ke haifar da asarar haɗi zuwa bayanan bayanai ko wasu bayanan baya ana iya gano shi cikin sauri, duk da haka, kuskuren HTTP 500 na iya nuna buƙatar gazawar. Ƙayyade tasirin kuskuren 500 akan latency gabaɗaya na iya haifar da yanke shawara mara kyau. A gefe guda, kuskuren jinkirin ma kuskure ne mai sauri! Don haka, yana da mahimmanci a sa ido kan lalurar kuskure maimakon kawai tace kurakurai.

traffic

Ana auna adadin buƙatun ga tsarin ku a cikin ma'aunin tsarin babban matakin. Don sabis na gidan yanar gizo, wannan ma'aunin yawanci yana wakiltar adadin buƙatun HTTP a cikin daƙiƙa guda, wanda aka raba ta yanayin buƙatun (misali, a tsaye ko abun ciki mai ƙarfi). Don tsarin yawo mai jiwuwa, wannan ma'aunin na iya mayar da hankali kan saurin I/O na cibiyar sadarwa ko adadin lokutan lokaci guda. Don tsarin ma'auni mai mahimmanci, wannan ma'aunin zai iya zama ma'amala ko sakamakon bincike a cikin daƙiƙa guda.

Kurakurai

Wannan shine ƙimar buƙatun da suka gaza waɗanda ke bayyane (misali HTTP 500), fayyace (misali HTTP 200 amma haɗe da abun ciki mara inganci) ko manufa (misali "Idan kun kama amsa cikin daƙiƙa ɗaya, kowane sakan ɗaya kuskure ne"). Idan lambobin amsa HTTP ba su isa ba don bayyana duk yanayin gazawa, ana iya buƙatar ka'idoji na biyu (na ciki) don gano gazawar sashe. Kula da duk irin waɗannan buƙatun da suka gaza ba su da bayanai, yayin da gwajin tsarin ƙarshe zuwa ƙarshe zai taimaka gano cewa kuna sarrafa abun cikin da ba daidai ba.

Jikewa

Ma'aunin yana nuna yadda ake amfani da sabis ɗin ku sosai. Wannan ma'auni ne na saka idanu na tsarin wanda ke gano albarkatun da aka fi dacewa (misali, akan tsarin ƙwaƙwalwar ajiya, yana nuna ƙwaƙwalwar ajiya, akan tsarin I / O-constrained, yana nuna adadin I / Os). Lura cewa yawancin tsarin suna lalata aiki kafin su kai 100% amfani, don haka samun burin amfani yana da mahimmanci.

A cikin hadaddun tsarin, ana iya cika jikewa da ma'aunin nauyi mai girma: shin sabis ɗin ku zai iya sarrafa zirga-zirgar ababen hawa biyu yadda ya kamata, sarrafa 10% ƙarin zirga-zirga, ko sarrafa ma ƙasa da zirga-zirga fiye da yadda yake yi a halin yanzu? Don sauƙaƙan ayyuka waɗanda ba su da sigogi waɗanda ke canza sarƙaƙƙiyar buƙatun (misali, "Ba ni komai" ko "Ina buƙatar keɓaɓɓen lamba ɗaya na monotonic"), waɗanda ba safai suke canza tsari ba, ƙimar gwajin nauyi na iya isa isa. Koyaya, kamar yadda aka tattauna a sakin layi na baya, yawancin sabis dole ne su yi amfani da sigina kai tsaye kamar amfani da CPU ko bandwidth na cibiyar sadarwa, waɗanda ke da sanannen iyaka na sama. Ƙara latency sau da yawa shine babban alamar jikewa. Auna lokacin amsa kashi 99 a cikin ƙaramar taga (misali, minti ɗaya) na iya samar da siginar jikewa da wuri.

A ƙarshe, jikewa kuma yana da alaƙa da tsinkaya game da jikewa mai zuwa, alal misali: "Yana kama da bayanan bayanan ku zai cika rumbun kwamfutarka cikin sa'o'i 4."

Idan kun auna duk siginonin zinare huɗu kuma lokacin da akwai matsala tare da ɗaya daga cikin ma'auni (ko, a cikin yanayin jikewa, matsala ta kusa), kun faɗakar da mutum, sabis ɗinku zai kasance ko ƙasa da sa ido.

Damuwa game da "wutsiya" (ko kayan aiki da aiki)

Lokacin ƙirƙirar tsarin sa ido daga karce, akwai jaraba don haɓaka tsarin bisa matsakaicin ƙima: matsakaicin latency, matsakaicin amfani da CPU na nodes, ko matsakaicin cikar bayanai. Haɗarin misalan biyu na ƙarshe a bayyane yake: na'urori masu sarrafawa da ma'ajin bayanai ana zubar da su ta hanyar da ba ta da tabbas. Hakanan ya shafi jinkirtawa. Idan kuna gudanar da sabis na yanar gizo tare da matsakaicin latency na 100ms tare da buƙatun 1000 a sakan daya, 1% na buƙatun na iya ɗaukar daƙiƙa 5. Idan masu amfani sun dogara da irin waɗannan ayyukan gidan yanar gizo da yawa, kashi 99 na baya ɗaya na iya zama cikin sauƙi lokacin mayar da martani na gaba.

Hanya mafi sauƙi don bambanta tsakanin matsakaicin jinkirin da wutsiyar buƙatun shine tattara ma'auni na buƙatun da aka bayyana a cikin ƙididdiga (kyakkyawan kayan aiki don nunawa shine histogram) maimakon ainihin latencies: buƙatun nawa ne sabis ɗin yayi aiki wanda ya ɗauki tsakanin 0 ms da 10 ms, tsakanin 10 ms da 30 ms, tsakanin 30 ms da 100 ms, tsakanin 100 ms da 300 ms, da dai sauransu. Fadada iyakoki na histogram kusan da yawa (ta kimanin kashi 3) sau da yawa hanya ce mai sauƙi don kwatanta rarraba na buƙatun.

Zaɓin matakin da ya dace na daki-daki don ma'auni

Dole ne a auna abubuwa daban-daban na tsarin a matakai daban-daban na daki-daki. Misali:

• Sa ido kan amfani da CPU na wani lokaci ba zai nuna dogon lokaci mai tsayi wanda ke haifar da manyan latency ba.
• A gefe guda, don sabis na gidan yanar gizon da ke niyya ba fiye da sa'o'i 9 na raguwa a kowace shekara (99,9% na lokacin shekara-shekara), duban amsawar HTTP 200 fiye da sau ɗaya ko sau biyu a minti ɗaya yana iya zama akai-akai ba dole ba.
• Hakanan, bincika sararin rumbun kwamfutarka don samun 99,9% fiye da sau ɗaya kowane minti 1-2 ba lallai ba ne.

Kula da yadda kuke tsara girman ma'aunin ku. Tattara nauyin CPU sau ɗaya a cikin daƙiƙa na iya samar da bayanai masu ban sha'awa, amma irin waɗannan ma'auni na yau da kullun na iya yin tsada sosai don tattarawa, adanawa, da kuma tantancewa. Idan burin ku na saka idanu yana buƙatar babban ƙima kuma baya buƙatar amsa mai girma, zaku iya rage waɗannan farashin ta hanyar saita tarin awo akan sabar sannan saita tsarin waje don tattarawa da tara waɗannan ma'aunin. Za ka iya:

1. Auna nauyin CPU kowane daƙiƙa.
2. Rage dalla-dalla zuwa 5%.
3. Haɗa ma'auni kowane minti daya.

Wannan dabarar za ta ba ka damar tattara bayanai a babban ƙwanƙwasa ba tare da haifar da babban bincike da ajiya sama ba.

Mai sauƙi kamar yadda zai yiwu, amma ba mafi sauƙi ba

Rufe nau'ikan buƙatu daban-daban akan juna na iya haifar da tsarin sa ido sosai. Misali, tsarin ku na iya samun abubuwa masu rikitarwa masu zuwa:

• Faɗakarwa bisa ga ƙofa daban-daban don buƙatar sarrafa latency, a cikin ɗari daban-daban, don kowane nau'ikan alamomi daban-daban.
• Rubutun ƙarin lamba don ganowa da gano yiwuwar dalilai.
• Ƙirƙirar dashboards masu alaƙa don kowane abubuwan da za su iya haifar da matsaloli.

Tushen yuwuwar rikitarwa ba ya ƙarewa. Kamar duk tsarin software, saka idanu na iya zama mai sarƙaƙƙiya har ya zama mai rauni da wahalar canzawa da kulawa.

Don haka, tsara tsarin sa ido don sauƙaƙa shi gwargwadon yiwuwa. Lokacin zabar abin da za a bi, kiyaye waɗannan abubuwan a hankali:

• Dokokin da galibi sukan kama abubuwan da suka faru na gaske ya kamata su kasance masu sauƙi, tsinkaya kuma abin dogaro gwargwadon yiwuwa.
• Ya kamata a cire saiti don tattara bayanai, tarawa, da faɗakarwa waɗanda ake yi ba safai ba (misali, ƙasa da kwata na wasu ƙungiyoyin SRE).
• Ma'auni waɗanda aka tattara amma ba a nuna su a cikin kowane dashboard ɗin samfoti ko kowane faɗakarwa ke amfani da su ba ƴan takarar sharewa ne.

A Google, tarin ma'auni na asali da tarawa, haɗe tare da faɗakarwa da dashboards, suna aiki da kyau a matsayin tsarin da ba shi da iyaka (tsarin sa ido na Google a zahiri ya rushe cikin tsarin ƙasa da yawa, amma mutane galibi suna sane da duk abubuwan da ke cikin waɗannan tsarin). Yana iya zama abin sha'awa don haɗa saka idanu tare da wasu fasahohin don nazarin tsarin hadaddun: cikakken bayanin tsarin tsarin, aiwatar da gyara kurakurai, bayanan bin diddigi game da keɓantawa ko gazawa, gwajin kaya, tarin log da bincike, ko duba zirga-zirga. Duk da yake yawancin waɗannan abubuwa suna da alaƙa tare da sa ido na asali, haɗa su tare zai haifar da sakamako mai yawa da haifar da tsari mai rikitarwa da rauni. Kamar yadda yake tare da sauran nau'ikan haɓaka software, tallafawa tsarin daban-daban tare da bayyanannun, sauƙi, madaidaiciyar wuraren haɗin kai shine mafi kyawun dabarun (misali, ta amfani da API na yanar gizo don dawo da haɗaɗɗun bayanai a cikin sigar da za ta iya dawwama cikin dogon lokaci. ).

Haɗa Ka'idodin Tare

Za a iya haɗa ƙa'idodin da aka tattauna a wannan babin zuwa falsafar sa ido da faɗakarwa waɗanda ƙungiyoyin Google SRE suka amince da su kuma suke bi. Riko da wannan falsafar sa ido yana da kyawawa, kyakkyawan mafari ne don ƙirƙira ko sake duba hanyoyin faɗakarwar ku, kuma zai iya taimaka muku yin tambayoyin da suka dace na ayyukan ayyukanku, ba tare da la'akari da girman ƙungiyar ku ko sarkar sabis ko tsarin ba.

Lokacin ƙirƙirar ƙa'idodin sa ido da faɗakarwa, yin tambayoyi masu zuwa na iya taimaka muku guje wa fa'idodin ƙarya da faɗakarwar da ba dole ba:

• Shin wannan doka tana gano wani yanayin tsarin da ba a iya gano shi ba wanda yake gaggawa, kira zuwa aiki, kuma babu makawa yana shafar mai amfani?
• Zan iya yin watsi da wannan gargaɗin da sanin ba shi da kyau? Yaushe kuma me yasa zan yi watsi da wannan gargaɗin kuma ta yaya zan iya guje wa wannan yanayin?
• Shin wannan faɗakarwa yana nufin cewa ana cutar da masu amfani da muni? Shin akwai yanayi inda masu amfani ba su da mummunar tasiri, kamar ta hanyar tace zirga-zirga ko lokacin amfani da tsarin gwaji wanda ya kamata a tace faɗakarwa?
• Zan iya ɗaukar mataki don amsa wannan faɗakarwa? Shin waɗannan matakan na gaggawa ne ko za su iya jira har sai da safe? Shin za a iya sarrafa wani aiki cikin aminci? Shin wannan aikin zai zama mafita na dogon lokaci ko kuma za a magance ɗan gajeren lokaci?
• Wasu mutane suna samun faɗakarwa da yawa game da wannan batu, don haka akwai hanyar da za a rage yawan faɗakarwa?

Waɗannan tambayoyin suna nuna ainihin falsafar kan faɗakarwa da tsarin faɗakarwa:

• Duk lokacin da faɗakarwa ta shigo, dole in mayar da martani nan da nan. Zan iya yin gaggawa sau da yawa a rana kafin in gaji.
• Kowane faɗakarwa dole ne ya dace.
• Kowane martani ga faɗakarwa dole ne ya buƙaci sa hannun ɗan adam. Idan za a iya sarrafa sanarwar ta atomatik, bai kamata ya zo ba.
• Ya kamata faɗakarwa ta kasance game da sabuwar matsala ko taron da babu a da.

Wannan hanyar tana ɓata wasu bambance-bambance: idan faɗakarwa ta gamsar da sharuɗɗa huɗu da suka gabata, ba komai ko an aika faɗakarwa daga tsarin sa ido na White-Box ko Black-Box. Wannan hanyar kuma tana ƙarfafa wasu bambance-bambance: yana da kyau a kashe ƙarin ƙoƙari don gano alamun fiye da dalilai; idan yazo ga dalilai, kawai kuna buƙatar damuwa game da abubuwan da ba makawa.

Dogon saka idanu

A cikin mahalli na yau da kullun na samarwa, tsarin sa ido yana lura da tsarin samarwa da ke canzawa koyaushe tare da canza tsarin gine-ginen software, halayen nauyin aiki, da makasudin aiki. Faɗakarwa waɗanda a halin yanzu suke da wahalar sarrafa kansa na iya zama ruwan dare gama gari, watakila ma sun cancanci a magance su. A wannan lokaci, dole ne wani ya nemo ya kawar da tushen matsalar; idan irin wannan ƙuduri ba zai yiwu ba, amsa ga faɗakarwa yana buƙatar cikakken aiki da kai.

Yana da mahimmanci cewa an yanke shawarar sa ido tare da maƙasudai na dogon lokaci. Duk wani faɗakarwa da ke gudana a yau yana kawar da mutum daga inganta tsarin gobe, don haka sau da yawa ana samun raguwar samuwa ko aiki na tsarin mai amfani ga lokacin da ake bukata don inganta tsarin kulawa a cikin dogon lokaci. Bari mu kalli misalai guda biyu don misalta wannan lamarin.

Bigtable SRE: Labarin Ƙarfafa Fadakarwa

Kayan aikin cikin gida na Google yawanci ana samarwa kuma ana auna su daidai da matakin sabis (SLO). Shekaru da yawa da suka gabata, sabis na Bigtable SLO ya dogara ne akan matsakaicin aikin ma'amalar roba wanda ke kwaikwayon abokin ciniki kai tsaye. Saboda al'amurran da suka shafi Bigtable da ƙananan matakan ma'ajiya, matsakaicin aiki ya kasance ta hanyar wutsiya "babban": mafi munin 5% na tambayoyin sun kasance a hankali fiye da sauran.

An aika da sanarwar imel yayin da aka kusanci ƙofar SLO, kuma an aika da faɗakarwar manzo lokacin da aka wuce SLO. Dukkan nau'ikan faɗakarwa an aika sau da yawa sau da yawa, suna cinye lokacin aikin injiniya wanda ba a yarda da shi ba: ƙungiyar ta kashe lokaci mai yawa tana rarraba faɗakarwar don nemo kaɗan waɗanda ke da alaƙa da gaske. Sau da yawa muna rasa wani batun da ya shafi masu amfani da gaske saboda kawai wasu faɗakarwar sun kasance ga takamaiman batun. Yawancin faɗakarwar ba su kasance cikin gaggawa ba saboda matsalolin da za a iya fahimta a cikin kayan aikin kuma an sarrafa su ta daidaitaccen hanya, ko kuma ba a sarrafa su kwata-kwata.

Don gyara lamarin, ƙungiyar ta ɗauki matakai uku: Yayin da muke aiki tuƙuru don inganta ayyukan Bigtable, mun saita burin SLO na ɗan lokaci don zama kashi 75 na jinkirin amsa tambaya. Mun kuma kashe faɗakarwar imel saboda akwai da yawa daga cikinsu wanda ba zai yiwu a kashe lokaci don gano su ba.

Wannan dabarar ta ƙyale mu ɗakin numfashi don fara gyara al'amurran da suka shafi dogon lokaci a cikin Bigtable da ƙananan matakan ma'ajin ajiya, maimakon daidaita matsalolin dabara koyaushe. Injiniyoyi za su iya yin aiki a zahiri ba tare da an yi musu bam da faɗakarwa koyaushe. Daga ƙarshe, jinkirin sarrafa faɗakarwa na ɗan lokaci ya ba mu damar haɓaka ingancin sabis ɗinmu.

Gmail: Abubuwan Hasashen, Martanin Dan Adam Algorithmic

A farkon farkonsa, an gina Gmel akan tsarin gudanar da tsarin aiki wanda aka ƙera don daidaita ɓangarorin ma'aunin bincike. An daidaita layin aiki zuwa matakai na tsawon lokaci kuma daga baya aka yi amfani da su zuwa Gmel, amma wasu kurakurai a cikin lambar tsararru mara kyau sun tabbatar da wahalar gyarawa.

A lokacin, an tsara tsarin sa ido na Gmel ta yadda za a jawo faɗakarwa lokacin da aka soke ayyuka ɗaya ta amfani da Workqueue. Wannan hanyar ba ta dace ba, domin ko a wancan lokacin, Gmel ya yi dubban ayyuka, kowanne daga cikinsu an samar da shi ga kaso na kashi XNUMX na masu amfani da mu. Mun damu sosai game da samar wa masu amfani da Gmel kyakkyawar ƙwarewar mai amfani, amma sarrafa faɗakarwa da yawa bai isa ba.

Don magance wannan batu, Gmel SRE ya ƙirƙiri kayan aiki don taimakawa wajen gyara mai tsara tsarin yadda ya kamata don rage tasirin masu amfani. Tawagar ta yi wasu tattaunawa game da ko kawai za a iya sarrafa tsarin gaba ɗaya daga gano matsala ta hanyar gyara har sai an sami mafita na dogon lokaci, amma wasu sun damu cewa irin wannan maganin zai jinkirta gyara matsalar.

Wannan tashin hankali ya kasance na kowa a cikin ƙungiyar kuma sau da yawa yana nuna rashin amincewa ga horo na kai: yayin da wasu 'yan ƙungiyar suna so su ba da lokaci don daidaitawa daidai, wasu suna damuwa cewa za a manta da gyaran ƙarshe kuma gyara na wucin gadi zai dauki har abada. Wannan batu ya cancanci kulawa saboda yana da sauƙi don gyara matsalolin na ɗan lokaci maimakon sanya lamarin ya zama dindindin. Manajoji da ma'aikatan fasaha suna taka muhimmiyar rawa wajen aiwatar da gyare-gyare na dogon lokaci, goyon baya da kuma ba da fifiko ga yiwuwar gyare-gyare na dogon lokaci ko da bayan "ciwo" na farko ya ragu.

Na yau da kullun, faɗakarwa mai maimaitawa da martanin algorithmic yakamata su zama alamar ja. Ƙin ƙungiyar ku don sarrafa waɗannan faɗakarwar yana nufin ƙungiyar ba ta da kwarin gwiwa cewa za su iya amincewa da algorithms. Wannan babbar matsala ce da ke bukatar a magance ta.

Dogon lokaci

Jigo na gama gari ya haɗu da misalan Bigtable da Gmail: gasa tsakanin samun ɗan gajeren lokaci da na dogon lokaci. Sau da yawa, ƙoƙari mai ƙarfi na iya taimaka wa tsarin da ba shi da ƙarfi ya sami wadata mai yawa, amma wannan hanyar yawanci ba ta daɗe ba, cike da ƙarancin ƙungiyar da dogaro ga ƙaramin adadin membobin wannan ƙungiyar jarumtaka.

Sarrafa, raguwa na ɗan gajeren lokaci a cikin samuwa sau da yawa yana da zafi, amma mahimmancin mahimmanci don kwanciyar hankali na dogon lokaci na tsarin. Yana da mahimmanci kada a kalli kowane faɗakarwa a keɓe, amma don la'akari da ko matakin ƙarar faɗakarwa gabaɗaya yana haifar da lafiya, tsarin da ya dace tare da ƙungiyar da ta dace da tsinkaye mai kyau. Muna nazarin kididdigar mitar faɗakarwa (yawanci ana bayyana su azaman abubuwan da suka faru a kowane lokaci, inda abin da ya faru zai iya ƙunsar abubuwan da suka faru da yawa) a cikin rahoton kwata-kwata ga gudanarwa, kyale masu yanke shawara su sami ra'ayi mai gudana na nauyin tsarin faɗakarwa da lafiyar ƙungiyar gabaɗaya.

ƙarshe

Hanyar zuwa lafiya sa ido da faɗakarwa abu ne mai sauƙi kuma a sarari. Yana mai da hankali kan alamun matsalar da ke haifar da faɗakarwa, kuma saka idanu akan dalilin yana zama taimako don magance matsalolin. Kulawa da alamun alamun yana da sauƙi yayin da kuke cikin tarin da kuke sarrafawa, kodayake ya kamata a yi lodin sa ido da aikin ma'ajin bayanai kai tsaye akan ma'ajin bayanai kanta. Sanarwa ta imel suna da ƙarancin fa'ida kuma suna da sauƙin zama hayaniya; a maimakon haka, ya kamata ku yi amfani da dashboard ɗin da ke lura da duk al'amuran yau da kullun waɗanda ke haifar da faɗakarwar imel. Hakanan za'a iya haɗa dashboard ɗin tare da log ɗin taron don bincika alaƙar tarihi.

A cikin dogon lokaci, ya zama dole don cimma nasarar jujjuyawar faɗakarwa game da alamun bayyanar cututtuka da matsaloli na gaske, daidaita maƙasudi don tabbatar da cewa saka idanu yana tallafawa saurin ganewar asali.

Na gode don karanta fassarar har zuwa ƙarshe. Yi subscribing zuwa tashar telegram ta game da saka idanu @monitorim_it и blog akan Matsakaici.

source: www.habr.com