SRE (Ingineering Reliability) waa hab lagu hubinayo helitaanka mashaariicda shabakada. Waxaa loo tixgaliyaa qaab-dhismeedka DevOps waxayna ka hadashaa sida loo gaaro guusha adeegsiga dhaqamada DevOps. Turjumaada maqaalkan buugaag ka Google. Aniga qudhaydu waxaan diyaariyey turjumaaddan waxaanan ku tiirsanaa khibradayda xagga fahamka hababka la socodka. In channelka telegramka ΠΈ Waxaan sidoo kale daabacay isku xirka tarjumaadda cutubka 4 ee isla buuggaas oo ku saabsan yoolalka heerka adeegga.
Turjumaada bisad Ku raaxayso akhriska!
Kooxaha SRE ee Google waxay leeyihiin mabaadi'da aasaasiga ah iyo hababka ugu wanaagsan ee lagu abuurayo nidaamyo kormeer iyo wargelin guul leh. Cutubkani waxa uu bixiyaa hagis ku saabsan dhibaatooyinka uu la kulmi karo booqdaha bogga shabakadda iyo sida loo xalliyo dhibaatooyinka ka dhigaya bogagga shabakadda inay adag tahay in la soo bandhigo.
Qeexitaannada
Ma jiro hal eray oo loo isticmaalo in lagaga hadlo mawduucyada la xidhiidha la socodka. Xataa Google-ka, ereyada hoose laguma isticmaalo inta badan, laakiin waxaanu taxnayn doonaa fasiraadaha ugu caansan.
Kormeerka
Ururinta, habaynta, isu geynta iyo soo bandhigida xogta tirada wakhtiga dhabta ah ee ku saabsan nidaamka: tirada codsiyada iyo noocyada codsiyada, tirada khaladaadka iyo noocyada khaladaadka, codsiga wakhtiga habaynta iyo wakhtiga kaydinta ee serverka.
la socodka sanduuqa cad
Korjoogteynta ku salaysan cabbirada ay soo bandhigaan qaybaha nidaamka gudaha, oo ay ku jiraan diiwaannada, cabbiraadaha sifada Mishiinka Virtual Java, ama cabbirka maamulaha HTTP ee dhaliya tirakoobyada gudaha.
la socodka sanduuqa madow
Tijaabinta habdhaqanka codsiga marka laga eego aragtida isticmaalaha.
Dashboard-ka
Interface (caadi ahaan shabakad) oo bixisa dulmar guud ee tilmaamayaasha caafimaadka ee muhiimka ah ee adeegyada. Dashboard-ku waxa uu yeelan karaa filtarrada, awoodda lagu dooranayo tilmaamayaasha la tusay, iwm Dashboard-ku waxa kale oo uu soo bandhigi karaa macluumaadka shaqaalaha taageerada farsamada: safka codsiyada, liiska khaladaadka mudnaanta sare leh, iyo injineer loo xilsaaray aag masuuliyadeed oo cayiman.
Digniin (ogeysiin)
Ogeysiisyada loogu talagalay in uu qof ku helo iimaylka ama siyaabo kale, kuwaas oo laga yaabo in ay kiciyaan khaladaad ama kordhinta safka codsiga. Ogeysiisyada waxaa loo kala saaraa sida: tigidhada, ogeysiisyada iimaylka iyo fariimaha fariimaha degdega ah.
Sababta xididka ah
Cilad software-ka ama khaladka bini-aadmiga oo, marka la saxo, waa inaan mar kale dhicin. Dhibaatadu waxay yeelan kartaa dhowr sababood oo waaweyn: habraaca otomaatigga ah oo aan ku filnayn, cillad software, faahfaahin ku filan oo ku saabsan macquulnimada codsiga. Mid kasta oo ka mid ah arrimahan ayaa laga yaabaa inay tahay sababta asaasiga ah, mid kasta oo iyaga ka mid ahna waa in la tirtiraa.
Node iyo mashiinka (budhka iyo mashiinka)
Erayada la beddeli karo si loo tixraaco hal tusaale oo ah codsiga ku socda server-ka jireed, mashiinka farsamada, ama weelka. Hal mashiin ayaa martigelin kara adeegyo badan. Adeegyadu waxay noqon karaan:
- midba midka kale ku xiran: tusaale ahaan, server caching iyo server web;
- adeegyo aan xidhiidh la lahayn hal qalab oo keliya: tusaale ahaan, kaydka koodka iyo saaxiraha habaynta, sida ama .
murugeeysan
Isbeddel kasta oo ku yimaada qaabeynta software
Waa maxay sababta kormeerka loogu baahan yahay
Waxaa jira dhowr sababood oo codsiyada loo baahan yahay in la kormeero:
Falanqaynta isbeddellada muddada-dheer
Intee bay le'eg tahay kaydka xogta iyo sida ugu dhakhsaha badan ee uu u korayo? Sidee bay tirada maalinlaha ah ee isticmaalayaashu isu beddelaan?
Isbarbardhigga waxqabadka
Codsiyada ma ku dhaqsaha badan yihiin Acme Bucket of Bytes 2.72 marka la barbar dhigo Ajax DB 3.14? Intee in le'eg ayaa codsiyada la kaydiyaa ka dib marka ay soo baxdo node dheeraad ah? Goobtu miyay si gaabis ah u socotaa marka loo eego usbuucii hore?
Ogeysiinta (ogaysiisyada)
Wax baa jabay oo qof baa u baahan inuu hagaajiyo. Ama shay dhawaan jabi doona oo qof baa u baahan inuu dhakhso u hubiyo.
Samaynta dashboards
Dashboards waa in ay ka jawaabaan su'aalaha aasaasiga ah oo ay ku jiraan wax ka - daahitaanka (daahitaanka), taraafikada (taraafikada), khaladaadka (khaladaadka) iyo cabbirka culeyska (saturation).
Samaynta falanqaynta dib-u-eegis (debugging)
Dib u dhigista codsiga ayaa kordhay, laakiin maxaa kale oo dhacay isla waqti isku mid ah?
Nidaamyada la socodka ayaa faa'iido u leh sida isha xogta nidaamyada sirdoonka ganacsiga iyo si loo fududeeyo falanqaynta dhacdooyinka amniga. Sababtoo ah buuggani wuxuu diiradda saarayaa meelaha injineernimada ee SRE-yadu khibrad u leeyihiin, kama hadli doono farsamooyinka la socodka halkan.
Korjoogteynta iyo ogeysiisyadu waxay u oggolaanayaan nidaamka inuu kuu sheego marka uu burburay ama uu qarka u saaran yahay inuu burburo. Marka nidaam uusan si toos ah isu hagaajin karin, waxaan rabnaa in bini'aadamka uu falanqeeyo feejignaanta, go'aamiyo in dhibaatadu wali firfircoon tahay, xalliyo, oo go'aamiyo sababta asalka ah. Haddii aadan hubin qaybaha nidaamka, waligaa ma heli doontid digniin si fudud sababtoo ah "wax u muuqda wax yar oo qariib ah."
Culayska qofka ogaysiisyadu waa isticmaalka wakhtiga shaqaalaha oo qaali ah. Haddii shaqaaluhu shaqaynayo, digniintu waxay joojinaysaa habka shaqada. Haddii shaqaaluhu guriga joogo, digniintu waxay joojinaysaa wakhtiga gaarka ah iyo suurtogalnimada hurdo. Marka digniintu ay aad u badan tahay, shaqaaluhu way dhex maraan, ka saaraan, ama iska indhatiraan digniinaha soo socda. Mararka qaarkood waxay iska indhatiraan feejignaanta dhabta ah, taas oo lagu daboolay dhacdooyinka buuqa. Joojinta adeeggu waxay socon kartaa waqti dheer maadaama dhacdooyinka buuqa ay ka hortagayaan in dhibka si degdeg ah loo ogaado oo loo saxo. Nidaamyada digniinta waxtarka leh waxay leeyihiin saamiga signal-ilaa-sanqa wanaagsan.
Dejinta rajooyinka macquulka ah ee nidaamka la socodka
Dejinta la socodka arjiga adag waa hawl injineernimo lafteeda ah. Xitaa iyada oo leh kaabayaasha muhiimka ah ee ururinta, soo bandhigida, iyo qalabka digniinta, kooxda Google SRE ee 10-12 xubnood waxay caadi ahaan ku jiraan hal ama laba qof oo ujeeddadooda koowaad ay tahay in la dhiso oo la ilaaliyo nidaamyada la socodka. Tiradani waa ay yaraatay muddo ka dib markii aan xoojinayno oo aan meel dhexe ka dhignay kaabayaasha la socodka, laakiin koox kasta oo SRE caadi ahaan waxay haysataa ugu yaraan hal qof oo u heellan kormeerka. Waa inaan sheegnaa iyadoo la socodka dashboard-yada nidaamka ay aad u xiiso badan yihiin in la eego, kooxaha SRE waxay si taxadar leh uga fogaadaan xaaladaha u baahan qof inuu eego shaashadda si uu ula socdo dhibaatooyinka.
Guud ahaan, Google waxa ay u dhaqaaqday nidaamyo la socodka fudud oo degdeg ah oo leh qalab falanqaynta dhabta ah ka dib. Waxaan ka fogaana hababka "sixirka" ee isku dayaya inay saadaaliyaan xadka ama si toos ah u ogaadaan sababta asalka ah. Dareemayaasha ogaanaya nuxurka aan loo baahnayn ee codsiyada isticmaalaha dhamaadka waa tusaalaha kaliya ee lidka ku ah; Ilaa inta dareemayaashani ay yihiin kuwo fudud, waxay si dhakhso ah u ogaan karaan sababaha cilladaha halista ah. Qaababka kale ee isticmaalka xogta la socodka, sida qorshaynta awooda ama saadaalinta taraafikada, ayaa aad u adag. U fiirsashada wakhti aad u dheer (bilo ama sanado) oo ah qiime yar (saacadaha ama maalmo) waxay daaha ka qaadi doontaa isbedel mustaqbalka fog ah.
Kooxda Google SRE waxay soo hooyeen guulo isku dhafan oo leh kala sareynta ku tiirsanaanta. Marar dhif ah ayaan u isticmaalnaa shuruuc sida "haddii aan ogaado in xog-ururintu uu gaabis yahay, waxaan helayaa digniin ah in kaydka kaydku uu gaabis yahay, haddii kale waxaan helay digniin ah in goobta ay gaabis tahay." Xeerarka ku-tiirsanaanta waxay caadi ahaan tixraacaan qaybaha aan la bedeli karin ee nidaamkayaga, sida nidaamka lagu sifeeyo taraafikada isticmaalaha xarunta xogta. Tusaale ahaan, "haddii shaandhaynta taraafikada ee xarunta xogta la habeeyey, ha ii soo digin dib u dhacyada ku saabsan codsiyada isticmaalaha" waa hal sharci oo guud oo loogu talagalay digniinaha xarunta xogta. Kooxo yar oo Google ka tirsan ayaa taageera kala sarraynta ku-tiirsanaanta kakan sababtoo ah kaabayaasheena ayaa leh qiime joogto ah oo dib-u-habayn joogto ah.
Qaar ka mid ah fikradaha lagu sharraxay cutubkan ayaa weli ah kuwo khuseeya: had iyo jeer waxaa jira fursad aad si degdeg ah uga guurto calaamadda ilaa sababta asalka ah, gaar ahaan hababka isbeddelka joogtada ah. Sidaa darteed, iyada oo cutubkani uu qeexayo qaar ka mid ah yoolalka hababka kormeerka iyo sida loo gaaro yoolalkaas, waxaa muhiim ah in nidaamyada kormeerku ay yihiin kuwo sahlan oo ay fahmi karaan qof kasta oo kooxda ka mid ah.
Sidoo kale, si loo yareeyo heerarka qaylada iyo heerka calaamaduhu sareeyo, hababka lagula soconayo hantida heeganka ah waa inay ahaadaan kuwo aad u fudud oo la isku halayn karo. Xeerarka digniinaha u keena dadka waa in ay noqdaan kuwo si fudud loo fahmi karo oo soo bandhigaya dhibaato cad.
Calaamadaha ka soo horjeeda sababaha
Nidaamka la socodkaagu waa inuu ka jawaabaa laba su'aalood: "maxaa jabay" iyo "sababta u jabtay."
"Maxaa jabay" wuxuu ka hadlayaa calaamadda, iyo "sababta ay u jabtay" waxay ka hadlaysaa sababta. Jadwalka hoose wuxuu muujinayaa tusaalayaal xiriirradaas ah.
Astaamaha
Sababta
Helitaanka qaladka HTTP 500 ama 404
Kaydka xogta ayaa diiday isku xirka
Jawaabaha serverka oo gaabis ah
Isticmaalka CPU sare ama fiilada Ethernet oo dhaawacday
Isticmaalayaasha Antarctica ma helaan GIF-yada bisadaha
CDN-gaagu wuu neceb yahay saynisyahannada iyo bisadaha, markaa qaar ka mid ah ciwaannada IP-yada waxay ku dhammaadeen liiska madow
Xogta gaarka ah ayaa noqotay mid meel walba laga heli karo
Soo daynta software-ka cusub waxay ka dhigtay firewall-ka illowsii dhammaan ACL-yada oo qof walba u oggolaaday inuu galo
"Maxay" iyo "sababta" ayaa ah qaar ka mid ah dhismayaasha ugu muhiimsan ee abuurista nidaam la socodka wanaagsan oo leh calaamadda ugu badan iyo qaylada ugu yar.
Black-box vs White-sanduuqa
Waxaan isku darnaa la socodka ballaaran ee sanduuqa-cad iyo la socodka dhex-dhexaadka ah ee sanduuqa-madow ee cabbirrada muhiimka ah. Habka ugu fudud ee loo barbar dhigi karo sanduuqa Black-box iyo White-sanduuqa waa in sanduuqa Black-box uu calaamaduhu diirada saarayo oo uu ka falceliyo halkii la socon lahaa: "Nidaamka si sax ah uma shaqeeyo hadda." Sanduuqa cad-cad waxay ku xiran tahay awoodaha xaqiijinta gudaha ee nidaamyada: dhacdooyinka dhacdooyinka ama server-yada shabakadda. Markaa, White-box waxay kuu ogolaanaysaa inaad ogaato dhibaatooyinka soo socda, khaladaadka u muuqda inay yihiin gudbinta codsiga, iwm.
Ogsoonow in nidaamka multilayer, calaamad ka mid ah goobta injineernimada ee mas'uuliyadda waa calaamad ka mid ah ingineer kale ee aagga mas'uuliyadda. Tusaale ahaan, waxqabadka kaydka xogta ayaa hoos u dhacay. Akhriska kaydinta qunyar socodka ah waa calaamad muujinaysa kaydka xogta SRE ee ogaanaya iyaga. Si kastaba ha noqotee, SRE-da-dhamaadka hore ee u fiirsashada degel gaabis ah, sababta isla akhriska xogta gaabiska ah waa xog-ururin gaabis ah. Sidaa darteed, la socodka sanduuqa cad ayaa mararka qaarkood calaamaduhu diiradda saarayaan mararka qaarkoodna sabab-u-fiirsasho, iyadoo ku xidhan inta uu le'eg yahay.
Marka la ururinayo telemetry si loogu saxo, la socodka sanduuqa cad ayaa loo baahan yahay. Haddii server-yada shabakadu ay ka gaabiyaan ka jawaabista su'aalaha xogta, waxaad u baahan tahay inaad ogaato sida ugu dhakhsaha badan ee server-ka webku ula xiriiro xogta iyo sida ugu dhakhsaha badan ee uu uga jawaabo. Haddii kale, ma awoodi doontid inaad kala saartid server-ka xogta qunyar u dhexeeya iyo mushkiladda shabakadeed ee u dhaxaysa server-ka iyo kaydka.
Korjoogteynta sanduuqa madow waxay leedahay faa'iido muhiim ah markaad dirayso digniinaha: waxaad kicinaysaa ogeysiinta qaataha marka dhibaatadu ay mar hore keentay calaamado dhab ah. Dhanka kale, la socodka waa wax aan faa'iido lahayn dhibaatada Black-box ee aan weli soo bixin laakiin soo socota.
Afar calaamadood oo dahab ah
Afarta calaamadood ee dahabka ah ee la socodka waa daahitaan, taraafikada, khaladaadka, iyo saturation. Haddii aad kaliya cabbiri karto afar hab-beeg-beegtiyeedka isticmaalaha, diiradda saar afartaas.
Dib u dhac
Waqtiga loo baahan yahay in codsiga laga shaqeeyo. Waa muhiim in la kala saaro daahitaanka codsiyada lagu guulaystay iyo kuwa aan guulaysan. Tusaale ahaan, khalad HTTP 500 ah oo uu sababay luminta ku xidhidhiyaha kaydka xogta ama dhabarka dambe ayaa si degdeg ah loo ogaan karaa, si kastaba ha ahaatee, khalad HTTP 500 waxa uu muujin karaa codsi fashilmay. Go'aaminta saameynta qaladka 500 ee daahitaanka guud waxay keeni kartaa gabagabo khaldan. Dhanka kale, qaladka gaabiska ah xitaa waa qalad degdeg ah! Sidaa darteed, waxaa muhiim ah in lala socdo daahitaanka qaladka halkii si fudud loo sifeyn lahaa khaladaadka.
gaadiidka
Tirada codsiyada nidaamkaaga waxaa lagu cabbiraa cabbirada nidaamka heerka sare. Adeegga shabakadda, cabbirkani waxa uu si caadi ah u taagan yahay tirada codsiyada HTTP ilbiriqsikii, oo loo qaybiyay nooca codsiyada (tusaale, nuxur ama nuxur firfircoon). Nidaamka baahinta maqalka, cabbirkan waxaa laga yaabaa inuu diiradda saaro xawaaraha I/O ee shabakadda ama tirada kulannada isku mar ah. Nidaamka kaydinta qiimaha-muhiimka ah, cabbirkaani wuxuu noqon karaa wax kala iibsiga ama natiijooyinka raadinta ilbiriqsikiiba.
Khaladaad
Tani waa heerka codsiyada guul-darraystay ee cad (tusaale HTTP 500), daahsoon (tusaale HTTP 200 laakiin lagu daray waxyaabo aan sax ahayn) ama siyaasad (tusaale "Haddii aad jawaab ku qabatay hal ilbiriqsi gudaheed, hal ilbiriqsi kasta waa qalad"). Haddii summada jawaabta HTTP aysan ku filneyn in lagu muujiyo dhammaan shuruudaha guul dareysiga, borotokoolka sare (gudaha) ayaa laga yaabaa in loo baahdo si loo ogaado guuldarada qayb ahaan. La socodka dhammaan codsiyadaas guuldarraystay waxa laga yaabaa in aanay noqon wargelin, halka dhammaadka-ilaa-dhamaadka imtixaannada nidaamka ay kaa caawin doonaan in la ogaado in aad habaynayso macluumaadka khaldan.
Saturation
Cabbirku wuxuu muujinayaa sida xoogga leh ee adeeggaaga loo isticmaalo. Kani waa cabirka la socodka nidaamka kaas oo tilmaamaya agabyada sida aadka ah u xaddidan (tusaale ahaan, nidaamka xusuusta xaddidan, waxay muujinaysaa xusuusta, nidaamka xaddidan ee I/O, waxay tusinaysaa tirada I/Os). Ogsoonow in nidaamyo badan ay hoos u dhigaan waxqabadka ka hor inta aysan gaarin 100% ka faa'iidaysiga, markaa in la yeesho yoolka ka faa'iidaysigu waa muhiim.
Nidaamyada adag, saturation waxaa lagu kabi karaa cabbirro culeyska heerka sare ah: adeeggaagu ma si habboon u maareyn karaa taraafig laba jibaaran, ma xamili karaa taraafig ka badan 10%, ama ma xamili karaa xitaa taraafikada ka yar midka hadda? Adeegyada fudud ee aan lahayn halbeegyo beddelaya kakanaanta codsiga (tusaale, "waxba isiin" ama "Waxaan u baahanahay hal unug oo keli ah oo gaar ah"), oo naadir ah oo beddela qaabeynta, qiimaha tijaabada culeyska taagan ayaa ku filnaan kara. Si kastaba ha ahaatee, sida lagu sheegay cutubkii hore, adeegyada badankoodu waa inay isticmaalaan calaamado aan toos ahayn sida isticmaalka CPU ama bandwidth network, kaas oo leh xuduud sare oo la yaqaan. Kordhinta daahitaanka inta badan waa tilmaame horseed u ah dheregista. Cabbiraadda wakhtiga jawaabta boqolleyda 99 ee daaqad yar (tusaale, hal daqiiqo) waxay ku siin kartaa calaamad aad u horeeysa
Ugu dambeyntii, saturation waxay sidoo kale la xiriirtaa saadaasha ku saabsan saturation soo socda, tusaale ahaan: "Waxay u egtahay in xogtaada ay ku buuxin doonto darawalkaaga adag 4 saacadood."
Haddii aad cabbirto dhammaan afarta calaamadood ee dahabiga ah iyo marka ay dhibaato ka jirto mid ka mid ah mitirka (ama, xaaladda saturation, dhibaato dhow), waxaad u digtaa qof, adeeggaaga ayaa noqon doona mid ka badan ama ka yar oo lagu dabooli doono la socodka.
Walaaca ku saabsan "dabada" (ama qalabaynta iyo waxqabadka)
Marka la abuurayo nidaamka korjoogteynta laga bilaabo xoqan, waxaa jira tijaabin si loo horumariyo nidaam ku salaysan qiimaha celceliska: celceliska daahitaanka, celceliska isticmaalka CPU ee noodhka, ama celceliska buuxa ee xogta. Khatarta labada tusaale ee ugu dambeeya waa iska caddahay: Processor-yada iyo database-yada waxaa loo tuuraa si aan la saadaalin karin. Isla sidaas oo kale ayaa khuseysa dib u dhigista. Haddii aad maamusho adeega shabakada celceliska daahida 100ms oo leh 1000 codsi ilbiriqsi kasta, 1% ee codsiyada waxay qaadan karaan 5 ilbiriqsi. Haddii isticmaalayaashu ay ku tiirsan yihiin adeegyo badan oo shabakadeed oo noocaas ah, boqolleyda 99-aad ee hal dhabarka ayaa si fudud u noqon kara waqtiga jawaabta dhexe ee safka hore.
Habka ugu fudud ee lagu kala sooci karo celceliska gaabis ah iyo dabada aadka u gaabis ah ee codsiyada waa in la ururiyo cabbirada codsiyada lagu muujiyey tirakoobka (qalabka wanaagsan ee lagu soo bandhigo waa histograms) halkii laga heli lahaa daahitaanka dhabta ah: imisa codsi oo adeeggu u adeegay oo qaatay inta u dhaxaysa 0 ms iyo 10 ms, inta u dhaxaysa 10 ms iyo 30 ms, inta u dhaxaysa 30 ms iyo 100 ms, inta u dhaxaysa 100 ms iyo 300 ms, iwm ee codsiyada.
Doorashada heerka ku habboon ee faahfaahinta cabbiraadda
Qaybaha kala duwan ee nidaamka waa in lagu cabbiraa heerar kala duwan oo faahfaahsan. Tusaale ahaan:
- La socodka ka faa'iidaysiga CPU in muddo ah ma muujin doonto xawliyada muddada-dheer ee keenaya daahitaanno sare.
- Dhanka kale, adeegga shabakadda ee lagu beegsanayo wax aan ka badnayn saacadaha 9 ee hoos u dhaca sannadkii (99,9% saacadaha sanadlaha ah), hubinta jawaabta HTTP 200 in ka badan hal ama laba jeer daqiiqadii waxay u badan tahay inay noqoto mid aan loo baahnayn.
- Sidoo kale, hubinta booska wadista adag ee 99,9% helitaanka wax ka badan hal mar 1-2 daqiiqo malaha lagama maarmaan.
Ka fiirso sida aad u qaabaynayso cabbirrada cabbiraadahaaga. Uruurinta culeyska CPU hal mar ilbiriqsikiiba waxay ku siin kartaa xog xiiso leh, laakiin cabbirada soo noqnoqda waxay noqon kartaa mid aad qaali u ah in la ururiyo, la kaydiyo, lana falanqeeyo. Haddii yoolkaaga la socodka uu u baahan yahay xog-ururin sare oo aanu u baahnayn jawaab-celin sare, waxaad yarayn kartaa kharashyadan adiga oo dejinaya ururinta mitirka server-ka ka dibna aad dejiso nidaam dibadda ah si aad u ururiso oo isugu geyso cabbirradaas. Ma laga yaabaa inaad:
- Cabbir culeyska CPU ilbiriqsi kasta.
- Faahfaahinta ka yaree 5%.
- Isku geynta cabbirada daqiiqad kasta.
Istaraatiijiyadani waxay kuu ogolaanaysaa inaad ku ururiso xogta si aad u sarreeya adigoon ku dhicin falanqaynta sare iyo kaydinta sare.
Sida ugu fudud ee suurtogalka ah, laakiin ma fududa
Isku darka shuruudaha kala duwan ee midba midka kale wuxuu keeni karaa nidaam kormeer oo aad u adag. Tusaale ahaan, nidaamkaagu waxa laga yaabaa inuu lahaado waxyaabahan soo socda:
- Ogeysiisyada iyadoo loo eegayo heerarka kala duwan ee codsiga habaynta daahitaanka, boqolleyda kala duwan, dhammaan noocyada tilmaamayaasha kala duwan.
- Qorista kood dheeraad ah si loo ogaado loona garto sababaha suurtagalka ah.
- U samee dashboards la xidhiidha mid kasta oo ka mid ah sababaha suurtogalka ah ee dhibaatooyinka.
Ilaha dhibaatooyinka iman kara weligood ma dhammaanayaan. Sida dhammaan nidaamyada software, la socodka waxay noqon kartaa mid aad u adag oo ay noqoto mid jilicsan oo ay adagtahay in la beddelo lana ilaaliyo.
Sidaa darteed, naqshadeyso nidaamka kormeerkaaga si aad u fududeyso inta ugu badan ee suurtogalka ah. Markaad dooranayso waxa la socdo, maskaxda ku hay waxyaabaha soo socda:
- Xeerarka inta badan qabta dhacdooyinka dhabta ah waa inay ahaadaan kuwo fudud, la saadaalin karo oo la isku halayn karo intii suurtagal ah.
- Habaynta xog ururinta, isu geynta, iyo digniinta ee si aan badnayn loo qabto (tusaale, wax ka yar saddexdii biloodba mar ee kooxaha SRE) waa in meesha laga saaraa.
- Qiyaasaha la ururiyay laakiin aan lagu muujin dashboardka horudhaca ah ama ay isticmaalaan digniin kasta ayaa ah musharraxiinta tirtirka.
Google, ururinta mitirka aasaasiga ah iyo isu geynta, oo ay weheliso digniinaha iyo dashboards, waxay si fiican u shaqeeyaan sidii nidaam kaligiis ah (Nidaamka la socodka Google dhab ahaantii wuxuu u kala qaybsan yahay dhowr nidaam hoosaadyo, laakiin dadku waxay caadi ahaan ka warqabaan dhammaan qaybaha nidaamyadan hoose). Waxa laga yaabaa in ay noqoto mid damac leh in la isku daro la socodka iyo farsamooyinka kale ee lagu baadho hababka adag: hab-raac tifaftiran, hab-raacid habraaca, faahfaahinta raadraaca ee ku saabsan ka-reebista ama guul-darrooyinka, tijaabinta rarka, ururinta log iyo falanqaynta, ama kormeerka taraafikada. Iyadoo inta badan waxyaalahan ay leeyihiin waxyaabo ay wadaagaan la socodka aasaasiga ah, isku darka iyaga ayaa keeni doona natiijooyin aad u badan oo abuuraya nidaam adag oo jilicsan. Sida dhinacyo badan oo kale oo ka mid ah horumarinta software, taageeridda nidaamyo kala duwan oo leh cad, fudud, dhibco isdhexgalka oo dabacsan ayaa ah istaraatiijiyada ugu fiican (tusaale ahaan, isticmaalka API web si loo soo saaro xogta la isku daray ee qaab si joogto ah u sii jiri karta muddo dheer. ).
Isku xidhka Mabaadi'da
Mabaadi'da lagaga hadlay cutubkan waxa lagu dari karaa kormeer iyo falsafad feejignaan leh oo ay taageerto oo ay raacaan kooxaha Google SRE. Ku-dhaqanka falsafadan la socodka waa mid la jecel yahay, waa bar bilow wanaagsan oo abuurista ama dib u habeynta habka feejignaantaada, waxayna kaa caawin kartaa inaad waydiiso su'aalaha saxda ah ee hawlahaaga hawlgallada, iyadoon loo eegin xajmiga ururkaaga ama kakanaanta adeegga ama nidaamka.
Markaad abuurto xeerarka la socodka iyo feejignaanta, waydiinta su'aalaha soo socda waxay kaa caawin karaan inaad iska ilaaliso waxyaallaha beenta ah iyo digniinaha aan loo baahnayn:
- Xeerkani miyuu ogaadaa xaalad kale oo aan la ogaan karin ee nidaamka oo degdeg ah, ku baaqaya ficil, oo si lama huraan ah u saameeya isticmaalaha?
- Ma iska indho tiri karaa digniintan anoo og inay wanaagsan tahay? Goorma iyo sababta aan iskaga indho tiri karo digniintan iyo sidee baan uga fogaan karaa dhacdadan?
- Digniintan miyaa la macno ah in isticmaalayaasha si xun loo saameeyay? Ma jiraan xaalado aan isticmaalayaashu si xun u saameynin, sida shaandhaynta taraafikada ama marka la isticmaalayo hababka tijaabada ee digniinaha la sifeynayo?
- Ma qaadi karaa tallaabo aan kaga jawaabayo digniintan? Tallaabooyinkani ma degdeg baa mise ma sugi karaan ilaa subaxda? Ficil si badbaado leh ma loo toosin karaa? Ficilkani ma noqon doonaa xal waara mise xalin gaaban?
- Dadka qaar ayaa helaya digniino badan oo arrintan ku saabsan, markaa ma jirtaa hab lagu dhimo tirada digniinaha?
Su'aalahani waxay ka tarjumayaan falsafada aasaasiga ah ee digniinaha iyo hababka digniinta:
- Mar kasta oo digniin ii timaado, waa inaan isla markiiba ka jawaabaa. Waxaan si degdeg ah uga falcelin karaa dhowr jeer maalintii ka hor intaanan daalin.
- Digniin kasta waa in ay ahaataa mid khuseeya.
- Jawaab kasta oo digniin ah waa inay u baahan tahay faragelin bini'aadmi Haddii ogeysiinta si toos ah looga baaraandegi karo, waa inaysan imaan.
- Ogeysiisyadu waa inay ku saabsan yihiin dhibaato ama dhacdo cusub oo aan horay u jirin.
Habkani waxa uu kala saarayaa kala duwanaansho gaar ah: haddii digniintu ay qanciso afartii shuruudood ee hore, dhib ma laha in digniinta laga soo diro nidaamka la socodka sanduuqa White-box ama Black-Box. Habkani waxa kale oo uu xoojiyaa kala duwanaanshiyaha qaarkood: waxaa fiican in lagu bixiyo dadaal badan oo lagu aqoonsanayo calaamadaha marka loo eego sababaha; Marka ay timaado sababaha, waxaad u baahan tahay oo kaliya inaad ka walwasho sababaha lama huraanka ah.
La socodka muddada dheer
Deegaannada wax soo saarka ee maanta, nidaamyada la socodka waxay la socdaan nidaamka wax-soo-saarka ee isbeddelaya oo beddelaya qaab-dhismeedka software-ka, sifooyinka culayska shaqada, iyo bartilmaameedyada waxqabadka. Ogeysiisyada hadda ay adagtahay in si otomaatig ah loo sameeyo ayaa laga yaabaa inay noqdaan wax caadi ah, laga yaabee xitaa mudan in wax laga qabto. Halkaa marka ay marayso, qof waa in uu raadiyaa oo meesha ka saaraa asbaabaha dhibaatada; haddii xallinta noocaas ah aysan suurtagal ahayn, jawaabta digniintu waxay u baahan tahay qalab dhammaystiran.
Waa muhiim in go'aamada la socodka la gaaro iyadoo maskaxda lagu hayo yoolal fog. Feejignaan kasta oo maanta socota waxay qofka ka weecinaysaa inuu hagaajiyo nidaamka berrito, sidaas darteed waxaa inta badan hoos u dhaca helitaanka ama waxqabadka nidaamka wax soo saarka wakhtiga loo baahan yahay si loo hagaajiyo nidaamka kormeerka mustaqbalka fog. Aynu eegno laba tusaale si aan u muujinno dhacdadan.
Bigtable SRE: Sheeko Digniin Dheeraad ah
Kaabayaasha Google ee gudaha waxaa sida caadiga ah la bixiyaa waxaana lagu qiyaasaa heerka adeegga (SLO). Sannado badan ka hor, adeegga Bigtable SLO wuxuu ku salaysan yahay celceliska waxqabadka macaamilka synthetic ee u ekaysiinaya macmiilka nool. Sababo la xiriira arrimaha Bigtable iyo heerarka hoose ee kaydinta kaydinta, celceliska waxqabadka waxaa waday dabo "weyn": 5% ugu xumaa ee weydiimaha ayaa inta badan si weyn uga gaabiyay inta kale.
Ogeysiisyada iimaylka ayaa la diray markii la soo dhawaaday xadka SLO, iyo digniinaha farriinta ayaa la diray markii SLO la dhaafiyay. Labada nooc ee digniinaha ayaa la soo diray marar badan, iyaga oo cunay xaddi aan la aqbali karin oo waqti injineer ah: kooxdu waxay ku qaadatay wakhti aad u badan oo ay ku kala soocaan digniinaha si ay u helaan kuwa yar oo run ahaantii khuseeya. Inta badan waxaan seegnay arrin dhab ahaantii saamaysay isticmaalayaasha sababtoo ah kaliya qaar ka mid ah digniinaha ayaa ahaa arrin gaar ah. Qaar badan oo ka mid ah digniinaha ma ahayn kuwo degdeg ah sababtoo ah dhibaatooyinka la fahmi karo ee kaabayaasha waxaana loo habeeyey hab caadi ah, ama aan la farsamayn gabi ahaanba.
Si loo xaliyo xaalada, kooxdu waxay qaadatay habab saddex geesood ah: Anagoo si adag uga shaqaynaynay hagaajinta waxqabadka Bigtable, waxaanu si ku meel gaadh ah u dejinay yoolkayaga SLO inuu noqdo boqolkiiba 75 ee jawaabta su'aasha. Waxaan sidoo kale daminay ogeysiisyada iimaylka sababtoo ah waxaa jiray kuwo aad u badan oo aan suurtagal ahayn in waqti lagu bixiyo ogaanshaha iyaga.
Istaraatiijiyadani waxay noo ogolaatay qolka neefsashada si aan u bilowno hagaajinta arrimaha muddada-dheer ee Bigtable iyo heerarka hoose ee kaydinta kaydinta, halkii aan si joogto ah u hagaajin lahayn arrimaha farsamada. Injineerada dhab ahaantii waxay heli karaan shaqo iyada oo aan lagu garaacin digniino mar kasta. Ugu dambayntii, dib-u-dhigista ku-meel-gaadhka ah ee ka-hortagga feejignaanta waxay noo ogolaatay inaan horumarino tayada adeeggayaga.
Gmail: La saadaalin karo, Jawaabaha Aadanaha Algorithmic
Bilowgiisii, Gmail waxa lagu dhisay hab maamulka habraaca Workqueue oo la beddelay kaas oo loo qaabeeyey in lagu kala saaro qaybo ka mid ah habka raadinta. Workqueue waxaa lagu habeeyey habab nololeed oo dheer ka dibna lagu dabaqay Gmail, laakiin qaar ka mid ah cayayaanka ku jira koodka jadwaleeyaha ayaa aad u adkeyd in la hagaajiyo.
Waqtigaas, la socodka Gmail ayaa la habeeyey si digniinaha loo kiciyo marka hawlihii gaarka ahaa la joojiyay iyadoo la isticmaalayo Workqueue. Habkani ma ahayn mid ku habboon, sababtoo ah xitaa wakhtigaas, Gmail wuxuu qabtay kumanaan hawlo ah, kuwaas oo mid kasta oo ka mid ah la siiyay qayb ka mid ah boqolkiiba isticmaalayaashayada. Waxaan aad uga walaacsanahay siinta isticmaalayaasha Gmail khibrad isticmaale oo wanaagsan, laakiin maaraynta ogeysiisyo badan ayaa ka baxay.
Si arrintan wax looga qabto, Gmail SRE waxa ay abuurtay qalab ka caawinaya in jadwal-wadeha la tirtiro sida ugu wanaagsan ee suurtogalka ah si loo yareeyo saameynta isticmaaleyaasha. Kooxdu waxay yeesheen xoogaa doodo ah oo ku saabsan in si fudud loo habeeyo wareegga oo dhan laga bilaabo daahfurka dhibaatada iyada oo loo marayo hagaajinta ilaa xal waqti dheer ah la helo, laakiin qaar ayaa ka walaacsan in xalkan oo kale uu dib u dhigo dhab ahaantii hagaajinta dhibaatada.
Xiisadani waxay ahayd mid caan ku ah kooxda oo inta badan ka tarjumaysa kalsooni la'aanta is-edbinta: halka qaar ka mid ah xubnaha kooxda ay rabaan inay waqti u ogolaadaan hagaajinta saxda ah, kuwa kale waxay ka walwalaan in hagaajinta kama dambaysta ah la iloobi doono oo hagaajinta ku meel gaarka ah ay qaadan doonto weligeed. Arrintani waxay u qalantaa fiiro gaar ah sababtoo ah aad bay u fududahay in si ku meel gaar ah loo xaliyo dhibaatooyinka halkii laga dhigi lahaa xaalad joogto ah. Maareeyayaasha iyo shaqaalaha farsamada ayaa door muhiim ah ka ciyaara hirgelinta hagaajinta muddada dheer, taageerida iyo mudnaanta hagaajinta suurtagalka ah ee muddada dheer xitaa ka dib marka "xanuunka" bilowga ah uu hoos u dhaco.
Digniin joogto ah, soo noqnoqota iyo jawaabaha algorithmics waa inay ahaadaan calan cas. Cajiibka kooxdaada ee ah in ay si otomaatig ah u sameeyaan ogeysiisyadan waxay la macno tahay in kooxdu ay ka maqan tahay kalsooni ay ku aamini karaan algorithms-yada. Tani waa dhibaato halis ah oo u baahan in wax laga qabto.
Muddada dheer
Mawduuca guud waxa uu isku xidhaa tusaalooyinka Bigtable iyo Gmail: tartanka u dhexeeya helitaanka wakhtiga dhow iyo wakhtiga fog. Badanaa, dadaal xoog leh ayaa kaa caawin kara nidaamka jilicsan inuu gaaro helitaan sare, laakiin waddadani badanaa waa mid gaaban, oo ay ka buuxaan gubasho kooxeed iyo ku tiirsanaanta tiro yar oo ka mid ah xubnaha kooxdaas geesiyaasha ah.
Xakamaynta, dhimista muddada-gaaban ee helitaanka inta badan waa xanuun, laakiin istaraatiijiyad ahaan muhiim u ah xasilloonida muddada dheer ee nidaamka. Waa muhiim inaadan feejignaan kasta si gooni ah u eegin, laakiin in la tixgeliyo in heerka guud ee mugga feejignaanta uu horseedayo caafimaad qaba, nidaam si habboon loo heli karo oo leh koox macquul ah iyo saadaal wanaagsan. Waxaan falanqeyneynaa tirooyinka soo noqnoqda ee digniinta (badanaa waxaa lagu muujiyaa sida shil kasta oo wareeg ah, halkaasoo shilku ka koobnaan karo dhacdooyin badan oo la xiriira) warbixinnada saddexdii biloodba mar ee maamulka, taasoo u oggolaaneysa go'aan-gaarayaasha inay lahaadaan aragti joogto ah oo ku saabsan culeyska nidaamka digniinta iyo guud ahaan caafimaadka kooxda.
gunaanad
Jidka loo maro kormeer caafimaad qaba iyo feejignaan waa mid fudud oo cad. Waxay diiradda saartaa calaamadaha dhibaatada ee kicinaya digniinaha, iyo la socodka sababta waxay u adeegtaa sidii gargaar lagu saxayo dhibaatooyinka. La socodka calamadaha way fududahay hadba inta aad ku jirto xidhmada aad gacanta ku hayso, in kasta oo la socodka culayska iyo waxqabadka kaydka xogta waa in si toos ah loogu sameeyaa kaydka xogta lafteeda. Ogeysiinta iimaylka waxay leeyihiin faa'iidooyin aad u xaddidan waxayna u muuqdaan inay si fudud u noqdaan buuq; bedelkeeda, waa inaad isticmaashaa dashboard-ka kormeeraya dhammaan arrimaha hadda jira ee kicinaya digniinaha iimaylka. Dashboard-ka waxa kale oo lagu lamaanayn karaa diiwaanka dhacdada si loo falanqeeyo xidhiidhka taariikheed.
Muddada dheer, waxaa lagama maarmaan ah in la gaaro wareeg guul leh oo digniino ah oo ku saabsan calaamadaha iyo dhibaatooyinka dhabta ah ee soo socda, la qabsiga yoolalka si loo hubiyo in la socodka ay taageerto ogaanshaha degdega ah.
Waad ku mahadsan tahay akhrinta tarjumaada ilaa dhamaadka. Ku xidhnow kanaalkayga telegramka wixii ku saabsan la socodka ΠΈ .
Source: www.habr.com