Webinarku wuxuu leeyahay maqal liidata, markaa waxaanu samaynay qoraal.
Magacaygu waa Medvedev Eduard. Maanta waxaan ka hadli doonaa waxa SRE yahay, sida SRE u soo baxday, maxay yihiin shuruudaha shaqada ee injineerada SRE, wax yar oo ku saabsan shuruudaha kalsoonida, wax yar oo ku saabsan kormeerkeeda. Waanu ka gudbi doonaa meesha ugu sareysa, sababtoo ah wax badan kuma sheegi kartid saacad gudaheed, laakiin waxaan ku siin doonaa qalab dib u eegis dheeraad ah, dhamaanteenna waxaan ku sugeynaa . ee Moscow dhamaadka Janaayo.
Marka hore, aan ka hadalno waxa SRE - Injineernimada Isku hallaynta Goobta - waa. Iyo sida ay u muuqatay meel gooni ah, sida jiho gaar ah. Dhammaantood waxay ku bilowdeen xaqiiqda ah in wareegyada horumarinta dhaqameed, Dev iyo Ops ay yihiin laba kooxood oo gebi ahaanba kala duwan, oo badanaa leh laba gool oo kala duwan. Hadafka kooxda horumarintu waa inay soo saaraan astaamo cusub si ay u daboolaan baahiyaha ganacsiga. Hadafka kooxda Ops waa in la hubiyo in wax walba ay shaqeeyaan oo aysan waxba jabin. Sida iska cad, yoolalkani waxay si toos ah uga soo horjeedaan midba midka kale: si wax walba u shaqeeyaan oo aan waxba u jabin, waxaa fiican in la soo saaro sifooyin cusub sida ugu yar ee suurtogalka ah. Sababtaas awgeed, khilaafyo badan oo gudaha ah ayaa soo baxa, kuwaas oo habka hadda loo yaqaan DevOps uu isku dayayo inuu xalliyo.
Dhibaatadu waxay tahay in aynaan lahayn qeexitaan cad oo DevOps ah iyo hirgelinta cad ee DevOps. Waxaan ka hadlay shir ka dhacay Yekaterinburg 2 sano ka hor, iyo ilaa hadda qaybta DevOps waxay ku bilaabatay warbixinta "Waa maxay DevOps." Sannadka 2017, doobku wuxuu ku dhow yahay 10 sano jir, laakiin weli waxaan ka doodaynaa waxa ay tahay. Tanina waa xaalad aad u yaab badan oo Google ay isku dayday inay xalliso dhowr sano ka hor.
Sannadkii 2016, Google ayaa soo saartay buug la yiraahdo "Ingineering Reliability Ingineer." Dhab ahaantiina, waxay ahayd buuggan in dhaqdhaqaaqa SRE uu bilaabay. SRE waa ikhtiyaar gaar ah oo lagu hirgelinayo qaabka DevOps ee shirkad gaar ah. Injineerada SRE ayaa naftooda dejiyay hadafka hubinta hawlgallada la isku halayn karo ee nidaamyada. Inta badan waxaa laga soo qaatay horumariyeyaal, mararka qaarkoodna laga soo qaatay maamulayaal leh asal horumarineed oo xooggan. Waxayna sameeyaan wixii ay maamulayaasha nidaamku samayn jireen, laakiin asal xooggan oo xagga horumarka ah iyo aqoonta nidaamka marka laga eego dhinaca koodhka ayaa keenaysa in dadkani aanay u janjeedhin shaqada maamul ee caadiga ah, balse ay u janjeeraan inay ku shaqeeyaan.
Waxay soo baxday in qaabka DevOps ee kooxaha SRE ay fuliyeen xaqiiqda ah inay jiraan injineero SRE ah oo xalliya dhibaatooyinka qaabdhismeedka. Waa kan, isku xidhka ka dhexeeya Dev iyo Ops ee ay dadku ka hadlayeen 8 sano. Doorka SRE wuxuu la mid yahay kan naqshadeeyaha in kuwa cusubi aysan noqonin SREs. Dadku bilawga xirfadooda ayaan wali lahayn wax khibrad ah oo aan haysan balaadhka aqoonta loo baahan yahay. Sababtoo ah SRE waxay u baahan tahay aqoon aad u casrisan oo ku saabsan sida saxda ah waxa iyo goorta saxda ah ee khaldami kara. Sidaa darteed, nooc ka mid ah waayo-aragnimada ayaa halkan looga baahan yahay, sida caadiga ah, labadaba gudaha shirkadda iyo dibaddaba.
Waxay waydiinayaan in farqiga u dhexeeya SRE iyo devops la sifayn doono. Hadda ayaa lagu sifeeyay. Waxaan ka hadli karnaa goobta SRE ee ururka. Si ka duwan habka caadiga ah ee DevOps, halkaasoo Ops ay weli tahay waax gaar ah, SRE waa qayb ka mid ah kooxda horumarinta. Waxay ku lug leeyihiin horumarinta alaabta. Xitaa waxaa jira hab uu SRE yahay door ka gudba hal horumariye una gudba mid kale. Waxay uga qaybqaataan dib u eegista code si la mid ah, tusaale ahaan, naqshadeeyayaasha UX, horumariyayaal laftooda, iyo mararka qaarkood maamulayaasha alaabada. SRE-yadu waxay ku shaqeeyaan isla heerkan. Waxaan u baahanahay ansixintooda, waxaan u baahanahay dib u eegistooda, si kasta oo la geeyo SRE waxay dhahdaa: "Hagaag, diritaan, badeecadani si xun uma saameyn doonto isku halaynta. Haddii ay dhacdona, waxay ahaan doontaa xad la aqbali karo." Middana waan ka hadli doonaa.
Sidaas awgeed, SRE waxay leedahay diidmada qayaxan ee isbeddelada koodka. Guud ahaan, tani waxay sidoo kale keentaa xoogaa isku dhac ah haddii SRE loo fuliyo si khaldan. Buuggaas oo ku saabsan Injineernimada Isku hallaynta Goobta, qaybo badan, xitaa in ka badan hal, ayaa sheegaya sida looga fogaado isku dhacyadan.
Dadku waxay waydiiyaan sida SRE ula xidhiidho amniga macluumaadka. SRE si toos ah uguma lug laha amniga macluumaadka. Inta badan shirkadaha waaweyn, tan waxaa sameeya dad gaar ah, tijaabiyeyaal, iyo falanqeeyayaasha. Laakiin SRE waxay sidoo kale la falgashaa iyaga iyadoo la raacayo in hawlgallada qaar, qaar ay sameeyaan, qaar la geeyo oo saameeya amniga ay sidoo kale saameyn ku yeelan karaan helitaanka alaabta. Sidaa darteed, SRE guud ahaan waxay la falgashaa koox kasta, oo ay ku jiraan kooxaha amniga, oo ay ku jiraan falanqeeyayaasha. Sidaa darteed, SRE-yada waxaa inta badan loo baahan yahay marka la isku dayayo in la hirgeliyo DevOps, laakiin culeyska saaran horumariyeyaasha ayaa noqda mid aad u weyn. Taasi waa, kooxda horumarinta lafteedu ma sii adkeysan karaan xaqiiqda ah in hadda ay sidoo kale u baahan yihiin inay mas'uul ka noqdaan Ops. Waxaana muuqata door gaar ah. Doorkan waxaa loo qorsheeyay miisaaniyadda. Mararka qaarkood doorkan waxaa lagu dhisay xajmiga kooxda, qof gaar ah ayaa u muuqda, mararka qaarkood mid ka mid ah horumarinta ayaa noqda. Tani waa sida SRE-ga ugu horreeya uu uga muuqdo kooxda.
Kakanaanta nidaamka ee ay saamayso SRE, kakanaanta saameeya kalsoonida hawlgalka, waxay noqon kartaa lama huraan ama shil. Kakanaanta lama huraanka ah waa marka kakanaanta alaabadu ay korodho ilaa xadka ay u baahan yihiin sifooyinka badeecada cusub. Kakanaanta random waa marka kakanaanta nidaamku korodho, laakiin qaabka alaabta iyo shuruudaha ganacsigu si toos ah uma saameeyaan tan. Waxay soo baxday in horumariyuhu uu khalad sameeyay meel, ama algorithm ma aha mid fiican, ama qaar ka mid ah danaha dheeraadka ah ayaa la soo bandhigay kuwaas oo kordhiya kakanaanta alaabta si aan loo baahnayn. SRE-ga wanaagsan waa inuu had iyo jeer ka fogaadaa xaaladdan. Taasi waa, ballan kasta, dirid kasta, codsi kasta oo jiidis ah oo kordhiya kakanaanta sababtoo ah ku-darka random waa in la xannibaa.
Su'aashu waxay tahay maxaa diidaya oo kaliya inaad kireysato injineer, maamule nidaam leh aqoon badan, si uu ugu biiro kooxda. Horumarinta doorka injineernimada, ayaa naloo sheegay, ma aha xalka ugu fiican ee shaqaalaha. Horumariyaha doorka injineerku had iyo jeer ma aha xalka ugu fiican ee shaqaalaha, laakiin barta halkan ayaa ah in horumariyaha ku hawlan Ops uu leeyahay rabitaan dheeri ah oo otomaatig ah, uu leeyahay aqoon iyo xirfad dheeri ah si loo hirgaliyo tan. automation Oo sidaas daraaddeed, waxaan la dhimay ma aha oo kaliya waqtiga qaar ka mid ah hawlaha gaarka ah, ma aha oo kaliya caadiga ah, laakiin sidoo kale sida xuduudaha ganacsiga muhiimka ah sida MTTR (Mean Time To Recovery, time raysashada). Sidaa darteed, iyo sidoo kale waxaan ka hadli doonaa arrintan wax yar ka dib, waxaan u keydineynaa lacag ururka.
Hadda aan ka hadalno shuruudaha shaqada SRE. Iyo marka hore oo dhan ku saabsan isku halaynta. Shirkadaha yaryar iyo kuwa bilawga ah, inta badan waxay dhacdaa in dadku u qaataan in haddii adeegga si fiican loo qoro, haddii alaabta si fiican loo qoro oo sax ah, ay shaqeyn doonto, ma jabin doonto. Taasi waa, waxaan ku qornaa kood wanaagsan, markaa ma jiraan wax la jabiyo. Koodhku waa mid aad u fudud, ma jiraan wax la jabiyo. Kuwani waxay ku saabsan yihiin dad isku mid ah oo leh uma baahnid baaritaanno, sababtoo ah, fiiri, kuwani waa saddex hab oo VPI ah, maxaad u dhibaysaa?
Dhammaan tani waa khalad, dabcan. Dadkani waxay inta badan ku dhaawacmaan xeerka noocan ah ficil ahaan, sababtoo ah arrimuhu way jabaan. Arrimuhu mararka qaarkood waxay ku jabaan siyaabaha aan la saadaalin karin. Mararka qaarkood dadku waxay yidhaahdaan maya, weligeed dhici mayso. Welina way dhacdaa. Waxay dhacdaa marar badan. Taasina waa sababta uusan qofna weligiis ugu dadaalin helitaanka 100%, sababtoo ah 100% helitaanku waligiis ma dhaco. Tani waa caadada. Taasina waa sababta aan had iyo jeer uga hadalno sagaal marka aan ka hadalno helitaanka adeegga. 2 Sagaal, 3 Sagaal, 4 Sagaal, 5 Sagaal. Haddii aan tan u turjunno wakhtiga dhimista, ka dib, tusaale ahaan, 5 nines waa wax yar oo ka badan 5 daqiiqo oo hoos u dhac ah sannadkii, 2 sagaal waa 3,5 maalmood oo hoos u dhac ah.
Laakiin way iska caddahay in mar uun ay jirto hoos u dhac ku yimaada POI iyo soo celinta maalgashiga. Ka noqoshada laba sagaal ilaa saddex sagaal waxay la macno tahay dhimista wakhtiga wax ka badan 3 maalmood. Ka noqoshada afar sagaal ilaa shan waxay yaraynaysaa wakhtiga dhimista 47 daqiiqo sanadkii. Waxayna soo baxday in tani aysan muhiim u ahayn ganacsiga. Guud ahaan, isku halaynta loo baahan yahay maaha arrin farsamo, marka hore, waa arrin ganacsi, waa arrin wax soo saarka. Waa maxay heerka hoos u dhigista ee la aqbali karo dadka isticmaala alaabta, maxay filayaan, inta ay bixiyaan, tusaale ahaan, inta lacag ee ay lumiyaan, lacag intee le'eg ayaa nidaamka lumay.
Su'aasha muhiimka ah ayaa ah waa maxay isku halaynta qaybaha hadhay. Sababtoo ah farqiga u dhexeeya 4 iyo 5 nines lagama arki doono casriga ah ee leh 2 sagal la isku halleyn karo. Ku dhawaad ββββhadalka, haddii wax ku jabo taleefanka casriga ah ee adeeggaaga 10 jeer sannadkii, waxay u badan tahay 8 jeer burburku ka dhacay dhinaca OS. Isticmaaluhu waa loo isticmaalaa tan, mana bixin doono feejignaan hal mar oo dheeraad ah sannadkii. Waa lagama maarmaan in la barbardhigo qiimaha kordhinta kalsoonida iyo kordhinta faa'iidada.
Buuga SRE waxa ku jira tusaale wanaagsan oo ah in la kordhiyo 4 sagal laga bilaabo 3 sagal. Waxaa soo baxday in kororka helitaanku uu wax yar ka yar yahay 0,1%. Oo haddii dakhliga adeeggu yahay $1 milyan sanadkii, markaas korodhka dakhligu waa $900. Haddii kordhinta helitaanka sagaal ay nooga baxdo wax ka yar $900 sannadkii, korodhku wuxuu samaynayaa macno dhaqaale. Haddii ay ku kacdo in ka badan $900 sannadkii, hadda macno ma samaynayso, sababtoo ah korodhka dakhliga si fudud ma u magdhabo kharashka shaqada iyo kharashka kheyraadka. Oo 3 sagaal ayaa nagu filan.
Tani dabcan waa tusaale la fududeeyay halkaasoo dhammaan codsiyada ay siman yihiin. Laga soo bilaabo 3 sagaal ilaa 4 sagaalaad waa wax aad u fudud in la tago, laakiin isla mar ahaantaana, tusaale ahaan, ka socoshada 2 sagaal ilaa 3 waxay horeyba u ahayd kayd 9 kun oo doolar ah, waxay samayn kartaa dareen dhaqaale. Dabiici ahaan, run ahaantii, guuldarada in la diiwaan geliyo codsigu way ka xun tahay guuldarrada soo bandhigida bogga; codsiyadu waxay leeyihiin miisaan kala duwan. Waxaa laga yaabaa inay leeyihiin shuruudo gebi ahaanba ka duwan dhinaca ganacsiga, laakiin weli, sida caadiga ah, haddii aynaan ka hadlin wax adeegyo gaar ah, tani waa qiyaas la isku halleyn karo oo caddaalad ah.
Waxaan helnay su'aal ah in SRE uu yahay mid ka mid ah isku-duwayaasha marka la dooranayo xalka dhismaha ee adeegga. Tani waa mid la aqbali karo marka la eego isdhexgalka kaabayaasha jira si aysan u dhicin xasilloonideeda. Haa, SRE-yadu waxay saameeyaan codsiyada jiidista, go'aaminta, siidaynta si la mid ah; waxay saameeyaan qaab-dhismeedka, hirgelinta adeegyada cusub, adeegyada yaryar, iyo hirgelinta xalal cusub. Maxaan horay u idhi waxaad u baahan tahay khibrad, waxaad u baahan tahay shahaadooyin. Dhab ahaantii, SRE waa mid ka mid ah codadka xannibaya ee qaab dhismeed kasta iyo xal software kasta. Sidaa darteed, SRE-ga injineer ahaan waa in, marka hore, ma aha oo kaliya in la fahmo, laakiin sidoo kale waa in la fahmo sida qaar ka mid ah go'aamada gaarka ah ay u saameyn doonaan isku halaynta, xasiloonida, iyo fahamka sida tani ula xiriirto baahiyaha ganacsiga, iyo marka laga eego aragtida tani waxay noqon kartaa mid la ogol yahay. oo aanay la socon.
Sidaa darteed, hadda waa waqtigii laga hadli lahaa shuruudaha la isku halleyn karo, kuwaas oo SRE dhaqan ahaan lagu qeexay SLA (Heshiiska Heerka Adeegga). Waxay u badan tahay erey la yaqaan. SLI (Tilmaanta Heerka Adeegga). SLO (Ujeedada Heerka Adeegga). Heshiska Heerka Adeeggu waa laga yaabaa inuu yahay erey muhiim ah, gaar ahaan haddii aad la shaqeysay shabakadaha, bixiyeyaasha, iyo martigelinta. Kani waa heshiis guud oo qeexaya waxqabadka adeegaaga oo dhan, ganaaxyo, ganaaxyada qaar ee khaladaadka, cabbirada, shuruudaha. SLI-na waa cabbirka gelitaanka laftiisa. Taasi waa, waxa SLI noqon karaa: wakhtiga jawaabta adeegga, tirada khaladaadka boqolkiiba. Tani waxay noqon kartaa bandwidth haddii aan ka hadlayno nooc ka mid ah martigelinta faylka. Haddii aan ka hadlayno algorithms aqoonsiga, tilmaamuhu wuxuu xitaa noqon karaa, tusaale ahaan, saxnaanta jawaabta. SLO (Ujeedada Heerka Adeegga) waa, siday u kala horreeyaan, isku darka tusaha SLI, qiimaheeda iyo muddada.
Aynu nidhaahno SLA waxay noqon kartaa sidan. Adeegga waxa la heli karaa 99,95% wakhtiga sanadka oo dhan. Ama 99 tigidh taageero farsamo oo muhiim ah ayaa la xidhi doonaa 3 saacadood rubuckiiba. Ama 85% su'aalaha waxaa lagaga jawaabi doonaa 1,5 ilbiriqsi gudahood bishiiba. Taasi waa, waxaan si tartiib tartiib ah u fahmaynaa in khaladaadka iyo guuldarrooyinka ay yihiin kuwo caadi ah. Tani waa xaalad la aqbali karo, waan qorsheyneynaa, xitaa waxaan ku xisaabtameynaa ilaa xad. Taasi waa, SRE waxay dhistaa habab khaladaad samayn kara, waa inay si caadi ah uga jawaabaan khaladaadka, waana inay xisaabta ku dartaa. Haddii ay suurtagal tahay, waa inay u xalliyaan khaladaadka si uusan isticmaaluhu u dareemin, ama u ogaanin, laakiin waxaa jira nooc ka mid ah habka loo xalliyo si aysan wax walba u dhicin gebi ahaanba.
Tusaale ahaan, haddii aad fiidiyoow ku dhejiso YouTube, YouTube-kuna ma beddeli karo isla markaaba, haddii fiidiyowgu aad u weyn yahay, haddii qaabku aanu fiicnayn, markaa codsigu si dabiici ah kuma guuldareysan doono iyadoo la joogo waqti, YouTube ma soo bandhigi doono 502 qalad, YouTube waxay odhan doontaa: "Wax walba waanu abuurnay, fiidyahaaga waa la habaynayaa. Waxay ku diyaar noqon doontaa ilaa 10 daqiiqo gudahood.β Tani waa mabda'a hoos u dhigista quruxda badan, kaas oo la yaqaan, tusaale ahaan, horumarka hore ee hore haddii aad waligaa tan samaysay.
Ereyada soo socda ee aan ka hadli doono, kuwaas oo aad muhiim ugu ah in lagu shaqeeyo isku halaynta, khaladaadka, filashooyinka, waa MTBF iyo MTTR. MTBF waa wakhtiga u dhexeeya guuldarrooyinka. MTTR Wakhtiga Soo kabashada, celceliska wakhtiga soo kabashada. Taasi waa, intee in le'eg ayaa laga soo bilaabo wakhtiga qaladka la ogaaday, laga bilaabo wakhtiga uu khaladku soo baxay ilaa wakhtiga adeegga lagu soo celiyay gebi ahaanba hawlihii caadiga ahaa. MTBF waxaa inta badan lagu saxaa ka shaqaynta tayada code. Taasi waa, xaqiiqda ah in SRE-yadu ay odhan karaan "maya". Kooxda oo dhami waxay u baahan tahay inay fahmaan marka SRE uu yiraahdo "maya," ma dhahayo sababtoo ah waa waxyeello, maaha sababtoo ah wuu xun yahay, laakiin sababtoo ah haddii kale qof kastaa wuu dhibtoon doonaa.
Mar labaad, waxaa jira maqaallo badan, habab badan, siyaabo badan, xitaa buugga oo aan inta badan tixraaco, sida loo hubiyo in horumariyeyaasha kale aysan bilaabin nacaybka SRE. MTTR, dhanka kale, waxay ku saabsan tahay ka shaqaynta SLO (Hadafka Heerka Adeegga). Tanina inta badan waa otomaatig. Sababtoo ah, tusaale ahaan, SLO-gayagu waa wakhtiga ugu badan ee 4 sagal rubuckiiba. Tani waxay ka dhigan tahay in 3 bilood gudahood aan ku ogolaan karno 13 daqiiqo oo waqti-dhimis ah. Waxayna soo baxday in MTTR-kayagu aanu suurtogal ahayn inuu ka badnaado 13 daqiiqo. Haddii aan qaadano 13 daqiiqo si aan uga falcelinno ugu yaraan 1 waqti hoos u dhac ah, tani waxay la macno tahay in aan horay u daalannay dhammaan miisaaniyada rubuci. Waxaan jabineynaa SLO. 13 daqiiqo in aad ka jawaabto oo aad saxdo fashilka aad bay ugu badan tahay mishiinka, laakiin aad ayay u yar tahay qofka. Sababtoo ah marka qofku helo digniinta, marka uu ka falcelinayo, marka uu garto qaladka, horeba waa daqiiqado yar. Ilaa uu qofku fahmo sida loo hagaajiyo, waxa saxda ah ee la hagaajinayo, waxa la sameeyo, waxay qaadan doontaa dhowr daqiiqo oo dheeraad ah. Dhab ahaantii, xitaa haddii aad u baahan tahay inaad dib u bilowdo server-ka, sida ay soo baxday, ama kor u qaad node cusub, ka dibna MTTR wuxuu gacanta ku qaataa 7-8 daqiiqo. Marka habka otomaatiga ah loo sameeyo, MTTR wuxuu inta badan gaaraa ilbiriqsi, marmarka qaarkood millise seconds. Google wuxuu inta badan ka hadlaa millise seconds, laakiin dhab ahaantii, dabcan, arrimuhu aad uma fiicna.
Fikrad ahaan, SRE waa inay si buuxda u toosisaa shaqadeeda, sababtoo ah tani waxay si toos ah u saameyneysaa MTTR, cabbirkeeda, SLO ee adeegga oo dhan, iyo, sidaas darteed, faa'iidada ganacsiga. Haddii wakhtiga la dhaafo, waxa nala waydiiyaa in eedda ay la taallo SRE. Nasiib wanaag, eedda cidna lama saaro. Oo kani waa dhaqan gooni ah, oo loo yaqaanno baal-maskaxeed, oo aynaan maanta ka hadli doonin, laakiin waxaynu ku falanqeyn doonnaa Slurm. Mowduucani waa mawduuc aad u xiiso badan oo in badan laga hadli karo. Haddaynu qiyaas ahaan ka hadalno, haddii rubuci kasta waqtigii loogu talo galay la dhaafo, qof kastaa wuu yara eedayn karaa, taas oo ka dhigan in cid kasta oo la eedeeyo aanay wax-soo-saar lahayn, bal aynu cidna u eedaynno, ee aynu cidna u eedaynno, ee aynu saxno wixii aynu haysanno. Waayo-aragnimadayda, habkani waa wax yar oo shisheeye ah kooxaha badankood, gaar ahaan Ruushka, laakiin macno ayey samaynaysaa oo si fiican ayey u shaqeysaa. Sidaa darteed, ugu dambayntii waxaan ku talin doonaa maqaallo iyo suugaan aad ka akhrisan karto mawduucan. Ama kaalay Slurm SRE.
Aan sharaxo. Haddii wakhtiga SLO ee rubucii la dhaafo, haddii wakhtiga dhimashadu aanu ahayn 13 daqiiqo, balse 15, yaa ku eedayn kara arrintan? Dabcan, SRE waxaa laga yaabaa inay khalad leedahay sababtoo ah waxay si cad u samaysay wax xun ama hawlgelin. Maamulaha xarunta xogta ayaa laga yaabaa inuu eedayn doono arrintan, sababtoo ah waxa laga yaabaa inuu sameeyay dayactir aan la qorshayn. Haddii maamulaha xarunta xogta uu ku eedaynayo tan, markaas qofka Ops ka socda ayaa sidoo kale eeda leh xisaabin la'aanta dayactirka marka lagu heshiinayo SLO. Tani waa qaladka maareeyaha, agaasimaha farsamada, ama qof saxiixay qandaraaska xarunta xogta oo aan fiiro gaar ah u lahayn xaqiiqda ah in xarunta xogta SLA aan loogu talagelin wakhtiga dhimista ee loo baahan yahay. Sidaas awgeed, qof kastaa wuu yara eedaysan yahay xaaladdan. Taasina waxay ka dhigan tahay inaysan jirin wax faa'iido ah oo lagu eedeeyo qof gaar ah xaaladdan. Laakiin dabcan waxay u baahan tahay in la saxo. Taasi waa sababta dhimashada dambe u jirto. Oo haddii aad akhrido, tusaale ahaan, GitHub postmortems, oo tani had iyo jeer waa sheeko aad u xiiso badan, sheeko yar oo lama filaan ah kiis kasta oo gaar ah, waxaad bedeli kartaa in qofna uusan waligiis dhihin qofkan gaarka ah ayaa lagu eedeeyay. Eedda waxaa had iyo jeer la dulsaaraa habab cilladaysan oo gaar ah.
Aan u gudubno su'aasha xigta. Automation Caadi ahaan, marka aan ka hadlo otomaatignimada xaaladaha kale, marar badan waxaan tixraacaa miis ka hadlaya inta aad ka shaqayn karto si otomaatig ah hawsha si aanad wakhti badan uga qaadan inaad otomaatig u sameyso inta aad guud ahaan kaydsato. Waxaa jira qabsasho. Qabashada ayaa ah in marka SREs ay si otomaatig ah u sameeyaan hawsha, kaliya maaha inay kaydiyaan waqti, waxay kaydiyaan lacag sababtoo ah otomatiga ayaa si toos ah u saameeya MTTR. Waxay badbaadiyaan, si loo hadlo, niyadda shaqaalaha iyo horumarinta, taas oo sidoo kale ah kheyraad daalan. Waxay yareeyaan joogtada ah. Oo waxaas oo dhan waxay saameyn togan ku leeyihiin shaqada iyo, natiijada, ganacsiga, xitaa haddii ay u muuqato in otomaatiggu aanu macno samaynayn marka la eego kharashka wakhtiga.
Dhab ahaantii, had iyo jeer way dhacdaa, waxaana jira kiisas aad u yar oo aysan u qalmin in si toos ah wax loogu sameeyo doorka SRE. Marka xigta waxaan ka hadli doonaa waxa loogu yeero miisaaniyad qalad, miisaaniyad khaladaadka. Dhab ahaantii, waxa soo baxday in haddii aad si aad ah uga wanaagsan tahay SLO-da aad adigu dejisay, tani sidoo kale maaha mid aad u fiican. Tani waa mid aad u xun, sababtoo ah SLO uma shaqeyso oo kaliya sida xad hoose, laakiin sidoo kale waxay u shaqeysaa sidii xad sare oo qiyaas ah. Markaad naftaada dejiso SLO oo ah 99% helitaanka, oo runtii aad haysato 99,99%, waxay kuu soo baxaysaa inaad haysato xoogaa boos ah oo tijaabo ah, taas oo aan haba yaraatee wax u dhimi doonin ganacsiga, sababtoo ah adiga ayaa go'aamiyay tan oo dhan si wada jir ah, adigana meel bannaan ha isticmaalin. Waxaad haysataa miisaaniyad qalad ah oo kiiskaaga aan la isticmaalin.
Maxaan ku samaynaynaa? Waxaan u isticmaalnaa macno ahaan wax walba. Tijaabinta xaaladaha wax soo saarka, soo saarista sifooyin cusub oo saameyn kara waxqabadka, sii deynta, dayactirka, wakhtiyada la qorsheeyay. Xeerka ka soo horjeeda ayaa sidoo kale khuseeya: haddii miisaaniyaddu dhammaato, ma sii deyn karno wax cusub, sababtoo ah haddii kale waxaan dhaafi doonnaa SLO. Miisaaniyadii horeba way u dhammaatay, wax waanu soo saarnay, haddii ay si taban u saamayso waxqabadka, yacni, haddii aanay ahayn nooc wax hagaajin ah oo lafteedu si toos ah u kordhisa SLO, markaa waxaynu ka gudubnay miisaaniyad, tanina waa xaalad xun. , waxay u baahan tahay falanqayn, dhimashada ka dib, iyo suurtogalnimada habsocodka sixitaanka.
Taasi waa, waxay soo baxday in haddii adeegga laftiisa uusan si fiican u shaqeynin, oo SLO la kharash gareeyo oo miisaaniyada lagu kharash gareeyo tijaabooyinka, maaha wax la sii daayo, laakiin keligeed, ka dibna halkii hagaajinta xiisaha leh, halkii laga heli lahaa xiiso leh. muuqaalada, halkii la sii daayo xiiso leh. Halkii aad samayn lahayd wax shaqo ah oo hal abuur leh, waa inaad samaysaa hagaajin aan caqli-gal ahayn si aad miisaaniyada dib ugu soo celiso, ama aad wax uga beddesho SLO, tani sidoo kale waa hab aan marar badan dhicin.
Sidaa darteed, waxay soo baxday in xaalad aan ku leenahay miisaaniyad dheeraad ah khaladaadka, qof kastaa wuu xiiseynayaa: labadaba SRE iyo horumarinta. Horumarinta, miisaaniyad weyn oo loogu talagalay khaladaadka waxay la macno tahay inay wax ka qaban karaan sii daynta, tijaabooyinka, iyo tijaabooyinka. SRE-yada, miisaaniyada khaladaadka iyo gelitaanka miisaaniyadan waxay ka dhigan tahay inay runtii qabanayaan shaqo fiican. Oo tani waxay saamaysaa dhiirigelinta nooc ka mid ah shaqada wadajirka ah. Haddii aad dhegeysato SRE-yadaada sida kuwa horumariya, waxaad heli doontaa boos badan oo aad ku qabato shaqo wanaagsan iyo hawlo aad u yar.
Waxay soo baxday in tijaabooyinka wax soo saarku ay yihiin qayb muhiim ah oo muhiim ah oo ku dhow qayb ka mid ah SRE ee kooxaha waaweyn. Waxayna inta badan ku socotaa magaca injineernimada fowdada, kaas oo ka yimid kooxda Netflix ee sii daayay utility loo yaqaan 'Chaos Monkey'.
Daanyeer fowdo ah ayaa ku xidha dhuumaha CI/CD oo si aan kala sooc lahayn u burburiya serverka wax soo saarka. Mar labaad, qaab dhismeedka SRE waxaan ku niraahnaa server burburay laftiisa ma xuma, waa la filayaa. Oo haddii lagu daro miisaaniyadda, waa la aqbali karo oo aan waxyeello ganacsiga. Dabcan, Netflix waxay leedahay adeegayaal aan badnayn oo ku filan, ku celcelin ku filan, in waxaas oo dhan la hagaajin karo iyada oo aan isticmaaluhu guud ahaan xitaa ogaanin, iyo hubaal qofna kama tago hal server miisaaniyad kasta.
Netflix hal mar waxay lahayd dhamaan agabka noocaan oo kale ah, mid ka mid ah, Chaos Gorilla, waxay gebi ahaanba baabi'isaa mid ka mid ah aagagga la heli karo ee Amazon. Waxyaalahaas oo kale waxay si fiican u caawiyaan in la aqoonsado, marka hore, ku tiirsanaanta qarsoon, marka aysan si buuxda u caddayn waxa saameeya waxa, waxa ku xiran waxa. Oo tan, haddii aad la shaqaynayso adeeg-yaraha oo dukumeentiyadu aanay dhammaystirnayn, tani waxay noqon kartaa mid aad taqaan. Mar labaad, tani waxay gacan ka geysaneysaa in la qabto khaladaadka koodhka oo aadan qabsan karin inta lagu jiro diyaarinta, sababtoo ah wax kasta oo dejintu maaha jilitaanka saxda ah, sababtoo ah xaqiiqda ah in miisaanka culeysku uu ka duwan yahay, qaabka culeysku wuu ka duwan yahay, qalabku sidoo kale, inta badan. laga yaabaa, kale. Culayska ugu sarreeya wuxuu kaloo noqon karaa lama filaan iyo lama saadaalin karo. Tijaabada noocan oo kale ah, oo aan mar kale dhaafin miisaaniyada, waxay si aad ah u caawisaa in lagu qabto khaladaadka kaabayaasha kuwaas oo samaynta, tijaabinta, iyo dhuumaha CI/CD weligood ma qaban doonaan. Oo ilaa inta ay tani dhammaan ku jirto miisaaniyaddaada, dhib ma laha in adeeggaagu uu halkaas ku dhacay, inkasta oo ay u muuqato mid aad u cabsi badan, server-ka ayaa burburay, waa maxay riyo. Maya, taasi waa wax iska caadi ah, taasi waa fiican tahay, waxay kaa caawinaysaa qabashada khaladaadka. Haddii aad leedahay miisaaniyad, waad isticmaali kartaa.
Su'aal: suugaantee ayaan ku talin karaa? Liisku waa dhamaadka Waxaa jira suugaan badan, waxaan ku talin lahaa dhowr warbixinood. Sida ay u shaqeyso iyo haddii SRE ay ka shaqeyso shirkadaha iyaga oo aan haysan wax soo saarkooda software ama horumar yar. Tusaale ahaan, shirkad, halkaasoo hawsha ugu weyni aysan ahayn software. Shirkad, halkaasoo hawsha ugu weyni aysan ahayn software, SRE waxay u shaqeysaa si la mid ah meel kasta oo kale, sababtoo ah ganacsiga waxaad sidoo kale u baahan tahay inaad isticmaasho, xitaa haddii aadan horumarin, alaabta software, waxaad u baahan tahay inaad soo saarto cusbooneysiin, adiga waxaad u baahan tahay inaad beddesho kaabayaasha, waxaad u baahan tahay inaad korto, waxaad u baahan tahay inaad miisaanto. SRE-yaduna waxay caawiyaan inay ogaadaan oo ay saadaaliyaan dhibaatooyinka suurtagalka ah ee hababkan oo ay xakameeyaan ka dib korriinka qaar ayaa bilaabmaya iyo baahida ganacsigu isbeddelo. Sababtoo ah gabi ahaanba lagama maarmaan ma aha in lagu hawl galo horumarinta software si loo helo SRE, haddii aad leedahay ugu yaraan dhowr server oo aad filayso ugu yaraan korriin.
Si la mid ah mashaariicda yaryar, ururada yaryar, sababtoo ah shirkadaha waaweyn waxay leeyihiin miisaaniyad iyo meel tijaabo ah. Laakiin isla mar ahaantaana, dhammaan mirahan tijaabooyinka waxaa loo isticmaali karaa meel kasta, taas oo ah, SREs, dabcan, waxay ka soo muuqdeen Google, Netflix, iyo Dropbox. Laakiin isla mar ahaantaana, shirkadaha yaryar iyo kuwa bilawga ah waxay hore u akhriyi karaan walxaha isku dhafan, akhrinta buugaagta, oo ay daawadaan warbixinnada. Waxay bilaabaan inay wax ka maqlaan marar badan, fiiri tusaalooyin gaar ah, waxaan u maleynayaa, okay, tani waxay noqon kartaa mid waxtar leh, waxaan sidoo kale u baahanahay tan, qabow.
Taasi waa, dhammaan shaqada ugu muhiimsan ee jaangooyooyinka hababkan ayaa mar hore laguu qabtay adiga. Dhammaan inaad sameyso waa inaad qeexdo doorka SRE ee gaarka ah ee shirkaddaada oo aad bilowdo inaad dhab ahaantii hirgeliso dhammaan dhaqamadan, kuwaas oo, mar kale, hore loo sharraxay. Taasi waa, laga bilaabo mabaadi'da waxtarka leh ee shirkadaha yaryar, tani had iyo jeer waa qeexida SLA, SLI, SLO. Haddii aadan ku lug lahayn software, markaa kuwani waxay noqon doonaan SLAs gudaha ah iyo SLOs gudaha ah, miisaaniyad gudaha ah ee khaladaadka. Tani waxay had iyo jeer keentaa in qaar ka mid ah doodaha xiisaha leh ee kooxda iyo ganacsiga gudahooda, sababtoo ah waxaa laga yaabaa in ay soo baxdo in aad ku bixinayso wax ka badan lagama maarmaanka u ah kaabayaasha, nooc ka mid ah abaabulka hababka ugu habboon, dhuumo ku habboon. Iyo sagaalkan 4 ee aad ku leedahay waaxda IT-ga, runtii uma baahnid hadda. Laakiin isla mar ahaantaana, waxaa suurtagal ah in waqti la qaato, kharash gareynta miisaaniyada khaladaadka wax kale.
Sidaa darteed, la socodka iyo abaabulka kormeerku waxay faa'iido u leedahay shirkad cabbir kasta. Guud ahaan, habkan fikirka ah, halka khaladaadku yihiin wax la aqbali karo, halka ay jirto miisaaniyad, halka Ujeedooyinka jira, ayaa mar kale faa'iido u leh shirkad kasta oo cabbir ah, laga bilaabo bilawga 3-qof.
Midda ugu dambeysa ee nuances farsamo ee aan ka hadli karno waa la socodka. Sababtoo ah haddii aan ka hadalno SLA, SLI, SLO, ma fahmi karno iyada oo aan la socon in aan ku haboonahay miisaaniyada, haddii aan u hoggaansanno ujeedooyinkayaga, iyo sida aan u saameyneyno SLA ugu dambeeya. Waxaan arkay marar badan in la socodka ay u dhacdo siyaabaha soo socda: waxaa jira xoogaa qiimo ah, tusaale ahaan, wakhtiga codsiga serverka, celceliska wakhtiga ama tirada codsiyada database-ka. Wuxuu leeyahay halbeeg uu go'aamiyo injineerku. Haddii mitirku ka leexdo caadada, iimayl ayaa la soo diraa. Tani gabi ahaanba waa wax aan faa'iido lahayn, sida caadiga ah, sababtoo ah waxay keenaysaa xad-dhaaf ah digniinaha, xad-dhaafka ah ee fariimaha la socodka, marka qofku, marka hore, waa in uu turjumo mar kasta, taas oo ah, go'aaminta haddii qiimaha mitirku uu ka dhigan yahay baahida loo qabo. nooc ka mid ah ficilka. Marka labaadna, wuxuu si fudud u joojinayaa inuu ogaado dhammaan digniinahaas, marka asal ahaan wax ficil ah looma baahna isaga. Taasi waa, xeer ilaalin wanaagsan iyo xeerka ugu horreeya marka la fulinayo SRE waa in ogeysiisku yimaado kaliya marka ficil loo baahdo.
Xaaladda caadiga ah waxaa jira 3 heerar dhacdooyin. Waxaa jira digniino, waxaa jira tigidhyo, waxaa jira qoraallo. Digniintu waa wax kasta oo u baahan tallaabo degdeg ah adiga. Taasi waa, wax walba waa jabeen, waxay u baahan yihiin in la hagaajiyo hadda. Tigidhadu waa shay u baahan ficil la sugayo. Haa, waxaad u baahan tahay inaad wax sameyso, waxaad u baahan tahay inaad wax ku qabato gacanta, automation-ka ayaa guuldareystay, laakiin uma baahnid inaad sameyso daqiiqadaha soo socda. Loggu waa wax kasta oo aan u baahnayn waxqabad, guud ahaan, haddii arrimuhu si fiican u socdaan, qofna weligiis ma akhriyi doono. Waxay noqon doontaa lagama maarmaan in la akhriyo diiwaanka kaliya marka, dib u eegis, ay soo baxdo in wax la jebiyey in muddo ah, ma aanan ogeyn waxa ku saabsan. Ama nooc ka mid ah baaritaan ayaa u baahan in la sameeyo. Laakiin guud ahaan, wax kasta oo aan u baahnayn wax tallaabo ah waxay tagaan diiwaannada.
Saamaynta dhinaceeda ah ee waxaas oo dhan, haddii aan aqoonsanay dhacdooyinka u baahan ficilada oo aan si fiican u sharaxnay waxa ay tahay ficiladaas, tani waxay ka dhigan tahay in ficilku si toos ah u noqon karo. Taasi waa, maxaa dhacaya. Waxaan ka nimid feejignaan. Aan dhaqaaqno. Aan u tagno sharraxaadda falkan. Ka dibna waxaan u dhaqaaqnaa dhanka otomaatiga. Taasi waa, otomaatig kastaa wuxuu ku bilaabmaa falcelinta dhacdo.
Ka-fiirsashada waxaan u gudubnaa ereyga la yiraahdo Observability. Waxa kale oo jiray xoogaa xamaasad ah oo ku wareegsan ereygan dhowrkii sano ee la soo dhaafay. Dad yar baa fahma waxa tani ka dhigan tahay macnaha guud. Laakin qodobka ugu muhiimsan waa in indho-indheyntu ay tahay halbeegga daahfurnaanta nidaamka. Haddii ay wax khaldameen, sida ugu dhakhsaha badan ee aad u go'aamin kartaa waxa saxda ah ee khaldan iyo sida uu nidaamka nidaamku ahaa wakhtigaas. Marka laga eego dhinaca koodka: shaqadee fashilantay, adeeggee fashilmay. Maxay ahayd xaaladda, tusaale ahaan, doorsoomayaasha gudaha, qaabaynta. Marka laga eego dhinaca kaabayaasha, tani waa aagga la heli karo ee fashilku ka dhacay, iyo haddii aad leedahay nooc ka mid ah Kubernetes, ka dibna taas oo ay ku dhacday guuldarradu, maxay ahayd xaaladda boodhka. Oo sidaas daraaddeed, Observability waxay xiriir toos ah la leedahay MTTR. Markasta oo ay kor u kacdo la socoshada adeega, way fududahay in la aqoonsado qaladka, way fududahay in la saxo qaladka, way fududahay in si otomaatig ah loo sameeyo, hoos u dhaca MTTR.
Haddii aan mar kale u gudubno shirkadaha yaryar, waxay marar badan weydiiyaan, xitaa hadda, waxa lagu sameeyo xajmiga kooxda, iyo haddii ay lagama maarmaan tahay in la shaqaaleysiiyo SRE gaar ah koox yar. Mar hore ayaan arrintan uga hadlay waxyar ka hor. Marxaladaha ugu horreeya ee horumarinta bilowga ama, tusaale ahaan, koox, tani maahan wax loo baahan yahay, sababtoo ah SRE waxaa laga dhigi karaa door ku-meel-gaar ah. Oo tani waxay ku noolaan doontaa kooxda wax yar, sababtoo ah waxaa jira ugu yaraan kala duwanaansho. Waxa kale oo ay dadka u diyaarin doontaa in marka ay koraan, guud ahaan, masuuliyadaha SRE ay si weyn isu beddeli doonaan. Haddii aad qof shaqaaleysiiso, markaa, dabcan, wuxuu leeyahay wax laga filayo. Rajooyinkaasna isma beddeli doonaan muddo ka dib, laakiin shuruudaha ayaa aad isu beddeli doona. Sidaa darteed, shaqaaleysiinta SRE aad bay u adag tahay marxaladaha hore. Aad bay u fududahay inaad adigu kor u qaaddo. Laakiin waxaa mudan in laga fikiro.
Waxa kaliya ee ka reeban, malaha, waa marka ay jiraan shuruudo dherer aad u adag oo si fiican loo qeexay. Taasi waa, marka laga hadlayo bilawga, tani waxay noqon kartaa nooc ka mid ah cadaadiska maalgashadayaasha, nooc ka mid ah saadaalinta koritaanka dhowr jeer hal mar. Kadibna shaqaalaynta SRE guud ahaan waa cudurdaar sababtoo ah waxay noqon kartaa cudurdaar. Waxaan leenahay shuruudo korriin, waxaan u baahanahay qof mas'uul ka noqon doona hubinta in aysan waxba ka jabin korriinka noocaas ah.
Hal su'aal oo kale. Waxa la sameeyo marka dhowr jeer horumariyayaashu gooyaan sifada ka gudubta imtixaannada, laakiin jebiya badeecada, ku shubta xogta, jebiya sifooyin kale, waa maxay habka loo hirgelinayo. Sidaas awgeed, kiiskan, miisaaniyad loogu talagalay khaladaadka ayaa la soo bandhigay. Adeegyada qaarkood, sifooyinka qaarkood ayaa isla markiiba lagu tijaabiyaa wax soo saarka. Tani waxay noqon kartaa canary, marka kaliya tiro yar oo isticmaalayaasha ah, laakiin horeyba wax soo saarka, ayaa geynaya muuqaal, laakiin rajada ah in haddii wax jebiyaan, tusaale ahaan, boqolkiiba nus dhammaan isticmaalayaasha, waxay weli ku haboonaan doontaa gudaha miisaaniyada khaladaadka. Marka la eego, haa, waxaa jiri doona qalad, dadka isticmaala qaarkood wax walba way jebi doonaan, laakiin waxaan horay u sheegnay in tani ay tahay mid caadi ah.
Waxaa jirtay su'aal ku saabsan qalabka SRE. Taasi waa, ma jiraan wax gaar ah oo SRE-yadu isticmaali doonaan oo qof kasta oo kale uusan isticmaalin? Dhab ahaantii, waxa jira adeegyo aad u khaas ah, waxa jira software-ka qaarkood, tusaale ahaan, u ekaysiiya culaysyada ama sameeya tijaabada A/B kanary. Laakiin asal ahaan, qalabaynta SRE waa waxa horumariyayaashu ay isticmaaleen. Sababtoo ah SRE waxay si toos ah ula falgashaa kooxda horumarinta. Oo haddii aad leedahay qalab kala duwan, waxaa soo baxay in ay qaadato waqti si ay u wada shaqeeyaan. Gaar ahaan haddii SRE-yadu ay ka shaqeeyaan kooxo waaweyn, shirkado waaweyn oo laga yaabo inay jiraan kooxo dhowr ah, jaangooyooyinka guud ee shirkadda ayaa aad u caawin doona halkan, sababtoo ah haddii kooxaha 50 ay isticmaalaan 50 qalab oo kala duwan, tani waxay ka dhigan tahay in SRE ay tahay inay wada ogaadaan. Dabcan tani weligeed dhici mayso. Iyo tayada shaqada, tayada xakamaynta ugu yaraan qaar ka mid ah kooxaha ayaa si weyn hoos ugu dhici doona.
Webinaarkeena ayaa si tartiib tartiib ah u dhamaanaya. Waxaan ku guuleystay inaan kuu sheego waxyaabo aasaasi ah. Dabcan, wax ku saabsan SRE laguma sheegi karo laguna fahmi karo saacad gudaheed. Laakiin waxaan rajeynayaa in aan ku guuleystey in aan gudbiyo habkan fikirka ah, qodobbada muhiimka ah. Kadibna, haddii aad xiisaynayso, waxaad si qoto dheer u dhex geli kartaa mawduuca, adigu wax u baran kartaa, oo fiiri sida ay dadka kale u hirgeliyaan, shirkadaha kale. Sidaas awgeed, horraanta Febraayo, noogu kaalay Slurm SRE.
Slurm SRE waa koorso degdeg ah oo saddex maalmood ah kaas oo dabooli doona qiyaastii waxa aan hadda ka hadlayo, laakiin qoto dheer oo aad u qoto dheer, oo leh xaalado dhab ah, oo leh ficil ahaan, dhammaan degdegga ah ayaa loogu talagalay shaqo la taaban karo. Dadka waxa loo qaybin doonaa kooxo. Dhammaantiin waxaad ka shaqayn doontaan kiisaska dhabta ah. Sidaa darteed, waxaan leenahay macalimiin ka socda Booking.com Ivan Kruglov iyo Ben Tyler. Waxaan haynaa Evgeniy Varabbas cajiib ah oo ka socda Google, San Francisco. Aniguna wax baan kuu sheegayaa. Markaa iska hubi inaad nagu soo booqato.
Haddaba, liiska tixraacyada. Waxaa jira xiriiriyayaal SRE. isla buuga, ama halkii 2 buug oo ku saabsan SRE, oo uu qoray Google. Mid kale , halkaas oo shuruudaha iyo codsigooda lagu sharraxay si yar oo faahfaahsan. 3da xigta waa warbixino ku saabsan SRE ee shirkado kala duwan. Marka hore - , tani waa qoraal ka yimid Ben Trainer oo ka socda Google. Labaad - . Midda saddexaad ayaa mar kale ku saabsan . Warbixinta afraad , kaas oo ay leeyihiin 5 kaliya ee shaqaalaha SRE ee 190 wadan. Waa arrin aad u xiiso badan in la eego waxaas oo dhan, sababtoo ah sida DevOps macnaheedu yahay waxyaabo aad u kala duwan shirkadaha kala duwan iyo xitaa kooxo kala duwan, SRE waxay leedahay masuuliyado kala duwan, xitaa shirkadaha isku midka ah.
2 xiriirin dheeri ah oo ku saabsan mabaadi'da injineernimada fowdada: , . Dhammaadkiina waxaa jira 3 liis oo ka mid ah liisaska taxanaha cajiibka ah oo ku saabsan , ku saabsan iyo ku saabsan . Liiska SRE waa mid aad u weyn, uma baahnid inaad wada dhex marto, waxaa jira ilaa 200 oo maqaallo ah. Waxaan aad ugu talinayaa maqaallada ku saabsan qorsheynta kartida iyo dhimashada ka dib ee aan ceeb lahayn.
Maqaal xiiso leh:
Waad ku mahadsan tahay inaad i dhegaysato waqtigan oo dhan. Waxaan rajeynayaa inaad wax baratay. Waxaan rajeynayaa inaad haysato agab kugu filan oo aad wax badan ka barato. Oo aan ku aragno dambe. Waxaan rajeynayaa Febraayo.
Webinar-ka waxa marti ku ahaa Eduard Medvedev.
PS: kuwa jecel inay wax akhriyaan, Eduard wuxuu bixiyay liis tixraacyo ah. Kuwa doorbidaya inay si dhab ah u fahmaan waa lagu soo dhaweynayaa .
Source: www.habr.com