Вебинар аудиои заиф дорад, аз ин рӯ мо транскрипт кардем.
Номи ман Медведев Эдуард аст. Имрӯз ман дар бораи чӣ будани SRE, чӣ гуна SRE пайдо шуд, меъёрҳои корӣ барои муҳандисони SRE, каме дар бораи меъёрҳои эътимоднокӣ, каме дар бораи мониторинги он сӯҳбат мекунам. Мо аз боло мегузарем, зеро шумо дар як соат бисёр чизҳоро гуфта наметавонед, аммо ман ба шумо маводҳоро барои баррасии иловагӣ медиҳам ва мо ҳама шуморо интизорем . дар Москва дар охири мохи январь.
Аввалан, биёед дар бораи он сӯҳбат кунем, ки SRE - Engineering Reliability Site - чист. Ва он чи тавр хамчун мавкеи алохида, хамчун самти алохида пайдо шуд. Ҳамааш аз он оғоз шуд, ки дар доираҳои анъанавии рушд, Dev ва Ops ду дастаи комилан гуногунанд, одатан бо ду ҳадафи комилан гуногун. Ҳадафи дастаи таҳиякунанда паҳн кардани хусусиятҳои нав барои қонеъ кардани ниёзҳои тиҷорат аст. Ҳадафи дастаи Ops ин аст, ки боварӣ ҳосил кунед, ки ҳама чиз кор мекунад ва ҳеҷ чиз намешиканад. Аён аст, ки ин ҳадафҳо мустақиман ба ҳамдигар мухолифанд: то ҳама чиз кор кунад ва ҳеҷ чиз шикаста нашавад, беҳтар аст, ки хусусиятҳои навро то ҳадди имкон камтар паҳн кунед. Аз ин рӯ, бисёр ихтилофҳои дохилӣ ба вуҷуд меоянд, ки методологияи ҳоло DevOps номида мешавад, ки онҳоро ҳал кунад.
Мушкилот дар он аст, ки мо таърифи дақиқи DevOps ва татбиқи дақиқи DevOps надорем. Ман 2 сол пеш дар як конфронс дар Екатеринбург баромад кардам ва то ҳол бахши DevOps бо гузориши "DevOps чист" оғоз шуда буд. Дар соли 2017, devops қариб 10 сола аст, аммо мо то ҳол дар бораи он ки ин чист, баҳс мекунем. Ва ин як ҳолати хеле аҷибест, ки Google чанд сол пеш кӯшиш кард, ки онро ҳал кунад.
Дар соли 2016, Google китоберо бо номи "Муҳандисии эътимоднокии сайт" нашр кард. Ва дар асл, маҳз бо ҳамин китоб ҳаракати SRE оғоз ёфт. SRE як варианти мушаххас барои татбиқи парадигмаи DevOps дар як ширкати мушаххас аст. Муҳандисони SRE дар назди худ ҳадаф гузоштанд, ки кори боэътимоди системаҳоро таъмин кунанд. Онҳо асосан аз таҳиягарон, баъзан аз маъмуроне, ки дорои заминаи хуби рушд мебошанд, меоянд. Ва он чизеро, ки маъмурони система мекарданд, мекунанд, аммо заминаи қавӣ дар рушд ва донистани система аз лиҳози код ба он оварда мерасонад, ки ин одамон ба кори муқаррарии маъмурӣ майл надоранд, балки ба автоматизатсия майл доранд.
Маълум мешавад, ки парадигмаи DevOps дар дастаҳои SRE аз он иборат аст, ки муҳандисони SRE ҳастанд, ки мушкилоти сохториро ҳал мекунанд. Ин аст, ҳамон робитаи байни Dev ва Ops, ки одамон 8 сол боз дар бораи он сӯҳбат мекунанд. Нақши SRE ба нақши меъмор монанд аст, зеро навкорон SRE намешаванд. Одамоне, ки дар ибтидои кор хануз тачриба надоранд ва до-нишхои зарурй надоранд. Зеро SRE дониши хеле мукаммалро талаб мекунад, ки маҳз чӣ ва кай метавонад хато кунад. Бинобар ин, дар ин чо, чун коида, чи дар дохили корхона ва чи берун аз он як навъ тачриба лозим аст.
Онҳо мепурсанд, ки оё фарқияти байни SRE ва devops тавсиф карда мешавад. Вай танҳо тавсиф шудааст. Дар бораи мавкеи СРЭ дар ташкилот сухан рондан мумкин аст. Баръакси ин равиши классикии DevOps, ки дар он ҷо Ops то ҳол як шӯъбаи алоҳида аст, SRE як қисми дастаи таҳиякунанда мебошад. Онхо дар кор карда баромадани махсулот иштирок мекунанд. Ҳатто равиш вуҷуд дорад, ки дар он SRE нақшест, ки аз як таҳиягар ба дигараш мегузарад. Онҳо дар баррасии кодҳо ҳамон тавре, ки масалан, тарроҳони UX, худи таҳиягарон, баъзан менеҷерони маҳсулот иштирок мекунанд. SRE дар як сатҳ кор мекунанд. Мо бояд онҳоро тасдиқ кунем, мо бояд онҳоро аз назар гузаронем, то ки барои ҳар як ҷойгиркунӣ SRE мегӯяд: "Хуб, ин ҷойгиркунӣ, ин маҳсулот ба эътимод таъсири манфӣ намерасонад. Ва агар ин тавр бошад, пас дар баъзе ҳудуди қобили қабул. Мо дар ин бора низ сӯҳбат хоҳем кард.
Мувофиқи он, SRE барои тағир додани код вето дорад. Ва умуман, ин инчунин ба як навъ низоъҳои хурд оварда мерасонад, агар SRE нодуруст татбиқ карда шавад. Дар ҳамон китоб дар бораи муҳандисии эътимоднокии сайт, қисматҳои зиёде, ҳатто якто, мегӯянд, ки чӣ гуна аз ин муноқишаҳо канорагирӣ кунем.
Онҳо мепурсанд, ки SRE бо амнияти иттилоот чӣ гуна алоқаманд аст. SRE бевосита ба амнияти иттилоотӣ машғул нест. Аксаран дар ширкатҳои бузург, ин аз ҷониби шахсони алоҳида, озмоишгарон ва таҳлилгарон анҷом дода мешавад. Аммо SRE инчунин бо онҳо ба он маъно муносибат мекунад, ки баъзе амалиётҳо, баъзе ӯҳдадориҳо, баъзе ҷойгиркунӣ, ки ба амният таъсир мерасонанд, инчунин метавонанд ба мавҷудияти маҳсулот таъсир расонанд. Аз ин рӯ, SRE дар маҷмӯъ бо ҳама гуна гурӯҳҳо, аз ҷумла гурӯҳҳои амниятӣ, аз ҷумла таҳлилгарон, ҳамкорӣ дорад. Аз ин рӯ, SRE-ҳо асосан ҳангоми кӯшиши татбиқи DevOps лозиманд, аммо бори гарони таҳиягарон хеле калон мешавад. Яъне, худи дастаи таҳиякунанда дигар наметавонад ба он тоб оварад, ки ҳоло онҳо бояд барои Ops масъул бошанд. Ва нақши алоҳида вуҷуд дорад. Ин роль дар бюджет пешбинй шудааст. Баъзан ин нақш ба андозаи даста сохта мешавад, шахси алоҳида пайдо мешавад, баъзан яке аз таҳиягарон он мегардад. Ин аст, ки аввалин SRE дар даста пайдо мешавад.
Мушкилии система, ки аз SRE таъсир мерасонад, мураккабие, ки ба эътимоднокии амалиёт таъсир мерасонад, метавонад зарурӣ ё тасодуфӣ бошад. Мушкилии зарурӣ вақтест, ки мураккабии маҳсулот то дараҷае афзоиш меёбад, ки хусусиятҳои нави маҳсулот талаб мекунанд. Мушкилии тасодуфӣ вақте аст, ки мураккабии система меафзояд, аммо хусусияти маҳсулот ва талаботи тиҷорат ба ин бевосита таъсир намерасонад. Маълум мешавад, ки ё таҳиякунанда дар ҷое хато кардааст, ё алгоритм оптималӣ нест, ё баъзе манфиатҳои иловагӣ ҷорӣ карда мешаванд, ки мураккабии маҳсулотро беасос зиёд мекунанд. SRE-и хуб бояд ҳамеша ин вазъиятро қатъ кунад. Яъне, ҳама гуна ӯҳдадорӣ, ҳама гуна ҷойгиркунӣ, ҳама дархости ҷалб, ки мураккабиро аз ҳисоби иловаҳои тасодуфӣ зиёд мекунад, бояд баста шавад.
Саволе ба миён меояд, ки чаро барои ба коллектив дохил шудан на фацат инженер, маъмури системам дорой дониши зиёдро кабул накунад. Таҳиягар дар нақши муҳандис, ба мо гуфтаанд, ҳалли беҳтарини кадрӣ нест. Таҳиягар дар нақши муҳандис на ҳама вақт ҳалли оптималии кадрӣ аст, аммо дар ин ҷо гап дар он аст, ки таҳиягаре, ки бо Ops машғул аст, каме бештар хоҳиши автоматикунониро дорад, барои татбиқи ин дониш ва малакаи каме бештар дорад. автоматика. Ва мутаносибан, мо на танҳо вақтро барои баъзе амалиётҳои мушаххас, на танҳо реҷа, балки чунин параметрҳои муҳими тиҷоратро, ба монанди MTTR (Вақти миёна барои барқароршавӣ, вақти барқарорсозӣ) кам мекунем. Хамин тавр, дар ин бора низ каме дертар сухан меронем, барои ташкилот пул сарфа мекунем.
Акнун биёед дар бораи меъёрҳои фаъолияти SRE сӯҳбат кунем. Ва пеш аз ҳама дар бораи эътимоднокӣ. Дар ширкатҳои хурд, стартапҳо аксар вақт чунин мешавад, ки одамон гумон мекунанд, ки агар хидмат хуб навишта шавад, агар маҳсулот хуб ва дуруст навишта шавад, он кор мекунад, шикаста намешавад. Ин аст, мо коди хуб менависем, бинобар ин ҳеҷ чизи шикастан нест. Рамз хеле содда аст, чизе барои вайрон кардан нест. Инҳо дар бораи ҳамон одамоне ҳастанд, ки мегӯянд, ки ба мо озмоишҳо лозим нест, зеро инак, ин се усули VPI ҳастанд, чаро инҷо шикастан лозим аст.
Ин ҳама нодуруст аст, албатта. Ва ин одамон аксар вақт аз ин гуна код дар амал осеб мебинанд, зеро чизҳо вайрон мешаванд. Чизҳо баъзан бо роҳҳои пешгӯинашаванда вайрон мешаванд. Баъзан одамон мегӯянд, ки не, ин ҳеҷ гоҳ рӯй нахоҳад дод. Ва он ҳама вақт рӯй медиҳад. Он ба таври кофӣ рӯй медиҳад. Ва аз ин рӯ, ҳеҷ кас ҳеҷ гоҳ барои 100% мавҷудият кӯшиш намекунад, зеро 100% мавҷудият ҳеҷ гоҳ рӯй намедиҳад. Ин меъёр аст. Ва аз ин рӯ, вақте ки мо дар бораи мавҷудияти хидмат гап мезанем, мо ҳамеша дар бораи нӯҳ гап мезанем. 2 нух, 3 нух, 4 нух, 5 нух. Агар инро ба вацти бекористии он табдил дихем, пас, масалан, 5 ной дар як сол каме бештар аз 5 дакикаи бекористй, 2 нух 3,5 рузи бекористиро ташкил медихад.
Аммо маълум аст, ки дар баъзе мавридҳо коҳиши POI ва баргардонидани сармоягузорӣ мушоҳида мешавад. Аз ду нӯҳ ба се нуҳ гузаштан маънои бештар аз 3 рӯз кам кардани бекористиро дорад. Аз чор нух ба панч гузаштан вакти бекористиро дар як сол 47 дакика кам мекунад. Ва маълум мешавад, ки ин барои тиҷорат муҳим нест. Ва умуман, эътимоднокии зарурӣ масъалаи техникӣ нест, пеш аз ҳама, ин масъалаи тиҷорат аст, ин масъалаи маҳсулот аст. Кадом сатҳи бекорӣ барои корбарони маҳсулот қобили қабул аст, онҳо чӣ интизоранд, чӣ қадар онҳо пардохт мекунанд, масалан, чӣ қадар пулро аз даст медиҳанд, система чӣ қадар пулро аз даст медиҳад.
Саволи муҳим ин аст, ки эътимоднокии ҷузъҳои боқимонда чист. Зеро фарқияти байни 4 ва 5 нӯҳ дар смартфони дорои эътимоднокии 2 нӯҳ намоён нахоҳад шуд. Тахминан, агар чизе дар смартфони хидматрасонии шумо дар як сол 10 маротиба вайрон шавад, эҳтимолан 8 маротиба вайроншавӣ дар тарафи OS рух медиҳад. Истифодабаранда ба ин одат кардааст ва дар як сол як маротибаи дигар ба он эътибор намедиҳад. Зарур аст, ки нархи баланд бардоштани эътимоднокӣ ва афзоиши фоидаро муқоиса кунед.
Танҳо дар китоби SRE намунаи хуби зиёд кардани 4 нӯҳ аз 3 нӯҳ мавҷуд аст. Маълум мешавад, ки афзоиши мавҷудият каме камтар аз 0,1% аст. Ва агар даромади хизматрасонӣ дар як сол 1 миллион доллар бошад, пас афзоиши даромад 900 долларро ташкил медиҳад. Агар афзоиши дастрасии нӯҳ ба мо дар як сол камтар аз 900 доллар арзиш дошта бошад, афзоиш маънои молиявӣ дорад. Агар он дар як сол зиёда аз 900 доллар арзиш дошта бошад, ин дигар маъно надорад, зеро афзоиши даромад танҳо хароҷоти меҳнат ва хароҷоти захираҳоро ҷуброн намекунад. Ва 3 нӯҳ барои мо басанда хоҳад буд.
Ин албатта як мисоли соддашудаест, ки дар он ҳама дархостҳо баробаранд. Ва гузаштан аз 3 нӯҳ ба 4 нӯҳ кофӣ осон аст, аммо дар айни замон, масалан, аз 2 нӯҳ ба 3, ин аллакай пасандози 9 ҳазор доллар аст, ин метавонад маънои молиявӣ дошта бошад. Табиист, ки дар асл, нокомии дархости бақайдгирӣ аз намоиши саҳифа бадтар аст, дархостҳо вазнҳои гуногун доранд. Онҳо метавонанд аз нуқтаи назари тиҷорат як меъёри комилан дигар дошта бошанд, аммо ба ҳар ҳол, чун қоида, агар мо дар бораи баъзе хидматҳои мушаххас сухан нагӯем, ин як тахмини хеле боэътимод аст.
Мо саволе гирифтем, ки оё SRE ҳангоми интихоби ҳалли меъморӣ барои хидмат яке аз ҳамоҳангсозон аст. Ин аз нуқтаи назари ҳамгироӣ ба инфрасохтори мавҷуда қобили қабул аст, то дар устувории он талафот набошад. Бале, SREҳо ба дархостҳои ҷалбшуда, ӯҳдадориҳо, нашрҳо ба ҳамон тарз таъсир мерасонанд; онҳо ба меъморӣ, татбиқи хидматҳои нав, хидматҳои микросервисҳо ва татбиқи қарорҳои нав таъсир мерасонанд. Чаро пештар гуфтам, ки таҷриба даркор, тахассус даркор. Дар асл, SRE яке аз овозҳои бастани ҳама гуна ҳалли меъморӣ ва нармафзор аст. Мувофиқи он, SRE ҳамчун муҳандис бояд пеш аз ҳама на танҳо фаҳмад, балки инчунин фаҳмад, ки чӣ гуна баъзе қарорҳои мушаххас ба эътимоднокӣ, устуворӣ таъсир мерасонанд ва фаҳманд, ки ин ба эҳтиёҷоти тиҷорат чӣ гуна алоқаманд аст ва аз кадом нуқтаи назар ин қобили қабул ва қобили қабул аст. ки не.
Аз ин рӯ, ҳоло вақти сӯҳбат дар бораи меъёрҳои эътимод аст, ки дар SRE одатан ҳамчун SLA (Созишномаи сатҳи хидматрасонӣ) муайян карда мешаванд. Эҳтимол як истилоҳи шинос. SLI (Нишондиҳандаи сатҳи хидматрасонӣ). SLO (Ҳадафи сатҳи хидматрасонӣ). Созишномаи сатҳи хидмат метавонад як истилоҳи муҳим бошад, хусусан агар шумо бо шабакаҳо, провайдерҳо ва хостинг кор карда бошед. Ин як созишномаи умумӣ аст, ки иҷрои тамоми хидмати шуморо, ҷаримаҳо, баъзе ҷаримаҳо барои хатогиҳо, ченакҳо, меъёрҳоро тавсиф мекунад. Ва SLI худи метрикаи дастрасӣ аст. Яъне, чӣ гуна SLI метавонад бошад: вақти вокуниш аз хидмат, шумораи хатогиҳо ҳамчун фоиз. Ин метавонад фарохмаҷрои бошад, агар мо дар бораи ягон намуди хостинги файл гап занем. Агар мо дар бораи алгоритмҳои шинохтан сухан ронем, нишондиҳанда ҳатто метавонад, масалан, дурустии ҷавоб бошад. SLO (Service Level Objective) мутаносибан маҷмӯи нишондиҳандаи SLI, арзиш ва давраи он мебошад.
Биёед бигӯем, ки SLA метавонад чунин бошад. Хизмат дар давоми сол 99,95% дастрас аст. Ё 99 билети дастгирии техникӣ дар давоми 3 соат дар як семоҳа баста мешавад. Ё ба 85% дархостҳо дар давоми 1,5 сония ҳар моҳ ҷавоб дода мешавад. Яъне мо тадриҷан дарк карда истодаем, ки хатоҳо ва нокомиҳо комилан муқаррарӣ мебошанд. Ин вазъияти кобили кабул аст, мо онро ба накша гирифтаем, хатто то андозае ба он умед мебандем. Яъне, SRE системаҳое месозад, ки метавонанд хато кунанд, ки бояд ба хатогиҳо ба таври муқаррарӣ ҷавоб диҳанд ва бояд онҳоро ба назар гиранд. Ва агар имконпазир бошад, онҳо бояд хатогиҳоро тавре ҳал кунанд, ки корбар ё онҳоро пайхас накунад, ё онҳоро пайхас кунад, аммо як навъ ҳалли мушкилот вуҷуд дорад, то ҳама чиз комилан аз байн наравад.
Масалан, агар шумо видеоро ба YouTube бор кунед ва YouTube онро фавран табдил дода наметавонад, агар видео аз ҳад калон бошад, агар формат оптималӣ набошад, табиист, ки дархост бо тайм-аут иҷро намешавад, YouTube 502-ро намоиш намедиҳад. хатогӣ, YouTube мегӯяд: "Мо ҳама чизро офаридаем, видеои шумо коркард мешавад. Он тақрибан дар 10 дақиқа омода мешавад." Ин принсипи таназзули зебост, ки масалан, аз рушди пештара шинос аст, агар шумо ягон вақт ин корро карда бошед.
Шартҳои навбатӣ, ки мо дар бораи он сӯҳбат хоҳем кард, ки барои кор бо эътимод, бо хатогиҳо ва интизориҳо хеле муҳиманд, MTBF ва MTTR мебошанд. MTBF вақти миёнаи байни нокомиҳо мебошад. MTTR Вақти миёна барои барқароршавӣ, вақти миёна барои барқароршавӣ. Яъне аз лаҳзаи ошкор шудани хато, аз лаҳзаи пайдо шудани хато то лаҳзаи барқарор шудани хидмат ба кори комилан муқаррарӣ чӣ қадар вақт гузашт. MTBF асосан тавассути кор дар сифати код ислоҳ карда мешавад. Яъне, далели он, ки SRE метавонад "не" бигӯяд. Ва тамоми даста бояд фаҳманд, ки вақте ки SRE "не" мегӯяд, вай инро на барои он мегӯяд, ки ӯ зараровар аст, на аз он ки бад аст, балки барои он ки дар акси ҳол ҳама азоб мекашанд.
Боз ҳам, бисёр мақолаҳо, усулҳои зиёде, роҳҳои зиёде мавҷуданд, ҳатто дар худи китобе, ки ман ба онҳо зуд-зуд муроҷиат мекунам, чӣ гуна бояд боварӣ ҳосил кард, ки дигар таҳиягарон ба SRE нафрат накунанд. MTTR, аз тарафи дигар, дар бораи кор дар SLO-ҳои шумо (Ҳадафи сатҳи хидмат) мебошад. Ва он асосан автоматизатсия аст. Чунки, масалан, SLO-и мо вақти корӣ аз 4 нӯҳ дар як семоҳа аст. Ин чунин маъно дорад, ки дар зарфи 3 мох мо метавонем 13 дакикаи бекористиро раво дихем. Ва маълум мешавад, ки MTTR наметавонад аз 13 дақиқа зиёд бошад. Агар мо ба ҳадди аққал 13 вақти бекорӣ дар 1 дақиқа ҷавоб диҳем, ин маънои онро дорад, ки мо аллакай тамоми буҷаи семоҳаро тамом кардаем. Мо SLO-ро вайрон мекунем. 13 дақиқа барои вокуниш ва ислоҳи садама барои мошин бисёр аст, аммо барои одам хеле кӯтоҳ аст. Зеро то он даме, ки одам огоҳӣ нагирад, то он даме, ки ӯ вокуниш нишон диҳад, то хатогиро нафаҳмад, аллакай якчанд дақиқа аст. То он даме, ки шахс фаҳмад, ки чӣ гуна онро ислоҳ кардан лозим аст, чӣ бояд дуруст кард, чӣ кор кардан лозим аст, пас ин чанд дақиқаи дигар аст. Ва дар асл, ҳатто агар ба шумо танҳо лозим аст, ки серверро бозоғоз кунед ё гиреҳи навро баланд кунед, пас ба таври дастӣ MTTR тақрибан 7-8 дақиқа аст. Ҳангоми автоматикунонии раванд, MTTR аксар вақт ба як сония, баъзан миллисонияҳо мерасад. Google одатан дар бораи миллисонияҳо сӯҳбат мекунад, аммо дар асл, албатта, ҳама чиз он қадар хуб нест.
Идеалӣ, SRE бояд кори худро тақрибан пурра автоматӣ кунад, зеро ин бевосита ба MTTR, нишондиҳандаҳои он, SLO тамоми хидмат ва мувофиқан ба фоидаи тиҷорат таъсир мерасонад. Агар вақт гузашта бошад, аз мо мепурсанд, ки оё SRE гунаҳкор аст. Хушбахтона, касе гунахкор нест. Ва ин як фарҳанги алоҳидаест, ки пас аз марги бефосила номида мешавад, ки мо имрӯз дар бораи он сухан намегӯем, аммо мо дар Slurm таҳлил хоҳем кард. Ин мавзӯи хеле ҷолиб аст, ки дар бораи он метавон бисёр сӯҳбат кард. Тахминан гуем, агар вакти дар семоха додашуда барзиёд ичро шуда бошад, пас хама каме гунахкоранд, яъне ба хама гунахкор кардан самарабахш нест, биёед ба чои он, шояд касеро айб накунем, вазъиятро ислох кунем ва бо он чи дорем, кор кунем. Дар таҷрибаи ман ин равиш барои аксари дастаҳо, бахусус дар Русия, каме бегона аст, аммо маъно дорад ва хеле хуб кор мекунад. Аз ин рӯ, дар охир ман мақолаҳо ва адабиётеро тавсия медиҳам, ки шумо метавонед дар ин мавзӯъ хонед. Ё ба Slurm SRE биёед.
Биёед фаҳмонам. Агар вакти СЛО дар семоха зиёд шуда бошад, агар бекористй 13 дакика не, балки 15 дакика бошад, ба ин кй айбдор шуда метавонад? Албатта, SRE метавонад гунаҳкор бошад, зеро он ба таври возеҳ ӯҳдадориҳои бад ё ҷойгиркунӣ кардааст. Мудири маркази додаҳо метавонад барои ин гунаҳкор бошад, зеро ӯ шояд ягон хидматрасонии ғайринақшавӣ анҷом дода бошад. Агар дар ин кор маъмури маркази додаҳо гунаҳкор бошад, пас шахсе аз Ops низ барои ҳисоб накардани хидматрасонӣ ҳангоми мувофиқат дар бораи SLO гунаҳкор аст. Ин айби менеҷер, директори техникӣ ё касест, ки шартномаи маркази додаҳоро имзо кардааст ва ба он аҳамият надодааст, ки маркази додаҳои SLA барои бекористии зарурӣ пешбинӣ нашудааст. Аз ин рӯ, ҳама оҳиста-оҳиста дар ин вазъият гунаҳкоранд. Ва ин маънои онро дорад, ки дар ин вазъият ба гардани касе гунаҳкор кардан ҷоиз нест. Аммо, албатта, онро ислоҳ кардан лозим аст. Аз ин рӯ, баъди марг вуҷуд дорад. Ва агар шумо, масалан, postmortems GitHub-ро хонед ва ин ҳамеша як ҳикояи хеле ҷолиб, хурд ва ғайричашмдошт дар ҳар як ҳолати мушаххас аст, шумо метавонед иваз кунед, ки ҳеҷ кас намегӯяд, ки ин шахси мушаххас гунаҳкор буд. Айб хамеша ба процессхои конкретии номукаммал бор карда мешавад.
Биёед ба саволи навбатӣ мегузарем. Автоматика. Вақте ки ман дар бораи автоматикунонӣ дар контекстҳои дигар сухан меронам, ман аксар вақт ба ҷадвал муроҷиат мекунам, ки ба шумо мегӯяд, ки шумо метавонед дар бораи автоматикунонии вазифа чӣ қадар вақт кор кунед, бе он ки барои автоматикунонии он вақти зиёдтар сарф кунед, назар ба захира кардани шумо. Дараҷае ҳаст. Мушкилот дар он аст, ки вақте ки SRE-ҳо як вазифаро автоматӣ мекунанд, онҳо на танҳо вақтро сарфа мекунанд, балки пулро сарфа мекунанд, зеро автоматизатсия мустақиман ба MTTR таъсир мерасонад. Онхо, гуем, рухияи коргарону тахиягаронро сарфа мекунанд, ки ин хам захираи тамомшаванда аст. Онҳо реҷаро коҳиш медиҳанд. Ва хамаи ин ба кор ва дар натича ба корхо-на таъсири мусбат мерасонад, гарчанде ки гуё автоматикунонй аз чихати харочоти вакт маъное надорад.
Дар асл, он қариб ҳамеша чунин мекунад ва ҳолатҳои хеле кам вуҷуд доранд, ки дар нақши SRE автоматӣ кардани чизе намеарзад. Минбаъд мо дар бораи он чизе ки буҷети хатогӣ, буҷети хатоҳо номида мешавад, сӯҳбат хоҳем кард. Дар асл, маълум мешавад, ки агар шумо нисбат ба SLO барои худ муқарраркардаатон ба таври назаррас беҳтар кор кунед, ин ҳам чандон хуб нест. Ин хеле бад аст, зеро SLO на танҳо ҳамчун сарҳади поёнӣ, балки ҳамчун ҳудуди тахминии болоӣ кор мекунад. Вақте ки шумо SLO-и 99% мавҷудиятро муқаррар мекунед ва дар асл шумо 99,99% доред, маълум мешавад, ки шумо барои таҷриба каме ҷой доред, ки ин ба тиҷорат тамоман зарар намерасонад, зеро шумо ин ҳамаро якҷоя муайян кардаед ва шумо дошта бошед, ки ин ҷойро истифода набаред. Шумо барои хатогиҳо буҷа доред, ки дар ҳолати шумо сарф намешавад.
Мо бо он чӣ кор мекунем. Мо онро барои ҳама чиз истифода мебарем. Барои озмоиш дар шароити истеҳсолӣ, барои паҳн кардани хусусиятҳои нав, ки метавонанд ба иҷроиш таъсир расонанд, барои нашрҳо, барои нигоҳдорӣ, барои бекористии нақшавӣ. Қоидаи муқобил низ татбиқ мешавад: агар буҷет тамом шавад, мо чизи навро бароварда наметавонем, зеро дар акси ҳол мо аз SLO зиёд мешавем. Буҷет аллакай тамом шудааст, мо чизе баровардаем, агар он ба иҷроиш таъсири манфӣ расонад, яъне агар ин як навъ ислоҳ набошад, ки худи СЛО-ро мустақиман зиёд кунад, пас мо аз буҷа гузашта истодаем ва ин вазъияти бад аст. , он таҳлил, пас аз марг ва эҳтимолан баъзе ислоҳи равандро талаб мекунад.
Яъне, маълум мешавад, ки агар худи хидмат хуб кор накунад ва SLO сарф карда шавад ва буҷет на барои таҷрибаҳо, на барои баъзе релизҳо, балки худ аз худ сарф карда шавад, пас ба ҷои баъзе ислоҳҳои ҷолиб, ба ҷои хусусиятҳои ҷолиб, ба ҷои релизҳои ҷолиб. Ба ҷои ягон кори эҷодӣ, шумо бояд бо ислоҳи аблаҳона сарукор кунед, то буҷаро ба тартиб баргардонед ё SLO-ро таҳрир кунед ва ин ҳам равандест, ки набояд зуд-зуд рух диҳад.
Аз ин рӯ, маълум мешавад, ки дар вазъияте, ки мо барои хатогиҳо буҷаи бештар дорем, ҳама манфиатдоранд: ҳам SRE ва ҳам таҳиягарон. Барои таҳиягарон, буҷаи калон барои хатогиҳо маънои онро дорад, ки шумо метавонед бо релизҳо, озмоишҳо ва таҷрибаҳо мубориза баред. Барои SRE, буҷет барои хатогиҳо ва ворид кардани ин буҷет маънои онро дорад, ки онҳо бевосита кори худро хуб иҷро мекунанд. Ва ин ба ҳавасмандии як навъ кори муштарак таъсир мерасонад. Агар шумо SRE-ҳои худро ҳамчун таҳиягарон гӯш кунед, шумо барои кори хуб фазои бештар ва реҷаи камтар хоҳед дошт.
Маълум мешавад, ки тачрибахо дар истехсолот кисми хеле мухим ва кариб таркибии СРЕ дар коллективхои калон мебошанд. Ва он одатан бо номи муҳандисии хаос меравад, ки аз дастаи Netflix меояд, ки як утилитаро бо номи Chaos Monkey баровардааст.
Chaos Monkey ба лӯлаи CI/CD пайваст мешавад ва ба таври тасодуфӣ серверро дар истеҳсолот вайрон мекунад. Боз, дар сохтори SRE мо мегӯем, ки сервери садама худаш бад нест, интизор меравад. Ва агар дар доираи буҷа бошад, қобили қабул аст ва ба тиҷорат зиён намерасонад. Албатта, Netflix дорои серверҳои кофии зиёдатӣ, репликатсияи кофӣ мебошад, ки ҳамаи инро метавон бидуни огоҳии корбар ислоҳ кард ва албатта ҳеҷ кас як серверро барои ягон буҷет намегузорад.
Дар як вақт Netflix маҷмӯи пурраи чунин хидматҳоро дошт, ки яке аз онҳо Chaos Gorilla яке аз минтақаҳои дастрасиро дар Амазонка комилан ғайрифаъол мекунад. Ва ин гуна чизҳо барои муайян кардани вобастагии пинҳон, пеш аз ҳама, хуб кӯмак мекунанд, вақте ки комилан маълум нест, ки чӣ таъсир мерасонад, чӣ ба чӣ вобаста аст. Ва ин, агар шумо бо хидматрасонии хурд кор карда истода бошед ва ҳуҷҷатҳо комилан комил набошад, ин метавонад ба шумо шинос бошад. Ва боз, ин барои дарёфти хатогиҳо дар код кӯмак мекунад, ки шумо ҳангоми саҳнасозӣ онҳоро дастгир карда наметавонед, зеро ҳама гуна саҳнасозӣ моделсозии дақиқ нест, аз сабаби он, ки миқёси сарборӣ гуногун аст, намунаи сарборӣ гуногун аст, таҷҳизот низ, аксари эҳтимол, дигар. Сарбории баланд низ метавонад ғайричашмдошт ва пешгӯинашаванда бошад. Ва чунин озмоиш, ки боз ҳам аз буҷа берун намеравад, барои дарёфти хатогиҳо дар инфрасохтор, ки саҳнасозӣ, автотестҳо ва лӯлаҳои CI/CD ҳеҷ гоҳ дучор нахоҳанд шуд, кӯмак мекунад. Ва то он даме, ки ин ҳама ба буҷаи шумо дохил карда шудааст, муҳим нест, ки хидмати шумо дар он ҷо коҳиш ёфтааст, гарчанде ки ин хеле даҳшатнок ба назар мерасад, сервер суқут кардааст, чӣ даҳшатовар аст. Не, ин муқаррарӣ аст, ин хуб аст ва барои сайд кардани хатогиҳо кӯмак мекунад. Агар шумо буҷа дошта бошед, пас шумо метавонед онро сарф кунед.
Савол: Кадом адабиётро тавсия дода метавонам? Рӯйхат дар охири аст. Адабиёт бисьёр аст, ман якчанд маърузаро тавсия медихам. Он чӣ гуна кор мекунад ва оё SRE дар ширкатҳое кор мекунад, ки бе маҳсулоти нармафзори худ ё бо рушди ҳадди ақалл. Масалан, дар корхонае, ки фаъолияти асосиаш нармафзор нест. Дар корхонае, ки фаъолияти асосии он нармафзор нест, SRE маҳз ҳамон тавре кор мекунад, ки дар ҳама ҷо дигар кор мекунад, зеро дар корхона шумо инчунин бояд истифода баред, ҳатто агар шумо маҳсулоти нармафзорро таҳия накунед, шумо бояд навсозиро паҳн кунед, шумо инфраструктураро тағир додан лозим аст, шумо бояд рушд кунед, шумо бояд миқёс кунед. Ва SREҳо барои муайян ва пешгӯии мушкилоти эҳтимолӣ дар ин равандҳо ва назорат кардани онҳо пас аз оғози афзоиш ва тағир додани ниёзҳои тиҷорат кӯмак мекунанд. Зеро дар таҳияи нармафзор иштирок кардан комилан шарт нест, то SRE дошта бошед, агар шумо ҳадди аққал якчанд сервер дошта бошед ва интизор меравад, ки ҳадди аққал каме афзоиш дошта бошед.
Ин ба лоиҳаҳои хурд, ташкилотҳои хурд низ дахл дорад, зеро ширкатҳои бузург буҷа ва фазои озмоишӣ доранд. Аммо дар айни замон, ҳамаи ин меваҳои таҷрибаҳо метавонанд дар ҳама ҷо истифода шаванд, яъне SRE, албатта, дар Google, Netflix, дар Dropbox пайдо шуд. Аммо дар айни замон, ширкатҳои хурд ва стартапҳо аллакай метавонанд маводи мухтасарро мутолиа кунанд, китобҳо хонанд, гузоришҳоро тамошо кунанд. Онҳо дар ин бора бештар мешунаванд, ба мисолҳои мушаххас менигаранд, ба фикрам, хуб аст, ин воқеан муфид буда метавонад, ба мо низ ин лозим аст, хеле хуб аст.
Яъне, тамоми корҳои асосӣ оид ба стандартизатсияи ин равандҳо аллакай барои шумо анҷом дода шудаанд. Он барои шумо боқӣ мемонад, ки нақши SRE-ро дар ширкати худ муайян кунед ва воқеан татбиқи ҳамаи ин таҷрибаҳоро оғоз кунед, ки боз ҳам аллакай тавсиф шудаанд. Яъне, аз принсипҳои муфид барои ширкатҳои хурд, ин ҳамеша таърифи SLA, SLI, SLO мебошад. Агар шумо дар нармафзор иштирок накунед, он гоҳ инҳо SLA-ҳои дохилӣ ва SLO-ҳои дохилӣ, буҷети дохилӣ барои хатогиҳо хоҳанд буд. Ин қариб ҳамеша боиси баҳсҳои ҷолиб дар дохили даста ва дар дохили тиҷорат мегардад, зеро маълум мешавад, ки шумо барои инфрасохтор, барои як намуди ташкили равандҳои идеалӣ сарф мекунед, қубури идеалӣ аз зарурӣ хеле зиёд аст. Ва ин 4 нӯҳе, ки шумо дар шӯъбаи IT доред, ҳоло ба шумо аслан лозим нест. Аммо дар айни замон, шумо метавонед вақтро сарф кунед, буҷаро барои хатогиҳо ба чизи дигар сарф кунед.
Мувофиқи он, мониторинг ва ташкили мониторинг барои як ширкати ҳама гуна андоза муфид аст. Ва дар маҷмӯъ, ин тарзи тафаккур, ки дар он хатогиҳо чизи қобили қабул аст, дар куҷо буҷет вуҷуд дорад, дар куҷо Ҳадафҳо вуҷуд доранд, боз барои як ширкати ҳама гуна андоза муфид аст, сар карда аз стартапҳо барои 3 нафар.
Охирин нозукиҳои техникӣ, ки дар бораи он сухан меравад, мониторинг аст. Зеро агар мо дар бораи SLA, SLI, SLO сухан ронем, мо бидуни назорат дарк карда наметавонем, ки оё мо ба буҷет мувофиқат мекунем, оё мо ба Ҳадафҳои худ мувофиқат мекунем ва чӣ гуна мо ба SLA ниҳоӣ таъсир мерасонем. Ман борҳо дидаам, ки мониторинг чунин сурат мегирад: як арзиш вуҷуд дорад, масалан, вақти дархост ба сервер, вақти миёна ё шумораи дархостҳо ба пойгоҳи додаҳо. Вай стандарте дорад, ки инженер муайян кардааст. Агар метрик аз меъёр дур шавад, пас почтаи электронӣ меояд. Ин ҳама, чун қоида, комилан бефоида аст, зеро он ба чунин миқдори ҳушдорҳо, зиёд будани паёмҳо аз мониторинг оварда мерасонад, вақте ки шахс, аввалан, бояд ҳар дафъа онҳоро шарҳ диҳад, яъне муайян кунад, ки оё арзиши воситаҳои метрикӣ зарурати баъзе амалҳо. Ва дуюм, вай танҳо пайхас кардани ҳамаи ин огоҳиҳоро қатъ мекунад, вақте ки аз ӯ ҳеҷ гуна амал талаб карда намешавад. Ин як қоидаи хуби мониторинг аст ва аввалин қоидаи ҳангоми татбиқи SRE ин аст, ки огоҳинома бояд танҳо дар ҳолати зарурии амал ояд.
Дар ҳолати стандартӣ, 3 сатҳи рӯйдодҳо мавҷуданд. Огоҳӣ вуҷуд дорад, билетҳо ҳастанд, логҳо мавҷуданд. Огоҳӣ ҳама чизест, ки аз шумо чораҳои фаврӣ андешиданро талаб мекунад. Яъне, ҳама чиз вайрон шудааст, шумо бояд фавран онро ислоҳ кунед. Чиптаҳо он чизест, ки амали таъхирро талаб мекунанд. Бале, ба шумо лозим аст, ки коре кунед, шумо бояд кореро дастӣ кунед, автоматизатсия ноком шуд, аммо барои чанд дақиқаи оянда ин корро кардан лозим нест. Гузоришҳо чизе ҳастанд, ки амалро талаб намекунанд ва умуман, агар корҳо хуб шаванд, ҳеҷ гоҳ касе онҳоро намехонад. Ба шумо танҳо лозим аст, ки гузоришҳоро хонед, вақте ки дар бозгашт маълум шуд, ки чизе чанд вақт шикастааст, мо дар ин бора намедонем. Ё шумо бояд каме тадқиқот гузаронед. Аммо дар маҷмӯъ, ҳама чизе, ки ягон амалро талаб намекунад, ба гузоришҳо меравад.
Ҳамчун таъсири паҳлӯи ҳамаи ин, агар мо муайян карда бошем, ки кадом рӯйдодҳо амалро талаб мекунанд ва хуб тавсиф карда бошем, ки ин амалҳо бояд чӣ гуна бошанд, ин маънои онро дорад, ки амалро автоматӣ кардан мумкин аст. Яъне, чӣ мешавад. Мо аз огоҳӣ меравем. Биёед ба амал гузарем. Мо ба тавсифи ин амал меравем. Ва он гоҳ мо ба автоматизатсия мегузарем. Яъне ҳама гуна автоматизатсия бо вокуниш ба ҳодиса оғоз мешавад.
Аз мониторинг мо ба истилоҳ бо номи мушоҳидашаванда мегузарем. Тайи чанд соли ахир дар атрофи ин вожа низ каме сару садоҳо ба вуҷуд омадаанд. Ва кам одамон мефаҳманд, ки ин аз контекст чӣ маъно дорад. Аммо нуқтаи асосӣ дар он аст, ки Мушоҳидашаванда як метри шаффофияти система аст. Агар чизе хато кунад, шумо то чӣ андоза зуд муайян карда метавонед, ки маҳз чӣ хато рафт ва дар он лаҳза ҳолати система чӣ гуна буд. Аз нуқтаи назари код: кадом функсия ноком шуд, кадом хидмат ноком шуд. Ҳолати, масалан, тағирёбандаҳои дохилӣ, конфигуратсия чӣ гуна буд. Аз нуқтаи назари инфрасохтор, ин аст, ки дар кадом минтақаи мавҷудият нокомӣ рух додааст ва агар шумо ягон намуди Kubernetes дошта бошед, пас дар кадом паҳлӯ нокомӣ рух додааст, ҳолати поддон чӣ гуна буд. Ва мувофиқан, Observability бо MTTR робитаи мустақим дорад. Чӣ қадаре ки Мушоҳидашавандаи хидмат баланд бошад, ҳамон қадар муайян кардани хато осонтар аст, ислоҳ кардани хато осонтар аст, автоматикунонии хато ҳамон қадар осонтар мешавад, MTTR ҳамон қадар паст мешавад.
Агар боз ба корхонахои хурд гузарем, онхо бисьёр вакт мепурсанд, ки хозир хам бо андозаи коллектив чй кор кардан лозим аст ва оё дар як коллективи хурд СРЭ-и алохидаро киро кардан лозим аст? Ман дар ин бора каме пештар гуфта будам. Дар марҳилаҳои аввали рушди стартап ё, масалан, гурӯҳ, ин тамоман зарур нест, зеро SRE-ро метавонад нақши гузаришро иҷро кунад. Ва ин дастаро каме зинда мегардонад, зеро ҳадди аққал каме гуногунрангӣ вуҷуд дорад. Ва илова бар ин, он одамонро ба он омода мекунад, ки ҳангоми ба воя расидан, дар маҷмӯъ, масъулияти SRE хеле тағйир меёбад. Агар шумо шахсеро ба кор қабул кунед, пас, албатта, ӯ баъзе интизориҳо дорад. Ва ин интизориҳо бо мурури замон тағир намеёбанд, аммо талабот хеле тағйир хоҳад ёфт. Аз ин рӯ, чӣ гуна киро кардани SRE дар марҳилаҳои аввал хеле душвор аст. Парвариши худ хеле осонтар аст. Аммо дар бораи он фикр кардан меарзад.
Ягона истисно, эҳтимол ин аст, ки талаботҳои хеле қатъӣ ва дақиқ муайяншудаи баландӣ вуҷуд доранд. Яъне, дар сурати оғозёбӣ, ин метавонад як навъ фишори сармоягузорон, як навъ пешгӯии афзоиш дар як вақт бошад. Он гоҳ киро кардани SRE асосан асоснок аст, зеро он метавонад асоснок карда шавад. Мо талаботи афзоиш дорем, ба мо шахсе лозим аст, ки барои таъмини он масъул бошад, ки бо чунин афзоиш ҳеҷ чиз вайрон нашавад.
Боз як савол. Чӣ бояд кард, вақте ки таҳиягарон якчанд маротиба хусусиятеро буриданд, ки аз санҷишҳо мегузарад, аммо маҳсулотро вайрон мекунад, пойгоҳи додаҳоро бор мекунад, дигар хусусиятҳоро вайрон мекунад, кадом равандро амалӣ кардан лозим аст. Бинобар ин, дар ин ҳолат, буҷет барои хатогиҳо ҷорӣ карда мешавад. Ва баъзе хидматҳо, баъзе хусусиятҳо фавран дар истеҳсолот санҷида мешаванд. Ин метавонад як канарӣ бошад, вақте ки танҳо шумораи ками корбарон, аммо аллакай дар истеҳсолот, як хусусиятро ҷойгир мекунанд, аммо бо интизории он, ки агар чизе вайрон шавад, масалан, барои ним фоизи ҳамаи корбарон, он ҳанӯз ҳам дар доираи буҷет барои хатогиҳо. Мутаносибан, бале, хатогӣ хоҳад буд, барои баъзе корбарон ҳама чиз вайрон мешавад, аммо мо аллакай гуфта будем, ки ин муқаррарӣ аст.
Дар бораи асбобҳои SRE саволе буд. Яъне, оё ягон чизи мушаххасе ҳаст, ки SRE-ҳо истифода мебаранд, ки ҳама онро истифода намебаранд? Дарвоқеъ, баъзе барномаҳои хеле махсусгардонидашуда мавҷуданд, баъзе нармафзоре мавҷуданд, ки масалан, борҳоро тақлид мекунанд ё санҷиши канарии A/B-ро анҷом медиҳанд. Аммо аслан, асбобҳои SRE он чизест, ки таҳиягарони шумо аллакай истифода мебаранд. Зеро SRE мустақиман бо дастаи таҳиякунанда ҳамкорӣ мекунад. Ва агар шумо асбобҳои гуногун дошта бошед, маълум мешавад, ки барои ҳамоҳангсозӣ вақт лозим аст. Хусусан, агар SRE-ҳо дар дастаҳои калон, дар ширкатҳои бузург кор кунанд, ки дар он ҷо якчанд гурӯҳ вуҷуд доранд, стандартизатсияи умуми ширкат дар ин ҷо хеле муфид хоҳад буд, зеро агар 50 даста 50 утилитаҳои гуногунро истифода баранд, ин маънои онро дорад, ки SRE бояд ҳамаи онҳоро донад. Ва албатта ин ҳеҷ гоҳ рӯй нахоҳад дод. Сифати кор, сифати назорат дар акаллан як кисми коллективхо хеле паст мешавад.
Вебинари мо тадриҷан ба охир мерасад. Ман тавонистам ба шумо баъзе чизҳои асосиро бигӯям. Албатта, дар як соат дар бораи SRE чизе гуфтан ва фаҳмидан мумкин нест. Аммо ман умедворам, ки ман тавонистам ин тарзи фикрронӣ, нуктаҳои асосиро расонам. Ва он гоҳ, агар шумо таваҷҷӯҳ дошта бошед, шумо метавонед мавзӯъро амиқтар омӯзед, мустақилона омӯзед ва бубинед, ки он аз ҷониби одамони дигар, дар ширкатҳои дигар чӣ гуна татбиқ карда мешавад. Ва мувофиқан, дар аввали феврал, дар Slurm SRE ба мо биёед.
Slurm SRE як курси серӯзаи интенсивӣ мебошад, ки дар бораи он чизе, ки ман ҳоло дар бораи он гап мезанам, сӯҳбат хоҳад кард, аммо бо амиқтар, бо ҳолатҳои воқеӣ, бо амалия, тамоми интенсивӣ ба кори амалӣ нигаронида шудааст. Одамон ба дастаҳо тақсим карда мешаванд. Ҳамаи шумо дар парвандаҳои воқеӣ кор хоҳед кард. Мувофиқи ин, мо устодони Booking.com Иван Круглов ва Бен Тайлер дорем. Мо Евгений Бараббаси олиҷаноб аз Google, аз Сан-Франсиско дорем. Ва ман ҳам ба шумо чизе мегӯям. Пас, ҳатман ба мо ташриф оред.
Ҳамин тавр, рӯйхати истинодҳо. Дар SRE истинодҳо мавҷуданд. дар ҳамон китоб, дурусттараш дар 2 китоб дар бораи SRE, ки аз ҷониби Google навишта шудааст. Дигараш , ки шартҳо ва татбиқи онҳо каме муфассалтар аст. 3-и навбатӣ гузоришҳо дар бораи SRE дар ширкатҳои гуногун мебошанд. Аввал - , ин як сухани асосӣ аз Бен Тренер аз Google мебошад. Дуюм - . Сеюм боз аст . Гузориши чорум аз , ки дар 5 кишвари ҷаҳон танҳо 190 корманди асосии SRE дорад. Ба ҳамаи ин нигоҳ кардан хеле ҷолиб аст, зеро ҳамон тавре ки DevOps барои ширкатҳои гуногун ва ҳатто дастаҳои гуногун чизҳои хеле гуногунро ифода мекунад, SRE масъулиятҳои хеле гуногун дорад, ҳатто дар ширкатҳои ҳаҷмашон якхела.
2 истиноди дигар дар бораи принсипҳои муҳандисии хаос: , . Ва дар охир 3 рӯйхат аз силсилаи Рӯйхати олӣ дар бораи он мавҷуд аст дар бораи ва дар бораи . Рӯйхати SRE бениҳоят бузург аст, аз он гузаштан шарт нест, тақрибан 200 мақола вуҷуд дорад. Ман мақолаҳоро аз он ҷо дар бораи банақшагирии иқтидор ва дар бораи пас аз марги беайб тавсия медиҳам.
Мақолаи ҷолиб:
Ташаккур ба шумо, ки тамоми ин вақт маро гӯш кардед. Умедворам, ки шумо чизе омӯхтед. Умедворам, ки шумо барои омӯхтани бештар маводи кофӣ доред. Ва дидор. Умедворам, ки дар моҳи феврал.
Вебинар аз ҷониби Эдуард Медведев баргузор шуд.
PS: барои онҳое, ки хонданро дӯст медоранд, Эдуард рӯйхати истинодҳоро дод. Касоне, ки онро дар амал дарк карданро афзалтар медонанд .
Манбаъ: will.com