Webinar yana da ƙarancin sauti, don haka mun yi kwafi.
Sunana Medvedev Eduard. A yau zan yi magana game da abin da SRE yake, yadda SRE ya bayyana, menene ma'auni na aikin injiniya na SRE, kadan game da ka'idojin aminci, kadan game da saka idanu. Za mu wuce saman, saboda ba za ku iya faɗi da yawa cikin sa'a ɗaya ba, amma zan ba ku kayan don ƙarin bita, kuma duk muna jiran ku a . a Moscow a karshen watan Janairu.
Da farko, bari muyi magana game da menene SRE - Injiniyan Amintaccen Yanar Gizo - shine. Da kuma yadda ya bayyana a matsayin matsayi na daban, a matsayin jagora daban. Ya fara ne da gaskiyar cewa a cikin da'irar ci gaban al'ada, Dev da Ops ƙungiyoyi biyu ne mabanbanta, yawanci tare da mabambantan manufa guda biyu. Manufar ƙungiyar haɓakawa ita ce fitar da sabbin abubuwa don biyan buƙatun kasuwanci. Manufar ƙungiyar Ops ita ce tabbatar da cewa komai yana aiki kuma babu abin da ya karye. Babu shakka, waɗannan manufofin sun saba wa juna kai tsaye: don haka duk abin da ke aiki kuma babu abin da ya karye, yana da kyau a fitar da sababbin siffofi kadan kadan. Saboda wannan, yawancin rikice-rikice na cikin gida suna tasowa, wanda tsarin da ake kira DevOps yanzu yana ƙoƙarin warwarewa.
Matsalar ita ce ba mu da cikakkiyar ma'anar DevOps da ingantaccen aiwatar da DevOps. Na yi magana a wani taro a Yekaterinburg shekaru 2 da suka gabata, kuma har yanzu sashen DevOps ya fara da rahoton "Mene ne DevOps." A cikin 2017, devops yana kusan shekaru 10, amma har yanzu muna jayayya game da menene. Kuma wannan lamari ne mai ban mamaki da Google ya yi ƙoƙarin warwarewa a 'yan shekarun da suka gabata.
A cikin 2016, Google ya fitar da wani littafi mai suna "Injiniya Dogaran Yanar Gizo." Kuma a gaskiya, da wannan littafi ne aka fara yunkurin SRE. SRE takamaiman zaɓi ne don aiwatar da tsarin DevOps a cikin takamaiman kamfani. Injiniyoyin SRE sun kafa kansu burin tabbatar da ingantaccen aiki na tsarin. Ana ɗaukar su galibi daga masu haɓakawa, wani lokacin daga masu gudanar da aiki tare da tushen ci gaba mai ƙarfi. Kuma suna yin abin da masu gudanar da tsarin suka saba yi, amma babban tushe na ci gaba da sanin tsarin daga mahangar ka'ida ya kai ga gaskiyar cewa waɗannan mutane ba su da sha'awar aikin gudanarwa na yau da kullun, amma suna karkata zuwa atomatik.
Ya bayyana cewa ana aiwatar da tsarin DevOps a cikin ƙungiyoyin SRE ta gaskiyar cewa akwai injiniyoyin SRE waɗanda ke magance matsalolin tsarin. Anan shine, haɗin kai ɗaya tsakanin Dev da Ops wanda mutane ke magana akai tsawon shekaru 8. Matsayin SRE yayi kama da na mai zane a cikin cewa novices ba sa zama SREs. Mutane a farkon ayyukansu har yanzu ba su da wata gogewa kuma ba su da zurfin ilimin da ake buƙata. Saboda SRE yana buƙatar ingantaccen ilimi na ainihin abin da kuma lokacin da daidai zai iya yin kuskure. Saboda haka, ana buƙatar wani nau'i na ƙwarewa a nan, a matsayin mai mulkin, a cikin kamfani da waje.
Suna tambayar idan za a kwatanta bambanci tsakanin SRE da devops. Yanzu an kwatanta ta. Za mu iya magana game da wurin SRE a cikin kungiyar. Ba kamar tsarin DevOps na gargajiya ba, inda Ops har yanzu yanki ne daban, SRE wani ɓangare ne na ƙungiyar haɓakawa. Suna shiga cikin haɓaka samfuran. Akwai ma wata hanya inda SRE shine rawar da ke wucewa daga wannan mai haɓaka zuwa wani. Suna shiga cikin sake dubawa na lamba daidai da, misali, masu zanen UX, masu haɓaka kansu, da kuma wani lokacin manajan samfur. SREs suna aiki a wannan matakin. Muna buƙatar amincewar su, muna buƙatar bitar su, don kowane turawa SRE ya ce: "Ok, wannan turawa, wannan samfurin ba zai yi mummunar tasiri ga aminci ba. Kuma idan ya yi hakan, zai kasance cikin wasu iyakoki karbuwa.” Za mu yi magana game da wannan kuma.
Saboda haka, SRE yana da veto akan canje-canjen code. Kuma gabaɗaya, wannan kuma yana haifar da ɗan ƙaramin rikici idan an aiwatar da SRE ba daidai ba. A cikin wancan littafi game da Injiniya Amintaccen Yanar Gizo, sassa da yawa, har ma fiye da ɗaya, suna faɗi yadda ake guje wa waɗannan rikice-rikice.
Mutane suna tambayar yadda SRE ke da alaƙa da tsaro na bayanai. SRE ba ta da hannu kai tsaye cikin tsaron bayanai. Mafi yawa a cikin manyan kamfanoni, mutane ɗaya ne, masu gwadawa, da manazarta ke yin hakan. Amma SRE kuma yana hulɗa da su ta ma'anar cewa wasu ayyuka, wasu aikatawa, wasu turawa waɗanda ke shafar tsaro kuma na iya shafar samuwar samfurin. Don haka, SRE gabaɗaya yana hulɗa tare da kowace ƙungiya, gami da ƙungiyoyin tsaro, gami da manazarta. Don haka, ana buƙatar SREs musamman lokacin ƙoƙarin aiwatar da DevOps, amma nauyin masu haɓakawa ya zama babba. Wato, ƙungiyar ci gaba da kanta ba za ta iya jurewa da gaskiyar cewa yanzu su ma suna buƙatar ɗaukar alhakin Ops. Kuma rawar daban ta bayyana. An tsara wannan rawar a cikin kasafin kuɗi. Wani lokaci ana gina wannan rawar a cikin girman ƙungiyar, wani mutum daban ya bayyana, wani lokacin ɗaya daga cikin masu haɓakawa ya zama shi. Wannan shine yadda SRE na farko ya bayyana akan ƙungiyar.
Matsalolin tsarin da SRE ke shafa, rikitarwa wanda ke shafar amincin aiki, na iya zama dole ko na bazata. Matsala mai mahimmanci shine lokacin da rikitaccen samfurin ya ƙaru gwargwadon yadda sabbin fasalolin samfur ke buƙata. Matsalolin bazuwar shine lokacin da rikitarwa na tsarin ya ƙaru, amma fasalin samfurin da buƙatun kasuwanci ba sa shafar wannan kai tsaye. Ya bayyana cewa ko dai mai haɓakawa ya yi kuskure a wani wuri, ko kuma algorithm ba shi da kyau, ko kuma an gabatar da wasu ƙarin abubuwan da ke ƙara rikitar samfurin ba dole ba. Kyakkyawan SRE ya kamata koyaushe ya guje wa wannan yanayin. Wato, duk wani alƙawarin, duk wani turawa, duk wani buƙatun ja wanda ke ƙara rikiɗa saboda kari bazuwar yakamata a toshe shi.
Tambayar ita ce me yasa ba kawai hayar injiniya ba, mai kula da tsarin da ilimi mai yawa, don shiga cikin tawagar. Mai haɓakawa a cikin aikin injiniya, an gaya mana, ba shine mafi kyawun mafita na ma'aikata ba. Mai haɓakawa a cikin aikin injiniya ba koyaushe shine mafi kyawun mafita na ma'aikata ba, amma abin lura anan shine cewa mai haɓakawa wanda ke tsunduma cikin Ops yana da ɗan ƙara sha'awar sarrafa kansa, yana da ɗan ƙaramin ilimi da fasaha don aiwatar da wannan. sarrafa kansa. Sabili da haka, muna rage ba kawai lokacin wasu takamaiman ayyuka ba, ba kawai na yau da kullun ba, har ma da mahimman sigogin kasuwanci kamar MTTR (Ma'anar Lokaci Don Farko, lokacin dawowa). Don haka, kuma za mu yi magana game da wannan kadan daga baya, muna adana kuɗi don ƙungiyar.
Yanzu bari muyi magana game da ma'auni na aikin SRE. Kuma da farko game da aminci. A cikin ƙananan kamfanoni da masu farawa, sau da yawa yakan faru cewa mutane suna ɗauka cewa idan an rubuta sabis ɗin da kyau, idan an rubuta samfurin da kyau kuma daidai, zai yi aiki, ba zai karya ba. Shi ke nan, muna rubuta lamba mai kyau, don haka babu abin da zai karya. Lambar yana da sauqi qwarai, babu wani abu da zai karya. Waɗannan su ne game da mutane guda waɗanda suka ce ba ma buƙatar gwaje-gwaje, saboda, duba, waɗannan hanyoyi ne na VPI guda uku, me yasa damuwa?
Wannan duk kuskure ne, ba shakka. Kuma waɗannan mutane sau da yawa suna cutar da irin wannan lambar a aikace, saboda abubuwa suna lalacewa. Wani lokaci abubuwa suna karya ta hanyoyin da ba a iya faɗi ba. Wani lokaci mutane sukan ce a'a, ba zai taba faruwa ba. Kuma har yanzu yana faruwa. Yana faruwa sau da yawa. Kuma shi ya sa ba wanda ya taɓa ƙoƙarin samun 100%, domin samun 100% bai taɓa faruwa ba. Wannan shine ka'ida. Kuma shi ya sa koyaushe muke magana game da tara lokacin da muke magana game da wadatar sabis. 2 tara, 3 tara, 4 tara, 5 tara. Idan muka fassara wannan zuwa lokacin raguwa, to, alal misali, 5 nines kadan ne fiye da minti 5 na raguwa a kowace shekara, 2 nines shine kwanaki 3,5 na raguwa.
Amma a bayyane yake cewa a wani lokaci akwai raguwa a cikin POI da komawa kan zuba jari. Komawa daga tara biyu zuwa tara uku yana nufin rage raguwa fiye da kwanaki 3. Yin tafiya daga tara tara zuwa biyar yana rage lokacin raguwa da mintuna 47 a kowace shekara. Kuma ya juya cewa wannan bazai zama mahimmanci ga kasuwanci ba. Kuma gabaɗaya, amincin da ake buƙata ba batun fasaha ba ne, da farko, batun kasuwanci ne, batun samfuri ne. Menene matakin raguwa ya yarda da masu amfani da samfurin, menene suke tsammanin, nawa suke biya, alal misali, adadin kuɗin da suka yi hasarar, nawa tsarin ya rasa.
Tambaya mai mahimmanci shine menene amincin sauran abubuwan da suka rage. Saboda bambancin 4 da 5 nines ba za a iya gani a wayar salula mai aminci 2 nines ba. Kusan magana, idan wani abu ya karye akan wayar hannu a cikin sabis ɗin ku sau 10 a shekara, mai yuwuwa sau 8 rushewar ta faru a gefen OS. An yi amfani da mai amfani da wannan, kuma ba zai kula da shi ba sau ɗaya a shekara. Wajibi ne a kwatanta farashin karuwar aminci da karuwar riba.
Kawai a cikin littafin akan SRE akwai kyakkyawan misali na haɓaka zuwa 4 nines daga 3 tara. Ya bayyana cewa karuwar samuwa ya kasance ƙasa da 0,1%. Kuma idan kudaden shiga na sabis ya kasance dala miliyan 1 a kowace shekara, to, karuwar kudaden shiga shine $ 900. Idan haɓaka samuwa ta tara yana kashe mu ƙasa da $900 a kowace shekara, haɓaka yana da ma'ana ta kuɗi. Idan farashinsa ya haura dala 900 a shekara, hakan ba zai zama ma'ana ba, saboda karuwar kudaden shiga kawai ba ya rama farashin aiki da farashin kayan aiki. Kuma 3 tara zasu ishe mu.
Wannan hakika sauƙaƙan misali ne inda duk buƙatun daidai suke. Kuma daga 3 nines zuwa 4 tara yana da sauƙi don tafiya, amma a lokaci guda, alal misali, tafiya daga 2 nine zuwa 3 ya riga ya tanadi dala dubu 9, yana iya yin ma'ana ta kudi. A zahiri, a zahiri, gazawar yin rajistar buƙatu ya fi muni fiye da gazawar nuna shafi; buƙatun suna da nauyi daban-daban. Suna iya samun mabanbanta ma'auni daga ra'ayi na kasuwanci, amma har yanzu, a matsayin mai mulkin, idan ba mu magana game da kowane takamaiman ayyuka ba, wannan ƙima ce mai dogaro da gaske.
Mun sami tambaya ko SRE na ɗaya daga cikin masu gudanarwa lokacin zabar mafita na gine-gine don sabis ɗin. Wannan abin karbuwa ne dangane da hadewa cikin ababen more rayuwa da ake da su ta yadda babu asara a cikin kwanciyar hankali. Ee, SREs suna rinjayar buƙatun ja, aikatawa, sakewa ta hanya ɗaya; suna yin tasiri ga gine-gine, aiwatar da sabbin ayyuka, ƙananan sabis, da aiwatar da sabbin hanyoyin warwarewa. Me ya sa na ce a baya cewa kuna buƙatar ƙwarewa, kuna buƙatar cancanta. A zahiri, SRE yana ɗaya daga cikin toshe muryoyin a cikin kowane tsarin gine-gine da mafita na software. Saboda haka, SRE a matsayin injiniya dole ne, da farko, ba kawai fahimta ba, amma kuma ya fahimci yadda wasu takamaiman yanke shawara za su shafi aminci, kwanciyar hankali, da fahimtar yadda wannan ya shafi bukatun kasuwanci, kuma daga wane ra'ayi wannan zai iya halatta, kuma ba tare da shi ba.
Sabili da haka, yanzu shine lokacin da za a yi magana game da ma'auni na dogara, wanda a cikin SRE ana bayyana al'ada a matsayin SLA (Yarjejeniyar Matsayin Sabis). Mai yuwuwa sanannen kalma. SLI (Mai nuna Matsayin Sabis). SLO (Maƙasudin Matsayin Sabis). Yarjejeniyar Matsayin Sabis ƙila wani muhimmin lokaci ne, musamman idan kun yi aiki tare da cibiyoyin sadarwa, masu samarwa, da kuma ɗaukar hoto. Wannan yarjejeniya ce ta gaba ɗaya wacce ke bayyana aikin gabaɗayan sabis ɗin ku, hukunce-hukunce, wasu hukunce-hukuncen kurakurai, awo, ma'auni. Kuma SLI shine ma'aunin isa ga kanta. Wato, abin da SLI zai iya zama: lokacin amsawa daga sabis, adadin kurakurai a matsayin kashi. Wannan na iya zama bandwidth idan muna magana game da wani nau'in tallan fayil. Idan muna magana ne game da algorithms fitarwa, mai nuna alama na iya zama, alal misali, daidaitaccen amsar. SLO (Maƙasudin Matsayin Sabis) shine, bi da bi, haɗin alamar SLI, ƙimarsa da lokacinta.
Bari mu ce SLA na iya zama kamar haka. Ana samun sabis ɗin 99,95% na lokaci a duk shekara. Ko kuma za a rufe tikitin tallafin fasaha mai mahimmanci 99 a cikin sa'o'i 3 a kowace kwata. Ko kashi 85% na tambayoyin za a amsa a cikin daƙiƙa 1,5 kowane wata. Wato sannu a hankali muna fahimtar cewa kurakurai da gazawa sun kasance na al'ada. Wannan lamari ne mai karbuwa, muna shirinsa, har ma muna lissafta shi har zuwa wani lokaci. Wato, SRE yana gina tsarin da zai iya yin kuskure, wanda dole ne ya amsa daidai da kurakurai, kuma dole ne ya yi la'akari da su. Idan kuma za ta yiwu, sai su tunkari kura-kurai ta yadda mai amfani ko dai bai lura da su ba, ko kuma ya lura da su, amma akwai wata hanyar da za a bi don kada komai ya wargaje.
Misali, idan ka loda bidiyo zuwa YouTube, kuma YouTube ba zai iya canza shi nan da nan ba, idan bidiyon ya yi girma sosai, idan tsarin bai yi kyau ba, to buƙatun ba zai gaza ba tare da ƙarewar lokaci, YouTube ba zai nuna 502 ba. Kuskure, YouTube zai ce: “Mun ƙirƙiri komai, ana sarrafa bidiyon ku. Za a shirya nan da kusan mintuna 10." Wannan ita ce ka'idar lalata mai kyau, wanda aka saba, alal misali, daga ci gaban gaba-gaba idan kun taɓa yin wannan.
Sharuɗɗan na gaba waɗanda za mu yi magana game da su, waɗanda suke da mahimmanci don aiki tare da aminci, tare da kurakurai, tare da tsammanin, sune MTBF da MTTR. MTBF shine lokacin ma'ana tsakanin gazawa. MTTR Ma'anar Lokaci Don farfadowa, matsakaicin lokacin dawowa. Wato tsawon lokaci nawa ya wuce daga lokacin da aka gano kuskuren, tun daga lokacin da kuskuren ya bayyana har zuwa lokacin da aka mayar da sabis ɗin zuwa aiki na yau da kullum. MTBF ana gyara shi ta hanyar aiki akan ingancin lambar. Wato, gaskiyar cewa SREs na iya cewa "a'a". Kuma dukan ƙungiyar suna buƙatar fahimtar cewa lokacin da SRE ya ce "a'a," ya ce ba don yana da illa ba, ba don yana da kyau ba, amma saboda in ba haka ba kowa zai sha wahala.
Bugu da ƙari, akwai labarai da yawa, hanyoyi masu yawa, hanyoyi masu yawa, har ma a cikin littafin da na saba magana akai, yadda za a tabbatar da cewa sauran masu haɓakawa ba su fara ƙin SRE ba. MTTR, a gefe guda, yana game da aiki akan SLO (Maƙasudin Matsayin Sabis). Kuma wannan yawanci aiki ne. Domin, alal misali, SLO ɗinmu lokaci ne na 4 nines a kowace kwata. Wannan yana nufin cewa a cikin watanni 3 za mu iya ba da izinin minti 13 na raguwa. Kuma ya zama cewa MTTR ɗinmu ba zai yiwu ya wuce mintuna 13 ba. Idan muka ɗauki mintuna 13 don amsawa aƙalla 1 downtime, wannan yana nufin cewa mun riga mun ƙare da duka kasafin kuɗin kwata. Muna keta SLO. Minti 13 don amsawa da gyara gazawar yana da yawa ga na'ura, amma kaɗan ne ga mutum. Domin a lokacin da mutum ya sami faɗakarwa, da lokacin da ya amsa, da lokacin da ya gane kuskuren, ya riga ya kasance 'yan mintoci kaɗan. Har sai mutum ya fahimci yadda za a gyara shi, abin da za a gyara daidai, abin da zai yi, zai ɗauki wasu 'yan mintoci kaɗan. Kuma a zahiri, ko da kawai kuna buƙatar sake kunna sabar, kamar yadda yake fitowa, ko ɗaga sabon kumburi, to MTTR da hannu yana ɗaukar mintuna 7-8. Lokacin sarrafa tsari, MTTR sau da yawa yakan kai daƙiƙa, wani lokacin millise seconds. Google yakan yi magana game da millise seconds, amma a gaskiya, ba shakka, abubuwa ba su da kyau sosai.
Da kyau, SRE ya kamata ya kusan sarrafa aikin sa gaba ɗaya, saboda wannan yana shafar MTTR kai tsaye, ma'aunin sa, SLO na sabis ɗin gabaɗaya, kuma, daidai da haka, ribar kasuwanci. Idan lokacin ya wuce, ana tambayarmu ko laifin yana kan SRE. Abin farin ciki, ba a dora laifin a kan kowa ba. Kuma wannan wata al'ada ce ta daban, wadda ake kira bama-bamai bayan mutuwa, wanda ba za mu yi magana game da shi a yau ba, amma za mu yi nazari a Slurm. Wannan batu ne mai ban sha'awa da za a iya magana akai. A taqaice dai, idan lokacin da aka ware a kowace kwata ya wuce, to kowa ya dan zarge shi, wanda hakan ke nufin zargin kowa ba ya da amfani, a maimakon haka, kila kada mu zargi kowa, mu gyara lamarin mu yi aiki da abin da muke da shi. A cikin kwarewata, wannan hanyar baƙon abu ce ga yawancin ƙungiyoyi, musamman a Rasha, amma yana da ma'ana kuma yana aiki sosai. Don haka, a ƙarshe zan ba da shawarar labarai da wallafe-wallafen da za ku iya karantawa kan wannan batu. Ko zo Slurm SRE.
Bari in yi bayani. Idan lokacin SLO na kwata ya wuce, idan lokacin raguwa bai kasance mintuna 13 ba, amma 15, wa zai iya zama laifin wannan? Tabbas, SRE na iya zama da laifi saboda a fili ya yi wani mummunan aikatawa ko turawa. Mai kula da cibiyar bayanai na iya zama laifin wannan, saboda watakila ya aiwatar da wasu tsare-tsaren da ba a tsara ba. Idan mai kula da cibiyar bayanai ne ke da alhakin wannan, to mutumin Ops shima yana da laifi don rashin ƙididdige ƙididdigewa lokacin da aka yarda da SLO. Wannan shine laifin mai sarrafa, darektan fasaha, ko wanda ya sanya hannu kan kwangilar cibiyar bayanai kuma bai kula da gaskiyar cewa ba a tsara cibiyar SLA don lokacin da ake buƙata ba. Saboda haka, kowa yana da ɗan laifi a kan wannan yanayin. Kuma hakan na nufin babu wata fa'ida a dora laifin a kan wani musamman kan wannan lamarin. Amma tabbas yana bukatar gyara. Shi ya sa akwai masu mutuwa bayan mutuwa. Kuma idan kun karanta, alal misali, GitHub postmortems, kuma wannan koyaushe mai ban sha'awa ne, ƙarami da labari mara tsammani a cikin kowane takamaiman yanayin, zaku iya maye gurbin cewa babu wanda ya taɓa faɗi cewa wannan mutumin na da laifi. Ana sanya laifi koyaushe akan takamaiman matakai na gazawa.
Mu ci gaba zuwa tambaya ta gaba. Kayan aiki da kai. Yawancin lokaci, lokacin da na yi magana game da aiki da kai a cikin wasu mahallin, sau da yawa suna komawa ga tebur da ke magana game da tsawon lokacin da za ku iya yin aiki akan sarrafa kayan aiki don kada ku ɗauki lokaci mai yawa don sarrafa shi fiye da yadda kuke adanawa gabaɗaya. Akwai kama Abin kamawa shine lokacin da SREs ke sarrafa aiki, ba kawai suna adana lokaci ba, suna adana kuɗi saboda sarrafa kansa kai tsaye yana shafar MTTR. Suna adana, don yin magana, ɗabi'a na ma'aikata da masu haɓakawa, wanda kuma abu ne mai wuyar gaske. Suna rage na yau da kullun. Kuma duk wannan yana da tasiri mai kyau akan aiki kuma, a sakamakon haka, akan kasuwanci, koda kuwa yana da alama cewa aiki da kai ba shi da ma'ana dangane da farashin lokaci.
A zahiri, kusan koyaushe yana aikatawa, kuma akwai ƙananan lokuta inda bai cancanci sarrafa wani abu a cikin rawar SRE ba. Na gaba za mu yi magana game da abin da ake kira kasafin kuɗi, kasafin kuɗi don kurakurai. A gaskiya ma, ya zama cewa idan kuna yin aiki sosai fiye da SLO da kuka saita don kanku, wannan kuma ba shi da kyau sosai. Wannan yana da kyau mummuna, saboda SLO yana aiki ba kawai a matsayin ƙananan iyaka ba, har ma a matsayin iyaka na sama. Lokacin da ka saita SLO na samuwa 99%, kuma a gaskiya kana da 99,99%, ya zama cewa kana da sarari don gwaji, wanda ba zai cutar da kasuwancin ba ko kadan, saboda kai kanka ka ƙaddara wannan duka tare, kuma kai da wannan sarari kar ku yi amfani da shi. Kuna da kasafin kuɗi don kurakuran da ba a kashe ku ba.
Me muke yi da shi? Muna amfani da shi don a zahiri komai. Don gwaji a cikin yanayin samarwa, don fitar da sabbin abubuwan da za su iya shafar aiki, don sakewa, don kiyayewa, don lokacin da aka tsara. Har ila yau, akasin dokar ta shafi: idan kasafin kuɗi ya ƙare, ba za mu iya sakin wani sabon abu ba, domin in ba haka ba za mu wuce SLO. Kasafin kudin ya riga ya kare, mun saki wani abu, idan ya yi mummunan tasiri ga aiki, wato, idan ba wani nau'i ne na gyara ba wanda kai tsaye ya kara SLO, to, mun wuce kasafin kuɗi, kuma wannan mummunan yanayi ne. , yana buƙatar bincike, bayan mutuwa, da yiwuwar wasu gyaran tsari.
Wato, ya bayyana cewa idan sabis ɗin da kansa ba ya aiki da kyau, kuma SLO yana kashewa kuma an kashe kasafin kuɗi ba a kan gwaje-gwaje ba, ba a kan kowane sakewa ba, amma a kan kansa, to, maimakon wasu gyare-gyare masu ban sha'awa, maimakon ban sha'awa. fasali, maimakon ban sha'awa sakewa. Maimakon yin kowane aiki na ƙirƙira, dole ne ku yi gyaran fuska don dawo da kasafin kuɗi cikin tsari, ko gyara SLO, kuma wannan tsari ne da bai kamata ya yawaita ba.
Sabili da haka, ya bayyana cewa a cikin yanayin da muke da ƙarin kasafin kuɗi don kurakurai, kowa yana sha'awar: duka SRE da masu haɓakawa. Ga masu haɓakawa, babban kasafin kuɗi don kurakurai yana nufin za su iya magance sakewa, gwaje-gwaje, da gwaje-gwaje. Ga SREs, kasafin kuɗi don kurakurai da shiga cikin wannan kasafin kuɗi yana nufin cewa a zahiri suna yin aiki mai kyau. Kuma wannan yana rinjayar motsawar wani nau'i na aikin haɗin gwiwa. Idan kun saurari SREs ɗinku azaman masu haɓakawa, zaku sami ƙarin ɗaki don yin aiki mai kyau da ƙarancin ayyuka.
Ya bayyana cewa gwaje-gwajen a cikin samarwa suna da matukar mahimmanci kuma kusan wani ɓangare na SRE a cikin manyan ƙungiyoyi. Kuma yawanci yana tafiya da sunan injiniyan hargitsi, wanda ya fito daga ƙungiyar a Netflix waɗanda suka fitar da wani kayan aiki mai suna Chaos Monkey.
Biri na Chaos yana haɗi zuwa bututun CI/CD kuma yana lalata uwar garken a cikin samarwa. Bugu da ƙari, a cikin tsarin SRE muna cewa uwar garken da aka rushe ba ta da kyau a kanta, ana sa ran. Kuma idan an sanya shi a cikin kasafin kuɗi, abin karɓa ne kuma baya cutar da kasuwancin. Tabbas, Netflix yana da isassun sabobin sabobin, isasshen kwafi, cewa duk wannan ana iya gyarawa ba tare da mai amfani gabaɗaya ba har ma da lura, kuma tabbas babu wanda ya bar sabar ɗaya don kowane kasafin kuɗi.
Netflix a lokaci guda yana da nau'ikan irin waɗannan abubuwan amfani, ɗaya daga cikinsu, Chaos Gorilla, yana kashe gabaɗaya ɗayan wuraren samuwa a Amazon. Kuma irin waɗannan abubuwan suna taimakawa da kyau a gano, na farko, abubuwan dogaro da ke ɓoye, lokacin da ba a fayyace gaba ɗaya abin da ke rinjayar menene, menene ya dogara da menene. Kuma wannan, idan kuna aiki tare da microservice kuma takaddun ba cikakke ba ne, wannan na iya zama sananne a gare ku. Har ila yau, wannan yana taimakawa wajen kama kurakurai a cikin lambar da ba za ku iya kamawa ba yayin tsarawa, saboda duk wani tsari ba daidai ba ne, saboda gaskiyar cewa ma'aunin nauyi ya bambanta, nau'in kaya ya bambanta, kayan aiki kuma, mafi yawa. mai yiwuwa, sauran. Babban lodi kuma na iya zama ba zato ba tsammani da mara tabbas. Kuma irin wannan gwajin, wanda kuma bai wuce kasafin kuɗi ba, yana taimakawa sosai wajen kama kurakurai a cikin abubuwan more rayuwa waɗanda ba za su taɓa kama bututun sarrafa bututun na'ura, na'urar gwaji, da CI/CD ba. Kuma idan dai an haɗa wannan duka a cikin kasafin kuɗin ku, ba kome ba ne cewa sabis ɗin ku ya ragu a can, ko da yake zai zama da ban tsoro sosai, uwar garken ya fadi, abin da ban tsoro. A'a, wannan al'ada ne, yana da kyau, yana taimakawa kama kurakurai. Idan kuna da kasafin kuɗi, kuna iya kashe shi.
Tambaya: Wane littafi zan iya ba da shawarar? Jerin yana a ƙarshe. Akwai wallafe-wallafe da yawa, zan ba da shawarar rahotanni da yawa. Yadda yake aiki da ko SRE yana aiki a cikin kamfanoni ba tare da nasu samfurin software ba ko tare da ƙaramin ci gaba. Misali, a cikin kamfani, inda babban aikin ba software bane. A cikin kamfani, inda babban aikin ba software ba ne, SRE yana aiki daidai da ko'ina, saboda a cikin kamfani kuna buƙatar amfani da shi, koda kuwa ba ku haɓaka samfuran software ba, kuna buƙatar fitar da sabuntawa, ku. buƙatar canza kayan aikin, kuna buƙatar girma, kuna buƙatar sikelin. Kuma SREs na taimakawa wajen ganowa da tsinkayar matsalolin matsalolin da za a iya yi a cikin waɗannan matakai da sarrafa su bayan wasu ci gaba ya fara kuma kasuwancin yana buƙatar canji. Domin ba lallai ba ne don shiga cikin haɓaka software don samun SRE, idan kuna da aƙalla sabobin da yawa kuma kuna tsammanin aƙalla ci gaba.
Haka yake ga ƙananan ayyuka, ƙananan ƙungiyoyi, saboda manyan kamfanoni suna da kasafin kuɗi da sarari don gwaji. Amma a lokaci guda, duk waɗannan 'ya'yan itatuwa na gwaji za a iya amfani da su a ko'ina, wato, SREs, ba shakka, sun bayyana a cikin Google, Netflix, da Dropbox. Amma a lokaci guda, ƙananan kamfanoni da masu farawa sun riga sun karanta abubuwan da aka tattara, karanta littattafai, da duba rahotanni. Suna fara jin labarin wannan sau da yawa, duba takamaiman misalai, ina tsammanin, lafiya, wannan na iya zama da amfani da gaske, muna buƙatar wannan kuma, sanyi.
Wato, an riga an yi muku duk babban aikin daidaita waɗannan hanyoyin. Duk abin da za ku yi shine ayyana rawar SRE musamman a cikin kamfanin ku kuma fara aiwatar da duk waɗannan ayyukan a zahiri, waɗanda, kuma, an riga an bayyana su. Wato, daga ka'idoji masu amfani ga ƙananan kamfanoni, wannan shine ko da yaushe ma'anar SLA, SLI, SLO. Idan ba ku da hannu a cikin software, to waɗannan zasu zama SLAs na ciki da SLOs na ciki, kasafin kuɗi na ciki don kurakurai. Wannan kusan koyaushe yana haifar da wasu tattaunawa masu ban sha'awa a cikin ƙungiyar da kuma cikin kasuwancin, saboda yana iya zama cewa kuna kashewa fiye da yadda ake buƙata akan abubuwan more rayuwa, akan wasu nau'ikan tsari na tsari mai kyau, bututun da ya dace. Kuma waɗannan tara tara na 4 waɗanda kuke da su a sashin IT, ba kwa buƙatar su da gaske yanzu. Amma a lokaci guda, yana yiwuwa a kashe lokaci, kashe kasafin kuɗi don kurakurai akan wani abu dabam.
Sabili da haka, saka idanu da tsarin kulawa yana da amfani ga kamfani na kowane girman. Kuma gabaɗaya, wannan hanyar tunani, inda kuskuren wani abu ne mai karɓa, inda akwai kasafin kuɗi, inda Manufofin ke wanzu, yana sake amfani ga kamfani na kowane girman, farawa daga farawa na mutum 3.
Ƙarshe na fasaha na fasaha wanda za mu iya magana game da shi shine saka idanu. Domin idan muka yi magana game da SLA, SLI, SLO, ba za mu iya fahimta ba tare da saka idanu ba ko mun dace da kasafin kuɗi, ko mun bi Manufofinmu, da kuma yadda muke tasiri SLA na ƙarshe. Na ga sau da yawa cewa saka idanu yana faruwa kamar haka: akwai wasu ƙima, kamar lokacin buƙatar uwar garken, matsakaicin lokaci ko adadin buƙatun bayanai. Yana da ma'auni da injiniya ya ƙaddara. Idan ma'aunin ya bambanta daga al'ada, ana aika imel. Wannan duk ba shi da amfani sosai, a matsayin mai mulkin, saboda yana haifar da irin wannan faɗakarwa na faɗakarwa, yawan saƙon saƙon saƙo, lokacin da mutum, da farko, dole ne ya fassara su kowane lokaci, wato, ƙayyade ko ƙimar metric yana nufin buƙatar buƙata. wani irin aiki. Na biyu kuma, kawai ya daina lura da duk waɗannan faɗakarwa, lokacin da ba a buƙatar wani mataki daga gare shi. Wato, kyakkyawan ƙa'idar sa ido da ainihin ƙa'idar farko lokacin aiwatar da SRE ita ce sanarwar yakamata ta zo kawai lokacin da ake buƙatar aiki.
A cikin daidaitaccen yanayin akwai matakan abubuwan da suka faru 3. Akwai faɗakarwa, akwai tikiti, akwai rajistan ayyukan. Fadakarwa shine duk wani abu da ke buƙatar mataki na gaggawa daga gare ku. Wato komai ya karye, yana bukatar gyara a yanzu. Tikiti wani abu ne da ke buƙatar mataki na jiran aiki. Ee, kuna buƙatar yin wani abu, kuna buƙatar yin wani abu da hannu, sarrafa kansa ya gaza, amma ba lallai ne ku yi shi a cikin ƴan mintuna masu zuwa ba. Logs su ne duk abin da ba ya buƙatar aiki, kuma a gaba ɗaya, idan abubuwa sun tafi daidai, babu wanda zai karanta su. Zai zama dole don karanta rajistan ayyukan kawai lokacin da, a cikin sake dubawa, ya bayyana cewa wani abu ya karye na ɗan lokaci, ba mu sani ba game da shi. Ko kuma a yi wani irin bincike. Amma gabaɗaya, duk abin da baya buƙatar kowane aiki yana zuwa ga rajistan ayyukan.
A matsayin sakamako na gefe na duk waɗannan, idan mun gano waɗanne abubuwan da suka faru suna buƙatar ayyuka kuma mun bayyana da kyau abin da waɗannan ayyukan ya kamata su kasance, wannan yana nufin cewa aikin zai iya sarrafa kansa. Wato abin da ke faruwa. Muna zuwa daga faɗakarwa. Mu je aiki. Bari mu je ga bayanin wannan aikin. Sa'an nan kuma mu matsa zuwa atomatik. Wato duk wani aiki da kai yana farawa da martani ga wani lamari.
Daga saka idanu mun matsa zuwa wani lokaci mai suna Observability. Haka kuma an yi ta yayata wannan kalma a cikin 'yan shekarun nan. Kuma mutane kaɗan ne suka fahimci abin da wannan ke nufi ba tare da mahallin ba. Amma babban ma'ana shi ne cewa Observability shine ma'auni na gaskiyar tsarin. Idan wani abu ya yi kuskure, ta yaya da sauri za ku iya tantance ainihin abin da ba daidai ba da kuma yanayin tsarin a wancan lokacin. Daga ra'ayi na lamba: wane aiki ya gaza, wanne sabis ya gaza. Menene yanayin, misali, masu canji na ciki, daidaitawa. Daga ra'ayi na ababen more rayuwa, wannan shine inda kasancewar yankin gazawar ta faru, kuma idan kuna da wasu nau'ikan Kubernetes, to a cikin abin da gazawar ta faru, menene yanayin kwaf ɗin. Kuma bisa ga haka, Observability yana da alaƙa kai tsaye tare da MTTR. Mafi girman Observability na sabis ɗin, mafi sauƙin shine gano kuskuren, sauƙin gyara kuskuren, sauƙin sarrafa kuskuren, ƙananan MTTR.
Idan muka sake matsawa zuwa ƙananan kamfanoni, suna tambaya sau da yawa, har ma a yanzu, abin da za a yi tare da girman ƙungiyar, kuma ko yana da mahimmanci don hayar SRE daban a cikin ƙaramin ƙungiya. Na riga na yi magana game da wannan kadan a baya. A cikin matakai na farko na ci gaba na farawa ko, alal misali, ƙungiya, wannan ba lallai ba ne, saboda ana iya yin SRE a matsayin matsayi na wucin gadi. Kuma wannan zai inganta ƙungiyar kaɗan, saboda akwai aƙalla bambance-bambance. Kuma ƙari zai shirya mutane don gaskiyar cewa tare da girma, a gaba ɗaya, nauyin SRE zai canza sosai. Idan ka ɗauki hayar mutum, to, ba shakka, yana da wasu tsammanin. Kuma waɗannan tsammanin ba za su canza ba bayan lokaci, amma buƙatun za su canza sosai. Don haka, ɗaukar SRE yana da wahala a farkon matakai. Yana da sauƙin haɓaka naka. Amma yana da kyau a yi tunani.
Banda kawai, mai yiwuwa, shine lokacin da akwai ƙaƙƙarfan ƙayyadaddun buƙatun tsayi. Wato, a cikin yanayin farawa, wannan na iya zama wani nau'i na matsa lamba daga masu zuba jari, wani nau'i na tsinkaya don girma sau da yawa a lokaci daya. Sannan ɗaukar SRE gabaɗaya ya cancanta saboda yana iya zama barata. Muna da buƙatun girma, muna buƙatar mutumin da zai ɗauki alhakin tabbatar da cewa babu abin da ya karye tare da irin wannan ci gaban.
Karin tambaya daya. Abin da za a yi lokacin da sau da yawa masu haɓakawa suka yanke fasalin da ya wuce gwaje-gwaje, amma ya karya samfurin, loda bayanan bayanai, karya wasu fasalulluka, wane tsari don aiwatarwa. Saboda haka, a wannan yanayin, an gabatar da kasafin kuɗi don kurakurai. Kuma wasu ayyuka, wasu fasalolin ana gwada su nan da nan a samarwa. Wannan na iya zama canary, lokacin da kawai ƙananan adadin masu amfani, amma riga a cikin samarwa, suna ƙaddamar da fasalin, amma tare da tsammanin cewa idan wani abu ya karye, alal misali, don rabin kashi na duk masu amfani, har yanzu zai dace a cikin kasafin kuɗi don kurakurai. Dangane da haka, a, za a sami kuskure, ga wasu masu amfani duk abin da zai lalace, amma mun riga mun faɗi cewa wannan al'ada ce.
An yi tambaya game da kayan aikin SRE. Wato, akwai takamaiman abin da SREs za su yi amfani da shi wanda kowa ba zai yi ba? A zahiri, akwai wasu kayan aiki na musamman na musamman, akwai wasu software waɗanda, alal misali, ke daidaita lodi ko yin gwajin Canary A/B. Amma a zahiri, kayan aikin SRE shine abin da masu haɓaka ku ke amfani da su. Saboda SRE yana hulɗa kai tsaye tare da ƙungiyar ci gaba. Kuma idan kuna da kayan aikin daban-daban, yana nuna cewa yana ɗaukar lokaci don aiki tare. Musamman idan SREs suna aiki a cikin manyan ƙungiyoyi, a cikin manyan kamfanoni inda za'a iya samun ƙungiyoyi da yawa, daidaitattun kamfanoni za su taimaka sosai a nan, saboda idan ƙungiyoyin 50 suna amfani da kayan aiki daban-daban na 50, wannan yana nufin cewa SRE dole ne ya san su duka. Kuma tabbas hakan ba zai taba faruwa ba. Kuma ingancin aikin, ingancin kula da aƙalla wasu ƙungiyoyin zai ragu sosai.
Webinar mu yana zuwa ƙarshe a hankali. Na yi nasarar gaya muku wasu abubuwa na asali. Tabbas, babu wani abu game da SRE da za a iya faɗa kuma a fahimta cikin sa'a guda. Amma ina fatan na sami nasarar isar da wannan hanyar tunani, manyan mahimman abubuwan. Sannan, idan kuna sha'awar, za ku iya zurfafa cikin batun, ku yi nazari da kanku, ku duba yadda wasu mutane ke aiwatar da shi, a wasu kamfanoni. Kuma bisa ga haka, a farkon Fabrairu, zo mana a Slurm SRE.
Slurm SRE wani kwas ne mai zurfi na kwana uku wanda zai rufe kusan abin da nake magana a kai yanzu, amma tare da zurfin zurfi, tare da shari'o'i na gaske, tare da aiki, gabaɗayan ƙarfin yana nufin aiki mai amfani. Za a raba mutane zuwa ƙungiyoyi. Duk za ku yi aiki a kan shari'o'i na gaske. Saboda haka, muna da malamai daga Booking.com Ivan Kruglov da Ben Tyler. Muna da Evgeniy Varabbas mai ban mamaki daga Google, daga San Francisco. Kuma zan gaya muku wani abu kuma. Don haka ku tabbata ku zo mana.
Don haka, jerin nassoshi. Akwai hanyoyin haɗi akan SRE. akan wannan littafin, ko kuma a kan littattafai 2 game da SRE, wanda Google ya rubuta. Wani kuma , inda aka yi bayanin sharuɗɗan da aikace-aikacen su da ɗan ƙarin bayani. 3 na gaba sune rahotanni akan SRE a cikin kamfanoni daban-daban. Na farko - , Wannan mahimmin bayani ne daga Ben Trainer daga Google. Na biyu - . Na uku kuma game da . Rahoton na hudu daga , wanda ke da ma'aikatan SRE guda 5 kawai a cikin ƙasashe 190. Yana da matukar ban sha'awa a kalli duk wannan, saboda kamar yadda DevOps ke nufin abubuwa daban-daban ga kamfanoni daban-daban har ma da ƙungiyoyi daban-daban, SRE yana da nauyi daban-daban, har ma a cikin kamfanoni masu girma dabam.
2 ƙarin hanyoyin haɗi akan ka'idodin injiniyan hargitsi: , . Kuma a karshen akwai 3 lists daga Awesome Lists game da , game da kuma game da . Jerin akan SRE yana da girma sosai, ba lallai ne ku bi ta duka ba, akwai labarai kusan 200. Ina ba da shawara sosai kan labaran game da tsara iya aiki da bayan mutuwa mara aibu.
Labari mai ban sha'awa:
Na gode da saurarona duk tsawon wannan lokacin. Ina fatan kun koyi wani abu. Ina fatan kuna da isassun kayan aiki don ƙarin koyo. Kuma sai anjima. Da fatan a watan Fabrairu.
Eduard Medvedev ne ya dauki nauyin wannan rukunin yanar gizon.
PS: ga waɗanda suke son karantawa, Eduard ya ba da jerin nassoshi. Wadanda suka fi son fahimtar shi a aikace ana maraba da su .
source: www.habr.com