He leo maikaʻi ko ka webinar, no laila ua unuhi mākou.
ʻO Medvedev Eduard koʻu inoa. I kēia lā, e kamaʻilio wau e pili ana i ke ʻano o SRE, pehea ka ʻike ʻana o SRE, he aha nā pae hana no nā ʻenekini SRE, kahi liʻiliʻi e pili ana i nā koina hilinaʻi, kahi liʻiliʻi e pili ana i kāna nānā. E hele mākou ma luna, no ka mea ʻaʻole hiki iā ʻoe ke haʻi nui i ka hola, akā e hāʻawi wau i nā mea no ka loiloi hou aku, a ke kali nei mākou iā ʻoe ma . ma Moscow i ka hopena o Ianuali.
ʻO ka mea mua, e kamaʻilio e pili ana i ka SRE - Site Reliability Engineering. A pehea i ʻike ʻia ai ma ke ʻano he kūlana kaʻawale, ma ke ʻano he kuhikuhi ʻokoʻa. Hoʻomaka ia me ka ʻoiaʻiʻo i loko o nā pōʻai hoʻomohala kuʻuna, Dev a me Ops ʻelua mau hui like ʻole, maʻamau me ʻelua mau pahuhopu ʻokoʻa. ʻO ka pahuhopu o ka hui hoʻomohala e ʻōwili i nā hiʻohiʻona hou a hoʻokō i nā pono o ka ʻoihana. ʻO ka pahuhopu o ka hui Ops e hōʻoia i ka holo ʻana o nā mea āpau a ʻaʻohe mea e haki. ʻIke loa, kūʻē pololei kēia mau pahuhopu i kekahi i kekahi: no ka hana ʻana o nā mea āpau a ʻaʻohe mea e haki, e ʻōwili i nā hiʻohiʻona hou i ka liʻiliʻi. Ma muli o kēia, nui nā paio kūloko a ke ʻano i kapa ʻia ʻo DevOps e hoʻāʻo nei e hoʻoponopono.
ʻO ka pilikia, ʻaʻohe o mākou wehewehe wehewehe o DevOps a me kahi hoʻokō maopopo o DevOps. Ua kamaʻilio wau ma kahi hālāwai kūkā ma Yekaterinburg 2 mau makahiki i hala, a hiki i kēia manawa ua hoʻomaka ka ʻāpana DevOps me ka hōʻike "He aha DevOps". Ma 2017, kokoke ʻo Devops i ka 10 mau makahiki, akā ke hoʻopaʻapaʻa nei mākou i ke ʻano o ia mea. A he kūlana ʻano ʻē kēia a Google i hoʻāʻo e hoʻoponopono i kekahi mau makahiki i hala.
Ma 2016, ua hoʻokuʻu ʻo Google i kahi puke i kapa ʻia ʻo Site Reliability Engineering. A ʻo ka ʻoiaʻiʻo, ma kēia puke i hoʻomaka ai ka neʻe ʻana o ka SRE. ʻO SRE kahi hoʻokō kikoʻī o ka paradigm DevOps i kahi hui kikoʻī. Ua kūpaʻa nā ʻenekinia SRE e hōʻoia i ka holo pono ʻana o nā ʻōnaehana. ʻO ka hapa nui o lākou mai nā mea hoʻomohala, i kekahi manawa mai nā luna hoʻokele me kahi kūlana hoʻomohala ikaika. A hana lākou i nā mea i hana ʻia e nā luna hoʻonohonoho, akā ʻo ka ʻike ikaika i ka hoʻomohala ʻana a me ka ʻike o ka ʻōnaehana ma ke ʻano o ke code e alakaʻi i ka ʻoiaʻiʻo ʻaʻole makemake kēia poʻe i ka hana hoʻokele maʻamau, akā makemake lākou i ka automation.
ʻIke ʻia ua hoʻokō ʻia ka paradigm DevOps i nā hui SRE e ka ʻoiaʻiʻo aia nā ʻenekini SRE e hoʻoponopono i nā pilikia kūkulu. Eia ʻo ia, ka pilina like ma waena o Dev a me Ops i kamaʻilio ʻia e ka poʻe no 8 mau makahiki. ʻO ke kuleana o kahi SRE ua like ia me ka hana o ka mea hoʻolālā no ka lilo ʻana o nā mea hou i SRE. ʻAʻole ʻike ka poʻe i ka hoʻomaka ʻana o kā lākou ʻoihana, ʻaʻole i loaʻa ka laulā o ka ʻike. No ka mea, koi ʻo SRE i kahi ʻike maʻalahi o ka mea a me ka manawa hiki ke hele hewa. No laila, pono kekahi ʻike ma ʻaneʻi, ma ke ʻano he kānāwai, ma loko o ka hui a ma waho.
Nīnau lākou inā e wehewehe ʻia ka ʻokoʻa ma waena o SRE a me devops. Ua wehewehe ʻia ʻo ia. Hiki iā mākou ke kamaʻilio e pili ana i kahi o ka SRE i ka hui. ʻAʻole like me kēia ʻano DevOps maʻamau, kahi ʻo Ops he ʻāpana ʻokoʻa, ʻo SRE kahi ʻāpana o ka hui hoʻomohala. Hoʻopili lākou i ka hoʻomohala huahana. Aia kekahi ala e hele ai ka SRE mai kahi mea hoʻomohala i kekahi. Hoʻokomo lākou i nā loiloi code ma ke ʻano like me, no ka laʻana, nā mea hoʻolālā UX, nā mea hoʻomohala iā lākou iho, i kekahi manawa nā mana huahana. Hana nā SRE ma ka pae like. Pono mākou e ʻae iā lākou, pono mākou e loiloi iā lākou, no kēlā me kēia kau ʻana e ʻōlelo ka SRE: "ʻAe, ʻo kēia hoʻolaha, ʻaʻole e hoʻopilikia kēia huahana i ka hilinaʻi. A inā pēlā, a laila i loko o kekahi mau palena ʻae ʻia. E kamaʻilio pū mākou no kēia.
No laila, he veto ka SRE e hoʻololi i ke code. A ma ka laulā, alakaʻi pū kēia i kekahi ʻano hakakā liʻiliʻi inā hoʻokō hewa ʻia ka SRE. Ma ka puke like e pili ana i ka Site Reliability Engineering, nui nā ʻāpana, ʻaʻole hoʻokahi, e haʻi pehea e pale aku ai i kēia mau paio.
Nīnau lākou pehea ka pili ʻana o SRE i ka palekana ʻike. ʻAʻole pili pono ʻo SRE i ka palekana ʻike. Basically, i nā ʻoihana nui, hana ʻia kēia e nā poʻe, nā mea hōʻike, nā mea loiloi. Akā, pili pū ʻo SRE me lākou ma ke ʻano o kekahi mau hana, hana kekahi, kekahi mau hoʻolālā e pili ana i ka palekana hiki ke hoʻopili i ka loaʻa o ka huahana. No laila, ʻo SRE ma ke ʻano holoʻokoʻa he launa pū me kekahi hui, me nā hui palekana, me nā mea loiloi. No laila, makemake nui ʻia nā SRE i ka wā e hoʻāʻo ai lākou e hoʻokō i nā DevOps, akā i ka manawa like, ʻoi aku ka nui o ke kaumaha o nā mea hoʻomohala. ʻO ia hoʻi, ʻaʻole hiki i ka hui hoʻomohala ke hoʻokō hou i ka ʻoiaʻiʻo i kēia manawa pono lākou e kuleana no Ops. A he kuleana kaawale. Hoʻolālā ʻia kēia kuleana ma ka waihona kālā. I kekahi manawa ua waiho ʻia kēia kuleana ma ka nui o ka hui, ʻike ʻia kahi kanaka ʻokoʻa, i kekahi manawa lilo kekahi o nā mea hoʻomohala. ʻO kēia ke ʻano o ka SRE mua i ʻike ʻia i ka hui.
ʻO ka paʻakikī o ka'ōnaehana i hoʻopiliʻia e SRE, ka paʻakikī e pili ana i ka hilinaʻi o ka hana, pono a me ka pōʻino. ʻO ka paʻakikī pono ke piʻi aʻe ka paʻakikī o kahi huahana i ka nui i makemake ʻia e nā hiʻohiʻona huahana hou. ʻO ka paʻakikī paʻakikī ke piʻi ka paʻakikī o ka ʻōnaehana, akā ʻaʻole pili pono ka hiʻohiʻona huahana a me nā koi ʻoihana. Ke hoʻololi nei ua hana hewa paha ka mea hoʻomohala ma kahi, a ʻaʻole maikaʻi ka algorithm, a i ʻole kekahi mau makemake hou e hoʻonui i ka paʻakikī o ka huahana me ka ʻole o ka pono kūikawā. Pono ka SRE maikaʻi e ʻoki mau i kēia kūlana. ʻO ia hoʻi, ʻo kēlā me kēia hana, nā hoʻoili ʻana, nā noi huki, kahi i hoʻonui ʻia ai ka paʻakikī ma muli o ka hoʻohui maʻamau, pono e pāpā ʻia.
ʻO ka nīnau no ke aha ʻaʻole e hoʻolimalima wale i kahi ʻenekinia, he luna hoʻonohonoho me ka nui o ka ʻike i loko o ka hui. ʻO ka mea hoʻomohala ma ke ʻano o ka ʻenekinia, ua haʻi ʻia iā mākou, ʻaʻole ia ka hoʻonā limahana maikaʻi loa. ʻO ka mea hoʻomohala ma ke ʻano o ka ʻenekinia ʻaʻole ia ka hopena maikaʻi loa o nā limahana, akā ʻo ka mea ma ʻaneʻi ʻo ka mea hoʻomohala e hana nei i ka Ops he makemake iki i ka automation, he ʻike hou aʻe a me kahi mākaukau e hoʻokō ai. keia automation. A no laila, ʻaʻole mākou e hōʻemi wale i ka manawa no kekahi mau hana kikoʻī, ʻaʻole wale i ka hana maʻamau, akā ʻo nā ʻoihana ʻoihana koʻikoʻi e like me MTTR (Mean Time To Recovery, recovery time). No laila, a e kamaʻilio pū mākou e pili ana i kēia ma hope iki, mālama mākou i ke kālā no ka hui.
I kēia manawa e kamaʻilio e pili ana i nā pae hoʻohālike no ka hana ʻana o SRE. Aʻo ka mea mua e pili ana i ka hilinaʻi. Ma nā hui liʻiliʻi, nā hoʻomaka, manaʻo pinepine ka poʻe inā i kākau maikaʻi ʻia ka lawelawe, inā kākau maikaʻi a pololei ka huahana, e hana ia, ʻaʻole ia e haki. ʻO ia, kākau mākou i nā code maikaʻi, no laila ʻaʻohe mea e uhaʻi. He maʻalahi loa ke code, ʻaʻohe mea e wāwahi. ʻO kēia nā mea e pili ana i ka poʻe e ʻōlelo nei ʻaʻole pono mākou i nā hoʻokolohua, no ka mea, e nānā, ʻo ia nā ʻano VPI ʻekolu, no ke aha e haki ai ma aneʻi.
He hewa kēia, ʻoiaʻiʻo. A nahu pinepine ʻia kēia poʻe e ia code i ka hana, no ka mea, haki nā mea. Wehe nā mea i kekahi manawa ma nā ala ʻike ʻole. I kekahi manawa ʻōlelo ka poʻe ʻaʻole, ʻaʻole loa e hiki. A hiki i nā manawa a pau. Ua lawa pinepine ia. A ʻo ia ke kumu ʻaʻohe mea e hoʻoikaika i ka loaʻa 100%, no ka mea ʻaʻole hiki ke loaʻa 100%. ʻO kēia ka mea maʻamau. A no laila, ke kamaʻilio mākou e pili ana i ka loaʻa ʻana o kahi lawelawe, kamaʻilio mau mākou no nines. 2 iwa, 3 iwa, 4 iwa, 5 iwa. Inā mākou e unuhi i kēia i downtime, a laila, no ka laʻana, 5 nines, a laila ʻoi aku kēia ma mua o 5 mau minuke o ka downtime i kēlā me kēia makahiki, 2 nines he 3,5 mau lā o ka downtime.
Akā, ua maopopo i kekahi manawa aia ka emi ʻana o ka POI, hoʻihoʻi i ka hoʻopukapuka. 'O ka hele 'ana mai 'elua 'eiwa a 'ekolu 'eiwa, 'o ia ho'i, emi iho ka manawa ho'omaha ma mua o 3 lā. ʻO ka hele ʻana mai ʻehā ʻeiwa a i ʻelima e hōʻemi ana i ka manawa haʻahaʻa e 47 mau minuke i kēlā me kēia makahiki. A ua ʻike ʻia no ka ʻoihana ʻaʻole ia he koʻikoʻi. A ma ka laulā, ʻo ka hilinaʻi i koi ʻia ʻaʻole ia he pilikia ʻenehana, ʻo ka mea mua, he pilikia ʻoihana, he pilikia huahana. He aha ke kiʻekiʻe o ka manawa haʻahaʻa e ʻae ʻia no nā mea hoʻohana o ka huahana, ka mea a lākou e manaʻo ai, pehea ka nui o kā lākou uku, no ka laʻana, pehea ka nui o ke kālā i nalowale, pehea ka nui o ke kālā i nalowale i ka ʻōnaehana.
ʻO kahi nīnau nui maʻaneʻi he aha ka hilinaʻi o nā mea i koe. No ka mea, ʻaʻole ʻike ʻia ka ʻokoʻa ma waena o 4 a me 5 nines ma ke kelepona me 2 nines o ka hilinaʻi. ʻO ka ʻōlelo koʻikoʻi, inā haki kekahi mea ma ke kelepona i kāu lawelawe 10 mau manawa i ka makahiki, ʻoi aku ka nui o 8 mau manawa i ka ʻaoʻao o ka OS. Ua maʻa ka mea hoʻohana i kēia, a ʻaʻole e hoʻolohe hou i hoʻokahi manawa i ka makahiki. Pono e hoʻopili i ke kumukūʻai o ka hoʻonui ʻana i ka hilinaʻi a me ka hoʻonui ʻana i ka loaʻa kālā.
Aia ma ka puke ma SRE he la'ana maika'i no ka ho'onui 'ana i 4 nines mai 3 nines. Ua hoʻololiʻia ka piʻiʻana o ka loaʻaʻana ma lalo o 0,1%. A inā he $1 miliona ka loaʻa kālā o ka lawelawe i ka makahiki, a laila ʻo ka hoʻonui ʻana o ka loaʻa kālā he $900. Inā kūʻai iā mākou ma lalo o $ 900 i ka makahiki e hoʻonui i ka affordability e ka ʻeiwa, ʻoi aku ka manaʻo o ke kālā. Inā ʻoi aku ka nui o nā kālā ma mua o 900 kālā i ka makahiki, ʻaʻole ia he manaʻo hou, no ka mea, ʻo ka hoʻonui ʻana i ka loaʻa kālā ʻaʻole ia e uku i nā koina hana, nā kumu waiwai. A lawa nā ʻeiwa iā mākou.
He laʻana maʻalahi kēia kahi e like ai nā noi a pau. A maʻalahi ka hele ʻana mai 3 nines a i 4 nines, akā i ka manawa like, no ka laʻana, e hele ana mai 2 nines a i 3, ʻo kēia kahi mālama kālā o 9 tausani kālā, hiki iā ia ke hana i ka manaʻo kālā. Ma keʻano maʻamau,ʻo kaʻoiaʻiʻo,ʻoi aku kaʻino o ka hāʻuleʻana o ka noi hoʻopaʻa inoa ma mua o ka hōʻikeʻoleʻana i kaʻaoʻao, loaʻa nā paona likeʻole. He ʻokoʻa ʻē aʻe paha ko lākou mai kahi ʻoihana ʻoihana, akā naʻe, ma ke ʻano he lula, inā ʻaʻole mākou e kamaʻilio e pili ana i kekahi mau lawelawe kikoʻī, he hoʻohālikelike kūpono kēia.
Ua loaʻa iā mākou kahi nīnau inā paha ʻo SRE kekahi o nā mea hoʻonohonoho i ke koho ʻana i kahi hoʻonā hale hana no ka lawelawe. E ʻōlelo kākou ma ke ʻano o ka hoʻohui ʻana i ka ʻoihana e kū nei, i ʻole e pohō i kona kūpaʻa. ʻAe, nā SRE, ma ke ʻano like me ka huki ʻana i nā noi, hana, hoʻokuʻu e pili ana i ka hoʻolālā, ka hoʻokomo ʻana i nā lawelawe hou, microservices, ka hoʻokō ʻana i nā hoʻonā hou. No ke aha wau i ʻōlelo ai ma mua o ka pono o ka ʻike, pono nā mākau. ʻO ka ʻoiaʻiʻo, ʻo SRE kekahi o nā leo keʻakeʻa i kekahi ʻano hana hale a me ka hoʻonā polokalamu. No laila, pono ka SRE ma ke ʻano he ʻenekinia, ʻo ka mea mua, ʻaʻole maopopo wale, akā hoʻomaopopo pū i ka hopena o kekahi mau hoʻoholo kikoʻī i ka hilinaʻi, kūpaʻa, a hoʻomaopopo i ka pili ʻana o kēia i nā pono ʻoihana, a mai ka manaʻo e hiki ke ʻae ʻia a ka mea aole.
No laila, i kēia manawa hiki iā mākou ke kamaʻilio e pili ana i nā koina hilinaʻi, i wehewehe ʻia ma SRE ma ke ʻano he SLA (Service Level Agreement). He ʻōlelo kamaʻāina paha. SLI (Nā hōʻailona pae lawelawe). SLO (Pahu Hana Hana). He huaʻōlelo hōʻailona paha ka Service Level Agreement, ʻoiai inā ua hana ʻoe me nā pūnaewele, me nā mea hoʻolako, me ka hoʻokipa. He ʻaelike maʻamau kēia e wehewehe ana i ka hana o kāu lawelawe holoʻokoʻa, nā hoʻopaʻi, kekahi mau hoʻopaʻi no nā hewa, metrics, criteria. A ʻo SLI ka metric loaʻa iā ia iho. ʻO ia, he aha ka SLI e hiki ai: ka manawa pane mai ka lawelawe, ka helu o nā hewa ma ke ʻano he pakeneka. Hiki iā ia ke bandwidth inā he ʻano hoʻokipa waihona. I ka wā e pili ana i ka ʻike algorithms, hiki i ka mea hōʻailona ke, no ka laʻana, ʻo ka pololei o ka pane. ʻO SLO (Service Level Objective), he hui pū ʻia o ka hōʻailona SLI, kona waiwai a me ka manawa.
E ʻōlelo kākou ua like paha ka SLA me kēia. Loaʻa ka lawelawe i ka 99,95% o ka manawa a puni ka makahiki. A i ʻole 99 mau tikiki kākoʻo koʻikoʻi e pani ʻia i loko o 3 mau hola i kēlā me kēia hapaha. A i ʻole 85% o nā noi e pane ʻia i loko o 1,5 kekona i kēlā me kēia mahina. ʻO ia hoʻi, hoʻomaopopo mālie mākou he mea maʻamau nā hewa a me nā hemahema. He kūlana ʻae ʻia kēia, ke hoʻolālā nei mākou, ke manaʻo nei mākou i kekahi ʻano. ʻO ia hoʻi, kūkulu ʻo SRE i nā ʻōnaehana hiki ke hana hewa, pono e pane maʻamau i nā hewa, pono e noʻonoʻo iā lākou. A i nā manawa e hiki ai, pono lākou e hoʻoponopono i nā hewa ma ke ʻano e ʻike ʻole ai ka mea hoʻohana iā lākou, a i ʻole ka ʻike, akā aia kekahi ʻano hana hoʻoponopono, mahalo ʻia ʻaʻole e hāʻule loa nā mea āpau.
No ka laʻana, inā ʻoe e hoʻouka i kahi wikiō i YouTube, a ʻaʻole hiki iā YouTube ke hoʻololi koke iā ia, inā nui ka wikiō, inā ʻaʻole maikaʻi ke ʻano, a laila ʻaʻole e hāʻule ka noi me kahi manawa, ʻaʻole hāʻawi ʻo YouTube i kahi hewa 502. , E ʻōlelo ʻo YouTube: “Ua hana mākou i nā mea āpau, ke hoʻoili ʻia nei kāu wikiō. E mākaukau ana ma kahi o 10 mau minuke. " ʻO kēia ke kumu o ka degradation graceful, i kamaʻāina, no ka laʻana, mai ka hoʻomohala mua ʻana, inā ʻoe i hana i kēia.
ʻO nā huaʻōlelo aʻe a mākou e kamaʻilio ai, he mea nui loa ia no ka hana ʻana me ka hilinaʻi, me nā hewa, me nā manaʻolana, ʻo MTBF a me MTTR. ʻO MTBF ka manawa ma waena o nā hemahema. MTTR Mean Time To Recovery, ka manawa maʻamau i ka hoʻihoʻi. ʻO ia, ehia ka manawa i hala mai ka manawa i ʻike ʻia ai ka hewa, mai ka manawa i ʻike ʻia ai ka hewa a hiki i ka manawa i hoʻihoʻi ʻia ka lawelawe i ka hana maʻamau. Hoʻopaʻa nui ʻia ʻo MTBF e ka hana ma ka maikaʻi code. ʻO ia hoʻi, hiki i nā SRE ke ʻōlelo "ʻaʻole". A pono ʻoe e hoʻomaopopo i ka hui holoʻokoʻa i ka wā e ʻōlelo ai ʻo SRE "ʻaʻole", ʻōlelo ʻo ia ʻaʻole no ka mea he pōʻino ʻo ia, ʻaʻole no ka mea ʻino ʻo ia, akā no ka mea inā ʻaʻole e pilikia nā mea a pau.
Eia hou, nui nā ʻatikala, nā ʻano hana, nā ala he nui i loko o ka puke aʻu e kuhikuhi pinepine ai, pehea e hōʻoia ai ʻaʻole hoʻomaka nā mea hoʻomohala ʻē aʻe e inaina iā SRE. ʻO MTTR, ma kekahi ʻaoʻao, e pili ana i ka hana ʻana ma kāu mau SLO (Service Level Objective). A ʻo ka hapa nui o ka automation. No ka mea, no ka laʻana, ʻo kā mākou SLO he uptime o 4 nines i kēlā me kēia hapaha. ʻO ia ke ʻano i loko o 3 mau mahina hiki iā mākou ke ʻae i 13 mau minuke o ka downtime. A ua ʻike ʻia ʻaʻole hiki ke ʻoi aku ka MTTR ma mua o 13 mau minuke. Inā mākou e pane i ka liʻiliʻi o 13 downtime i loko o 1 mau minuke, ʻo ia hoʻi, ua pau mākou i ke kālā holoʻokoʻa no ka hapaha. Ke uhai nei mākou i ka SLO. ʻO 13 mau minuke e pane a hoʻoponopono i kahi ulia he nui no ka mīkini, akā pōkole loa no ke kanaka. No ka mea, a hiki i ka wa e loaa ai ka makaala i ke kanaka, a hiki i kona manawa e pane ai, a maopopo ia ia ka hewa, ua hala kekahi mau minuke. A hiki i ke kanaka ke hoʻomaopopo pehea e hoʻoponopono ai, he aha ka mea e hoʻoponopono ai, ka mea e hana ai, a laila he mau minuke hou aku kēia. A i ka ʻoiaʻiʻo, ʻoiai inā pono ʻoe e hoʻomaka hou i ke kikowaena, e like me ka mea i hoʻohuli ʻia, a i ʻole e hoʻāla i kahi node hou, a laila ma kahi o 7-8 mau minuke ka MTTR me ka lima. I ka hoʻomaʻamaʻa ʻana i ke kaʻina hana, hiki pinepine ʻo MTTR i kekona, i kekahi manawa milliseconds. Kūkākūkā pinepine ʻo Google e pili ana i nā milliseconds, akā i ka ʻoiaʻiʻo, ʻoiaʻiʻo, ʻaʻole maikaʻi nā mea āpau.
ʻO ka mea kūpono, pono e hoʻokaʻawale ka SRE i kāna hana, no ka mea, pili pono kēia i ka MTTR, kāna metric, ka SLO o ka lawelawe holoʻokoʻa, a, no laila, ka waiwai ʻoihana. Inā ʻoi aku ka manawa, nīnau ʻia mākou inā he hewa ʻo SRE. ʻO ka mea pōmaikaʻi, ʻaʻohe mea e hewa. A he moʻomeheu ʻokoʻa kēia i kapa ʻia ʻo balmeless postmortem, ʻaʻole mākou e kamaʻilio e pili ana i kēia lā, akā e loiloi mākou ma Slurm. He kumuhana hoihoi loa kēia i hiki ke kamaʻilio nui ʻia. ʻO ka ʻōlelo koʻikoʻi, inā ʻoi aku ka nui o ka manawa i hāʻawi ʻia i kēlā me kēia hapaha, a laila ʻo ka hapa liʻiliʻi o nā mea a pau ke hewa, ʻo ia hoʻi, ʻaʻole huahua ka hoʻopiʻi ʻana i nā mea a pau, e ʻae kākou, ʻaʻole paha e hoʻohewa i kekahi, akā e hoʻoponopono i ke kūlana a hana pū me nā mea i loaʻa iā mākou. I koʻu ʻike, he mea ʻē kēia ala i ka hapa nui o nā hui, ʻoi loa ma Rūsia, akā kūpono a hana maikaʻi loa. No laila, e paipai wau ma ka hopena o ka ʻatikala a me nā palapala e hiki ai iā ʻoe ke heluhelu ma kēia kumuhana. A i ʻole e hele mai i Slurm SRE.
E wehewehe au. Inā ʻoi aku ka nui o ka manawa SLO i kēlā me kēia hapaha, inā ʻaʻole he 13 mau minuke ka manawa haʻahaʻa, akā he 15, ʻo wai ka mea e hewa ai? ʻOiaʻiʻo, hewa paha ʻo SRE, no ka mea, ua hana maopopo ʻo ia i kekahi ʻano hana hewa a hoʻolālā paha. ʻO ka luna hoʻomalu o ke kikowaena ʻikepili ke hewa no kēia, no ka mea, ua hana ʻo ia i kekahi ʻano o ka mālama ʻole ʻia. Inā hewa ka luna hoʻomalu o ka kikowaena data no kēia, a laila ʻo ke kanaka mai Ops ka hewa no kēia, ʻaʻole i helu i ka mālama ʻana i kona hoʻonohonoho ʻana i ka SLO. ʻO ka luna, ka luna ʻenehana a i ʻole kekahi mea nāna i kau inoa i ka ʻaelike kikowaena data a ʻaʻole i hoʻolohe i ka ʻoiaʻiʻo ʻaʻole i hoʻolālā ʻia ka SLA o ka kikowaena data no ka downtime koi ʻia no kēia. No laila, ʻo nā mea liʻiliʻi a pau i kēia kūlana ke hewa. A ʻo ia hoʻi, ʻaʻohe kumu o ka waiho ʻana i ka hewa ma luna o kekahi ma kēia kūlana. Akā, pono e hoʻoponopono. ʻO ia ke kumu he postmortems. A inā heluhelu ʻoe, no ka laʻana, GitHub postmortems, a he moʻolelo hoihoi loa kēia, liʻiliʻi a manaʻo ʻole ʻia i kēlā me kēia hihia, hiki iā ʻoe ke pani i ka mea ʻaʻohe mea i ʻōlelo ʻo ia ka mea i hewa. Hoʻokomo mau ʻia ka hewa i nā kaʻina hana kūpono ʻole.
E neʻe kākou i ka nīnau aʻe. ʻOtometi. Ke kamaʻilio wau e pili ana i ka automation ma nā ʻano pōʻaiapili ʻē aʻe, ʻike pinepine wau i kahi papaʻaina e haʻi iā ʻoe i ka lōʻihi e hiki ai iā ʻoe ke hana ma ka hoʻomaʻamaʻa ʻana i kahi hana me ka ʻole o ka lawe ʻana i ka manawa e hoʻokaʻawale iā ia ma mua o kāu mālama maoli. Aia kahi ʻūhā. ʻO ka hopu ʻana i ka wā e hoʻokaʻawale ai nā SRE i kahi hana, ʻaʻole lākou e mālama i ka manawa, mālama lākou i ke kālā, no ka mea, pili pono ka automation i ka MTTR. Hoʻopakele lākou, no laila e ʻōlelo ai, ka morale o nā limahana a me nā mea hoʻomohala, ʻo ia hoʻi kahi waiwai pau. Hoʻemi lākou i ka hana maʻamau. A he hopena maikaʻi kēia mau mea a pau i ka hana a, ma muli o ka hopena, ma ka ʻoihana, ʻoiai inā ʻike ʻia ʻaʻole kūpono ka automation e pili ana i nā kumukūʻai manawa.
ʻO kaʻoiaʻiʻo, kokoke i nā manawa a pau, a he mau mea liʻiliʻi loa kahi mea e ponoʻole e hoʻololi i ka hana a SRE. A laila e kamaʻilio mākou e pili ana i ka mea i kapa ʻia ʻo ka hapa kālā, ka waihona kālā no nā hewa. ʻOiaʻiʻo, ʻike ʻia inā ʻoi aku ka maikaʻi o nā mea āpau iā ʻoe ma mua o ka SLO āu i hoʻonohonoho ai iā ʻoe iho, ʻaʻole maikaʻi loa kēia. He ʻino kēia, no ka mea, ʻaʻole wale ka hana o SLO ma ke ʻano he haʻahaʻa, akā ma ke ʻano he palena kiʻekiʻe. Ke hoʻonoho ʻoe iā ʻoe iho i kahi SLO o 99% loaʻa, a ʻoiaʻiʻo, loaʻa iā ʻoe ka 99,99%, ʻike ʻia aia kahi wahi no nā hoʻokolohua ʻaʻole e hōʻino i ka ʻoihana, no ka mea, ua hoʻoholo ʻoe i kēia mau mea a pau, a ʻo ʻoe. ʻAʻole hoʻohana kēia wahi. Loaʻa iā ʻoe kahi kālā no nā hewa, ʻaʻole i hoʻohana ʻia i kāu hihia.
He aha kā mākou e hana ai me ia. Hoʻohana mākou iā ia no nā mea āpau. No ka hoʻāʻo ʻana i nā kūlana hana, no ka ʻōwili ʻana i nā hiʻohiʻona hou e pili ana i ka hana, no ka hoʻokuʻu ʻana, no ka mālama ʻana, no nā manawa hoʻomaha i hoʻolālā ʻia. Hoʻopili pū ka lula hoʻohuli: inā pau ka waihona kālā, ʻaʻole hiki iā mākou ke hoʻokuʻu i kekahi mea hou, no ka mea inā ʻaʻole mākou e ʻoi aku ma mua o ka SLO. Ua pau ka waihona kālā, ua hoʻokuʻu mākou i kekahi mea inā pili ʻole ia i ka hana, ʻo ia hoʻi, inā ʻaʻole kēia ʻano hoʻoponopono e hoʻonui pono ai i ka SLO, a laila ke hele nei mākou ma mua o ka waihona kālā, a he kūlana maikaʻi ʻole kēia. , pono e kālailai 'ia , postmortem, a malia paha kekahi mau ka'ina hana.
ʻO ia hoʻi, inā ʻaʻole hana maikaʻi ka lawelawe ponoʻī, a ua hoʻopau ʻia ʻo SLO a hoʻopau ʻia ka waihona kālā ʻaʻole ma nā hoʻokolohua, ʻaʻole ma kekahi mau hoʻokuʻu, akā ma o ia iho, a laila ma kahi o kekahi mau hoʻoponopono hoihoi, ma kahi o nā hiʻohiʻona hoihoi. ma kahi o nā hoʻopuka hoihoi. Ma kahi o nā hana hoʻomohala, pono ʻoe e hana me nā hoʻoponopono naʻaupō e hoʻihoʻi i ka waihona kālā, a i ʻole hoʻoponopono i ka SLO, a he hana hoʻi kēia ʻaʻole pono e hana pinepine.
No laila, ua ʻike ʻia ma kahi kūlana i loaʻa iā mākou nā kālā hou aku no nā hewa, makemake nā mea a pau: ʻo SRE a me nā mea hoʻomohala. No nā mea hoʻomohala, kahi kālā nui no nā pōpoki hiki iā ʻoe ke hana me nā hoʻokuʻu, nā hoʻokolohua, nā hoʻokolohua. No nā SRE, ʻo ka waihona kālā no nā hewa a me ka hoʻokomo ʻana i kēlā pūlāwai, ʻo ia hoʻi ke hana pololei nei lākou i kā lākou hana. A pili kēia i ka hoʻoikaika ʻana o kekahi ʻano hana hui. Inā hoʻolohe ʻoe i kāu mau SRE ma ke ʻano he mea hoʻomohala, e loaʻa iā ʻoe ka nui o ka manawa no ka hana maikaʻi a ʻoi aku ka liʻiliʻi o ka hana maʻamau.
ʻIke ʻia ʻo nā hoʻokolohua i ka hana ʻana he mea koʻikoʻi a aneane hoʻohui i ka SRE i nā hui nui. A kapa ʻia ʻo ia ka chaos engineering, mai ka hui ma Netflix i hoʻokuʻu i kahi mea pono i kapa ʻia ʻo Chaos Monkey.
Hoʻopili ʻo Chaos Monkey i ka pipeline CI/CD a hoʻopaʻa wale i ke kikowaena i ka hana. Eia hou, i ka hoʻolālā SRE, ke kamaʻilio nei mākou e pili ana i ka ʻoiaʻiʻo ʻaʻole maikaʻi ʻole kahi kikowaena downed iā ia iho, ua manaʻo ʻia. A inā i loko o ka waihona kālā, ʻae ʻia a ʻaʻole e hōʻino i ka ʻoihana. ʻOiaʻiʻo, loaʻa iā Netflix nā kikowaena redundant, lawa ka hoʻopiʻi ʻana, i hiki ke hoʻopaʻa ʻia kēia mau mea a pau, a no laila ʻaʻole ʻike ka mea hoʻohana holoʻokoʻa, a ʻoi aku hoʻi ʻaʻohe mea e waiho i hoʻokahi kikowaena no kekahi kālā.
Loaʻa iā Netflix kahi hui holoʻokoʻa o ia mau mea pono no kekahi manawa, ʻo kekahi o ia, ʻo Chaos Gorilla, e pani loa i kekahi o nā Amazon Availability Zones. A ʻo ia mau mea kōkua e hōʻike, ʻo ka mea mua, nā hilinaʻi huna, inā ʻaʻole maopopo loa ka mea e pili ana i ka mea, he aha ka mea e pili ana. A ʻo kēia, inā ʻoe e hana nei me kahi microservice, a ʻaʻole maikaʻi loa ka palapala, maʻa paha kēia iā ʻoe. A eia hou, kōkua nui kēia i ka hopu ʻana i nā hewa i loko o ke code ʻaʻole hiki iā ʻoe ke hopu i ka staging, no ka mea, ʻaʻole pololei kēlā me kēia staging i ka simulation pololei, no ka mea he ʻokoʻa ka paona ukana, ʻokoʻa ke kumu hoʻouka, ʻokoʻa nā mea hana. also, most probably, other. Hiki ke manaʻo ʻole ʻia nā haʻahaʻa kiʻekiʻe. A ʻo ia mau hoʻāʻo, ʻaʻole ia e hele hou aku ma mua o ka waihona kālā, kōkua maikaʻi loa e hopu i nā hewa i loko o ka ʻōnaehana ʻaʻole e hopu ʻia ka staging, autotests, CI / CD pipeline. A ʻoiai ua hoʻokomo ʻia nā mea a pau i kāu kālā, ʻaʻole ia he mea nui ka hele ʻana o kāu lawelawe i laila, ʻoiai me he mea weliweli loa ia, ua iho ke kikowaena, he mea pōʻino. ʻAʻole, he mea maʻamau, maikaʻi kēlā, kōkua i ka hopu ʻana i nā pōpoki. Inā he kālā kāu, a laila hiki iā ʻoe ke hoʻolilo.
Nīnau: He aha nā palapala e hiki iaʻu ke paipai? Papa inoa ma ka hope. Nui nā palapala, e aʻo aku au i kekahi mau hōʻike. Pehea e hana ai, a hana ʻo SRE i nā ʻoihana me ka ʻole o kā lākou huahana lako polokalamu a i ʻole me ka hoʻomohala liʻiliʻi. No ka laʻana, ma kahi ʻoihana kahi ʻaʻole lako polokalamu ka hana nui. Ma kahi ʻoihana, kahi ʻaʻole lako polokalamu ka hana nui, hana like ʻo SRE me nā wahi ʻē aʻe, no ka mea ma kahi ʻoihana pono ʻoe e hoʻohana, ʻoiai inā ʻaʻole i kūkulu ʻia, nā huahana lako polokalamu, pono ʻoe e ʻōwili i nā mea hou, pono ʻoe e hoʻololi. ʻo ka ʻoihana, pono ʻoe e ulu, pono ʻoe e hoʻonui. A kōkua nā SRE e ʻike a wānana i nā pilikia e hiki mai ana i kēia mau kaʻina hana a hoʻomalu iā lākou ma hope o ka hoʻomaka ʻana o kekahi ulu a hoʻololi i nā pono ʻoihana. No ka mea, ʻaʻole pono ke komo ʻana i ka hoʻomohala polokalamu no ka loaʻa ʻana o kahi SRE inā loaʻa iā ʻoe he mau kikowaena liʻiliʻi a manaʻo ʻia e loaʻa iā ʻoe kahi ulu.
Pēlā nō ia no nā papahana liʻiliʻi, nā hui liʻiliʻi, no ka mea, loaʻa i nā hui nui ka waihona kālā a me ka manawa e hoʻokolohua ai. Akā i ka manawa like, hiki ke hoʻohana ʻia kēia mau hua a pau o nā hoʻokolohua ma nā wahi āpau, ʻo ia hoʻi, ʻo SRE, ʻoiaʻiʻo, ʻike ʻia ma Google, ma Netflix, ma Dropbox. Akā i ka manawa like, hiki i nā hui liʻiliʻi a me nā mea hoʻomaka ke heluhelu i nā mea condensed, heluhelu i nā puke, nānā i nā hōʻike. Hoʻomaka lākou e lohe pinepine, nānā lākou i nā hiʻohiʻona kikoʻī, manaʻo wau ua maikaʻi, hiki ke hoʻohana maoli, pono mākou i kēia, maikaʻi.
ʻO ia hoʻi, ua hana mua ʻia nā hana nui āpau i ka hoʻohālikelike ʻana i kēia mau kaʻina hana no ʻoe. Aia nō iā ʻoe ke hoʻoholo i ke kuleana o SRE i kāu ʻoihana a hoʻomaka e hoʻokō maoli i kēia mau hana āpau, ʻo ia hoʻi, ua wehewehe ʻia. ʻO ia, mai nā loina pono no nā hui liʻiliʻi, ʻo ia ka wehewehe ʻana o SLA, SLI, SLO. Inā ʻaʻole ʻoe i komo i ka polokalamu, a laila e lilo kēia i SLA kūloko a me SLO kūloko, kahi kālā kūloko no nā hewa. ʻO kēia ka mea e alakaʻi mau ai i kekahi mau kūkākūkā hoihoi i loko o ka hui a i loko o ka ʻoihana, no ka mea hiki ke hoʻolilo ʻoe i ka ʻoihana, ma kekahi ʻano hoʻonohonoho o nā kaʻina hana kūpono, ʻoi aku ka nui o ka pipeline kūpono ma mua o ka pono. A ʻo kēia mau ʻeiwa ʻehā āu i ka ʻoihana IT, ʻaʻole pono ʻoe iā lākou i kēia manawa. Akā i ka manawa like, hiki iā ʻoe ke hoʻolilo i ka manawa, hoʻolilo i ka waihona kālā no nā hewa ma kahi mea ʻē aʻe.
No laila, pono ka nānā ʻana a me ka hoʻonohonoho ʻana i ka nānā ʻana no kahi hui o kēlā me kēia nui. A ma ka laulā, kēia ʻano o ka noʻonoʻo, kahi i ʻae ʻia nā hewa, aia kahi kālā, kahi i loaʻa nā Pahuhopu, pono hou ia no kahi hui o kēlā me kēia nui, e hoʻomaka ana mai ka hoʻomaka ʻana no 3 mau kānaka.
ʻO ka hope o nā nuances ʻenehana e kamaʻilio e pili ana i ka nānā ʻana. No ka mea inā mākou e kamaʻilio e pili ana iā SLA, SLI, SLO, ʻaʻole hiki iā mākou ke hoʻomaopopo me ka nānā ʻole ʻana inā kūpono mākou i ka waihona kālā, inā mākou e hoʻokō i kā mākou Pahuhopu, a pehea mākou e hoʻoikaika ai i ka SLA hope. Ua ʻike pinepine au i ka nānā ʻana e like me kēia: aia kekahi waiwai, no ka laʻana, ka manawa o kahi noi i ke kikowaena, ka manawa maʻamau, a i ʻole ka helu o nā noi i ka waihona. Loaʻa iā ia kahi kūlana i hoʻoholo ʻia e ka ʻenekinia. Inā haʻalele ka metric mai ka maʻamau, a laila hiki mai kahi leka uila. He mea ʻole loa kēia, ma ke ʻano he kānāwai, no ka mea, ke alakaʻi nei ia i ka nui o nā mākaʻikaʻi, ka nui o nā leka mai ka nānā ʻana, i ka wā e pono ai ke kanaka, ʻo ka mea mua, e wehewehe iā lākou i kēlā me kēia manawa, ʻo ia hoʻi, e hoʻoholo i ka waiwai o ka metric. ka pono o kekahi hana. A ʻo ka lua, hoʻōki wale ʻo ia i ka ʻike ʻana i kēia mau mākaʻikaʻi āpau, inā ʻaʻohe hana e koi ʻia mai iā ia. He lula nānā maikaʻi kēlā a ʻo ke kānāwai mua loa i ka wā e hoʻokō ʻia ai ʻo SRE ʻo ia ka hoʻolaha ʻana i ka wā e koi ʻia ai ka hana.
I ka hihia maʻamau, aia nā pae 3 o nā hanana. Aia nā makaʻala, aia nā tiketi, aia nā lāʻau. ʻO nā ʻōlelo aʻoaʻo kekahi mea e koi ai iā ʻoe e hana koke. ʻO ia hoʻi, ua haki nā mea a pau, pono ʻoe e hoʻoponopono i kēia manawa. ʻO nā tiketi ka mea e pono ai ka hana lohi. ʻAe, pono ʻoe e hana i kekahi mea, pono ʻoe e hana i kekahi mea me ka lima, ua hāʻule ka automation, akā ʻaʻole pono ʻoe e hana no nā minuke e hiki mai ana. ʻO nā lāʻau lāʻau kekahi mea i koi ʻole i ka hana, a ma ke ʻano nui, inā maikaʻi nā mea, ʻaʻohe mea e heluhelu. Pono ʻoe e heluhelu i nā lāʻau i ka wā i nānā ʻia ai, ua haki kekahi mea no kekahi manawa, ʻaʻole mākou i ʻike. A i ʻole pono ʻoe e hana i kahi noiʻi. Akā ma ka laulā, hele nā mea āpau ʻaʻole i koi i kekahi hana i nā lāʻau.
Ma keʻano he hopena o kēia mau mea a pau, inā ua wehewehe mākou i nā hanana e pono ai nā hana a ua wehewehe maikaʻi i keʻano o kēia mau hana,ʻo ia hoʻi, hiki ke hana aunoa i ka hana. ʻO ia hoʻi, ka mea e hana nei. Hele mākou mai ka makaʻala. E hele kāua i ka hana. Hele mākou i ka wehewehe ʻana o kēia hana. A laila neʻe mākou i ka automation. ʻO ia hoʻi, hoʻomaka kekahi automation me kahi pane i kahi hanana.
Mai ka nānā ʻana, neʻe mākou i kahi huaʻōlelo i kapa ʻia ʻo Observability. Aia kekahi wahi o ka hype a puni kēia huaʻōlelo no nā makahiki i hala iho nei. A kakaikahi ka poʻe i hoʻomaopopo i ke ʻano o ia mea ma waho o ka pōʻaiapili. Akā ʻo ka mea nui ʻo ka Observability kahi metric no ka ʻōnaehana ʻōnaehana. Inā hewa kekahi mea, pehea ka wikiwiki e hiki ai iā ʻoe ke hoʻoholo i ka mea i hewa a me ke ʻano o ka ʻōnaehana i kēlā manawa. Ma ke ʻano o ke code: ʻo ia ka hana i hāʻule, ʻo ka lawelawe i hāʻule. He aha ke ʻano o, no ka laʻana, nā mea hoʻololi kūloko, hoʻonohonoho. Ma ke ʻano o ka ʻōnaehana, ʻo ia ka wahi i loaʻa ai ka hemahema, a inā he Kubernetes i hoʻokomo ʻia, a laila i loko o ka pod i hiki ʻole ai, he aha ke ʻano o ka pod. A no laila, pili pololei ka Observability me MTTR. ʻOi aku ka kiʻekiʻe o ka Observability o ka lawelawe, ʻoi aku ka maʻalahi o ka ʻike ʻana i ka hewa, ʻoi aku ka maʻalahi o ka hoʻoponopono ʻana i ka hewa, ʻoi aku ka maʻalahi o ka hoʻokaʻawale ʻana i ka hewa, ʻoi aku ka haʻahaʻa o ka MTTR.
Ke neʻe hou nei i nā hui liʻiliʻi, he mea maʻamau ke nīnau, ʻoiai i kēia manawa, pehea e hana ai me ka nui o ka hui, a inā pono kahi hui liʻiliʻi e hoʻolimalima i kahi SRE ʻokoʻa. Ua kamaʻilio mua ʻia kēia ma mua. I nā pae mua o ka hoʻomohala ʻana i kahi hoʻomaka a i ʻole, no ka laʻana, he hui, ʻaʻole pono kēia, no ka mea hiki ke hana ʻia ʻo SRE i kahi hana hoʻololi. A e ho'ōla hou kēia i ka hui, no ka mea aia kekahi mau ʻokoʻa. A e hoʻomākaukau i nā kānaka no ka ʻoiaʻiʻo me ka ulu ʻana, ma ka laulā, e loli nui nā kuleana o SRE. Inā ʻoe e hoʻolimalima i kahi kanaka, a laila, ʻoiaʻiʻo, aia kekahi mau manaʻolana. A ʻaʻole e loli kēia mau manaʻo i ka manawa, akā e loli nui nā koi. No laila, pehea e hoʻolimalima ai i kahi SRE he paʻakikī loa i ka wā mua. ʻOi aku ka maʻalahi o ka ulu ʻana iā ʻoe iho. Akā, pono e noʻonoʻo.
ʻO ka ʻokoʻa wale nō paha, ʻo ia ka wā e loaʻa ai nā koi ulu koʻikoʻi a wehewehe maikaʻi ʻia. ʻO ia hoʻi, i ke ʻano o ka hoʻomaka ʻana, he ʻano paʻi paha kēia mai nā mea hoʻopukapuka, kekahi ʻano wānana no ka ulu ʻana i nā manawa he nui i ka manawa hoʻokahi. A laila ʻae ʻia ka hoʻolimalima ʻana i kahi SRE no ka mea hiki ke hoʻāpono ʻia. Loaʻa iā mākou nā koi no ka ulu ʻana, pono mākou i kahi kanaka e kuleana no ka ʻoiaʻiʻo me ia ulu ʻana ʻaʻohe mea e haki.
Hoʻokahi nīnau hou. He aha ka mea e hana ai i ka wā e ʻoki ai nā mea hoʻomohala i kahi hiʻohiʻona i hala i nā hoʻāʻo, akā wāwahi i ka hana, hoʻouka i ke kumu, wāwahi i nā hiʻohiʻona ʻē aʻe, he aha ka hana e hoʻokō ai. No laila, i kēia hihia, ʻo ia ka waihona kālā no nā hewa i hoʻokomo ʻia. A ʻo kekahi o nā lawelawe, ua hoʻāʻo ʻia kekahi o nā hiʻohiʻona i ka hana. Hiki iā ia ke canary, i ka wā liʻiliʻi wale nō o nā mea hoʻohana, akā i kēia manawa i ka hana ʻana, ua kau ʻia kahi hiʻohiʻona, akā i kēia manawa me ka manaʻolana inā haki kekahi mea, no ka laʻana, no ka hapalua pakeneka o nā mea hoʻohana a pau, e hoʻokō nō ia i ka. kālā no nā hewa. No laila, ʻae, aia ka hewa, no kekahi mau mea hoʻohana e haki nā mea āpau, akā ua ʻōlelo mua mākou he mea maʻamau kēia.
Aia kekahi nīnau e pili ana i nā mea hana SRE. ʻO ia hoʻi, aia kekahi mea e hoʻohana ai nā SRE i ʻole e hoʻohana ʻia e nā mea ʻē aʻe. ʻO ka ʻoiaʻiʻo, aia kekahi mau mea pono kūikawā, aia kekahi ʻano polokalamu, no ka laʻana, hoʻohālikelike i nā ukana a i ʻole ke komo ʻana i ka hoʻāʻo canary A / B. Akā, ʻo ka SRE toolkit ka mea a kāu mau mea hoʻomohala e hoʻohana nei. No ka mea pili pono ʻo SRE me ka hui hoʻomohala. A inā loaʻa iā ʻoe nā mea hana like ʻole, e hoʻohuli ʻia ka manawa e hoʻonohonoho ai. ʻOi loa inā hana nā SRE i nā hui nui, i nā hui nui kahi e hiki ai i nā hui he nui, ʻo ia ka standardization ākea o ka ʻoihana e kōkua nui ma ʻaneʻi, no ka mea inā hoʻohana ʻia nā mea pono like ʻole 50 i nā hui 50, ʻo ia ke ʻano o ka SRE e ʻike iā lākou. pau loa. A ʻoiaʻiʻo ʻaʻole loa e hiki mai kēia. A ʻo ka maikaʻi o ka hana, ka maikaʻi o ka mana o ka liʻiliʻi o kekahi o nā hui e emi nui.
Ke hoʻopau nei kā mākou webinar. Ua hiki iaʻu ke haʻi i kekahi mau mea maʻamau. ʻOiaʻiʻo, ʻaʻohe mea e pili ana iā SRE hiki ke haʻi a hoʻomaopopo ʻia i loko o hoʻokahi hola. Akā ke lana nei koʻu manaʻo ua hiki iaʻu ke haʻi i kēia ʻano noʻonoʻo, nā kumu nui. A laila hiki, inā makemake, e komo i loko o ke kumuhana, e aʻo iā ʻoe iho, e nānā i ke ʻano o ka hoʻokō ʻia e nā poʻe ʻē aʻe, i nā hui ʻē aʻe. A no laila, i ka hoʻomaka o Pepeluali, e hele mai iā mākou ma Slurm SRE.
ʻO ka Slurm SRE kahi papa koʻikoʻi ʻekolu lā e kamaʻilio e pili ana i ka mea aʻu e kamaʻilio nei, akā me ka hohonu loa, me nā hihia maoli, me ka hoʻomaʻamaʻa, ʻo ka ikaika holoʻokoʻa e pili ana i ka hana pono. E māhele ʻia nā kānaka i mau hui. E hana ana ʻoukou a pau i nā hihia maoli. No laila, loaʻa iā mākou nā kumu aʻo Booking.com ʻo Ivan Kruglov lāua ʻo Ben Tyler. Loaʻa iā mākou he Eugene Barabas maikaʻi mai Google mai Kapalakiko mai. A e hai aku au ia oe i kekahi mea. No laila e ʻoluʻolu e kipa mai iā mākou.
No laila, ka puke moʻolelo. Aia nā kuhikuhi ma SRE. ma ka puke hoʻokahi, a i ʻole ma nā puke 2 e pili ana iā SRE, i kākau ʻia e Google. ʻO kekahi , kahi o nā huaʻōlelo a me kā lākou noi i ʻoi aku ka kikoʻī. ʻO ka 3 aʻe he mau hōʻike e pili ana iā SRE i nā hui like ʻole. Ka mua - , he kī nui kēia mai Ben Trainer o Google. Ka lua - . ʻO ke kolu hou . Hoike eha mai , nona wale 5 mau limahana nui SRE ma 190 mau ʻāina. He mea hoihoi loa ia ke nana aku i keia mau mea a pau, no ka mea, e like me ke ano o DevOps i na mea okoa loa i na hui like ole a me na hui like ole, he okoa loa na kuleana o SRE, i na hui like like.
2 mau loulou hou aku e pili ana i nā loina o ka chaos engineering: , . A ma ka hopena he 3 papa inoa mai ka moʻo Awesome Lists e pili ana , pili ana a pili . ʻO ka papa inoa ma SRE he mea nui loa, ʻaʻole pono e hele i nā mea āpau, aia ma kahi o 200 mau ʻatikala. Manaʻo nui wau i nā ʻatikala mai laila e pili ana i ka hoʻolālā ʻana a me ka postmortem hala ʻole.
ʻAtikala hoihoi:
Mahalo i kou hoʻolohe ʻana mai iaʻu i kēia manawa a pau. Manaʻolana ua aʻo ʻoe i kekahi mea. Manaʻolana ua lawa kāu mau mea e aʻo hou aku ai. A ʻike iā ʻoe. Manaʻolana i Pepeluali.
Ua mālama ʻia ka webinar e Eduard Medvedev.
PS: no ka poʻe makemake e heluhelu, hāʻawi ʻo Eduard i kahi papa inoa o nā kuhikuhi. ʻO ka poʻe makemake e hoʻomaopopo i ka hoʻomaʻamaʻa e ʻae ʻia .
Source: www.habr.com