Ny webinar dia manana feo ratsy, ka nadikay.
Medvedev Eduard no anarako. Androany aho dia hiresaka momba ny SRE, ny fomba nisehoan'ny SRE, ny fepetra momba ny asa ananan'ny injeniera SRE, ny momba ny fepetra azo itokisana, ny fanaraha-maso azy. Handeha eny an-tampony izahay, satria tsy afaka milaza zavatra betsaka ianao ao anatin'ny adiny iray, fa hanome fitaovana ho an'ny famerenana fanampiny aho, ary miandry anao izahay rehetra. . tany Moskoa tamin'ny faran'ny volana Janoary.
Voalohany, andao hiresaka momba ny atao hoe SRE - Site Reliability Engineering. Ary ahoana no nisehoany ho toerana misaraka, ho tari-dalana misaraka. Nanomboka tamin'ny zava-misy fa ao amin'ny faribolana fampandrosoana nentim-paharazana, Dev sy Ops dia ekipa roa samy hafa tanteraka, matetika manana tanjona roa samy hafa tanteraka. Ny tanjon'ny ekipa fampandrosoana dia ny hamoaka endri-javatra vaovao sy hanome fahafaham-po ny filan'ny orinasa. Ny tanjon'ny ekipa Ops dia ny hahazoana antoka fa mandeha ny zava-drehetra ary tsy misy simba. Mazava ho azy fa mifanipaka mivantana ireo tanjona ireo: mba hahomby ny zava-drehetra ary tsy hisy ho tapaka, manaova endri-javatra vaovao faran'izay kely. Noho izany, maro ny fifandirana anatiny izay ezahan'ny fomba fiasa antsoina ankehitriny hoe DevOps hamaha.
Ny olana dia tsy manana famaritana mazava momba ny DevOps sy fampiharana mazava ny DevOps isika. Niresaka nandritra ny fihaonambe tany Yekaterinburg aho 2 taona lasa izay, ary hatramin'izao dia nanomboka tamin'ny tatitra "Inona no DevOps" ny fizarana DevOps. Tamin'ny taona 2017, efa ho 10 taona i Devops, saingy mbola miady hevitra momba izany isika. Ary toe-javatra tena hafahafa izay noezahan'i Google hovahana taona vitsivitsy lasa izay.
Tamin'ny taona 2016, namoaka boky iray antsoina hoe Site Reliability Engineering i Google. Ary raha ny marina dia tamin'ity boky ity no nanombohan'ny hetsika SRE. SRE dia fampiharana manokana ny paradigma DevOps amin'ny orinasa iray manokana. Ny injeniera SRE dia manolo-tena hiantoka fa ny rafitra dia miasa azo antoka. Ny ankamaroany dia avy amin'ny mpamorona, indraindray mpitantana manana fototra fampandrosoana matanjaka. Ary manao izay ataon'ny mpitantana rafitra izy ireo, fa ny fototra mafy orina amin'ny fampandrosoana sy ny fahalalana ny rafitra amin'ny lafin'ny fehezan-dalàna dia mitarika ho amin'ny zava-misy fa ireo olona ireo dia tsy mirona amin'ny asa ara-pitantanana mahazatra, fa mirona amin'ny automation.
Hita fa ny paradigma DevOps amin'ny ekipa SRE dia ampiharina amin'ny fisian'ny injeniera SRE mamaha ny olana ara-drafitra. Ity ary ny fifandraisana misy eo amin'i Dev sy Ops izay noresahin'ny olona nandritra ny 8 taona. Ny andraikitry ny SRE dia mitovy amin'ny an'ny mpanao mari-trano satria tsy lasa SRE ireo vao tonga. Ny olona amin'ny fiandohan'ny asany dia tsy mbola manana traikefa, tsy manana ny halalin'ny fahalalana ilaina. Satria ny SRE dia mitaky fahalalana an-kolaka momba ny hoe inona marina ary rahoviana marina no mety ho diso. Noho izany, ilaina ny traikefa sasany eto, amin'ny ankapobeny, na ao anaty orinasa na ivelany.
Manontany izy ireo raha holazaina ny fahasamihafana misy eo amin'ny SRE sy devops. Vao avy nofaritana izy. Afaka miresaka momba ny toerana misy ny SRE ao amin'ny fikambanana isika. Tsy sahala amin'ity fomba fiasa DevOps mahazatra ity, izay mbola sampana misaraka ny Ops, ny SRE dia anisan'ny ekipa fampandrosoana. Izy ireo dia mandray anjara amin'ny fampandrosoana ny vokatra. Misy mihitsy aza ny fomba fiasa izay ny SRE dia andraikitry ny mpandrindra iray mankany amin'ny iray hafa. Mandray anjara amin'ny famerenana kaody izy ireo amin'ny fomba mitovy amin'ny, ohatra, mpamorona UX, mpamorona ny tenany, indraindray mpitantana ny vokatra. Ny SRE dia miasa amin'ny ambaratonga mitovy. Mila manaiky azy ireo isika, mila mandinika azy ireo, ka isaky ny fametrahana ny SRE dia miteny hoe: "Eny, ity fametrahana ity, ity vokatra ity dia tsy hisy fiantraikany ratsy amin'ny fahatokisana. Ary raha izany no izy, dia ao anatin'ny fetra azo ekena. Hiresaka momba izany koa isika.
Araka izany, manana veto ny SRE hanovana ny kaody. Ary amin'ny ankapobeny, miteraka karazana fifandirana kely ihany koa izany raha toa ka diso ny fampiharana ny SRE. Ao amin'ny boky momba ny Site Reliability Engineering ihany, faritra maro, na iray aza, no milaza ny fomba hisorohana ireo fifandirana ireo.
Manontany izy ireo hoe ahoana ny fifandraisan'ny SRE amin'ny fiarovana ny vaovao. SRE dia tsy mandray anjara mivantana amin'ny fiarovana ny vaovao. Amin'ny ankapobeny, amin'ny orinasa lehibe dia ataon'ny olon-tsotra, tester, mpandinika izany. Saingy ny SRE dia mifandray amin'izy ireo ihany koa amin'ny heviny fa ny asa sasany, ny fanoloran-tena sasany, ny fametrahana sasany izay misy fiantraikany amin'ny fiarovana dia mety hisy fiantraikany amin'ny fisian'ny vokatra ihany koa. Noho izany, ny SRE amin'ny ankapobeny dia manana fifandraisana amin'ny ekipa rehetra, anisan'izany ny ekipa fiarovana, anisan'izany ny mpandinika. Noho izany, ny SRE dia ilaina indrindra rehefa manandrana mampihatra ny DevOps izy ireo, saingy amin'ny fotoana iray ihany, ny enta-mavesatry ny mpamorona dia lasa lehibe loatra. Izany hoe, ny ekipan’ny fampandrosoana mihitsy no tsy mahazaka intsony ny zava-misy amin’izao fotoana izao dia mila mandray andraikitra amin’ny Ops ihany koa izy ireo. Ary misy anjara asa manokana. Io andraikitra io dia nomanina ao amin'ny tetibola. Indraindray io andraikitra io dia napetraka amin'ny haben'ny ekipa, miseho ny olona iray, indraindray ny iray amin'ireo mpamorona no lasa. Toy izany no nisehoan'ny SRE voalohany tao amin'ny ekipa.
Ny fahasarotan'ny rafitra izay misy fiantraikany amin'ny SRE, ny fahasarotana izay misy fiantraikany amin'ny fahamendrehan'ny fandidiana, dia ilaina ary tsy nahy. Ny fahasarotana ilaina dia rehefa mitombo ny fahasarotan'ny vokatra iray amin'ny fepetra takian'ny endri-javatra vaovao. Ny fahasarotana kisendrasendra dia rehefa mitombo ny fahasarotan'ny rafitra, saingy tsy misy fiantraikany mivantana amin'izany ny endri-javatra vokatra sy ny fepetra takian'ny orinasa. Hita fa na ny mpamorona dia nanao fahadisoana tany ho any, na ny algorithm dia tsy tsara indrindra, na ny tombontsoa fanampiny dia nampidirina izay mampitombo ny fahasarotan'ny vokatra tsy misy filàna manokana. Ny SRE tsara dia tokony hanapaka foana ity toe-javatra ity. Izany hoe, ny fanoloran-tena rehetra, ny fametrahana rehetra, ny fangatahana fisintonana, izay mitombo ny fahasarotana noho ny fanampim-panazavana, dia tokony hosakanana.
Ny fanontaniana dia hoe maninona no tsy manakarama injeniera, mpitantana rafitra manana fahalalana betsaka ao amin'ny ekipa. Ny mpamorona amin'ny andraikitry ny injeniera, hoy izahay, dia tsy vahaolana tsara indrindra amin'ny mpiasa. Ny mpamorona amin'ny andraikitry ny injeniera dia tsy ny vahaolana tsara indrindra ho an'ny mpiasa, fa ny teboka eto dia ny hoe ny developer izay miasa amin'ny Ops dia manana faniriana bebe kokoa amin'ny automation, manana fahalalana sy fahaiza-manao kely kokoa mba hampiharana. ity automation ity. Ary mifanaraka amin'izany, dia ahenanay ny fotoana ho an'ny asa manokana sasany, tsy ny mahazatra ihany, fa ny mari-pamantarana ara-barotra lehibe toy ny MTTR (Mean Time To Recovery, fotoana fanarenana). Araka izany, ary hiresaka momba izany ihany koa isika aoriana kely, mitahiry vola ho an’ny fikambanana.
Andeha isika hiresaka momba ny fepetra momba ny fiasan'ny SRE. Ary voalohany indrindra momba ny fahamendrehana. Ao amin'ny orinasa madinika, fanombohana, matetika no mitranga fa ny olona dia mihevitra fa raha voasoratra tsara ny serivisy, raha soratana tsara sy marina ny vokatra, dia hiasa izy io, tsy ho tapaka. Izay ihany, manoratra kaody tsara izahay, ka tsy misy ho tapaka. Ny kaody dia tena tsotra, tsy misy na inona na inona ho tapaka. Ireo dia momba ireo olona izay milaza fa tsy mila fitsapana isika, satria, jereo, ireo no fomba telo VPI, nahoana no tapaka eto.
Diso daholo izany, mazava ho azy. Ary matetika ireo olona ireo dia voakaikitry ny fehezan-dalàna toy izany amin'ny fampiharana, satria rava ny zava-drehetra. Mipoitra indraindray amin'ny fomba tsy ampoizina ny zavatra. Indraindray ny olona dia miteny hoe tsia, tsy hitranga mihitsy izany. Ary mitranga foana izany. Mitranga matetika izany. Ary izany no antony tsy misy olona miezaka ny hahazo 100%, satria ny 100% dia tsy mitranga. Izany no fitsipika. Ary noho izany, rehefa miresaka momba ny fisian'ny serivisy isika dia miresaka momba ny sivy foana. 2 sivy, 3 sivy, 4 sivy, 5 sivy. Raha adikantsika amin'ny ora fiatoana izany, dia, ohatra, 5 sivy, izany dia mihoatra ny 5 minitra amin'ny fotoana fialan-tsasatra isan-taona, ny 2 sivy dia 3,5 andro fialan-tsasatra.
Saingy hita fa misy ny fihenan'ny POI, ny fiverenan'ny fampiasam-bola. Ny fandehanana avy amin'ny sivy roa ka hatramin'ny sivy telo dia midika fa mihena ny fotoana fialan-tsasatra mandritra ny 3 andro mahery. Ny fandehanana amin'ny efatra sivy ka hatramin'ny dimy dia mampihena ny fotoana fialan-tsasatra amin'ny 47 minitra isan-taona. Ary hita fa ho an'ny orinasa dia mety tsy ho fanakianana. Ary amin'ny ankapobeny dia tsy olana ara-teknika ny fahamendrehana takiana, voalohany indrindra, olana ara-barotra izany, fa resaka vokatra. Inona ny haavon'ny fotoana fitsaharana azo ekena ho an'ny mpampiasa ny vokatra, inona no andrasany, ohatrinona ny vola aloany, ohatra, ohatrinona ny vola very, ohatrinona ny vola very amin'ny rafitra.
Ny fanontaniana manan-danja eto dia ny hoe inona ny fahamendrehan'ireo singa sisa. Satria ny fahasamihafana eo amin'ny 4 sy 5 sivy dia tsy ho hita amin'ny finday avo lenta misy 2 sivy azo itokisana. Raha lazaina amin'ny teny manodidina, raha misy zavatra tapaka amin'ny smartphone amin'ny serivisy ataonao in-10 isan-taona, azo inoana fa in-8 no nitrangan'ny fahasimbana teo amin'ny lafiny OS. Efa zatra izany ny mpampiasa, ary tsy hiraharaha indray mandeha isan-taona. Ilaina ny mampifandray ny vidin'ny fitomboan'ny fahatokisana sy ny fitomboan'ny tombony.
Ao amin'ny boky momba ny SRE fotsiny dia misy ohatra tsara amin'ny fitomboana ho 4 sivy amin'ny 3 sivy. Hita fa latsaky ny 0,1% ny fisondrotry ny fahafaha-manao. Ary raha 1 tapitrisa dolara isan-taona ny fidiram-bolan'ny serivisy, dia 900 dolara ny fitomboan'ny fidiram-bola. Raha toa ka latsaky ny $900 isan-taona no lany mba hampitomboana ny fahafaha-mividy sivy, dia misy dikany ara-bola ny fitomboana. Raha mihoatra ny 900 dolara isan-taona izany, dia tsy misy dikany intsony izany, satria ny fitomboan'ny fidiram-bola dia tsy manonitra tsotra izao ny vidin'ny asa, ny vidin'ny loharano. Ary 3 sivy dia ampy ho antsika.
Mazava ho azy fa ohatra notsorina izany izay mitovy ny fangatahana rehetra. Ary ny fandehanana avy amin'ny 3 nines ka hatramin'ny 4 nines dia mora, fa miaraka amin'izay koa, ohatra, ny fandehanana avy amin'ny 2 nines ka hatramin'ny 3, izany dia efa tahiry 9 arivo dolara, dia mety hisy dikany ara-bola. Mazava ho azy, raha ny marina, ny tsy fahombiazan'ny fangatahana fisoratana anarana dia ratsy noho ny tsy fampisehoana ny pejy, ny fangatahana dia manana lanja samihafa. Mety manana fepetra hafa tanteraka izy ireo amin'ny fomba fijery ara-barotra, fa na izany aza, amin'ny ankapobeny, raha tsy miresaka momba ny serivisy manokana isika, dia tombanana azo antoka izany.
Nahazo fanontaniana izahay raha anisan'ny mpandrindra ny SRE rehefa misafidy vahaolana ara-javakanto ho an'ny serivisy. Andeha hatao hoe eo amin’ny fampidirana ireo fotodrafitrasa efa misy, mba tsy hisian’ny fatiantoka amin’ny fitoniana. Eny, SREs, amin'ny fomba mitovy amin'ny fisintonana ny fangatahana, ny fanolorana, ny famoahana dia misy fiantraikany amin'ny maritrano, ny fampidirana serivisy vaovao, microservices, ny fampiharana ny vahaolana vaovao. Nahoana aho no niteny taloha hoe ilaina ny traikefa, ilaina ny qualification. Raha ny marina, ny SRE dia iray amin'ireo feo manakana amin'ny vahaolana ara-javakanto sy rindrambaiko. Noho izany, ny SRE amin'ny maha-injeniera azy dia tsy maintsy, voalohany indrindra, tsy vitan'ny hoe mahatakatra, fa mahatakatra ihany koa ny fiantraikan'ny fanapahan-kevitra manokana sasany amin'ny fahamendrehana, ny fahamarinan-toerana ary ny fahatakarana ny ifandraisan'izany amin'ny filan'ny orinasa, ary amin'ny fomba ahoana no azo ekena sy azo ekena. izay tsy.
Noho izany, ankehitriny isika dia afaka miresaka momba ny fepetra azo itokisana, izay voafaritra amin'ny fomba mahazatra ao amin'ny SRE ho SLA (Service Level Agreement). Azo inoana fa teny mahazatra. SLI (Service Level Indicator). SLO (Tanjona amin'ny ambaratongan'ny serivisy). Ny fifanarahana amin'ny serivisy dia mety ho teny an'ohatra, indrindra raha niara-niasa tamin'ny tambajotra ianao, miaraka amin'ny mpamatsy, miaraka amin'ny fampiantranoana. Fifanarahana ankapobe ity izay mamaritra ny fahombiazan'ny serivisinao manontolo, ny sazy, ny sazy sasany noho ny fahadisoana, ny refy, ny fepetra. Ary ny SLI dia ny metrika misy. Izany hoe, inona no mety ho SLI: ny fotoana famaliana avy amin'ny serivisy, ny isan'ny lesoka ho isan-jato. Mety ho bandwidth izany raha karazana fampiantranoana rakitra. Raha ny momba ny algorithm amin'ny fanekena, ny famantarana dia mety ho, ohatra, na dia ny fahamarinan'ny valiny aza. Ny SLO (Service Level Objective) dia fitambaran'ny tondro SLI, ny sandany ary ny fe-potoana.
Aoka hatao hoe mety ho toy izany ny SLA. Ny serivisy dia misy 99,95% amin'ny fotoana mandritra ny taona. Na tapakila fanohanana 99 no hikatona ao anatin'ny 3 ora isaky ny telovolana. Na ny 85% amin'ny fanontaniana dia hahazo valiny ao anatin'ny 1,5 segondra isam-bolana. Izany hoe, lasa takatsika tsikelikely fa ara-dalàna ny fahadisoana sy ny tsy fahombiazana. Toe-javatra azo ekena izany, mikasa azy izahay, ary miantehitra amin'izany mihitsy aza. Izany hoe, SRE dia manangana rafitra afaka manao fahadisoana, izay tsy maintsy mamaly ara-dalàna ny fahadisoana, izay tsy maintsy mandray izany. Ary isaky ny azo atao, dia tokony hikarakara ny fahadisoana amin'ny fomba izay ny mpampiasa na tsy mahatsikaritra azy ireo, na manamarika, fa misy karazana workaround, noho izany ny zava-drehetra dia tsy hianjera tanteraka.
Ohatra, raha mampakatra horonan-tsary amin'ny YouTube ianao, ary tsy afaka mamadika azy avy hatrany ny YouTube, raha lehibe loatra ny horonan-tsary, raha tsy tsara ny format, dia tsy hahomby ny fangatahana amin'ny fotoana voafetra, tsy hanome fahadisoana 502 ny YouTube , YouTube dia hilaza hoe: “Namorona ny zava-drehetra izahay, ny horonan-tsarinao dia karakaraina. Ho vonona ao anatin’ny 10 minitra eo ho eo izany”. Ity no fitsipiky ny fanimbana mahafinaritra, izay mahazatra, ohatra, avy amin'ny fivoarana eo anoloana, raha efa nanao izany ianao.
Ny teny manaraka izay horesahintsika, izay tena zava-dehibe amin'ny fiasana amin'ny fahamendrehana, miaraka amin'ny fahadisoana, miaraka amin'ny antenaina, dia ny MTBF sy MTTR. MTBF no fe-potoana eo anelanelan'ny tsy fahombiazana. MTTR Mean Time To Recovery, fotoana antonony amin'ny fanarenana. Izany hoe, firy ny fotoana lasa nanomboka tamin'ny fotoana nahitana ny fahadisoana, nanomboka tamin'ny fotoana nisehoan'ny fahadisoana ka hatramin'ny fotoana namerenana ny serivisy amin'ny fampandehanana ara-dalàna tanteraka. Ny MTBF dia raikitra indrindra amin'ny asa momba ny kalitao kaody. Izany hoe, ny SRE dia afaka miteny hoe "tsia". Ary mila fahatakarana ny ekipa manontolo ianao fa rehefa miteny ny SRE hoe "tsia", dia tsy hoe manimba izy, tsy hoe ratsy, fa raha tsy izany dia hijaly ny rehetra.
Averina indray, misy lahatsoratra be dia be, fomba maro, fomba maro na dia ao amin'ny boky izay resahiko matetika aza, ny fomba hahazoana antoka fa tsy manomboka mankahala ny SRE ny developer hafa. Ny MTTR, etsy ankilany, dia momba ny fiasana amin'ny SLOs (Tanjona amin'ny serivisy). Ary automatique ny ankamaroany. Satria, ohatra, ny SLO-ntsika dia ora fiasana 4 sivy isaky ny telovolana. Midika izany fa ao anatin'ny 3 volana dia afaka mamela 13 minitra tsy hitsaharana isika. Ary hita fa tsy afaka mihoatra ny 13 minitra ny MTTR. Raha mamaly ora 13 farafahakeliny ao anatin'ny 1 minitra isika dia midika izany fa efa lany ny tetibola manontolo ho an'ny telovolana. Mandika ny SLO izahay. Ny 13 minitra mba hihetsika sy hamahana ny fianjerana dia betsaka ho an'ny milina, fa tena fohy ho an'ny olombelona. Satria mandra-pahazoan'ny olona fanairana, mandra-pihetsika, mandra-pahazoany ny fahadisoana, dia efa minitra maromaro izany. Mandra-pahatongan'ny olona iray hahatakatra ny fomba hanamboarana azy, inona marina no amboarina, inona no tokony hatao, dia minitra vitsy izao. Ary raha ny marina, na dia mila mamerina ny mpizara fotsiny ianao, araka ny hita, na manangana node vaovao, dia efa eo amin'ny 7-8 minitra eo ho eo ny MTTR. Rehefa mandeha ho azy ny dingana, ny MTTR matetika dia mahatratra iray segondra, indraindray milliseconds. Matetika i Google dia miresaka momba ny milisegondra, fa raha ny marina, mazava ho azy, tsy dia tsara loatra ny zava-drehetra.
Ny tsara indrindra, ny SRE dia tokony hanao automatique ny asany saika tanteraka, satria misy fiantraikany mivantana amin'ny MTTR, ny metrika, ny SLO amin'ny serivisy manontolo, ary, araka izany, ny tombom-barotra. Raha mihoatra ny fotoana dia anontaniana isika raha diso ny SRE. Soa ihany fa tsy misy azo omena tsiny. Ary ity dia kolontsaina miavaka antsoina hoe postmortem balmeless, izay tsy horesahina anio, fa hodinihina ao amin'ny Slurm. Lohahevitra tena mahaliana ity izay azo resahina betsaka. Raha atao amin'ny teny fohy, raha mihoatra ny fe-potoana nomena isaky ny telovolana, dia ny tsirairay no omena tsiny, izany hoe tsy mamokatra ny fanomezan-tsiny ny tsirairay, fa aleo angamba tsy hanome tsiny na iza na iza, fa ahitsio ny zava-misy ary hiasa amin'izay ananantsika. Raha ny traikefako dia somary hafahafa amin'ny ankamaroan'ny ekipa io fomba fiasa io, indrindra any Rosia, saingy misy dikany sy miasa tsara. Noho izany, manoro hevitra aho amin'ny faran'ny lahatsoratra sy ny literatiora izay azonao vakiana momba ity lohahevitra ity. Na tongava ao amin'ny Slurm SRE.
Avelao aho hanazava. Raha mihoatra ny ora SLO isan-telo volana, raha tsy 13 minitra ny fotoana fiatoana, fa 15, iza no azo omena tsiny amin'izany? Mazava ho azy, ny SRE dia mety ho tompon'andraikitra, satria izy dia nanao karazana fanoloran-tena ratsy na fametrahana. Mety ho tompon’andraikitra amin’izany ny mpitantana ny foibem-pamokarana, satria mety ho nanao fikojakojana tsy voalamina izy. Raha ny tompon'andraikitra ao amin'ny ivon-toeram-pamokarana no omena tsiny amin'izany dia ny Ops no tompon'andraikitra amin'izany, izay tsy nanao kajy ny fikojakojana rehefa nandrindra ny SLO. Ny mpitantana, ny talen'ny teknika na ny olona iray izay nanao sonia ny fifanarahana momba ny data center ary tsy niraharaha ny zava-misy fa ny SLA an'ny foibe data dia tsy natao ho an'ny fotoana fitsaharana ilaina no omena tsiny amin'izany. Arak’izany dia omena tsiny avokoa ny rehetra amin’izao toe-javatra izao. Ary midika izany fa tsy misy dikany ny mametraka ny tsiny amin'ny olona amin'izao toe-javatra izao. Mazava ho azy anefa fa mila ahitsy. Izany no mahatonga ny postmortem. Ary raha mamaky ianao, ohatra, ny GitHub postmortems, ary ity dia tantara tena mahaliana, kely ary tsy ampoizina amin'ny tranga tsirairay, azonao atao ny manolo fa tsy misy olona milaza mihitsy fa io olona manokana io no omena tsiny. Apetraka hatrany amin'ny dingana tsy lavorary manokana ny tsiny.
Andeha isika hiroso amin’ny fanontaniana manaraka. Automation. Rehefa miresaka momba ny automatique amin'ny toe-javatra hafa aho, dia matetika aho no miresaka latabatra iray milaza aminao hoe hafiriana no ahafahanao miasa amin'ny automatique asa iray nefa tsy maka fotoana bebe kokoa amin'ny automatique azy noho ny tehirizinao. Misy snag. Ny zava-misy dia rehefa manamboatra asa ny SRE, tsy vitan'ny hoe mitahiry fotoana fotsiny izy ireo, fa mitahiry vola, satria misy fiantraikany mivantana amin'ny MTTR ny automation. Mamonjy, raha lazaina, ny toe-tsain'ny mpiasa sy ny mpamorona, izay loharanon-karena ritra ihany koa. Mampihena ny fanao mahazatra izy ireo. Ary izany rehetra izany dia misy fiantraikany tsara amin'ny asa ary, vokatr'izany, eo amin'ny orinasa, na dia toa tsy misy dikany aza ny automatique amin'ny vidin'ny fotoana.
Raha ny marina, saika misy foana izany, ary vitsy dia vitsy ny tranga tsy tokony ho automatique amin'ny andraikitry ny SRE. Avy eo isika dia hiresaka momba ny antsoina hoe teti-bola diso, ny teti-bola ho an'ny fahadisoana. Raha ny marina dia hita fa raha tsara kokoa aminao ny zava-drehetra noho ny SLO napetrakao ho anao dia tsy dia tsara loatra izany. Somary ratsy izany, satria ny SLO dia tsy miasa amin'ny maha-ambany azy fotsiny, fa amin'ny lafiny ambony eo ho eo ihany koa. Rehefa mametraka ny tenanao ho SLO amin'ny 99% fahafahana ianao, ary raha ny marina dia manana 99,99% ianao, dia hita fa manana toerana hanaovana fanandramana izay tsy hanimba ny orinasa mihitsy ianao, satria ianao no nanapa-kevitra izany rehetra izany, ary ianao ity toerana ity dia tsy ampiasaina. Manana teti-bola ho an'ny fahadisoana ianao, izay tsy lany amin'ny raharahanao.
Inona no ataontsika amin'izany. Ampiasainay ara-bakiteny ny zava-drehetra. Ho an'ny fitsapana amin'ny fepetra famokarana, amin'ny famoahana ireo endri-javatra vaovao mety hisy fiantraikany amin'ny fahombiazany, ho an'ny famoahana, ho an'ny fikojakojana, ho an'ny fotoana fiatoana voaomana. Mihatra koa ny fitsipika mifamadika: raha lany ny tetibola dia tsy afaka mamoaka zava-baovao izahay, satria raha tsy izany dia hihoatra ny SLO izahay. Efa lany ny teti-bola, namoaka zavatra izahay raha misy fiantraikany ratsy amin'ny zava-bita, izany hoe, raha tsy karazana fanamboarana izay mampitombo mivantana ny SLO izany, dia mihoatra ny teti-bola isika, ary toe-javatra ratsy izany , mila famakafakana, postmortem, ary mety ho fanamboarana dingana sasany.
Izany hoe, hita fa raha tsy mandeha tsara ny serivisy, ary lany ny SLO ary tsy lany amin'ny fanandramana ny teti-bola, fa tsy amin'ny famoahana sasany, fa amin'ny tenany ihany, fa tsy misy fanamboarana mahaliana, fa tsy endri-javatra mahaliana, fa tsy famoahana mahaliana. Raha tokony ho asa famoronana, dia tsy maintsy miatrika fanamboarana adala ianao mba hamerenana ny teti-bola, na hanitsy ny SLO, ary dingana tsy tokony hitranga matetika loatra izany.
Noho izany, hita fa ao anatin'ny toe-javatra misy antsika manana teti-bola bebe kokoa ho an'ny fahadisoana, dia liana ny rehetra: na SRE na developer. Ho an'ny mpamorona, ny teti-bola lehibe ho an'ny bibikely dia midika fa afaka miatrika famoahana, fitsapana, fanandramana ianao. Ho an'ny SRE, ny tetibola ho an'ny fahadisoana sy ny fampidirana izany teti-bola izany dia midika fa manao ny asany mivantana izy ireo. Ary izany dia misy fiantraikany amin'ny antony manosika ny karazana asa iombonana. Raha mihaino ny SREs ianao amin'ny maha-mpamolavola anao, dia hanana toerana bebe kokoa hanaovana asa tsara ianao ary tsy dia mahazatra loatra.
Hita fa ny andrana amin'ny famokarana dia tena zava-dehibe ary saika tafiditra ao anatin'ny SRE amin'ny ekipa lehibe. Ary matetika antsoina hoe chaos engineering izany, izay avy amin'ny ekipa ao amin'ny Netflix izay namoaka fitaovana antsoina hoe Chaos Monkey.
Chaos Monkey dia mifandray amin'ny fantsona CI/CD ary mamely kisendrasendra ny mpizara amin'ny famokarana. Averina indray, ao amin'ny rafitry ny SRE, miresaka momba ny zava-misy fa ny mpizara nidina dia tsy ratsy amin'ny tenany, andrasana. Ary raha ao anatin'ny tetibola izany dia azo ekena ary tsy manimba ny orinasa. Mazava ho azy fa manana mpizara tsy ampy ny Netflix, replication ampy, mba ho azo amboarina izany rehetra izany, ary mba tsy ho tsikaritry ny mpampiasa amin'ny ankapobeny, ary mainka fa tsy misy mamela mpizara iray ho an'ny tetibola.
Netflix dia nanana andiana fitaovana toy izany nandritra ny fotoana kelikely, ny iray amin'izy ireo, Chaos Gorilla, dia nanakatona tanteraka ny iray amin'ireo Faritra Availability Amazon. Ary ny zavatra toy izany dia manampy amin'ny fampiharihariana, voalohany, ny fiankinan-doha miafina, rehefa tsy mazava tsara hoe inona no fiantraikany, inona no miankina amin'ny inona. Ary ity, raha miasa amin'ny microservice ianao, ary tsy tonga lafatra ny antontan-taratasy, dia mety ho fantatrao izany. Ary indray, manampy betsaka amin'ny fisamborana lesoka ao amin'ny code izay tsy azonao tratrarina amin'ny staging izany, satria ny staging rehetra dia tsy tena simulation marina, noho ny zava-misy fa ny enta-mavesatra dia tsy mitovy, ny enta-mavesatra dia tsy mitovy, ny fitaovana dia koa, azo inoana, hafa. Mety ho tsy ampoizina sy tsy ampoizina koa ny enta-mavesatra ambony indrindra. Ary ny fitsapana toy izany, izay tsy mihoatra ny teti-bola indray, dia manampy tsara amin'ny fisamborana ny lesoka amin'ny fotodrafitrasa izay tsy ho tratra mihitsy ny filalaovana, autotest, CI / CD pipeline. Ary raha mbola tafiditra ao anatin'ny teti-bolanao izany rehetra izany dia tsy maninona fa nidina tany ny serivisynao, na dia toa mampatahotra be aza, dia nidina ny server, nofy ratsy. Tsia, ara-dalàna izany, tsara izany, manampy amin'ny fisamborana bibikely. Raha manana teti-bola ianao dia afaka mandany izany.
F: Inona no literatiora azoko aroso? Lisitra amin'ny farany. Betsaka ny literatiora, hanoro tatitra vitsivitsy aho. Ahoana ny fiasan'izy io, ary ny SRE miasa amin'ny orinasa tsy misy vokatra rindrambaiko manokana na tsy misy fivoarana kely. Ohatra, amin'ny orinasa iray izay tsy rindrambaiko no tena asa. Ao amin'ny orinasa iray, izay tsy rindrankajy ny asa lehibe indrindra, ny SRE dia miasa mitovy amin'ny any an-kafa, satria amin'ny orinasa iray dia mila mampiasa ihany koa ianao, na dia tsy mandroso aza, vokatra rindrambaiko, mila mamoaka fanavaozana ianao, mila miova. ny fotodrafitrasa, mila mitombo, mila mizana. Ary ny SRE dia manampy hamantatra sy haminavina ny olana mety hitranga amin'ireo dingana ireo ary hifehy azy ireo rehefa manomboka ny fitomboana ary miova ny filan'ny orinasa. Satria tsy ilaina mihitsy ny mandray anjara amin'ny fampivoarana rindrambaiko mba hahazoana SRE raha manana mpizara vitsivitsy farafahakeliny ianao ary antenaina fa hanana fitomboana farafaharatsiny.
Toy izany koa ny tetikasa madinika, fikambanana madinika, satria ny orinasa lehibe dia manana teti-bola sy toerana hanaovana fanandramana. Saingy amin'izany fotoana izany, ireo vokatra andrana rehetra ireo dia azo ampiasaina na aiza na aiza, izany hoe SRE, mazava ho azy, niseho tao amin'ny Google, tao amin'ny Netflix, tao amin'ny Dropbox. Saingy amin'ny fotoana iray ihany, ny orinasa madinika sy ny fanombohana dia efa afaka mamaky fitaovana voapoizina, mamaky boky, mijery tatitra. Manomboka mandre momba izany matetika izy ireo, mijery ohatra manokana, heveriko fa tsy maninona, mety tena ilaina izany, mila izany koa isika, mahafinaritra izany.
Izany hoe, efa vita ho anao ny asa lehibe rehetra amin'ny fanamafisana ireo dingana ireo. Mijanona ho anao ny mamaritra ny andraikitry ny SRE manokana ao amin'ny orinasanao ary manomboka mampihatra ireo fomba rehetra ireo, izay efa nofaritana indray. Izany hoe, avy amin'ny fitsipika mahasoa ho an'ny orinasa madinika, izany foana no famaritana ny SLA, SLI, SLO. Raha tsy tafiditra amin'ny rindrambaiko ianao, dia ireo SLA anatiny sy SLO anatiny, tetibola anatiny ho an'ny fahadisoana. Saika mitarika fifanakalozan-kevitra mahaliana ao anatin'ny ekipa sy ao anatin'ny orinasa izany, satria mety ho lany amin'ny fotodrafitrasa ianao, amin'ny karazana fandaminana ny dingana mety indrindra, ny fantsona tsara indrindra dia mihoatra noho ny ilaina. Ary ireo sivy 4 izay anananao ao amin'ny departemantan'ny IT dia tsy tena ilainao izao. Saingy amin'ny fotoana iray ihany, afaka mandany fotoana ianao, mandany ny teti-bola ho an'ny fahadisoana amin'ny zavatra hafa.
Noho izany, ny fanaraha-maso sy ny fandaminana ny fanaraha-maso dia ilaina ho an'ny orinasa na inona na inona habeny. Ary amin'ny ankapobeny, io fomba fisainana io, izay misy lesoka dia zavatra azo ekena, izay misy ny teti-bola, izay misy Tanjona, dia ilaina indray ho an'ny orinasa misy habe, manomboka amin'ny fanombohana ho an'ny olona 3.
Ny fanaraha-maso no farany amin'ireo nuance ara-teknika resahina. Satria raha miresaka momba ny SLA, SLI, SLO isika, dia tsy ho azontsika raha tsy manara-maso raha mifanaraka amin'ny teti-bola, na manaraka ny Tanjona, ary ny fiantraikan'ny SLA farany. Imbetsaka aho no nahita fa ny fanaraha-maso dia mitranga toy izao: misy sandany, ohatra, ny fotoana fangatahana amin'ny mpizara, ny fotoana antonony, na ny isan'ny fangatahana amin'ny tahiry. Manana fenitra nofaritan'ny injeniera izy. Raha miala amin'ny mahazatra ny metrika dia misy mailaka tonga. Izany rehetra izany dia tsy misy ilàna azy, toy ny fitsipika, satria mitarika ho amin'ny fihoaram-pefy toy izany, ny fihoaran'ny hafatra avy amin'ny fanaraha-maso, rehefa ny olona iray, voalohany, dia tsy maintsy mandika azy ireo isaky ny mandeha, izany hoe, hamaritana raha ny lanjan'ny metrika dia midika. ilana hetsika sasany. Ary faharoa, atsahany fotsiny ny manamarika ireo fanairana rehetra ireo, rehefa tsy misy fepetra takiana aminy. Fitsipika fanaraha-maso tsara izany ary ny fitsipika voalohany indrindra rehefa ampiharina ny SRE dia ny fampandrenesana dia tokony ho tonga rehefa ilaina ny hetsika.
Amin'ny tranga mahazatra, misy ambaratonga 3 ny hetsika. Misy fampandrenesana, misy tapakila, misy logs. Ny fanairana dia izay rehetra mitaky anao handray fepetra haingana. Izany hoe simba ny zava-drehetra, mila amboarina dieny izao. Ny tapakila no mitaky hetsika tara. Eny, mila manao zavatra ianao, mila manao zavatra amin'ny tanana ianao, tsy nahomby ny automation, saingy tsy mila manao izany ianao mandritra ny minitra vitsivitsy. Ny logs dia zavatra tsy mitaky hetsika, ary amin'ny ankapobeny, raha mandeha tsara ny zava-drehetra, dia tsy hisy hamaky azy ireo mihitsy. Mila mamaky ny logs ihany ianao rehefa, rehefa dinihina tokoa, dia hita fa nisy zavatra tapaka nandritra ny fotoana kelikely, tsy fantatray momba izany. Sa mila manao fikarohana ianao. Saingy amin'ny ankapobeny, ny zavatra rehetra izay tsy mitaky hetsika dia mandeha any amin'ny logs.
Ho vokatr'izany rehetra izany, raha nofaritantsika hoe inona ny hetsika mitaky hetsika ary nofaritantsika tsara ny tokony hatao amin'ireo hetsika ireo, midika izany fa azo mandeha ho azy ny hetsika. Izany hoe inona no mitranga. Miala amin'ny fiambenana isika. Andeha isika hanao hetsika. Mandeha amin'ny famaritana ity hetsika ity isika. Ary avy eo dia miroso amin'ny automation isika. Izany hoe, ny automatique rehetra dia manomboka amin'ny fanehoan-kevitra amin'ny hetsika iray.
Avy amin'ny fanaraha-maso dia mifindra mankany amin'ny teny antsoina hoe Observability. Nisy ihany koa ny resabe momba io teny io nandritra ny taona vitsivitsy. Ary vitsy ny olona no mahatakatra ny dikan'izany ivelan'ny contexte. Fa ny tena zava-dehibe dia ny Observability dia metrika ho an'ny fangaraharan'ny rafitra. Raha nisy zavatra tsy nety, hafiriana no hamaritana hoe inona marina no tsy nety sy ny toetry ny rafitra tamin'izany fotoana izany. Raha resaka code: inona no asa tsy nahomby, inona no serivisy tsy nahomby. Nanao ahoana ny toetry ny, ohatra, ny variables anatiny, ny configuration. Eo amin'ny fotodrafitrasa, ao amin'ny faritra misy ny tsy fahombiazana no nitranga, ary raha manana Kubernetes ianao, dia tao amin'ny pod inona no nitranga ny tsy fahombiazana, ahoana ny toetry ny pod. Ary araka izany, manana fifandraisana mivantana amin'ny MTTR ny Observability. Arakaraky ny avoakan'ny Observability ny serivisy, ny mora kokoa ny mamantatra ny fahadisoana, ny mora kokoa ny manamboatra ny lesoka, ny mora kokoa ny manao automatique ny fahadisoana, ny ambany ny MTTR.
Mifindra any amin'ny orinasa madinika indray, dia tena mahazatra ny manontany, na dia amin'izao fotoana izao aza, ny fomba hiatrehana ny haben'ny ekipa, ary raha misy ekipa kely mila manakarama SRE manokana. Efa niresaka momba izany aloha kely. Amin'ny dingana voalohany amin'ny fampandrosoana ny fanombohana na, ohatra, ny ekipa, dia tsy ilaina izany, satria ny SRE dia azo atao ho an'ny tetezamita. Ary hamelona kely ny ekipa izany, satria farafaharatsiny misy fahasamihafana. Ary ankoatra izany dia hanomana ny olona amin'ny zava-misy fa miaraka amin'ny fitomboana, amin'ny ankapobeny, ny andraikitry ny SRE dia hiova be. Raha manakarama olona ianao, dia mazava ho azy fa manana zavatra antenaina izy. Ary ireo andrasana ireo dia tsy hiova rehefa mandeha ny fotoana, fa ny zavatra takiana dia hiova be. Noho izany, ny fomba manakarama SRE dia tena sarotra amin'ny dingana voalohany. Mora kokoa ny mampitombo ny tenanao. Mila eritreretina anefa izany.
Ny hany tokana, angamba, dia rehefa misy fepetra fitomboana henjana sy voafaritra tsara. Izany hoe, raha ny fanombohana dia mety ho karazana fanerena avy amin'ny mpampiasa vola izany, karazana vinavina ho an'ny fitomboana imbetsaka indray mandeha. Dia ara-drariny ny manakarama SRE satria azo hamarinina. Manana fepetra takiana amin'ny fitomboana isika, mila olona iray izay ho tompon'andraikitra amin'ny zava-misy fa amin'ny fitomboana toy izany dia tsy hisy na inona na inona ho tapaka.
Fanontaniana iray hafa. Inona no tokony hatao rehefa imbetsaka ny developer nanapaka endri-javatra izay mandalo ny fitsapana, fa manapaka ny famokarana, mameno ny fototra, manapaka endri-javatra hafa, inona no dingana ho fampiharana. Noho izany, amin'ity tranga ity, ny teti-bola ho an'ny lesoka no apetraka. Ary ny sasany amin'ireo serivisy, ny sasany amin'ireo endri-javatra dia efa voasedra amin'ny famokarana. Mety ho canary izany, raha vitsy ny mpampiasa, fa efa ao amin'ny famokarana, misy endri-javatra napetraka, fa efa miaraka amin'ny fanantenana fa raha misy zavatra tapaka, ohatra, ny antsasaky ny isan-jaton'ny mpampiasa rehetra, dia mbola hihaona amin'ny tetibola ho an'ny fahadisoana. Noho izany, eny, hisy ny hadisoana, ho an'ny mpampiasa sasany dia ho tapaka ny zava-drehetra, saingy efa nilaza izahay fa ara-dalàna izany.
Nisy fanontaniana momba ny fitaovana SRE. Izany hoe, misy zavatra manokana hampiasain'ny SRE ka tsy ho azon'ny olon-drehetra. Raha ny marina, misy fitaovana manokana manokana, misy karazana rindrambaiko izay, ohatra, manao simulate entana na manao fitiliana canary A / B. Saingy amin'ny ankapobeny dia ny kitapo SRE no efa ampiasain'ny mpamorona anao. Satria mifandray mivantana amin'ny ekipa fampandrosoana ny SRE. Ary raha manana fitaovana samihafa ianao dia ho hita fa mila fotoana ny fampifanarahana. Indrindra raha miasa amin'ny ekipa lehibe ny SRE, amin'ny orinasa lehibe izay mety hisy ekipa maromaro, dia ny manara-penitra manerana ny orinasa no hanampy betsaka eto, satria raha 50 ny fitaovana samihafa ampiasaina amin'ny ekipa 50 dia midika izany fa tsy maintsy mahafantatra azy ireo ny SRE. rehetra. Ary mazava ho azy fa tsy hitranga mihitsy izany. Ary ny kalitaon'ny asa, ny kalitaon'ny fanaraha-maso farafaharatsiny ny sasany amin'ireo ekipa dia hihena be.
Hifarana ny webinar-tsika. Nahavita nilaza zavatra fototra vitsivitsy aho. Mazava ho azy fa tsy misy na inona na inona momba ny SRE azo lazaina sy azo ao anatin'ny adiny iray. Saingy manantena aho fa nahavita nampita izany fomba fisainana izany, ireo hevi-dehibe fototra. Ary avy eo dia ho azo atao, raha liana, ny handalina ny lohahevitra, mianatra samirery, jereo ny fomba ampiharan'ny olon-kafa, amin'ny orinasa hafa. Ary araka izany, amin'ny fiandohan'ny volana febroary, tongava aty aminay ao amin'ny Slurm SRE.
Ny Slurm SRE dia fampianarana mafonja telo andro izay hiresaka momba izay lazaiko ankehitriny, saingy miaraka amin'ny lalindalina kokoa, miaraka amin'ny tranga tena izy, miaraka amin'ny fampiharana, ny intensive manontolo dia mikendry ny asa azo ampiharina. Hozaraina ho ekipa ny olona. Hiasa amin'ny tranga tena izy ianareo rehetra. Noho izany, manana mpampianatra ao amin'ny Booking.com Ivan Kruglov sy Ben Tyler. Manana Eugene Barabas mahafinaritra avy amin'ny Google izahay, avy any San Francisco. Ary hilaza zavatra aminao koa aho. Koa aza adino ny mitsidika anay.
Noho izany, ny bibliographie. Misy references amin'ny SRE. amin'ny boky iray ihany, na amin'ny boky 2 momba ny SRE, nosoratan'i Google. Iray hafa , izay misy ny fepetra sy ny fampiharana azy amin'ny antsipiriany kokoa. Ny 3 manaraka dia tatitra momba ny SRE amin'ny orinasa samihafa. Voalohany - , ity dia fanamarihana fototra avy amin'i Ben Trainer an'ny Google. Faharoa - . Ny fahatelo indray . Tatitra fahefatra avy amin'ny , izay manana mpiasa 5 lehibe SRE any amin'ny firenena 190. Tena mahaliana ny mijery izany rehetra izany, satria tahaka ny dikan'ny DevOps ho an'ny orinasa samihafa sy ny ekipa samihafa, ny SRE dia manana andraikitra tena samihafa, na dia amin'ny orinasa mitovy habe aza.
Rohy 2 hafa momba ny fitsipiky ny chaos engineering: , . Ary amin'ny farany dia misy lisitra 3 avy amin'ny andian-dahatsoratra Awesome Lists momba , momba ny ary momba . Ny lisitra ao amin'ny SRE dia tena goavana, tsy ilaina ny mandalo izany rehetra izany, misy lahatsoratra 200 eo ho eo. Tena manoro hevitra ny lahatsoratra avy any aho momba ny fandrindrana ny fahaiza-manao sy ny momba ny postmortem tsy misy tsiny.
Lahatsoratra mahaliana:
Misaotra anareo nihaino ahy nandritra izany fotoana izany. Manantena fa nianatra zavatra ianao. Manantena aho fa manana fitaovana ampy hianarana bebe kokoa. Ary mahita anao. Antenaina amin'ny Febroary.
Eduard Medvedev no nampiantrano ny webinar.
PS: ho an'izay tia mamaky teny dia nanome lisitry ny references i Eduard. Ireo izay maniry ny hahatakatra amin'ny fampiharana dia raisina an-tanana .
Source: www.habr.com