Einnseanair SRE - neach-trèanaidh
An toiseach, leig dhomh mi fhìn a thoirt a-steach. mi - , innleadair aghaidh aghaidh sa bhuidheann GitLab. An t-seachdain sa chaidh bha e na urram dhomh a bhith ag obair còmhla ri fear de na h-innleadairean SRE air-ghairm againn. B’ e an t-amas a bhith a’ faicinn mar a dhèilig an t-oifigear air dleasdanas tachartasan bho latha gu latha agus a’ faighinn eòlas fìor air an obair. Bu mhath leinn gum biodh na h-innleadairean againn a’ tuigsinn feumalachdan luchd-cleachdaidh nas fheàrr Monitor::Slàinte.
B’ fheudar dhomh an innleadair SRE a leantainn anns a h-uile àite airson seachdain. Is e sin, bha mi an làthair aig an gluasad-thairis, a’ cumail sùil air na h-aon shianalan rabhaidh agus a’ freagairt tachartasan ma thachair agus nuair a thachair iad.
Tachartasan
Bha 2 thachartas ann taobh a-staigh seachdain.
1. Cryptominer
Chunnaic GitLab.com leum ann an cleachdadh Diciadain 'a, air adhbhrachadh le oidhirpean a bhith a' cleachdadh na geàrr-chunntas air an ruitheadair a mèinneadh cryptocurrency. Chaidh dèiligeadh ris an tachartas le bhith a’ cleachdadh ar n-inneal neodachaidh brisidh fhèin, a chuireas stad air gnìomhan an ruitheadair agus a sguabas às a’ phròiseact agus an cunntas a tha co-cheangailte ris.
Mura biodh an tachartas seo air mothachadh, bhiodh inneal fèin-ghluasadach air a ghlacadh, ach sa chùis seo, mhothaich an innleadair SRE am briseadh an-toiseach. Chaidh gnìomh tachartais a chruthachadh, ach tha fiosrachadh mu dheidhinn dùinte.
2. Coileanadh ìsleachadh Canary agus Prìomh iarrtasan
Chaidh an tachartas adhbhrachadh le slaodachadh agus barrachd mhearachdan anns na canary agus prìomh thagraidhean lìn air Gitlab.com. Chaidh grunn luachan Apdex a bhriseadh.
Gnìomh tachartas fosgailte:
Prìomh Thoraidhean
Seo beagan rudan a dh’ ionnsaich mi tron t-seachdain agam air dleasdanas.
1. Tha rabhaidhean nas fheumail nuair a lorgar claonaidhean bhon àbhaist.
Faodar rabhaidhean a roinn ann an grunn sheòrsaichean:
- Rabhaidhean stèidhichte air luach stairsneach sònraichte, leithid “Thachair mearachdan 10 5xx gach diog.”
- Rabhaidhean anns a bheil an stairsneach mar luach sa cheud leithid “tricead mhearachdan 5xx gach 10% den àireamh iomlan de dh’ iarrtasan aig àm sònraichte.”
- Rabhaidhean stèidhichte air cuibheasachd eachdraidheil leithid "mearachdan 5xx aig 90mh ceudad".
San fharsaingeachd, tha seòrsaichean 2 agus 3 nas fheumail airson SREn air dleasdanas, leis gu bheil iad a’ nochdadh claonaidhean bhon àbhaist sa phròiseas.
2. Chan eil mòran rabhaidhean a' dol suas gu tachartasan.
Bidh innleadairean SR a’ dèiligeadh ri sruth cunbhalach de rabhaidhean, agus mòran dhiubh nach eil fìor èiginneach.
Mar sin carson nach cuir thu casg air na rabhaidhean agad gu dìreach an fheadhainn a tha fìor chudromach? Leis an dòigh-obrach seo, ge-tà, is dòcha nach aithnich thu na comharran tràth de na bhios ball-sneachda na fhìor dhuilgheadas a tha a’ bagairt milleadh mòr.
Is e obair an SRE air-ghairm faighinn a-mach dè na rabhaidhean a tha dha-rìribh a’ nochdadh rudeigin dona, agus am feum iad àrdachadh agus dèiligeadh riutha. Tha amharas agam gu bheil seo cuideachd mar thoradh air neo-sùbailteachd rabhaidhean: bhiodh e na b’ fheàrr nam biodh grunn ìrean no dòighean “smart” ann airson rabhaidhean a rèiteachadh a rèir an t-suidheachaidh a chaidh a mhìneachadh gu h-àrd.
Moladh feart:
3. Bidh na SREn againn air dleasdanas a 'cleachdadh tòrr innealan.
Taobh a-staigh:
- Pròiseact infra GitLab: leabhraichean ruith beò an seo, sònrachaidhean gluasad / seachdain, gnìomhan freagairt tachartais.
- Cùisean GitLab: Thathas cuideachd a’ cumail sùil air sgrùdaidhean, lèirmheasan, agus cumail suas ann an cùisean.
- Bileagan GitLab: Thèid gnìomhan fèin-ghluasaid a chuir air bhog a’ cleachdadh bileagan sònraichte, a bhios botaichean a’ cleachdadh gus sùil a chumail air gnìomhachd gnìomh.
Taobh a-muigh:
- PagerDuty: Rabhaidhean
- Slack: Tha sruthadh teachdaireachd PagerDuty/AlertManager a’ dol an seo. Amalachadh le òrdughan slash gus grunn ghnìomhan a choileanadh, leithid dùnadh rabhadh no àrdachadh gu tachartas.
- Grafana: sealladh air meatrach le fòcas air gluasadan fad-ùine.
- Kibana: A’ toirt seachad sealladh / sgrùdadh log, comas cladhach nas doimhne a-steach do thachartasan sònraichte.
- Zoom: Tha “seòmar brisidh” ann an Zoom an-còmhnaidh a’ ruith. Leigidh seo le innleadairean SRE bruidhinn gu sgiobalta air tachartasan gun a bhith a’ caitheamh ùine luachmhor a’ cruthachadh seòmar agus a’ ceangal chom-pàirtichean.
Agus mòran eile.
4. Tha sgrùdadh GitLab.com le GitLab na aon phuing fàiligeadh
Ma dh’ fhuiling GitLab.com briseadh seirbheis mòr, chan eil sinn airson gun toir e buaidh air ar comas air a’ chùis fhuasgladh. Faodar stad a chuir air le bhith a’ cur dàrna eisimpleir GitLab air bhog gus GitLab.com a riaghladh. Gu dearbh, tha seo mar-thà ag obair dhuinne: .
5. Beagan fheartan airson beachdachadh air cur ri GitLab
- , coltach ri Google Docs. Chuidicheadh seo le gnìomhan air tachartasan aig tachartas, a bharrachd air gnìomhan air mion-fhiosrachadh. Anns gach suidheachadh, is dòcha gum feum grunn chom-pàirtichean rudeigin a chuir ris ann an àm fìor.
- Barrachd dhuilleagan lìn airson gnìomhan. Cuidichidh an comas diofar cheumannan sruth-obrach GitLab a ruith bhon taobh a-staigh le bhith a’ lughdachadh d’ earbsa air aonachadh Slack. Mar eisimpleir, an comas rabhadh a cheadachadh ann an PagerDuty tro òrdugh slash ann an cùis GitLab.
co-dhùnadh
Tha ùine chruaidh aig innleadairean SRE le tòrr iom-fhillteachd. Bhiodh e math barrachd thoraidhean GitLab fhaicinn a’ dèiligeadh ris na cùisean sin. Tha sinn mu thràth ag obair air cuid de chuir ris an toradh a nì na sruthan-obrach a chaidh ainmeachadh gu h-àrd nas fhasa. Mion-fhiosrachadh ri fhaighinn aig .
Tha sinn a’ leudachadh an sgioba ann an 2020 gus na feartan mòra sin uile a thoirt còmhla. Ma tha ùidh agad, feuch an toir thu sùil , agus faodaidh tu fios a chuir gu neach sam bith san sgioba againn le ceistean sam bith.
Source: www.habr.com