Moenjiniere oa SRE - mokoetlisi
Pele, e re ke itsebise. ke - , moenjiniere oa pele sehlopheng GitLab. Bekeng e fetileng ke bile le tlotla ea ho sebetsa le e mong oa baenjiniere ba rona ba SRE ba neng ba letsetsoa. Sepheo e ne e le ho bona hore na ofisiri ea mosebetsing e arabela joang liketsahalong tsa letsatsi le letsatsi le ho fumana phihlelo ea sebele mosebetsing. Re lakatsa hore lienjiniere tsa rona li utloisise hantle litlhoko tsa basebelisi Mohlokomeli:: Bophelo bo botle.
Ke ile ka tlameha ho latela moenjiniere oa SRE kae kapa kae bakeng sa beke. Ke hore, ke ne ke le teng ha ho nehelanoa ka thepa, ke ile ka shebella likanale tse tšoanang tsa tlhokomeliso le ho arabela liketsahalong haeba li etsahetse.
Diketsahalo
Ho bile le liketsahalo tse 2 nakong ea beke.
1. Crypto morafo
GitLab.com e bone ho tlola ts'ebeliso ka Laboraro 'a, e bakoang ke boiteko ba ho sebelisa metsotso ea semathi ho rafa cryptocurrency. Ketsahalo ena e ile ea sebetsanoa ka ho sebelisa sesebelisoa sa rona sa tlolo ea molao, se emisang mesebetsi ea semathi le ho hlakola morero le ak'haonte e amanang le eona.
Haeba ketsahalo ena e ne e sa hlokomeloe, sesebelisoa se ikemetseng se ka be se se tšoere, empa tabeng ena, moenjiniere oa SRE o ile a hlokomela tlōlo ea molao pele. Ho entsoe mosebetsi oa ketsahalo, empa tlhahisoleseling ho eona e koetsoe.
2. Ho senyeha ha ts'ebetso ea likopo tsa Canary le Main
Ketsahalo ena e bakiloe ke ho fokotseha le ho eketseha ha liphoso ho canary le lits'ebetso tsa mantlha tsa webo ho Gitlab.com. Litekanyetso tse 'maloa tsa Apdex li ile tsa hatakeloa.
Mosebetsi o bulehileng oa ketsahalo:
Liphumano tsa Bohlokoa
Mona ke lintho tse 'maloa tseo ke ithutileng tsona bekeng ea ka mosebetsing.
1. Litlhokomeliso li molemo haholo ha u lemoha ho kheloha ho tloha ho se tloaelehileng.
Litlhokomeliso li ka aroloa ka mefuta e mengata:
- Litlhokomeliso tse ipapisitseng le boleng bo itseng, joalo ka "liphoso tse 10 5xx li etsahetse motsotsoana."
- Litlhokomeliso moo moeli e leng palo ea liperesente tse kang "khafetsa ea liphoso tse 5xx ho 10% ea kakaretso ea likopo ka nako e itseng."
- Litlhokomeliso tse ipapisitseng le nalane ea nalane joalo ka "liphoso tse 5xx ho 90th percentile".
Ka kakaretso, mefuta ea 2 le ea 3 e bohlokoa haholo bakeng sa li-SRE tse mosebetsing, kaha li senola ho kheloha ho tsoa ho se tloaelehileng ts'ebetsong.
2. Litlhokomeliso tse ngata ha li fetele liketsahalong.
Baenjineri ba SR ba sebetsana le litemoso tse sa feleng, tseo bongata ba tsona e seng tsa bohlokoa haholo.
Joale ke hobane’ng ha u sa behe litlhokomeliso tsa hao feela ho tse bohlokoa haholo? Leha ho le joalo, ka mokhoa ona, u ka 'na ua se ke ua hlokomela matšoao a pele a hore na snowball e tla ba bothata ba sebele bo sokelang tšenyo e khōlō.
Mosebetsi oa ho letsetsa SRE ke ho tseba hore na ke litemoso life tse hlileng li bontšang ho hong ho tebileng, le hore na li hloka ho phahamisoa le ho sebetsanoa le tsona. Ke belaela hore sena se boetse se bakoa ke ho se feto-fetohe ha litlhokomeliso: ho ka ba molemo haeba ho ne ho e-na le maemo a 'maloa kapa litsela tse "bohlale" tsa ho lokisa litlhokomeliso ho latela boemo bo hlalositsoeng ka holimo.
Tlhahiso ea likarolo:
3. Li-SRE tsa rona tse mosebetsing li sebelisa lisebelisoa tse ngata.
Ka hare:
- Morero oa GitLab infra: li-runbook li lula mona, likabelo tsa ho fetoha / beke, mesebetsi ea karabelo ea liketsahalo.
- Litaba tsa GitLab: Lipatlisiso, litlhahlobo le tlhokomelo le tsona li lateloa litabeng.
- Li-label tsa GitLab: Mesebetsi ea othomathike e qalisoa ho sebelisoa mangolo a ikhethileng, ao bots e a sebelisang ho lekola tšebetso ea mosebetsi.
Ka ntle:
- PagerDuty: Litlhokomeliso
- Slack: Phallo ea molaetsa oa PagerDuty/AlertManager e ea mona. Ho kopanya le litaelo tsa slash ho etsa mesebetsi e fapaneng, joalo ka ho koala tlhokomeliso kapa ho fetela ketsahalong.
- Grafana: pono ea metrics e tsepamisitseng maikutlo litloaelong tsa nako e telele.
- Kibana: E fana ka lipatlisiso tsa pono / log, bokhoni ba ho cheka ho teba liketsahalong tse itseng.
- Zoom: Ho na le "kamore ea ho phomola" e lulang e sebetsa ho Zoom. Sena se lumella baenjiniere ba SRE ho buisana ka potlako liketsahalong ntle le ho senya nako ea bohlokoa ho theha kamore le ho hokahanya barupeluoa.
Le tse ling tse ngata.
4. Ho beha leihlo GitLab.com ka GitLab ke ntlha e le 'ngoe ea ho hloleha
Haeba GitLab.com e na le khaello e kholo ea litšebeletso, ha re batle hore e ame bokhoni ba rona ba ho rarolla bothata. E ka emisoa ka ho qala mohlala oa bobeli oa GitLab ho tsamaisa GitLab.com. Ha e le hantle, sena se se se ntse se sebetsa ho rona: .
5. Likarolo tse 'maloa tseo u ka nahanang ho li kenyelletsa ho GitLab
- , e tšoanang le Google Docs. Sena se ka thusa ka mesebetsi ea liketsahalo nakong ea ketsahalo, hammoho le mesebetsi ea ho fana ka maikutlo. Maemong ana ka bobeli, barupeluoa ba 'maloa ba ka hloka ho eketsa ho hong ka nako ea nnete.
- Li-webhooks tse ling bakeng sa mesebetsi. Bokhoni ba ho tsamaisa mehato e fapaneng ea phallo ea mosebetsi ea GitLab ho tsoa kahare ho tla thusa ho fokotsa ts'epo ea hau ho likhokahanyo tsa Slack. Mohlala, bokhoni ba ho lumella tlhokomeliso ho PagerDuty ka taelo ea slash taba ea GitLab.
fihlela qeto e
Baenjineri ba SRE ba thatafalloa ke lintho tse ngata tse rarahaneng. Ho ka ba monate ho bona lihlahisoa tse ling tsa GitLab li sebetsana le litaba tsena. Re se re ntse re sebetsa ka litlatsetso tse ling ho sehlahisoa se tla etsa hore mosebetsi o boletsoeng ka holimo o be bonolo. Lintlha li fumaneha ho .
Re ntse re holisa sehlopha ka 2020 ho kopanya likarolo tsena tsohle tse ntle. Haeba u thahasella, ka kopo, sheba , 'me u ikutloe u lokolohile ho ikopanya le mang kapa mang sehlopheng sa rona ka lipotso leha e le life.
Source: www.habr.com