SRE inisinia - a'oa'o
Muamua, sei ou faailoa atu au lava. a'u- , inisinia pito i luma i le vaega GitLab. O le vaiaso na tea nei sa ou maua ai le avanoa e galue ai i se tasi o matou inisinia SRE. O le faʻamoemoe o le mataʻituina pe faʻafefea ona tali atu le tagata ofisa tiute i faʻalavelave i aso taʻitasi ma maua ai le poto masani i le olaga i luga o le galuega. Matou te mananaʻo ia malamalama atili a matou inisinia i manaʻoga o tagata faʻaoga Mataitu:: Soifua Maloloina.
Sa tatau ona ou mulimuli i le inisinia SRE i soo se mea mo le vaiaso. O lona uiga, sa ou i ai i le tuʻuina atu, mataʻituina ia lava ala mataala ma tali atu i faʻalavelave pe a ma pe a tupu.
Fa'alavelave
E 2 mea na tutupu i totonu o le vaiaso.
1. Cryptominer
GitLab.com na vaʻaia se oso i le faʻaaogaina i le Aso Lulu 'a, e mafua mai i taumafaiga e fa'aoga minute a le tagata tamo'e e maina cryptocurrency. O le faʻalavelave na faʻatautaia i le faʻaaogaina o la matou lava soliga faʻaleaogaina meafaigaluega, lea e taofia ai galuega a le tagata tamoʻe ma tape le poloketi ma le tala e fesoʻotaʻi ma ia.
Afai e leʻi matauina lenei mea na tupu, semanu e maua e se meafaigaluega otometi, ae i lenei tulaga, na iloa muamua e le inisinia SRE le soliga. Na faia se galuega fa'alavelave, ae ua tapunia fa'amatalaga.
2. Fa'aleagaina le fa'atinoga o talosaga Canary ma Autu
O le mea na tupu na mafua mai i le faʻagesegese ma le faʻateleina o mea sese i le canary ma le upega tafaʻilagi autu ile Gitlab.com. E tele tulaga taua o Apdex na solia.
Tatala galuega fa'alavelave:
Sini Autu
O nai mea nei sa ou aoaoina i lo’u vaiaso i le tiute.
1. O fa'aliga e sili ona aoga pe a su'esu'eina ni 'ese'ese mai le masani.
E mafai ona vaevaeina fa'aliga i ni ituaiga:
- Fa'aliga e fa'avae i luga o se fa'ailoga taua, pei o le "10 5xx fa'aletonu na tupu ile sekone."
- Fa'aliga o lo'o i ai le fa'ailoga o se pasene taua e pei o le "teletele o mea sese 5xx i le 10% o le aofa'i atoa o talosaga i se taimi."
- Fa'aliga e fa'atatau ile tala fa'asolopito e pei ole "5xx mea sese ile 90th percentile".
I le tulaga masani, o ituaiga 2 ma le 3 e sili atu ona aoga mo SRE o loʻo tiute, talu ai latou te faʻaalia ni suiga mai le masani i le faagasologa.
2. O le tele o mataala e le mafai lava ona oo atu i mea e tutupu.
O inisinia SR e feagai ma se faʻasalalauga faifaipea, o le tele o ia mea e le matua taua.
Aiseā la e lē faatapulaaina ai au lapataʻiga i na o mea e sili ona tāua? Faatasi ai ma lenei faiga, e ui i lea, atonu e te le iloa muamua faailoga o le mea o le a avea le polo kiona i se faafitauli moni e lamatia ai le tele o mea leaga.
O le galuega a le SRE i luga ole telefoni ole su'esu'e lea po'o fea fa'ailo e fa'ailoa moni mai ai se mea tuga, ma pe mana'omia ona fa'ateleina ma fa'afoeina. Ou te masalo e mafua foi ona o le le mautonu o mataala: e sili atu pe afai e tele ni tulaga poʻo ni "atamai" auala e faʻapipiʻi ai mataala e tusa ai ma le tulaga o loʻo faʻamatalaina i luga.
Fautuaga Fa'atusa:
3. O matou SRE o lo'o tiute fa'aaogaina le tele o mea faigaluega.
Totonu:
- GitLab infra project: tusi taʻavale o loʻo nonofo iinei, suiga / vaiaso tofiga, galuega tali faʻalavelave.
- GitLab mataupu: Su'esu'ega, iloiloga, ma le tausiga o lo'o siaki fo'i i mataupu.
- Fa'ailoga GitLab: O galuega fa'aautometi e fa'alauiloa e fa'aaoga ai igoa fa'apitoa, lea e fa'aogaina e bots e siaki ai galuega.
fafo:
- PagerTiute: Lapataiga
- Slack: PagerDuty/AlertManager fe'au fe'au alu iinei. Tu'ufa'atasi ma fa'atonuga fa'asa'o e fa'atino ai galuega eseese, e pei o le tapunia o se mataala po'o le fa'atuputeleina i se fa'alavelave.
- Grafana: faʻaaliga o fua faʻatatau ma le taulaʻi atu i faiga umi.
- Kibana: Tuuina atu faʻamatalaga / suʻesuʻega ogalaau, tomai e eli loloto ai i mea faʻapitoa.
- Zoom: O loʻo iai pea le "breakout room" i le Zoom. Ole mea lea e mafai ai e inisinia SRE ona fa'atalanoa vave mea e tutupu e aunoa ma le fa'amaimauina o le taimi taua e fausia ai se potu ma feso'ota'i tagata auai.
Ma le tele o isi.
4. Mata'ituina GitLab.com ma GitLab ose tasi itu o le toilalo
Afai e maua e GitLab.com se fa'aletonu tele o auaunaga, matou te le mana'o e a'afia ai lo matou gafatia e fo'ia le fa'afitauli. E mafai ona taofi e ala i le faʻalauiloaina o se GitLab lona lua faʻataʻitaʻiga e pulea ai GitLab.com. O le mea moni, ua uma ona aoga lenei mea mo i matou: .
5. O nai vaega e mafaufau e fa'aopoopo i GitLab
- , tutusa ma Google Docs. O le a fesoasoani lea i galuega i mea na tutupu i le taimi o se mea na tupu, faʻapea foʻi ma galuega ile faʻatalanoaga. I tulaga uma e lua, atonu e manaʻomia e nisi o tagata auai le faʻaopoopoina o se mea i le taimi moni.
- E sili atu webhooks mo galuega. O le mafai ona faʻataʻitaʻiina laasaga eseese o galuega a GitLab mai totonu o le a fesoasoani e faʻaitiitia lou faʻalagolago i Slack integrations. Mo se faʻataʻitaʻiga, o le mafai ona faʻatagaina se mataala i PagerDuty e ala i se faʻasalaga faʻatonu i se faʻamatalaga GitLab.
iʻuga
O inisinia SRE e faigata tele i le tele o faʻalavelave. E manaia tele le va'ai atili o oloa GitLab o lo'o fa'atalanoaina nei fa'afitauli. O loʻo matou galulue i luga o nisi faʻaopoopoga i le oloa e faʻafaigofie ai galuega o loʻo taʻua i luga. E maua fa'amatalaga ile .
O loʻo matou faʻalauteleina le 'au i le 2020 e tuʻufaʻatasia uma nei foliga matagofie. Afai e fiafia, faamolemole siaki mai , ma lagona le saoloto e faʻafesoʻotaʻi soʻo se tasi i la matou 'au i soʻo se fesili.
puna: www.habr.com