SRE injiniya - mudzidzisi
Kutanga, regai ndizvizivise. Ini - , injiniya wepamberi muboka GitLab. Svondo rapfuura ndakava nerukudzo rwekupinda nemumwe wedu pa-call SRE mainjiniya. Chinangwa chaive chekucherechedza kuti mukuru webasa aipindura sei kune zviitiko zuva nezuva uye kuwana ruzivo rwehupenyu chaihwo pabasa. Tinoda kuti mainjiniya edu anzwisise zviri nani zvinodiwa nemushandisi Monitor::Utano.
Ini ndaifanira kutevera SRE injiniya kwese kwevhiki. Ndiko kuti, ini ndaivepo pakupihwa, ndakatarisa nzira dzakafanana dzekunyevera uye ndakapindura kune zviitiko kana uye pazvaitika.
Zviitiko
Paive ne2 zviitiko mukati mevhiki.
1. Cryptominer
GitLab.com yakaona kusvetuka mukushandiswa neChitatu 'a, zvichikonzerwa nekuedza kushandisa maminetsi emumhanyi kuchera cryptocurrency. Chiitiko ichi chakabatwa nekushandisa yedu yekutyora neutralization chishandiso, icho chinomisa mabasa emumhanyi uye kudzima purojekiti neakaundi ine chekuita nazvo.
Dai chiitiko ichi chisina kucherechedzwa, chishandiso cheotomatiki chingadai chakachibata, asi mune iyi nyaya, injiniya weSRE akatanga aona kutyorwa. Basa rechiitiko rakagadzirwa, asi ruzivo pamusoro paro rwakavharwa.
2. Kusvibiswa kwekuita kweCanary uye Main applications
Chiitiko ichi chakakonzerwa nekuderera uye kuwanda kwakawanda kwekukanganisa mu canary uye main web application paGitlab.com. Akawanda maApdex maitiro akatyorwa.
Vhura chiitiko basa:
Yakakosha Tsvaga
Hezvino zvinhu zvishoma zvandakadzidza mukati mevhiki yangu pabasa.
1. Nyevero inonyanya kubatsira pakuona kutsauka kubva pane zvakajairwa.
Nyevero dzinogona kukamurwa mumhando dzinoverengeka:
- Zviziviso zvinoenderana nehumwe kukosha kwechikumbaridzo, senge "10 5xx kukanganisa kwakaitika pasekondi."
- Zviziviso umo chikumbaridzo chiri chikamu chehuwandu se "frequency ye5xx kukanganisa pa10% yehuwandu hwehuwandu hwezvikumbiro panguva yakatarwa."
- Yambiro yakavakirwa paavhareji yenhoroondo se "5xx kukanganisa pa90th percentile".
Kazhinji, mhando 2 uye 3 inonyanya kubatsira kune maSRE pabasa, sezvo vachiratidza kutsauka kubva pane zvakajairwa mukuita.
2. Nyevero zhinji hadzina kukwira kune zviitiko.
SR mainjiniya anobata neanogara achiyerera yekuzivisa, mazhinji ayo asiri kunyanya kutsoropodza.
Saka wadii kuganhurira chenjedzo dzako kune dzakanyanya kukosha chete? Neiyi nzira, zvisinei, iwe ungasaziva zviratidzo zvekutanga zvezvichaita snowball mudambudziko chairo rinotyisidzira kukuvadzwa kukuru.
Iro pa-call SRE basa ndere kuona kuti ndedzipi ziviso dzinoratidza chimwe chinhu chakakomba, uye kuti dzinoda kukwidziridzwa nekugadziriswa. Ndinofungidzira kuti izvi zvakakonzerwawo nekusachinja-chinja kwezviyeuchidzo: zvingava nani dai paiva nemazinga akati wandei kana "smart" nzira dzekugadzirisa zviziviso zvinoenderana nemamiriro atsanangurwa pamusoro.
Feature Sugges:
3. MaSRE edu ari pabasa anoshandisa maturusi akawanda.
Zvemukati:
- GitLab infra purojekiti: runbooks anogara pano, chinja / vhiki migove, zviitiko zvekupindura mabasa.
- GitLab nyaya: Kuferefeta, ongororo, uye kugadzirisa zvakare inotevedzwa mune nyaya.
- GitLab mavara: Automation mabasa anotangwa uchishandisa chaiwo mavara, ayo bots anoshandisa kuteedzera basa rebasa.
Zvekunze:
- PagerDuty: Zviziviso
- Slack: PagerDuty/AlertManager meseji inoyerera inoenda pano. Kubatanidzwa nemirairo ye slash kuita akasiyana mabasa, sekuvhara yambiro kana kukwira kune chiitiko.
- Grafana: kuona kwemetrics ine tarisiro yenguva refu maitiro.
- Kibana: Inopa kuona / kutsvaga kwelogi, kugona kuchera zvakadzika muzviitiko chaizvo.
- Zoom: Kune inogara ichimhanya "kamuri yekupumha" muZoom. Izvi zvinobvumira mainjiniya eSRE kuti akurumidze kukurukura zviitiko pasina kutambisa nguva yakakosha kugadzira kamuri uye kubatanidza vatori vechikamu.
Uye vamwe vazhinji.
4. Kuongorora GitLab.com neGitLab inzvimbo imwe yekutadza
Kana GitLab.com ikasangana nekudzimwa kukuru kwesevhisi, hatidi kuti zvikanganise kugona kwedu kugadzirisa nyaya. Inogona kumiswa nekutanga yechipiri GitLab muenzaniso kubata GitLab.com. Muchokwadi, izvi zvinotoshanda kwatiri: .
5. Zvinhu zvishoma zvekufunga kuwedzera kuGitLab
- , zvakafanana neGoogle Docs. Izvi zvaizobatsira nemabasa pazviitiko panguva yechiitiko, pamwe nemabasa ekubvunzurudza. Muzviitiko zvese izvi, vatori vechikamu vakati wandei vangangoda kuwedzera chimwe chinhu munguva chaiyo.
- Mawebhook akawanda emabasa. Iko kugona kumhanya akasiyana GitLab workflow nhanho kubva mukati kuchabatsira kudzikisa kuvimba kwako paSlack kubatanidzwa. Semuenzaniso, kugona kubvumidza yambiro muPagerDuty kuburikidza ne slash command mune GitLab nyaya.
mhedziso
SRE mainjiniya vane nguva yakaoma ine zvakawanda zvakaoma. Zvingave zvakanaka kuona zvimwe zvigadzirwa zveGitLab zvinogadzirisa nyaya idzi. Isu tave kutoshanda pane zvimwe zvekuwedzera kune chigadzirwa chinoita kuti mafambiro ebasa ataurwa pamusoro apa ave nyore. Details iripo pa .
Tiri kuwedzera timu muna 2020 kuunza zvese izvi zvakanaka maficha pamwechete. Kana uchida, ndapota tarisa , uye inzwa wakasununguka kubata chero munhu pachikwata chedu aine chero mibvunzo.
Source: www.habr.com