endezyar SRE - perwerdekar
Pêşî, bila ez xwe bidim nasîn. ez - , endezyar pêş-end di komê de GitLab. Hefteya çûyî min rûmeta navbeynkariyê bi yek ji endezyarên me yên SRE-yê re hebû. Armanc ew bû ku çavdêriyê bikin ka efserê peywirê çawa rojane bersivê dide bûyeran û di kar de ezmûna jiyanî ya rastîn bidest bixe. Em dixwazin endezyarên me hewcedariyên bikarhêner çêtir fam bikin Çavdêr::Tenduristî.
Ez neçar bûm ku hefteyek li her derê endezyar SRE bişopînim. Yanî ez di dema radestkirinê de amade bûm, min çavdêriya heman kanalên hişyariyê kir û ji bo bûyer û bûyeran çêbibin jî bersiv da.
Bûyer
Di nava hefteyekê de 2 bûyer qewimîn.
1. Cryptominer
GitLab.com roja Çarşemê di karanînê de zêdebûnek dît 'a, ji ber hewildanên karanîna hûrgelên bezê ji bo minkirina pereyê krîptoyê çêbûye. Bûyer bi karanîna amûra bêbandorkirina binpêkirinê ya me, ku peywirên bazdan radiweste û proje û hesabê bi wê re têkildar jê dike, hate çareser kirin.
Ger ev bûyer nehata ferqkirin, dê amûrek otomatîkî ew bigirta, lê di vê rewşê de, endezyarê SRE pêşî li binpêkirinê ferq kir. Karê bûyerê hate çêkirin, lê agahdariya li ser wê girtî ye.
2. Kêmkirina performansê ya serîlêdanên Kanarya û Serek
Bûyer ji ber hêdîbûn û zêdebûna xeletiyên di kanar û serîlêdanên webê yên sereke yên li ser Gitlab.com de çêbû. Gelek nirxên Apdex hatin binpêkirin.
Karê bûyerê vekirî:
Lêgerînên Key
Li vir çend tişt hene ku ez di hefteya xwe ya wezîfeyê de fêr bûm.
1. Dema tesbîtkirina devjêberdana ji normê hişyarî herî bikêr in.
Hişyar dikarin li çend celeban bêne dabeş kirin:
- Hişyariyên li ser bingehek nirxek diyarkirî, wek "10 xeletiyên 5xx di çirkeyê de qewimîn."
- Hişyariyên ku tê de bend nirxek ji sedî ye mîna "frekansa 5xx xeletiyan li ser 10% ji hêjmara giştî ya daxwazan di demek diyarkirî de."
- Hişyariyên li ser bingeha navînî ya dîrokî wekî "5xx xeletiyên di sedî 90-an de".
Bi gelemperî, celebên 2 û 3 ji bo SRE-yên li ser peywirê bikêrtir in, ji ber ku ew di pêvajoyê de dev ji normê vedigirin.
2. Gelek hişyarî qet ji bûyeran re zêde dibin.
Endezyarên SR bi herikîna domdar a hişyariyan re mijûl dibin, ku pir ji wan bi rastî ne krîtîk in.
Ji ber vê yekê çima hişyariyên xwe bi tenê yên bi rastî girîng sînordar nakin? Lêbelê, bi vê nêzîkbûnê re, hûn dikarin nîşanên destpêkê yên ku dê berfê bikeve pirsgirêkek rastîn a ku zirarek mezin tehdîd dike nas nekin.
Karê SRE-ya bangewazî ew e ku diyar bike ka kîjan hişyarî bi rastî tiştek ciddî nîşan dide, û gelo ew hewce ne ku werin zêdekirin û çareser kirin. Ez guman dikim ku ev jî ji ber nermbûna alerzanan e: çêtir e ku heke çend astan an awayên "aqilmend" hebin ku li gorî rewşa ku li jor hatî behs kirin alerjiyan mîheng bikin.
Pêşniyara Taybetmendiyê:
3. SREyên me yên li ser peywirê gelek amûran bikar tînin.
Navbend:
- Projeya infra ya GitLab: pirtûkên runbook li vir dijîn, peywirên guheztin / hefte, karên bersivdana bûyerê.
- Pirsgirêkên GitLab: Lêpirsîn, vekolîn, û parastin jî di pirsgirêkan de têne şopandin.
- Etîketên GitLab: Karên otomasyonê li ser bingeha etîketên taybetî têne destpêkirin, ku bot ji bo şopandina çalakiya peywirê bikar tînin.
Xûkirînî:
- PagerDuty: Alerts
- Slack: Herikîna peyama PagerDuty/AlertManager li vir diçe. Yekbûna bi fermanên slash re ji bo pêkanîna cûrbecûr karan, wek girtina hişyariyek an zêdekirina bûyerek.
- Grafana: dîtbarkirina metrîkan bi baldarî li ser meylên demdirêj.
- Kibana: Lêgerîna dîtbarî / têketinê dide, şiyana kûrkirina bûyerên taybetî.
- Zoom: Li Zoomê "odeyek veqetandinê" ya ku bi domdarî dimeşe heye. Ev rê dide endezyarên SRE ku zû bûyeran nîqaş bikin bêyî ku wextê hêja winda bikin ku jûreyek çêbikin û beşdaran girêbidin.
Û gelek gelekên din.
4. Şopandina GitLab.com bi GitLab yek xala têkçûnê ye
Ger GitLab.com bi qutbûnek karûbarê mezin re rû bi rû bimîne, em naxwazin ku ew bandorê li kapasîteya me ya çareserkirina pirsgirêkê bike. Ew dikare bi destpêkirina mînakek GitLab ya duyemîn were sekinandin da ku GitLab.com birêve bibe. Bi rastî, ev jixwe ji me re dixebite: .
5. Çend taybetmendiyên ku meriv li GitLab zêde bike bifikirin
- , mîna Google Docs. Ev ê ji karên li ser bûyerên di dema bûyerê de, û hem jî ji karên li ser vegotinê re bibe alîkar. Di her du rewşan de, dibe ku çend beşdar hewce ne ku di demek rast de tiştek zêde bikin.
- Zêdetir webhooks ji bo peywiran. Qabiliyeta ku hûn gavên cihêreng ên xebata GitLab ji hundur bimeşînin dê bibe alîkar ku hûn pêbaweriya we bi entegrasyonên Slack kêm bikin. Mînakî, şiyana destûrdana hişyariyek li PagerDuty bi fermanek şikestî di pirsgirêkek GitLab de.
encamê
Endezyarên SRE bi gelek tevliheviyan re dijwariyek heye. Dê pir baş be ku hûn bêtir hilberên GitLab bibînin ku van pirsgirêkan çareser dikin. Em jixwe li ser hin lêzêdekirina hilberê dixebitin ku dê karûbarên ku li jor hatine destnîşan kirin hêsantir bikin. Hûrguliyên li ser peyda dibin .
Em di sala 2020-an de tîmê berfireh dikin da ku van hemî taybetmendiyên mezin bi hev re bînin. Ger eleqedar be, ji kerema xwe binihêrin , û bi dilxwazî bi her kesê ku di tîmê me de ye têkilî daynin.
Source: www.habr.com