Слурм СРЕ. Комплетан експеримент са стручњацима са Боокинг.цом и Гоогле.цом

Наш тим воли експерименте. Сваки Слурм није статично понављање претходних, већ рефлексија на искуство и прелазак са доброг на боље. Али са Слурм СРЕ одлучили смо да применимо потпуно нови формат – да учесницима пружимо услове што ближе „борбеним“.

Ако укратко опишемо шта смо радили током интензивног курса: „Градимо, ломимо, поправљамо,
ми учимо." СРЕ мало вреди у пукој теорији - само пракса, права решења, стварни проблеми.

Учесници су били подељени у тимове како снажан такмичарски дух никоме не би дозволио да заспи или покрене „Ангри Бирдс” на иПхоне-у, по узору на Дмитрија Анатољевича.

Проблеме, кварове, грешке и задатке учесницима су пружила четири ментора. Иван Круглов, главни програмер на Боокинг.цом (Холандија). Бен Тајлер, главни програмер на Боокинг.цом-у (САД). Едуард Медведев, технички директор у Тунгстен Лабс (Немачка). Евгениј Варавва, генерални програмер у Гоогле-у (Сан Франциско).

Штавише, учесници су подељени у тимове и такмиче се једни са другима. Занимљиво?

Иван, Бен, Едуард и Евгениј гледају јадне учеснике Слурм СРЕ са љубазним лењинистичким жмирењем пре почетка такмичења.

Дакле, задатак:

Ми смо наши, ми ћемо изградити нови свет...

Постоји веб локација за прикупљање карата за биоскоп. Инциденте измишљају ментори по унапред припремљеном сценарију (иако нико не искључује посебно софистицирану и подмуклу импровизацију), перформансе сајта се описују различитим метрикама. Проблеми могу бити веома различити: карте за позориште Мулен Руж се не учитавају у базу података; плакати филмова и представа се учитавају у базу података за више од 10 секунди; опис појединачног филма се замрзава; 0,1% поруџбина је већ резервисано; С времена на време систем за обраду плаћања се сруши на минут или два. И много, много, много непријатних ствари које могу задесити учесника Слурм СРЕ на његовом правом послу.

Спремни смо да се носимо са свиме...и свима.

Наша дуготрајна веб локација састоји се од неколико микросервиса. Његов задатак је да агрегира податке о представама, ценама и расположивим местима из свих биоскопа, приказује филмске најаве, омогућава вам да изаберете биоскоп, представу, салу и место, резервишете и платите улазнице. Генерално, све о чему гледалац може само да сања. Али корисник ни не слути каква се титанска борба за стабилност и доступност сајта одвија унутра.

За интензивну локацију генерисали смо СЛО, СЛИ, СЛА индикаторе, развили архитектуру и инфраструктуру, поставили сајт, поставили праћење и упозорење. И одлазимо.

СЛО, СЛИ, СЛА

СЛИ - индикатори нивоа услуге. СЛО су циљеви нивоа услуге. СЛА – уговори о нивоу услуге.

СЛА је термин ИТИЛ методологије који означава формални споразум између корисника услуге и њеног добављача, који садржи опис услуге, права и обавезе страна и, што је најважније, договорени ниво квалитета за пружање ове услуге. услуга.

СЛО је циљ нивоа услуге: циљна вредност или опсег вредности за ниво услуге који се мери помоћу СЛИ. Нормална вредност за СЛО је „СЛИ ≤ Таргет“ или „Доња граница ≤ СЛИ ≤ Горња граница“.

СЛИ је индикатор нивоа услуге—пажљиво дефинисана квантитативна мера једног аспекта нивоа пружене услуге. За већину услуга, кључни СЛИ се сматра кашњењем захтева – колико дуго је потребно да се врати одговор на захтев. Други уобичајени СЛИ укључују стопу грешке, често изражену као део свих примљених захтева, и системску пропусност, обично мерену у захтевима у секунди.

Прво ћемо разбити авионе, па девојке, па девојке...

Унутрашњи и екстерни фактори почели су да „кваре“ СЛО од првих минута. Све је пало на главу администраторима — грешке програмера, кварови на инфраструктури, прилив посетилаца и ДДоС напади. Све што погоршава СЛО.

„- Драги учесници, журим да вас задовољим, прво што не успете је... све!

Успут, говорници су разговарали о стабилности, буџету грешака, пракси тестирања, управљању прекидима и оперативном оптерећењу.

Ми нисмо ложачи, нисмо столари...

Тада су учесници почели да поправљају ствари - главна ствар је да разумеју шта прво зграбити.

„- Господе, никада нисам видео да се овако ломи, у оваквом облику и у таквом положају!

Дакле, догодила се несрећа. Услуга обраде плаћања не ради. Како поступити да бисте вратили функционалност у најкраћем могућем року?

Стручњаци, с љубављу гледајући учеснике, спремају још један трик.

Сваки тим организује рад групе на отклањању удеса – укључује колеге, обавештава заинтересоване стране (стејкхолдере). Истовремено се постављају приоритети. На овај начин су полазници обучени да раде под притиском у изузетно ограниченим временским условима.

"Какав је ужас изашао?!"

Издахните... и завршите вежбу

Заједно са говорницима, након што је сваки проблем решен и локација привремено стабилизована, тим је проучавао инциденте са СРЕ тачке гледишта. Детаљно смо анализирали проблеме – узроке настанка, напредак у отклањању. Након тога, тим по тим и колективно, доносили смо одлуке како да их даље спречимо: како да унапредимо мониторинг, како да мудро променимо архитектуру, како да прилагодимо приступ развоју и раду, како да коригујемо прописе. Говорници су демонстрирали праксу спровођења обдукције.

„Ко још жели муке! - Ја!"

Успеси тимова су стриктно и јасно забележени на електронском семафору.

За прва места - бонус од заинтересованих страна.

Извор: ввв.хабр.цом