За какво да мислите, когато прилагате смени

Авторът на Effective DevOps Ryn Daniels споделя стратегии, които всеки може да използва, за да създаде по-добри, по-малко разочароващи и по-устойчиви Oncall ротации.

С навлизането на Devops, много инженери в наши дни организират смени по един или друг начин, което някога беше изключителна отговорност на системните администратори или оперативните инженери. Дежурството, особено в извънработно време, не е задача, която се радва на повечето хора. Дежурството може да наруши съня ни, да попречи на нормалната работа, която се опитваме да вършим през деня, и да попречи на живота ни като цяло. Тъй като все повече и повече екипи участват в бдения, ние зададохме въпроса: „Какво можем да направим като отделни лица, екипи и организации, за да направим бденията по-хуманни и устойчиви?“

Спестете съня си

Често първото нещо, за което хората си мислят, когато мислят за дежурство, е, че това ще се отрази негативно на съня им; никой не иска сигнал да го събуди посред нощ. Ако вашата организация или екип стане достатъчно голям, можете да използвате ротации "следване на слънцето", при които екипи в множество часови зони участват в една и съща ротация, с по-кратки дежурства. така че всяка часова зона ще дежури само по време на своя бизнес (или поне събуждане) часа. Установяването на такава ротация може да направи чудеса за намаляване на нощното натоварване, което придружителят поема.

Ако нямате достатъчно инженери и географско разпределение, за да поддържате въртене след слънцето, все още има неща, които можете да направите, за да намалите вероятността хората да бъдат ненужно събуждани посред нощ. В края на краищата, едно е да станеш от леглото в 4 сутринта, за да решиш належащ проблем, изправен пред клиента; Съвсем друго е да се събудите само за да откриете, че имате работа с фалшива аларма. Може да ви помогне да прегледате всички сигнали, които сте настроили, и да попитате екипа си кои всъщност са необходими, за да събудите някого след работно време и дали тези сигнали могат да изчакат до сутринта. Може да е трудно да накарате хората да се съгласят да изключат някои неработещи сигнали, особено ако пропуснатите проблеми са причинили проблеми в миналото, но е важно да запомните, че лишеният от сън инженер не е най-ефективният инженер. Задайте тези сигнали в работно време, когато наистина имат значение. Повечето инструменти за предупреждение в днешно време ви позволяват да зададете различни правила за известия след работно време, било то периоди за известяване на Nagios или задаване на различни графици в PagerDuty.

Сън, дежурства и екипна култура

Други решения за нарушаване на съня включват по-големи културни промени. Един от начините за решаване на този проблем е да се наблюдават сигналите, като се обръща особено внимание на това кога пристигат и дали могат да се предприемат действия. Opsweekly е инструмент, създаден и публикуван от Etsy, който позволява на екипите да проследяват и категоризират сигналите, които получават. Той може да генерира графики, показващи колко предупреждения са събудили хората (използвайки данни за съня от фитнес тракери), както и колко предупреждения действително са изисквали човешко действие. Използвайки тези технологии, можете да проследите ефективността на вашата ротация на повикване и нейното въздействие върху съня във времето.

Екипът може да изиграе роля, за да гарантира, че всеки дежурен човек получава подходяща почивка. Създайте култура, която насърчава хората да се грижат за себе си: ако губите сън, защото сте били извикани през нощта, можете да спите малко по-дълго сутрин, за да се опитате да компенсирате загубеното време за сън. Членовете на екипа могат да се грижат един за друг: Когато екипите споделят своите данни за съня помежду си чрез нещо като Opsweekly, те могат да отидат при дежурните си колеги и да кажат: „Хей, изглежда, че сте имали тежка нощ с PagerDuty снощи.“ „Искаш ли да те покрия тази вечер, за да си починеш малко?“ Насърчавайте хората да се подкрепят взаимно по този начин и обезсърчавайте „културата на героите“, при която хората ще се натоварват до краен предел и ще избягват да търсят помощ.

Намаляване на въздействието от дежурството на работното място

Когато инженерите са уморени, защото са били събудени по време на дежурство, те очевидно няма да работят със 100% капацитет за деня, но дори и без да се отчита лишаването от сън, дежурството може да има и други въздействия върху работата. Една от най-значимите загуби по време на дежурство се дължи на фактора на прекъсване, промяна на контекста: едно прекъсване може да доведе до загуба на поне 20 минути поради загуба на фокус и превключване на контекста. Вероятно вашите екипи ще имат други източници на прекъсвания, като билети, генерирани от други екипи, заявки или въпроси, идващи чрез чат и/или имейл. В зависимост от обема на тези други прекъсвания, можете да обмислите добавянето им към съществуваща ротация по време на дежурство или да настроите втора ротация само за обработка на тези други заявки.

Важно е да вземете предвид това, когато планирате работата, която екипът ще върши, както дългосрочно, така и краткосрочно. Ако вашият екип е склонен да има доста интензивни дежурства, този факт трябва да се вземе предвид при дългосрочното планиране, тъй като може да имате ситуация, в която целият персонал ефективно е на работа във всеки даден момент, вместо да върши друга работа. При краткосрочно планиране може да откриете, че лицето на повикване не е в състояние да спази крайните срокове поради задълженията си на повикване - това трябва да се очаква и останалата част от екипа трябва да е готова да се приспособи и да помогне, за да се гарантира, че работата свършва и лицето на повикване получава подкрепа в работните си задачи. Независимо дали лицето на повикване е извикано, дежурната смяна ще повлияе на способността на лицето на повикване да изпълнява друга работа – не очаквайте лицето на повикване да работи нощем, за да завърши планирани проекти в допълнение към дежурен след работно време.

Екипите ще трябва да намерят начин да се справят с допълнителната работа, генерирана по време на дежурство. Тази работа може да бъде реална работа за коригиране на реални проблеми, открити от системи за наблюдение и предупреждение, или може да бъде работа за коригиране на наблюдение и предупреждения за намаляване на броя на фалшивите положителни предупреждения. Каквото и да е естеството на създадената работа, важно е тази работа да се разпредели справедливо и устойчиво в екипа. Не всички смени на повикване са еднакви и някои са по-сложни от други, така че твърдението, че лицето, което получава сигнала, е лицето, което отговаря за справянето с всички последствия от този сигнал, може да доведе до неравномерно разпределение на работата. Може да има по-голям смисъл дежурният да отговаря за планирането или разпределянето на работата, с очакването, че останалата част от екипа ще има желание да помогне за завършване на създадената работа.

Създаване и поддържане на баланс между работа и личен живот

Помислете за влиянието на дежурството върху живота ви извън работата. Когато сте на работа, има вероятност да се почувствате обвързани с мобилния си телефон и лаптопа, това означава, че винаги носите лаптоп и мобилен рутер (usb модем) със себе си или просто не напускайте дома/офиса си. Да бъдеш на повикване обикновено означава да се откажеш от неща като виждане с приятели или семейство по време на смяната. Това означава, че продължителността на всяка смяна зависи от броя на хората във вашия екип и честотата на смените може да натовари неоправдано хората. Може да се наложи да експериментирате с продължителността и времето на вашите смени, за да намерите график, който работи поне за повечето участващи хора, тъй като различните екипи и хора ще имат различни приоритети и предпочитания.

Жизненоважно е да се признае въздействието, което дежурството ще има върху живота на хората, както на управленско ниво, така и на индивидуално ниво. Трябва да се отбележи, че въздействието ще бъде усетено непропорционално от хората с по-малко привилегии. Например, ако трябва да прекарвате време в грижи за деца или други членове на семейството, или ако установите, че по-голямата част от домакинската работа пада върху раменете ви, вие вече имате по-малко време и енергия от някой, който няма отговорности. Този тип работа на „втора смяна“ или „трета смяна“ има тенденция да влияе непропорционално на хората и ако установите ротации на повикване с график или интензивност, които предполагат, че участниците нямат личен живот извън офиса, вие ограничавате хората, които може да участва във вашия отбор.

Насърчавайте хората да се опитват да поддържат по-голяма част от редовния си график. Трябва да обмислите предоставянето на екипа на мобилни рутери (usb модеми), така че хората да могат да излизат от къщата с лаптопа си и все пак да имат някакво подобие на живот. Насърчавайте хората да обменят часове на повикване помежду си, ако е необходимо, за кратки периоди от време, така че хората да могат да отидат на фитнес или да посетят лекар, докато са на работа. Не създавайте култура, при която дежурството означава, че инженерите буквално не правят нищо, освен да бъдат на повикване. Балансът между професионалния и личния живот е важна част от всяка работа, но особено когато имате предвид извънработните часове, по-старшите членове на вашия екип трябва да дават пример на другите по отношение на баланса между професионалния и личния живот, доколкото е възможно, докато са на работа.

На индивидуално ниво не забравяйте да обясните какво означава дежурството на вашите приятели, семейство, партньори, домашни любимци и т.н. (на вашите котки вероятно няма да им пука, тъй като вече са будни в 4 сутринта, когато получите сигнала , въпреки че те по никакъв начин няма да искат да ви помогнат да го разрешите). Уверете се, че сте наваксали загубеното време след края на смяната, независимо дали става въпрос за среща с приятели, семейство или сън, например. Ако можете, помислете за настройка на тиха аларма (като смарт часовник), която може да ви събуди чрез бръмчене на китката ви, така че да не събудите никого около вас. Намерете начини да се грижите за себе си, когато сте по средата на дежурната си смяна и когато тя приключи. Може да искате да съставите „комплект за оцеляване на повикване“, който ще ви помогне да се отпуснете: слушайте плейлист с любимата си музика, четете любимата си книга или отделете време да си поиграете с домашния си любимец. Мениджърите трябва да насърчават грижата за себе си, като дават на хората почивен ден след една седмица дежурство и се уверяват, че хората искат (и получават) помощ, когато имат нужда от нея.

Подобряване на дежурния опит

Като цяло дежурството не трябва да се разглежда само като ужасна работа: вие имате възможността и отговорността като дежурен човек да работите активно, за да подобрите положението на хората, които ще бъдат на дежурство в бъдеще, което означава, че хората ще получават по-малко съобщения и те ще бъдат по-точни. Отново, проследяването на стойността на вашите сигнали с помощта на нещо като Opsweekly може да ви помогне да разберете какво прави вашето дежурство досадно и да го поправите. За неактивни сигнали се запитайте дали има начини да се отървете от тези сигнали – може би това означава, че те ще се задействат само през работното време, защото има някои неща, на които просто не е нужно да отговаряте посред нощ. Не се страхувайте да изтривате сигнали, да ги променяте или да променяте метода на изпращане от „изпращане до телефон и имейл“ на „само имейл“. Експериментирането и повторението са ключът към подобряването на работата с времето.

За сигнали, които действително са приложими, трябва да помислите колко лесно е за инженера да предприеме необходимите действия. Всеки работещ сигнал трябва да има runbook, който върви с него - помислете дали да не използвате инструмент като nagios-herald, за да добавите runbook връзки към вашите сигнали. Ако предупреждението е достатъчно просто, че не се нуждае от runbook, вероятно е достатъчно просто, че можете да автоматизирате отговора, като използвате нещо като манипулатори на събития на Nagios, което спестява на хората да се събуждат или да се прекъсват за лесно автоматизирани задачи. Както runbooks, така и nagios-herald могат да ви помогнат да добавите ценен контекст към вашите сигнали, което ще помогне на хората да реагират на тях по-ефективно. Вижте дали можете да отговорите на често срещани въпроси като: Кога за последен път се е задействал този сигнал? Кой отговори последния път и какви действия е предприел в крайна сметка (ако има такива)? Какви други сигнали се появяват едновременно с това и дали са свързани? Този тип контекстуална информация често се озовава само в мозъците на хората, така че насърчаването на култура на документиране и споделяне на контекстуална информация може да намали количеството режийни разходи, необходими за отговор на сигнали.

Голяма част от умората, която идва от дежурствата, е, че те никога не свършват – ако вашият екип има дежурства, малко вероятно е те да приключат в обозримо бъдеще. Промените никога не свършват и може да ни се струва, че винаги ще бъдат ужасни. Тази липса на надежда е голям психически проблем, който може да допринесе за стрес и изтощение, така че справянето с възприятието (в допълнение към реалността), че дългът винаги ще бъде ужасен, е добро място да започнете да мислите за дълга си в дългосрочен план.

За да се даде надежда на хората, че ситуацията с дежурствата някога ще се подобри, е необходимо да има наблюдаемост на системата (същото проследяване и категоризиране на дежурствата, което споменах по-рано). Проследявайте колко предупреждения имате, какъв процент от тях изискват съпътстваща намеса, колко от тях събуждат хората и след това работете за създаване на култура, която насърчава хората да правят нещата по-добре. Ако имате голям екип, може да е изкушаващо, щом часовникът ви свърши, да вдигнете ръце и да кажете "това е проблемът на бъдещия дежурен", вместо да се ровите да оправяте нещо - кой иска да харчи повече усилие на дежурство, отколкото от тях се изисква? Това е мястото, където културата на съпричастност може да има голямо значение, защото вие не се грижите само за вашето благополучие по време на работа, но и за вашите колеги.

Всичко е въпрос на емпатия

Емпатията е важна част от това, което ни позволява да стимулираме ефективността, която подобрява изживяването при повикване. Като мениджър или член можете да оцените положително или дори да възнаградите хората за поведение, което прави смяната по-добра. Оперативната поддръжка е една от онези области, в които инженерите често се чувстват така, сякаш хората им обръщат внимание само когато нещо се обърка: хората ще бъдат там, за да им крещят, когато даден сайт се срине, но те рядко научават за задкулисните усилия, които операциите инженери, вложени, за да поддържат сайта работещ през останалото време. Признаването на работата може да извърви дълъг път, независимо дали благодари на някого на среща или в общ имейл за подобряване на конкретен сигнал, технически аспект на дежурството или даване на време на някого да покрие друг инженер на смяна за известно време.

Насърчете хората да отделят време и усилия, за да подобрят състоянието си на повикване в дългосрочен план. Ако вашият екип има дежурни, трябва да планирате и приоритизирате тази работа по същия начин, както бихте направили всяка друга работа по вашата пътна карта. Дежурствата са 90% ентропия и освен ако не работите активно за подобряването им, те ще стават все по-лоши с течение на времето. Работете с екипа си, за да разберете какво най-добре мотивира и възнаграждава хората, и след това използвайте това, за да насърчите хората да намалят шума за предупреждение, да напишат ръководства и да създадат инструменти, които решават техните проблеми при повикване. Каквото и да правите, не се задоволявайте с ужасното задължение като постоянна част от състоянието на нещата.

Източник: www.habr.com