Autor efektívneho DevOps Ryn Daniels zdieľa stratégie, ktoré môže ktokoľvek použiť na vytvorenie lepších, menej frustrujúcich a udržateľnejších Oncall rotácií.
S príchodom Devopsu mnohí inžinieri v súčasnosti organizujú zmeny tak či onak, za čo boli kedysi výlučne zodpovední systémoví správcovia alebo prevádzkoví inžinieri. Byť v službe, najmä v mimopracovnej dobe, nie je úlohou, ktorá by väčšinu ľudí bavila. Pohotovostná služba môže narušiť náš spánok, zasahovať do bežnej práce, ktorú sa snažíme vykonávať počas dňa, a zasahovať do nášho života vo všeobecnosti. Keďže sa vigílií zúčastňuje stále viac tímov, položili sme si otázku: „Čo môžeme ako jednotlivci, tímy a organizácie urobiť, aby boli vigílie humánnejšie a udržateľnejšie?
Uložte spánok
Často prvá vec, na ktorú ľudia myslia, keď premýšľajú o službe, je, že to negatívne ovplyvní ich spánok; nikto nechce výstrahu, ktorá by ich zobudila uprostred noci. Ak sa vaša organizácia alebo tím dostatočne zväčší, môžete použiť striedanie „po slnku“, kde sa tímy vo viacerých časových pásmach zúčastňujú rovnakej rotácie s kratšími pracovnými zmenami. Každé časové pásmo tak bude mať službu iba počas svojej činnosti. (alebo aspoň prebudiť) hodiny. Zavedenie takejto rotácie môže urobiť zázraky pri znížení nočnej pracovnej záťaže, ktorú na seba obsluha berie.
Ak nemáte dostatok inžinierov a geografickú distribúciu na podporu rotácie podľa slnka, stále existujú veci, ktoré môžete urobiť, aby ste znížili pravdepodobnosť, že sa ľudia budú zbytočne prebúdzať uprostred noci. Koniec koncov, jedna vec je vstať z postele o 4:XNUMX a vyriešiť naliehavý problém, s ktorým sa stretávajú zákazníci; Úplne iné je zobudiť sa a zistiť, že máte čo do činenia s falošným poplachom. Môže vám pomôcť skontrolovať všetky upozornenia, ktoré ste nastavili, a opýtať sa svojho tímu, ktoré z nich sú skutočne potrebné na to, aby sa niekto po hodinách zobudil, a či tieto upozornenia môžu počkať do rána. Môže byť ťažké presvedčiť ľudí, aby súhlasili s vypnutím niektorých nefunkčných upozornení, najmä ak zmeškané problémy spôsobili problémy v minulosti, ale je dôležité si uvedomiť, že inžinier s nedostatkom spánku nie je tým najefektívnejším inžinierom. Nastavte si tieto upozornenia počas pracovných hodín, keď na nich skutočne záleží. Väčšina nástrojov na upozornenia v súčasnosti vám umožňuje nastaviť rôzne pravidlá pre upozornenia po pracovnej dobe, či už ide o obdobia upozornení Nagios alebo nastavenie rôznych plánov v PagerDuty.
Spánok, povinnosť a tímová kultúra
Ďalšie riešenia prerušenia spánku zahŕňajú väčšie kultúrne zmeny. Jedným zo spôsobov, ako vyriešiť tento problém, je monitorovať upozornenia, pričom osobitnú pozornosť venujte tomu, kedy prichádzajú a či sú použiteľné. je nástroj vytvorený a publikovaný spoločnosťou Etsy, ktorý umožňuje tímom sledovať a kategorizovať upozornenia, ktoré dostávajú. Dokáže generovať grafy znázorňujúce, koľko upozornení zobudilo ľudí (pomocou údajov o spánku z fitness trackerov), ako aj koľko upozornení si skutočne vyžadovalo ľudský zásah. Pomocou týchto technológií môžete sledovať efektivitu striedania počas hovoru a jeho vplyv na spánok v priebehu času.
Tím môže zohrávať úlohu pri zabezpečovaní dostatočného odpočinku každej osoby v službe. Vytvorte kultúru, ktorá povzbudí ľudí, aby sa o seba starali: ak strácate spánok, pretože vás v noci zavolali, môžete si ráno pospať o niečo dlhšie, aby ste sa pokúsili nahradiť stratený čas spánku. Členovia tímu si môžu navzájom dávať pozor: Keď si tímy navzájom vymieňajú údaje o spánku prostredníctvom niečoho ako Opsweekly, môžu ísť za svojimi kolegami v službe a povedať im: „Hej, vyzerá to, že ste minulú noc mali ťažkú noc s PagerDuty.“ "Chceš, aby som ťa dnes večer prikryl, aby si si mohol oddýchnuť?" Povzbudzujte ľudí, aby sa navzájom podporovali týmto spôsobom a odrádzajte od „kultúry hrdinov“, v ktorej sa ľudia budú posúvať až na hranicu svojich možností a nebudú žiadať o pomoc.
Zníženie vplyvu povinnosti v práci
Keď sú inžinieri unavení, pretože boli zobudení počas služby, očividne nebudú počas dňa pracovať na 100 %, ale aj bez zohľadnenia nedostatku spánku môže mať služba aj iné dopady na prácu. Jedna z najvýznamnejších strát počas služby je spôsobená faktorom prerušenia, zmenou kontextu: jedno prerušenie môže viesť k strate najmenej 20 minút v dôsledku straty zamerania a prepínania kontextu. Je pravdepodobné, že vaše tímy budú mať iné zdroje prerušení, ako sú vstupenky generované inými tímami, žiadosti alebo otázky prichádzajúce cez chat a/alebo e-mail. V závislosti od objemu týchto ďalších prerušení môžete zvážiť ich pridanie do existujúcej rotácie počas služby alebo nastavenie druhej rotácie len na vybavenie týchto ďalších požiadaviek.
Je dôležité vziať to do úvahy pri plánovaní práce, ktorú bude tím robiť, a to dlhodobo aj krátkodobo. Ak má váš tím tendenciu mať pomerne intenzívne pracovné zmeny, túto skutočnosť je potrebné vziať do úvahy pri dlhodobom plánovaní, pretože môžete naraziť na situáciu, keď je celý personál efektívne v každom danom čase, namiesto toho, aby vykonával inú prácu. Pri krátkodobom plánovaní sa môžete stretnúť s tým, že zavolaná osoba nie je schopná dodržať termíny kvôli svojim povinnostiam na zavolanie – to by sa malo očakávať a zvyšok tímu by mal byť ochotný vyhovieť a pomôcť zabezpečiť, aby hotovo a privolaná osoba je podporovaná pri svojich pracovných úlohách. Bez ohľadu na to, či je volaná osoba privolaná, zmena bude mať vplyv na jej schopnosť vykonávať inú prácu – neočakávajte, že zavolaná osoba bude pracovať aj v noci, aby dokončila naplánované projekty okrem toho, že bude v službe po pracovnej dobe.
Tímy budú musieť nájsť spôsob, ako sa vyrovnať s prácou navyše, ktorá vzniká počas služby. Táto práca môže byť skutočnou prácou na oprave skutočných problémov zistených monitorovacími a výstražnými systémami, alebo by to mohla byť práca na oprave monitorovania a výstrah s cieľom znížiť počet falošne pozitívnych výstrah. Bez ohľadu na povahu vytváraného diela je dôležité rozdeliť prácu spravodlivo a udržateľne v rámci tímu. Nie všetky pracovné zmeny sú rovnaké a niektoré sú zložitejšie ako iné, takže tvrdenie, že osoba prijímajúca upozornenie je osobou zodpovednou za riešenie všetkých následkov tohto upozornenia, môže viesť k nerovnomernému rozdeleniu práce. Môže byť zmysluplnejšie, aby bola osoba v službe zodpovedná za plánovanie alebo rozdeľovanie práce s očakávaním, že zvyšok tímu bude ochotný pomôcť dokončiť vytvorenú prácu.
Vytváranie a udržiavanie rovnováhy medzi pracovným a súkromným životom
Zamyslite sa nad tým, aký vplyv má služba na váš život mimo práce. Keď ste v službe, pravdepodobne sa budete cítiť pripútaní k svojmu mobilnému telefónu a notebooku, to znamená, že notebook a mobilný router (usb modem) nosíte stále so sebou alebo jednoducho neopúšťate svoj domov/kanceláriu. Byť v pohotovosti zvyčajne znamená vzdať sa vecí, ako je stretávanie sa s priateľmi alebo rodinou počas vašej zmeny. To znamená, že dĺžka každej zmeny závisí od počtu ľudí vo vašom tíme a frekvencia zmien môže ľudí neúmerne zaťažovať. Možno budete musieť experimentovať s dĺžkou a načasovaním svojich zmien, aby ste našli rozvrh, ktorý bude vyhovovať aspoň väčšine zúčastnených ľudí, pretože rôzne tímy a ľudia budú mať rôzne priority a preferencie.
Je nevyhnutné uznať vplyv, ktorý bude mať služba na životy ľudí, a to na úrovni riadenia aj na úrovni jednotlivca. Treba si uvedomiť, že dopad budú neúmerne pociťovať ľudia s menšími privilégiami. Napríklad, ak musíte venovať čas starostlivosti o deti alebo iných členov rodiny, alebo ak zistíte, že väčšina domácich prác leží na vašich pleciach, už máte menej času a energie ako niekto, kto ich nemá. Tento druh práce „druhej zmeny“ alebo „tretej zmeny“ má tendenciu neúmerne ovplyvňovať ľudí, a ak zavediete striedanie na zavolanie s harmonogramom alebo intenzitou, ktorá predpokladá, že účastníci nemajú žiadny osobný život mimo kancelárie, obmedzujete ľudí, ktorí môže byť súčasťou vášho tímu.
Povzbudzujte ľudí, aby sa snažili dodržiavať viac svojho pravidelného rozvrhu. Mali by ste zvážiť poskytnutie mobilných smerovačov (usb modemov) tímu, aby ľudia mohli odísť z domu so svojím notebookom a stále mali nejaké zdanie života. Povzbudzujte ľudí, aby si medzi sebou vymenili pohotovostné hodiny, ak je to potrebné, na krátky čas, aby ľudia mohli počas služby ísť do posilňovne alebo navštíviť lekára. Nevytvárajte kultúru, kde byť v pohotovosti znamená, že inžinieri doslova nerobia nič iné, len sú v pohotovosti. Rovnováha medzi pracovným a súkromným životom je dôležitou súčasťou každej práce, ale najmä ak vezmete do úvahy hodiny mimo služby, starší členovia vášho tímu by mali ísť príkladom pre ostatných, pokiaľ ide o rovnováhu medzi pracovným a súkromným životom, čo najviac počas služby.
Na individuálnej úrovni nezabudnite vysvetliť, čo znamená byť v službe vašim priateľom, rodine, partnerom, domácim miláčikom atď. (vašim mačkám to bude pravdepodobne jedno, keďže sú už hore o 4:XNUMX, keď dostanete upozornenie , aj keď vám to v žiadnom prípade nebudú chcieť pomôcť vyriešiť). Uistite sa, že ste po skončení smeny nahradili stratený čas, či už ide o stretnutie s priateľmi, rodinou alebo napríklad spánok. Ak môžete, zvážte nastavenie tichého budíka (napríklad inteligentných hodiniek), ktorý vás môže zobudiť bzučaním na zápästí, aby ste nezobudili nikoho vo vašom okolí. Nájdite spôsoby, ako sa o seba postarať, keď ste uprostred pracovnej zmeny a keď sa skončí. Možno budete chcieť zostaviť „súpravu na prežitie na zavolanie“, ktorá vám pomôže relaxovať: počúvajte zoznam skladieb svojej obľúbenej hudby, čítajte si obľúbenú knihu alebo si nájdite čas na hru so svojím domácim miláčikom. Manažéri by mali podporovať starostlivosť o seba tým, že dajú ľuďom deň voľna po týždni v službe a zabezpečia, aby ľudia požiadali (a dostali) pomoc, keď ju potrebujú.
Zlepšenie zážitku z povinnosti
Vo všeobecnosti by sa služba nemala vnímať len ako hrozná práca: ako osoba v službe máte príležitosť a zodpovednosť aktívne pracovať na tom, aby to bolo lepšie pre ľudí, ktorí budú v službe v budúcnosti, čo znamená, že bude dostávať menej správ a budú presnejšie. Opäť platí, že sledovanie hodnoty vašich upozornení pomocou niečoho, ako je Opsweekly, vám môže pomôcť zistiť, čo znepríjemňuje váš telefonát, a opraviť to. V prípade neaktívnych upozornení si položte otázku, či existujú spôsoby, ako sa týchto upozornení zbaviť – možno to znamená, že sa budú spúšťať iba počas pracovnej doby, pretože na niektoré veci jednoducho nemusíte reagovať uprostred noci. Nebojte sa vymazať upozornenia, zmeniť ich alebo zmeniť spôsob odosielania z „odoslať na telefón a e-mail“ na „iba e-mailom“. Experimentovanie a opakovanie sú kľúčom k zlepšovaniu služby v priebehu času.
V prípade upozornení, ktoré sú skutočne použiteľné, by ste mali zvážiť, aké ľahké je pre inžiniera vykonať potrebné kroky. Každé spustené upozornenie by malo obsahovať runbook, ktorý k nemu patrí – zvážte použitie nástroja ako nagios-herald na pridanie odkazov na runbook do vašich upozornení. Ak je upozornenie dostatočne jednoduché, že nepotrebuje runbook, je pravdepodobne dostatočne jednoduché na to, aby ste mohli automatizovať odozvu pomocou niečoho ako obslužné programy udalostí Nagios, čo šetrí ľudí, ktorí sa musia prebúdzať alebo prerušovať kvôli ľahko automatizovaným úlohám. Runbooky aj nagios-herald vám môžu pomôcť pridať cenný kontext do vašich upozornení, čo ľuďom pomôže efektívnejšie na ne reagovať. Zistite, či dokážete odpovedať na bežné otázky, ako napríklad: Kedy bolo toto upozornenie naposledy spustené? Kto na to odpovedal naposledy a aké kroky nakoniec podnikol (ak nejaké boli)? Aké ďalšie upozornenia sa zobrazujú súčasne s týmto a súvisia? Tento typ kontextových informácií často končí iba v mozgoch ľudí, takže podporovanie kultúry dokumentovania a zdieľania kontextových informácií môže znížiť režijné náklady potrebné na reakciu na výstrahy.
Veľká časť únavy, ktorá pochádza z pohotovostných služieb, spočíva v tom, že nikdy nekončia – ak má váš tím pohotovostné služby, je nepravdepodobné, že sa skončia kedykoľvek v dohľadnej budúcnosti. Zmeny nikdy nekončia a môžeme mať pocit, že budú vždy hrozné. Tento nedostatok nádeje je veľkým duševným problémom, ktorý môže prispievať k stresu a vyčerpaniu, takže riešenie vnímania (okrem reality), že povinnosť bude vždy hrozná, je dobrým miestom, kde začať premýšľať o svojej povinnosti z dlhodobého hľadiska.
Aby ľudia mali nádej, že sa situácia v službe niekedy zlepší, je potrebné, aby bol systém pozorovateľný (rovnaké sledovanie a kategorizácia povinností, ktoré som už spomenul). Sledujte, koľko máte upozornení, aké percento z nich vyžaduje zásah obsluhy, koľko z nich ľudí zobudí, a potom pracujte na vytvorení kultúry, ktorá povzbudí ľudí, aby robili veci lepšie. Ak máte veľký tím, môže byť lákavé, hneď ako sa vám skončia hodinky, rozhodiť rukami a povedať „to je problém budúceho dôstojníka“ namiesto toho, aby ste niečo opravili – kto chce minúť viac úsilie, ktoré sa od nich vyžaduje? Práve tu môže mať kultúra empatie veľký význam, pretože sa nestaráte len o svoje blaho v službe, ale aj o svojich kolegov.
Všetko je to o empatii
Empatia je dôležitou súčasťou toho, čo nám umožňuje zvyšovať výkon, ktorý zlepšuje zážitok z hovoru. Ako manažér alebo člen môžete pozitívne ohodnotiť alebo dokonca odmeniť ľudí za správanie, vďaka ktorému je posun lepší. Prevádzková podpora je jednou z tých oblastí, kde majú inžinieri často pocit, že im ľudia venujú pozornosť len vtedy, keď sa niečo pokazí: ľudia budú na nich kričať, keď sa stránka zrúti, ale len zriedka sa dozvedia o zákulisných snahách, ktoré prevádzka inžinieri sa zaviazali udržiavať stránku v prevádzke po zvyšok času. Uznanie práce môže ísť veľmi ďaleko, či už ide o poďakovanie niekomu na porade alebo vo všeobecnom e-maile za zlepšenie konkrétneho upozornenia, technického aspektu služby alebo poskytnutie času niekomu, aby na chvíľu kryl iného inžiniera na smene.
Povzbudzujte ľudí, aby venovali čas a úsilie zlepšovaniu svojej pohotovostnej situácie z dlhodobého hľadiska. Ak má váš tím pohotovostné služby, mali by ste si túto prácu naplánovať a určiť jej priority rovnakým spôsobom, akým by ste pracovali pri akejkoľvek inej práci na svojom pláne. Pohotovostné služby majú 90% entropiu a pokiaľ aktívne nepracujete na ich zlepšovaní, budú sa časom zhoršovať a zhoršovať. Spolupracujte so svojím tímom, aby ste zistili, čo ľudí najlepšie motivuje a odmeňuje, a potom to použite na povzbudenie ľudí, aby znížili varovný hluk, písali runbooky a vytvárali nástroje, ktoré riešia ich problémy počas hovoru. Čokoľvek robíte, neuspokojte sa s hroznou povinnosťou ako trvalou súčasťou stavu vecí.
Zdroj: hab.com