A hatékony DevOps szerzője, Ryn Daniels megosztja azokat a stratégiákat, amelyeket bárki használhat jobb, kevésbé bosszantó és fenntarthatóbb Oncall-kísérő-rotáció létrehozására.
A Devops megjelenésével manapság sok mérnök ilyen vagy olyan módon szervezi az ügyeletet, ami egykor a rendszergazdák vagy az üzemeltetési mérnökök kizárólagos felelőssége volt. Az ügyelet, különösen a munkaidő után, nem olyan feladat, amelyet a legtöbb ember élvez. Az ügyelet megzavarhatja az alvásunkat, megzavarhatja a normál napközbeni munkát, és általában az életünket. Ahogy egyre több csapat vesz részt a rotában, feltettük magunknak a kérdést: „Mit tehetünk egyénileg, csapatként és szervezetként azért, hogy a rota emberibbé és stabilabbá váljon?”.
Mentse az alvást
Gyakran az első dolog, amire az emberek arra gondolnak, amikor arra gondolnak, hogy szolgálatban vannak, hogy ez negatívan befolyásolja az alvásukat; senki sem akarja, hogy egy riasztás felébressze őket az éjszaka közepén. Ha szervezete vagy csapata kellően nagyra nő, használhat napkövető rotációt, ahol több időzónában lévő csapatok vesznek részt ugyanabban a rotációban, rövidebb ügyeleti műszakokkal, így minden időzóna csak a munkája során lesz szolgálatban. (vagy legalábbis felébredni) órákat. Ennek a rotációnak a beállítása nagyszerű munkát végezhet a kísérő éjszakai munkaterhelésének csökkentésében.
Ha nincs elég mérnöke és földrajzi eloszlása a napkövető forgatás biztosításához, még mindig lehet tenni, hogy csökkentse annak esélyét, hogy az embereket szükségtelenül felébresszék az éjszaka közepén. Hiszen egy dolog hajnali 4:XNUMX-kor kikelni az ágyból, hogy megoldjunk egy sürgős, az ügyfeleket érintő problémát; egészen más dolog, ha csak arra ébredsz fel, hogy téves riasztással van dolgod. Ezzel ellenőrizheti az összes beállított riasztást, és megkérdezheti csapatától, hogy melyek azok, amelyekre valóban szükség van valakinek a munkaidő utáni felébresztéséhez, és hogy ezek a riasztások várhatnak-e reggelig. Nehéz lehet elérni, hogy az emberek beleegyezzenek egyes nem működő riasztások kikapcsolásához, különösen akkor, ha az elmulasztott problémák a múltban problémákat okoztak, de nem szabad elfelejteni, hogy az alváshiányos mérnök nem a leghatékonyabb mérnök. Állítsa be ezeket a figyelmeztetéseket munkaidőre, amikor valóban fontosak. Manapság a legtöbb értesítési eszköz lehetővé teszi, hogy különböző szabályokat állítson be a munkaidőn kívüli értesítésekre, legyen szó Nagios értesítési időszakokról vagy eltérő ütemezésekről a PagerDuty alkalmazásban.
Alvás, kötelesség és csapatkultúra
Az alvászavar kezelésének egyéb módjai jelentősebb kulturális változásokat jelentenek. A probléma megoldásának egyik módja a riasztások nyomon követése, különös figyelmet fordítva arra, hogy mikor érkeznek meg és hatékonyak-e. az Etsy által létrehozott és közzétett eszköz, amely lehetővé teszi a csapatok számára a kapott riasztások nyomon követését és kategorizálását. Grafikonokat tud generálni, amelyek azt mutatják, hogy hány riasztás ébresztette fel az embereket (a fitneszkövetők alvásadatai alapján), valamint azt, hogy valójában hány riasztásra volt szükség emberi beavatkozásra. Ezekkel a technológiákkal nyomon követheti a kísérő forgatás hatékonyságát és az alvásra gyakorolt hatását az idő múlásával.
A csapat szerepet játszhat abban, hogy minden szolgálatban lévő személy megfelelő pihenést biztosítson. Hozzon létre egy olyan kultúrát, amely arra ösztönzi az embereket, hogy vigyázzanak magukra: Ha nem aludt, mert éjszaka kihívnak, érdemes lehet reggel kicsit tovább aludnia, hogy megpróbálja bepótolni az elveszett alvásidőt. A csapattagok figyelhetnek egymásra: Amikor a csapatok megosztják egymással alvási adataikat az Opsweekly-hez hasonló módon, odamenhetnek ügyeletes kollégáikhoz, és azt mondják: „Hé, úgy tűnik, nehéz éjszakád volt a PagerDutyval tegnap este.” – Akarod, hogy fedezzem önt ma este, hogy pihenjen egy kicsit? Ösztönözze az embereket, hogy támogassák egymást ilyen módon, és akadályozzák a „hős kultúrát”, ahol az emberek a határokig szorítják magukat azáltal, hogy elkerülik a segítségkérést.
A műszakok hatásának csökkentése a munkahelyen
Amikor a mérnökök fáradtak, mert szolgálat közben felébresztették őket, nyilvánvalóan nem dolgoznak 100%-os erővel egész nap, de alvásmegvonás nélkül is más teljesítménykihatásai lehetnek az ügyeletnek. Az egyik legnagyobb veszteség az ügyeletnél a megszakítási tényezővel, a kontextusváltással kapcsolatos: egyetlen megszakítás legalább 20 perc veszteséget eredményezhet fókuszvesztés és kontextusváltás miatt. Valószínűleg a csapatok más forrásokból is zavarhatnak, például más csapatok által generált jegyek, kérések vagy kérdések chaten és/vagy e-mailben. Ezen egyéb megszakítások mennyiségétől függően fontolóra veheti, hogy hozzáadja őket meglévő ügyeleti rotációjához, vagy beállíthat egy második rotációt, amely csak ezen egyéb kérések kezelésére szolgál.
Ezt fontos figyelembe venni a csapat által végzett munka megtervezésekor, mind hosszú, mind rövid távon. Ha az Ön csapata meglehetősen intenzív ügyeleti műszakokra jellemző, ezt a tényt figyelembe kell venni a hosszú távú tervezés során, mivel előfordulhat, hogy az összes munkatárs egy adott időpontban hatékonyan teljesít szolgálatot, más munka nem. A rövid távú tervezés során előfordulhat, hogy az ügyeletes szolgálati feladatai miatt nem tudja betartani a határidőket - ez várható is, és a csapat többi tagjának készen kell állnia az alkalmazkodásra és segítenie kell a munka elvégzését. és az ügyeletes támogatja.munkafeladataiban. Függetlenül attól, hogy hívják-e a kísérőt, az ügyeletes műszak befolyásolja az egyéb munkavégzés képességét – ne várja el, hogy a kísérő éjszaka is dolgozzon a tervezett projektek elvégzése érdekében a szolgálaton kívüli szolgálaton kívül.
A csapatoknak meg kell találniuk a módját, hogyan kezeljék az ügyeletben keletkezett többletmunkát. Ez a munka valódi munka lehet a megfigyelő és riasztási rendszerek által talált valós problémák kijavítására, vagy lehet a felügyelet és a riasztás javítása a téves pozitív riasztások csökkentése érdekében. Bármi is legyen a készülő munka jellege, fontos, hogy ezt a munkát tisztességesen és fenntartható módon megosszák a csapaton belül. Nem minden szolgálati műszak egyenlő, egyesek összetettebbek, mint mások, így annak állítása, hogy a riasztást kapó személy felelős a riasztás következményeinek kezeléséért, a munka egyenetlen elosztásához vezethet. Ésszerűbb lehet, ha a kísérő felel a munka ütemezéséért vagy elosztásáért, miközben elvárja, hogy a csapat többi tagja is rendelkezésre álljon a létrehozott munka befejezéséhez.
A munka és a magánélet közötti egyensúly megteremtése és fenntartása (munka-magánélet egyensúlya)
Gondoljon bele, milyen hatással van az ügyelet a munkán kívüli életre. Szolgálat közben valószínűleg kötődni fog mobiltelefonjához és laptopjához, ez azt jelenti, hogy mindig van magánál laptop és mobil router (usb modem), vagy egyszerűen ne hagyja el otthonát/irodáját. Az ügyelet általában azt jelenti, hogy lemond olyan dolgokról, mint például a barátokkal vagy a családdal való találkozás a műszak alatt. Ez azt jelenti, hogy az egyes műszakok hossza a csapatában lévő személyek számától függ, és a műszakok gyakorisága indokolatlan teherré válhat az emberek számára. Előfordulhat, hogy kísérleteznie kell a műszakok hosszával és ütemezésével, hogy olyan ütemtervet találjon, amely legalább az érintett emberek többsége számára megfelelő, mivel a különböző csapatoknak és embereknek eltérő prioritásaik és preferenciái lesznek.
Alapvetően fontos tisztában lenni azzal, hogy az óra milyen hatással lesz az emberek életére, mind vezetői, mind egyéni szinten. Meg kell jegyezni, hogy a hatást inkább a kisebb kiváltságokkal rendelkezők fogják érezni. Például, ha időt kell töltenie a gyerekek vagy más családtagok gondozásával, vagy ha azt tapasztalja, hogy a házimunka nagy része a vállára esik, máris kevesebb idővel és energiával rendelkezik, mint annak, aki nem viseli ezeket a feladatokat. Ez a „második műszakos” vagy „harmadik műszakos” munka aránytalanul nagy hatással van az emberekre, és ha olyan szolgálati rotációt állít be, amelynek ütemezése vagy intenzitása azt sugallja, hogy a tagoknak nincs magánéletük az irodán kívül, akkor korlátozza a részt vevő személyek számát. csapatod.
Ösztönözze az embereket, hogy igyekezzenek a lehető legtöbbet betartani a szokásos napirendjükből. Érdemes megfontolni, hogy a csapatot mobil útválasztókkal (usb modemekkel) biztosítsa, hogy az emberek laptopjukkal elhagyhassák a házat, és továbbra is élhessenek. Ösztönözze az embereket, hogy szükség esetén rövid ideig cseréljék le egymással a szolgálati időt, hogy ügyelet közben el tudjanak menni edzőterembe vagy orvoshoz fordulni. Ne alakítsunk ki olyan kultúrát, ahol a szolgálatban lenni azt jelenti, hogy a mérnökök szó szerint nem csinálnak mást, csak szolgálatban vannak. A munka és a magánélet egyensúlya minden munka fontos része, de különösen, ha a munkaidőn kívüli időt is beleszámítjuk, a csapat idősebb tagjainak példát kell mutatniuk a munka és a magánélet egyensúlyában, amennyire csak lehetséges szolgálat közben.
Egyéni szinten ne felejtse el elmagyarázni, mit jelent az ügyelet barátainak, családtagjainak, partnereinek, háziállatainak stb. (macskáit valószínűleg ez nem fogja érdekelni, mivel már hajnali 4-kor felkelnek, amikor Ön riasztást kap, bár semmiképpen sem akarnak majd segíteni a megoldásában). Ügyeljen arra, hogy a műszak vége után pótolja az elvesztegetett időt, legyen szó baráti, családtag találkozásról vagy szunyókálásról. Ha teheti, fontolja meg egy csendes ébresztőóra (például egy okosóra) beállítását, amely a csuklóján lévő zümmögéssel ébresztheti fel Önt, hogy ne ébresszen fel senkit a környezetében. Találja meg a módját, hogyan vigyázzon magára, amikor éppen a műszak közepén van, és amikor annak vége. Érdemes összeállítani egy "ügyeletes túlélőkészletet", amely segít kikapcsolódni: hallgassa kedvenc zenei lejátszási listáját, olvassa el kedvenc könyvét, vagy szánjon időt kedvencével való játékra. A menedzsereknek ösztönözniük kell az öngondoskodást azáltal, hogy szabadnapot adnak az embereknek egy hét munkaszünet után, és gondoskodnak arról, hogy az emberek segítséget kérjenek (és kapjanak), amikor szükségük van rá.
Az ügyeleti tapasztalat javítása
Általánosságban elmondható, hogy az ügyeletet nem csak szörnyű munkának kell tekinteni: ügyeletesként lehetősége és felelőssége van arra, hogy aktívan dolgozzon azon, hogy a jövőben szolgálatot teljesítő emberek helyzete jobb legyen, ami azt jelenti, hogy az emberek kevesebb üzenetet kap, és pontosabbak lesznek. A riasztások értékének nyomon követése például az Opsweekly segítségével segíthet kideríteni, mi okozza az ügyeletes szolgálatot, és kijavíthatja. Az inaktív riasztások esetén kérdezze meg magát, hogy van-e mód arra, hogy megszabaduljon ezektől a riasztásoktól – ez talán azt jelenti, hogy csak munkaidőben kapcsolnak be, mert vannak olyan dolgok, amelyekre nem kell reagálnia az éjszaka közepén. Ne féljen törölni, módosítani a figyelmeztetéseket, vagy módosítani a küldés módját „telefonra és e-mailre” küldésről „csak e-mailre”. A kísérletezés és az iteráció a kulcsa az ügyelet időbeli javításának.
A ténylegesen élő riasztások esetében érdemes elgondolkodni azon, hogy a mérnöknek milyen egyszerű a művelet. Minden működő riasztásnak tartalmaznia kell egy runbookot – fontolja meg egy olyan eszköz használatát, mint a nagios-herald, hogy runbook hivatkozásokat adjon a riasztásokhoz. Ha egy riasztás olyan egyszerű, hogy nincs szüksége runbookra, akkor valószínűleg elég egyszerű ahhoz, hogy automatizálja a választ olyasmivel, mint a Nagios eseménykezelő, ami megkíméli az embereket attól, hogy felébredjenek vagy megszakadjanak a könnyen automatizálható feladatokhoz. Mind a runbookok, mind a nagios-herald segítségével értékes kontextust adhat a riasztásokhoz, ami segít az embereknek hatékonyabban reagálni rájuk. Nézze meg, tud-e válaszolni a gyakori kérdésekre, például: Mikor szólalt meg utoljára ez a figyelmeztetés? Ki válaszolt rá utoljára, és milyen lépéseket tett végül (ha volt ilyen)? Milyen egyéb figyelmeztetések jelennek meg egyidejűleg, és kapcsolódnak egymáshoz? Ez a fajta kontextuális információ gyakran csak az emberek agyában köt ki, így a kontextuális információk dokumentálásának és megosztásának kultúrájának ösztönzése csökkentheti a riasztásokra való reagáláshoz szükséges többletköltséget.
A túrákkal járó fáradtság jelentős része az, hogy soha nem érnek véget – ha vannak turnék a csapatban, nem valószínű, hogy ezek a belátható jövőben bármikor véget érnek. A túrák soha nem érnek véget, és úgy érezhetjük, hogy mindig szörnyűek lesznek. Ez a reménytelenség egy nagy mentális probléma, amely hozzájárulhat a stresszhez és a kimerültséghez, ezért annak a felfogásnak a kezelése (a valóság mellett), hogy a túrák mindig szörnyűek lesznek, jó kezdet ahhoz, hogy hosszú távon gondolkodjunk a túrákon.
Ahhoz, hogy reményt keltsünk az emberekben, hogy az ügyeleti helyzet valaha is javulni fog, szükség van a rendszer megfigyelhetőségére (ugyanaz az ügyeleti nyomon követés és kategorizálás, amit korábban említettem). Kövesse nyomon, hány riasztása van, ezek hány százaléka igényel kísérő beavatkozást, hány ébreszti fel az embereket, majd dolgozzon egy olyan kultúra kialakításán, amely arra ösztönzi az embereket, hogy tegyenek jobb dolgokat. Ha nagy a csapatod, csábító lehet, amint lejár az órád, hogy felemeld a kezed, és azt mondod, hogy "ez egy jövőbeli ügyeletes tiszt problémája" ahelyett, hogy a dolgok megjavításán keresgélnénk – aki több erőfeszítést szeretne költeni műszakban, mint tőlük szükséges? Ez az, ahol az empátia kultúrája sokat segíthet, mert nem csak a szolgálatban lévő jóléte van, hanem a kollégái is.
Az egész az empátiáról szól
Az empátia fontos része annak, ami lehetővé teszi számunkra, hogy ösztönözzük a munkát, ami javítja az ügyeleti élményt. Vezetőként vagy közreműködőként értékelheti vagy akár meg is jutalmazhatja az embereket viselkedésükért, amely jobbá teszi a túrát. A műveletek egyike azon területeknek, ahol a mérnökök gyakran úgy érzik, hogy az emberek csak akkor figyelnek rájuk, ha valami rosszul sül el: az emberek a közelben lesznek, hogy kiabáljanak velük, amikor az oldal leáll, de ritkán szereznek tudomást arról, hogy a műveletek a színfalak mögött milyen erőfeszítéseket tesznek. a mérnökök belefektettek abba, hogy a webhely a fennmaradó időben működjön. A munka elismerése sokat segíthet, legyen szó akár köszönetről egy értekezleten vagy egy általános e-mailben, hogy javított egy adott riasztáson, egy műszak technikai vonatkozásán, vagy időt ad valakinek arra, hogy egy másik műszakban lévő mérnököt helyettesítsen.
Ösztönözze az embereket, hogy fordítsanak időt és energiát a szolgálati helyzet hosszú távú javítására. Ha csapatának van ügyelete, akkor ezt a munkát ugyanúgy meg kell terveznie és rangsorolnia, mint bármely más, az ütemtervében szereplő munkát. A kötelességek 90%-ban entrópiák, és ha nem dolgozol aktívan a javításukon, idővel egyre rosszabbak lesznek. Dolgozzon csapatával annak kiderítésére, hogy mi motiválja és ösztönzi a legjobban az embereket, majd ezzel ösztönözze az embereket, hogy csökkentsék a riasztási zajt, írjanak runbookokat, és készítsenek olyan eszközöket, amelyek szolgálat közben megoldják problémáikat. Bármit is tesz, ne elégedjen meg a szörnyű virrasztásokkal, amelyek a dolgok állapotának állandó részét képezik.
Forrás: will.com