Kasbiy charchashni oldini olish uchun "har doim yoqilgan" holatini qanday o'zgartirdik

Maqolaning tarjimasi kurs talabalari uchun maxsus tayyorlangan "DevOps amaliyotlari va vositalari".

Kasbiy charchashni oldini olish uchun "har doim yoqilgan" holatini qanday o'zgartirdik

Interkomning vazifasi onlayn biznesni shaxsiylashtirishdir. Lekin mahsulot ishlamasa, uni shaxsiylashtira olmaysiz. qanday. Nafaqat mijozlarimiz bizga pul to'lagani uchun emas, balki o'zimiz ham foydalanayotganimiz uchun unumdorlik biznesimiz muvaffaqiyati uchun juda muhimdir. mahsulotingiz bilan. Agar bizning xizmatimiz ishlamasa, biz tom ma'noda mijozlarimizning og'rig'ini his qilamiz.

To'g'ri ishlash dasturiy ta'minot arxitekturasi va kundalik ish sifati kabi ko'plab omillarga bog'liq. Biroq, ko'pincha hamma narsa doimo aloqada bo'lgan odam qo'ng'iroqlarga javob berishiga to'g'ri keladi PagerDuty. Ushbu turdagi texnik yordam muhandislarning yordamini mijozlar mahsulotingizni sotib olganlarida oladigan narsalar bilan birlashtirgan kuchli mijozlarga yo'naltirilgan vosita bo'lishi mumkin. Bu, shuningdek, o'rganish va o'sish uchun ajoyib imkoniyatdir, chunki muvaffaqiyatsizliklar va xatolar ko'nikmalarni mashq qilish va murakkab ish mexanizmlarini tushunish uchun yaxshi imkoniyat bo'lishi mumkin.

Ish vaqtidan tashqarida "doimo ochiq" bo'lish hayotingizga yomon ta'sir qiladi.

Ammo shu bilan birga, "doimiy" bo'lish hayotingizga salbiy ta'sir ko'rsatishi mumkin. Biror narsa buzilganligi haqidagi ogohlantirishga tez va malakali javob berishga tayyor bo'lishingiz kerak. Agar siz biron bir vaqtda sahifaga kirmasangiz ham, shaxsiy tajribamdan bilganimdek, "doimo yoqilgan" bo'lish tashvish tug'dirishi mumkin. Shu sababli, uyqu sifati ayniqsa kuchli tarzda yomonlashadi. Kunning istalgan vaqtida muntazam ravishda kirish zonasida bo'lish charchash, befarqlik yoki umuman, kompyuterni boshqa ko'rmaslik istagiga olib kelishi mumkin.

Interkomda "har doim ulangan" holatning tarixi

Interkomning dastlabki kunlarida bizning texnik direktorimiz Ciaran yakka o'zi ofis ichida va tashqarisida XNUMX/XNUMX texnik yordam ko'rsatadigan butun jamoani ta'minladi. Interkom o'sishi bilan Ciaranga yordam berish uchun ishchi guruh yaratildi. Ko'p o'tmay, yangi ishlab chiqish guruhlari ko'plab yangi xususiyatlar va xizmatlarni yaratishni boshladilar va ular barcha texnik yordam mas'uliyatini o'z zimmalariga oldilar.

Har qanday vaqtda "qo'ng'iroq bo'lgan" odamlar juda ko'p edi.

O'sha paytda bu yondashuv aql bovar qilmaydigandek tuyulardi, chunki bu bizning texnik qo'llab-quvvatlash guruhimizni bir lahzada kengaytirishning oson yo'li edi, u bizning qadriyatlarimizga mos edi va bizning maqsadlarimizga mos keldi. egalik hissi. Oxir-oqibat, hech qanday rejalarsiz, biz mijozlar bilan ishlamaydigan vaqtlarida muntazam ravishda bog'langan to'rt yoki beshta jamoaga ega bo'ldik. Qolgan ishlab chiqish guruhlarida xatoga yo'l qo'yadigan juda ko'p murakkab muammolar yo'q edi, shuning uchun ular kamdan-kam hollarda chaqirilardi.

Biz g'ururlanib bo'lmaydigan texnik qo'llab-quvvatlash mexanikasi va tuzatmoqchi bo'lgan bir qator muhim muammolarga duch kelganimizni angladik, masalan:

  • Har qanday vaqtda qiyinchilikka tayyor bo'lgan juda ko'p odamlar bor edi. Bizning infratuzilmamiz kamida beshta ishlab chiqish muhandisining muntazam dam olish kunlarisiz ishlashini talab qiladigan darajada katta emas edi.
  • Signallar sifati va qo‘ng‘iroq qilish tartib-qoidalari jamoalar orasida bir xil emas edi va biz yangi va mavjud muammoli ogohlantirishlarni ko‘rib chiqish uchun maxsus jarayonlardan foydalandik. Runbookdagi ko'rsatmalar (muammo haqida xabar berilganda bajarilishi kerak) asosan ularning yo'qligi bilan ko'zga tashlandi.
  • Muhandislar ishlagan jamoaga qarab, ular bir-biriga zid umidlarga ega edi. Misol uchun, faqat birinchi texnik qo'llab-quvvatlash guruhi qo'ng'iroq bo'yicha smenalar va buzilgan dam olish kunlari uchun har qanday kompensatsiyaga ega edi.
  • Toq soatlarda keraksiz qo'ng'iroqlar uchun umumiy tolerantlik darajasi mavjud edi.
  • Nihoyat, bu turdagi ish hamma uchun emas. Hayot sharoitlari ba'zan vazifalarni almashtirish odamlarga eng yaxshi ta'sir ko'rsatmasligini ko'rsatdi.

To'g'ri "har doim yoqilgan" holatini topish

Biz ishlamaydigan vaqtlarda har bir jamoa uchun texnik yordam ishlarini bajaradigan yangi virtual jamoa yaratishga qaror qildik. Jamoa tashkilotdagi biron bir jamoadan chaqiriluvchilar emas, balki ko‘ngillilardan iborat bo‘ladi. Virtual jamoadagi muhandislar taxminan har olti oyda bir marta aylanib, haftalarni "qo'ng'iroq bo'yicha" o'tkazishdi. Yaxshiyamki, biz virtual jamoani yig'ish uchun yetarlicha ko'ngillilarni topishda muammoga duch kelmadik.

Natijada, bizning qo'llab-quvvatlash guruhimiz 30 kishidan 6 yoki 7 kishiga qisqardi.

Keyin jamoa kelishib oldi va muammo ogohlantirishlari va tavsiflari runbookda qanday ko'rinishi kerakligini aniqladi va yangi qo'llab-quvvatlash guruhiga ogohlantirishlarni yuborish jarayonini tasvirlab berdi. Ular Terraform moduli yordamida koddagi barcha ogohlantirishlarni aniqladilar va har bir o'zgarish uchun tengdoshlarni tekshirishdan foydalanishni boshladilar. Biz navbatchilarni juda qoniqtiradigan haftalik smena uchun kompensatsiya darajasini joriy etdik. Shuningdek, biz faqat menejerlardan iborat ikkinchi darajali eskalatsiya qilingan jamoani yaratdik. Ushbu jamoa texnik yordam muhandislari uchun yagona kuchayishi nuqtasi bo'lishi kerak.

Bizda bir necha oylik mashaqqatli mehnatimiz bor edi, shu vaqt ichida biz bu jarayonni yo'lga qo'ydik, natijada hozirda avvalgidek 30 ta muhandis emas, atigi 6 yoki 7 nafar muhandis chaqirildi. xizmatlar, on Bu, odatda, eng ko'p buzilishlar sodir bo'ladigan vaqt, ammo boshqa vaqtlarda texnik yordam ko'ngillilar tomonidan taqdim etiladi.

Biz nimani o'rgandik

Virtual texnik qo‘llab-quvvatlash guruhimizni ishga tushirganimizdan so‘ng, muammolar sabablarini o‘rganish yoki uzilishga sabab bo‘lgan yagona muammoni hal qilish uchun yig‘ilish kabi yangi vazifalar kelishini kutgan edik. Biroq, bizning ishlab chiqish guruhlarimiz nosozliklarni keltirib chiqaradigan omillar uchun to'liq javobgarlikni o'z zimmalariga oldilar va har qanday keyingi javob odatda darhol edi. Biz, shuningdek, muhandislarni ish soatlaridan keyin bog'lanishga majburlamaslik uchun texnik maslahat topshirig'i kelgan jamoaga qaytarilishi mumkin bo'lgan vaziyatdan qochishimiz kerak edi.

Ishdan keyingi qo‘ng‘iroqlar soni oyiga 10 tadan ham kamaygan.

Bizning eskalatsiya jarayoni kamdan-kam hollarda rasmiy ravishda qo'llanilardi. Ko'proq tarqalgan e'tiqod muhandisga norasmiy ravishda hozirda onlayn bo'lgan jamoa, ayniqsa San-Fransiskodagi ofisimizdagi yigitlar yordam bergan degan edi. Birgalikda ishlash va ularni tezda hal qilish orqali ko'plab muammolar bartaraf etildi yoki qisqartirildi.

San-Fransiskodagi ofisimiz muhandislari jamoaga to'liq vaqtli qo'shilishdi va odatdagi texnik yordamdan tashqariga chiqishdi. Biz ba'zi bir qo'shimcha xarajatlarga duch keldik, lekin qo'llab-quvvatlash guruhi a'zoligini bir nechta ofislarga tarqatish bizning foydamizga ishladi, chunki bu munosabatlarni o'rnatish, ularni mustahkamlash va biz ishlayotgan texnologiya haqida ko'proq ma'lumot olishning yaxshi usuli ekanligini isbotladi.

Interkomni ishlab chiquvchilarning ishi bizning jamoalarimizda yanada izchil bo'ldi va biz saytimizda tizim muhandisi bo'lishning afzalliklari haqida ishonch bilan gapirishimiz mumkin. Martaba, agar xohlamasangiz, doimo bog'lanishning hojati yo'qligini bildiradi.

Maʼlumotlar omborimizni barqarorlashtirish va kengaytirish boʻyicha fundamental ishlar bilan bir qatorda, muammolarni hal qilishga doimiy eʼtibor qaratilayotgani ish vaqtidan tashqari qoʻngʻiroqlar soni oyiga 10 dan kam boʻlganini koʻrsatdi. Biz bu raqam bilan faxrlanamiz.

Biz texnik qo'llab-quvvatlash guruhimizni qo'llab-quvvatlash va takomillashtirish ustida ishlashda davom etamiz va Interkom o'sib borishi bilan biz qarorlarimizni qayta ko'rib chiqishga majbur bo'lishimiz mumkin, chunki bugungi kunda ishlaydigan narsa keyingi safar xodimlarimiz ikki baravar ko'payganida ham ishlamaydi. Biroq, bu tajriba tashkilotimiz uchun juda ijobiy bo'ldi va ishlab chiqish muhandislarimiz hayot sifatini, qo'ng'iroqlarga javob berish sifatini va eng muhimi, mijozlarimizning tajribasini sezilarli darajada yaxshiladi.

Manba: www.habr.com

a Izoh qo'shish