Yandex navbatchi smenasini qanday evakuatsiya qildik

Yandex navbatchi smenasini qanday evakuatsiya qildik

Agar ish bitta noutbukga to'g'ri kelsa va boshqa odamlar tomonidan avtonom tarzda bajarilishi mumkin bo'lsa, uzoqroq joyga ko'chib o'tishda hech qanday muammo bo'lmaydi - faqat ertalab uyda qolish. Lekin hamma ham unchalik omadli emas.

Chaqiruv bo'yicha smena - bu xizmatlar mavjudligi bo'yicha mutaxassislar jamoasi (SRE). U navbatchi ma'murlar, ishlab chiquvchilar, menejerlar, shuningdek, har biri 26 dyuymli 55 LCD paneldan iborat umumiy "boshqaruv paneli" ni o'z ichiga oladi. Kompaniya xizmatlarining barqarorligi va muammolarni hal qilish tezligi navbatchilik smenasining ishiga bog'liq.

Bugun Dmitriy Melikov tal10n, navbatchi smena menejeri, bir necha kun ichida ular qanday qilib jihozlarni o'z uylariga tashish va yangi ish jarayonlarini yo'lga qo'yishga muvaffaq bo'lganliklari haqida gapirib beradi. Men unga so'z beraman.

— Vaqtingiz cheksiz bo'lsa, siz xohlagan narsangiz bilan bemalol harakat qilishingiz mumkin. Ammo koronavirusning tez tarqalishi bizni butunlay boshqacha sharoitlarga soldi. Yandex xodimlari birinchilardan bo'lib masofaviy ishlashga o'tishdi - hatto o'zini izolyatsiya qilish rejimi joriy etilishidan oldin. Bu shunday bo'ldi. 12-mart, payshanba kuni mendan jamoaning ishini uyga ko‘chirish imkoniyatini baholashni so‘rashdi. 13-juma kuni masofaviy ishlashga o'tish tavsiyasi paydo bo'ldi. 17-mart, seshanbaga o‘tar kechasi bizda hamma narsa tayyor edi: navbatchilar uydan ishlashdi, jihozlar tashildi, etishmayotgan dasturiy ta’minot yozildi, jarayonlar qayta konfiguratsiya qilindi. Va endi men sizga buni qanday olib tashlaganimizni aytaman. Lekin birinchi navbatda, navbatchi smena hal qiladigan vazifalarni eslab qolishingiz kerak.

Biz kimmiz

Yandex - yuzlab xizmatlarga ega yirik kompaniya. Qidiruv, ovozli yordamchi va boshqa barcha mahsulotlarning barqarorligi nafaqat ishlab chiquvchilarga bog'liq. Ma'lumotlar markazidagi quvvat manbai uzilishi mumkin. Asfaltni almashtirishda ishchi tasodifan optik kabelga zarar etkazishi mumkin. Yoki foydalanuvchi faolligi oshib ketishi mumkin, bu esa imkoniyatlarni qayta taqsimlash zaruratini keltirib chiqaradi. Bundan tashqari, biz hammamiz katta, murakkab infratuzilmada yashaymiz va bir mahsulotning chiqarilishi tasodifan boshqasining degradatsiyasiga olib kelishi mumkin.

Bizning ochiq maydonimizdagi 26 panel - bu bir yarim ming ogohlantirish va yuzdan ortiq diagrammalar va xizmatlarimizning panellari. Aslida, bu katta diagnostika paneli. Tajribali navbatchi ma'mur muhim tarkibiy qismlarning holatini ko'rib chiqish orqali tezda tushuna oladi va texnologik muammoni tekshirish yo'nalishini belgilashi mumkin. Bu odam doimiy ravishda barcha qurilmalarni ko'rib chiqishi kerak degani emas: avtomatlashtirishning o'zi navbatchining maxsus interfeysiga bildirishnoma yuborish orqali e'tiborni tortadi, ammo vizual panelsiz muammoni hal qilish uzoq vaqt talab qilishi mumkin.

Muammolar yuzaga kelganda, navbatchi birinchi navbatda ularning ustuvorligini baholaydi. Keyin u muammoni ajratib turadi yoki uning foydalanuvchilarga ta'sirini kamaytiradi.

Muammoni ajratishning bir necha standart usullari mavjud. Ulardan biri navbatchi ma'mur foydalanuvchilar kam sezadigan ba'zi funktsiyalarni o'chirib qo'yganida xizmatlarning yomonlashishi. Bu sizga yukni vaqtincha kamaytirish va nima bo'lganini aniqlash imkonini beradi. Agar ma'lumotlar markazida muammo yuzaga kelsa, navbatchi operatsiya guruhi bilan bog'lanadi, muammoni tushunadi, uni hal qilish vaqtini nazorat qiladi va kerak bo'lganda ixtisoslashgan guruhlarni jalb qiladi.

Navbatchi administrator nashr tufayli yuzaga kelgan muammoni ajrata olmasa, u bu haqda xizmat ko'rsatish guruhiga xabar beradi - va ishlab chiquvchilar yangi koddagi xatolarni qidiradilar. Agar ular buni aniqlay olmasalar, administrator boshqa mahsulotlar yoki xizmatlarning mavjudligi bo'yicha muhandislarni ishlab chiquvchilarni jalb qiladi.

Men bu erda hamma narsa qanday ishlashi haqida uzoq vaqt gapirishim mumkin, lekin o'ylaymanki, men allaqachon mohiyatni etkazdim. Navbatchi smena barcha xizmatlar ishini muvofiqlashtiradi va global muammolarni nazorat qiladi. Navbatchi ma'mur uchun diagnostika paneli ko'z oldida bo'lishi muhimdir. Shuning uchun, masofaviy ishlashga o'tayotganda, siz hammaga noutbukni bera olmaysiz. Diagrammalar va ogohlantirishlar ekranga sig'maydi. Nima qilish kerak?

Fikr

Ofisda navbatchi o‘nta ma’murning barchasi bitta boshqaruv paneli orqasida smenada ishlaydi, ular 26 ta monitor, ikkita kompyuter, to‘rtta NVIDIA Quadro NVS 810 video kartalari, ikkita rafga o‘rnatiladigan uzluksiz quvvat manbalari va bir nechta mustaqil tarmoqqa kirishni o‘z ichiga oladi. Biz hammaga uyda ishlash imkoniyatini ta'minlashimiz kerak edi. Kvartirada bunday devorni yig'ishning iloji yo'q (mening xotinim bundan juda xursand bo'ladi), shuning uchun biz uyda olib kelinishi va yig'ilishi mumkin bo'lgan ko'chma versiyani yaratishga qaror qildik.

Biz konfiguratsiya bilan tajriba qilishni boshladik. Biz barcha qurilmalarni kamroq displeylarga joylashtirishimiz kerak edi, shuning uchun monitor uchun asosiy talab yuqori pikselli zichlik edi. Bizning muhitimizda mavjud bo'lgan 4K monitorlardan biz sinov uchun Lenovo P27u-10 ni tanladik.

Noutbuklardan biz 16 dyuymli MacBook Pro-ni oldik. U bir nechta 4K displeylarda tasvirlarni ko'rsatish uchun zarur bo'lgan juda kuchli grafik quyi tizimiga va to'rtta universal Type-C ulagichiga ega. Siz so'rashingiz mumkin: nega ish stoli emas? Noutbukni ombordan aynan bir xiliga almashtirish bir xil tizim blokini yig'ish va sozlashdan ko'ra osonroq va tezroq. Va u kamroq og'irlik qiladi.

Endi biz noutbukga qancha monitorni ulashimiz mumkinligini tushunishimiz kerak edi. Va bu erda muammo ulagichlar sonida emas, biz buni faqat yig'ilgan tizimni sinab ko'rish orqali bilib oldik.

Yandex navbatchi smenasini qanday evakuatsiya qildik

Viktorina

Biz barcha jadvallar va ogohlantirishlarni to'rtta monitorga juda qulay joylashtirdik va hatto ularni noutbukga uladik, ammo muammoga duch keldik. Bog'langan monitorlarda 4x4K piksellarni ko'rsatish video kartaga shunday ta'sir ko'rsatdiki, hatto zaryad olayotganda ham noutbukning quvvati tugadi. Yaxshiyamki, muammo Lenovo ThinkPad Thunderbolt 3 Dock Gen 2 yordamida hal qilindi. Men monitor, quvvat manbai va hatto sevimli sichqoncha va klaviaturani docking stansiyasiga ulashga muvaffaq bo'ldim.

Ammo darhol yana bir muammo paydo bo'ldi: GPU shunchalik ishladiki, noutbuk haddan tashqari qizib ketdi, ya'ni batareya ham qizib ketdi, natijada himoya rejimiga o'tdi va zaryadni qabul qilishni to'xtatdi. Umuman olganda, bu xavfli vaziyatlardan himoya qiluvchi juda foydali rejim. Ba'zi hollarda muammo yuqori texnologiyali qurilma - ventilyatsiyani yaxshilash uchun noutbuk ostiga qo'yilgan sharikli ruchka yordamida hal qilindi. Lekin bu hammaga yordam bermadi, shuning uchun biz standart fan tezligini ham oshirdik.

Yana bir noxush xususiyat bor edi. Barcha jadvallar va ogohlantirishlar qat'iy belgilangan joyda joylashgan bo'lishi kerak. Tasavvur qiling-a, siz qo'nishga samolyotni boshqarmoqdasiz - keyin tezlik ko'rsatkichlari, altimetrlar, variometrlar, munosabat ko'rsatkichlari, kompaslar va pozitsiya ko'rsatkichlari o'lchamini o'zgartira boshlaydi va turli joylarga sakray boshlaydi. Shuning uchun biz bunga yordam beradigan dastur yaratishga qaror qildik. Bir kuni kechqurun biz uni tayyor holda Electron.js da yozdik API oynalarni yaratish va boshqarish bo'yicha. Biz konfiguratsiya protsessorini va ularning davriy yangilanishini, shuningdek, cheklangan miqdordagi monitorlarni qo'llab-quvvatladik. Biroz vaqt o'tgach, ular turli xil sozlamalarni qo'llab-quvvatladilar.

Yig'ish va yetkazib berish

Dushanbaga kelib, yordam stolidagi sehrgarlar biz uchun 40 ta monitor, o'nta noutbuk va bir xil miqdordagi docking stantsiyalarini olishdi. Ular buni qanday uddalashganini bilmayman, lekin ularga katta rahmat.

Yandex navbatchi smenasini qanday evakuatsiya qildik

Hammasini navbatchi ma'murlarning xonadonlariga yetkazishgina qoldi. Va bular Moskvaning turli burchaklaridagi o'nta manzil: janub, sharq, markaz, shuningdek, ofisdan 45 kilometr uzoqlikda joylashgan Balashixa (Aytgancha, keyinchalik Serpuxovdan stajyor qo'shilgan). Bularning barchasini qandaydir tarzda odamlar o'rtasida taqsimlash, logistika qurish kerak edi.

Men Xaritalarimizdagi barcha manzillarni kiritdim, turli nuqtalar orasidagi marshrutni optimallashtirish imkoniyati hali ham mavjud (men kurerlar uchun vositaning bepul beta versiyasidan foydalanganman). Biz o'z jamoamizni ikki kishidan iborat to'rtta mustaqil jamoaga ajratdik, ularning har biri o'z yo'nalishiga ega. Mening mashinam eng keng bo'lib chiqdi, shuning uchun men bir vaqtning o'zida to'rtta xodim uchun jihoz oldim.

Yandex navbatchi smenasini qanday evakuatsiya qildik

Butun yetkazib berish rekord darajada uch soat davom etdi. Biz dushanba kuni kechqurun o'nlarda ofisdan chiqdik. Ertalab soat birlarda men allaqachon uyda edim. O‘sha oqshom yangi jihozlar bilan navbatchilikka chiqdik.

Nima oxir-oqibatda

Bitta katta diagnostika konsoli o'rniga biz har bir navbatchining kvartirasida o'nta nisbatan ko'chma konsolni yig'dik. Albatta, hal qilinishi kerak bo'lgan ba'zi tafsilotlar bor edi. Misol uchun, bizda xabarnomalar uchun navbatchi uchun bitta "temir" telefon bor edi. Bu yangi sharoitlarda ishlamadi, shuning uchun biz navbatchilar uchun "virtual telefonlar" (asosan, messenjerdagi kanallar) bilan chiqdik. Boshqa o'zgarishlar ham bo'ldi. Lekin asosiysi shundaki, biz rekord vaqt ichida nafaqat odamlarni, balki ularning yuqishi xavfini kamaytirgan holda, balki barcha ishimizni jarayonlarga va mahsulot barqarorligiga zarar yetkazmasdan uyga o‘tkazishga muvaffaq bo‘ldik. Mana bir oydan beri shu rejimda ishlayapmiz.

Quyida navbatchilarimizning haqiqiy ish joylarining fotosuratlarini topasiz.

Yandex navbatchi smenasini qanday evakuatsiya qildik

Yandex navbatchi smenasini qanday evakuatsiya qildik

Yandex navbatchi smenasini qanday evakuatsiya qildik

Yandex navbatchi smenasini qanday evakuatsiya qildik

Yandex navbatchi smenasini qanday evakuatsiya qildik

Manba: www.habr.com