Yandex növbəsini necə evakuasiya etdik

Yandex növbəsini necə evakuasiya etdik

Əgər iş bir noutbuka sığarsa və digər insanlar tərəfindən avtonom şəkildə yerinə yetirilə bilərsə, o zaman uzaq bir yerə köçmək problemi yoxdur - sadəcə səhər evdə qalmaq. Amma hər kəs belə şanslı deyil.

Növbətçi növbə Xidmətin Əlçatımlılığı üzrə Mütəxəssislər (SRE) komandasıdır. Buraya növbətçi administratorlar, tərtibatçılar, menecerlər, həmçinin hər biri 26 düymlük 55 LCD paneldən ibarət ümumi “iş paneli” daxildir. Şirkətin xidmətlərinin sabitliyi və problemlərin həlli sürəti növbənin işindən asılıdır.

Bu gün Dmitri Melikov tal10n, növbətçi növbə rəisi bir neçə gün ərzində avadanlığı evlərinə daşımağı və yeni iş prosesləri qurmağı necə bacardıqlarından danışacaq. Mən sözü ona verirəm.

- Sonsuz vaxt ehtiyatınız olduqda, istənilən yerdə rahatlıqla hər şeylə hərəkət edə bilərsiniz. Amma koronavirusun sürətlə yayılması bizi tamam başqa şəraitə salıb. Yandex işçiləri, hətta özünütəcrid rejimi tətbiq olunmazdan əvvəl uzaqdan işə keçən ilklər arasında idi. Bu belə oldu. Cümə axşamı, martın 12-də məndən komandanın işini evə köçürmək imkanını qiymətləndirməyi xahiş etdilər. 13-cü cümə günü uzaqdan işə keçmək tövsiyəsi ortaya çıxdı. Çərşənbə axşamı, martın 17-nə keçən gecə bizim üçün hər şey hazır idi: xidmətçilər evdə işləyirdilər, avadanlıq köçürüldü, çatışmayan proqram təminatı yazılır, proseslər yenidən konfiqurasiya edilirdi. İndi mən sizə onu necə çıxartdığımızı söyləyəcəyəm. Ancaq əvvəlcə vəzifə növbəsinin həll etdiyi vəzifələr haqqında xatırlamaq lazımdır.

Biz kimik

Yandex yüzlərlə xidməti olan böyük bir şirkətdir. Axtarışın, səsli köməkçinin və bütün digər məhsulların sabitliyi təkcə tərtibatçılardan asılı deyil. Məlumat mərkəzində enerji təchizatı kəsilə bilər. Asfaltın dəyişdirilməsi zamanı işçi təsadüfən optik kabeli zədələyə bilər. Və ya istifadəçi fəaliyyətində artım ola bilər ki, bu da potensialın yenidən bölüşdürülməsinə təcili ehtiyac yaradır. Üstəlik, biz hamımız böyük, mürəkkəb infrastrukturda yaşayırıq və bir məhsulun buraxılması təsadüfən digərinin deqradasiyasına səbəb ola bilər.

Açıq məkanımızdakı 26 panel bir yarım min xəbərdarlıq və yüzdən çox diaqram və xidmətlərimiz panelləridir. Əslində, bu, böyük bir diaqnostik paneldir. Təcrübəli növbətçi administrator ona baxaraq, vacib qovşaqların vəziyyətini tez başa düşür və texnoloji problemin araşdırılması üçün istiqamət təyin edə bilər. Bu o demək deyil ki, insan daima bütün cihazlara baxmalıdır: avtomatlaşdırma özü növbətçinin xüsusi interfeysinə bildiriş göndərməklə diqqəti cəlb edəcək, lakin vizual panel olmadan problemin həlli gecikə bilər.

Problemlər yarandıqda növbətçi əvvəlcə onların prioritetini qiymətləndirir. Daha sonra problemi təcrid edir və ya onun istifadəçilərə təsirini minimuma endirir.

Problemi təcrid etməyin bir neçə standart yolu var. Onlardan biri, növbətçi inzibatçının istifadəçilərin ən az fərq etdiyi bəzi funksiyaları söndürdüyü zaman xidmətlərin deqradasiyasıdır. Bu, yükü müvəqqəti azaltmağa və nə baş verdiyini anlamağa imkan verir. Məlumat mərkəzində problem yaranarsa, o zaman növbətçi əməliyyat qrupu ilə əlaqə saxlayır, problemi başa düşür, onun həlli müddətinə nəzarət edir və lazım gəldikdə müvafiq qrupları əlaqələndirir.

Növbətçi administrator buraxılış səbəbindən yaranan problemi təcrid edə bilmədikdə, bu barədə xidmət qrupuna məlumat verir - və tərtibatçılar yeni kodda səhvlər axtarırlar. Əgər onlar bunu başa düşə bilmirlərsə, o zaman administrator digər məhsullardan və ya xidmətin mövcudluğu mühəndislərindən tərtibatçıları cəlb edir.

Burada hər şeyin necə işlədiyi barədə uzun müddət danışa bilərəm, amma mən artıq mahiyyəti çatdırmışam. Növbətçi növbə bütün xidmətlərin işini əlaqələndirir və qlobal problemlərə nəzarət edir. Növbətçi inzibatçının gözünün qarşısında diaqnostika panelinin olması vacibdir. Məhz buna görə də uzaqdan işə keçərkən hər kəsə sadəcə noutbuk vermək olmaz. Diaqramlar və xəbərdarlıqlar ekrana sığmayacaq. Nə etməli?

Fikir

Ofisdə növbətçi on idarəçinin hamısı 26 monitor, iki kompüter, dörd NVIDIA Quadro NVS 810 video kartı, iki rack-montajlı fasiləsiz enerji təchizatı və bir neçə müstəqil şəbəkə girişi daxil olan bir tablosunun arxasında növbə ilə işləyir. Biz hər kəsin evdə işləmək imkanının olmasını təmin etməli idik. Bir mənzildə belə bir divar yığmaq sadəcə mümkün deyil (həyat yoldaşım buna xüsusilə sevinəcək), buna görə də evdə gətirilə və yığıla bilən portativ versiya yaratmağa qərar verdik.

Konfiqurasiya ilə sınaq keçirməyə başladıq. Biz bütün cihazları daha az displeydə yerləşdirməli idik, ona görə də monitor üçün əsas tələb yüksək piksel sıxlığı idi. Ətrafımızda mövcud olan 4K monitorlardan sınaqlar üçün Lenovo P27u-10-u seçdik.

Noutbuklardan 16 düymlük MacBook Pro aldıq. O, bir neçə 4K displeydə təsvirləri göstərmək üçün lazım olan kifayət qədər güclü qrafik alt sisteminə və dörd universal Type-C konnektoruna malikdir. Soruşa bilərsiniz: niyə masaüstü yox? Laptopu anbardan tam eynisi ilə əvəz etmək, eyni sistem blokunu yığmaq və konfiqurasiya etməkdən daha asan və daha sürətlidir. Və daha az çəki.

İndi bir laptopa nə qədər monitor bağlaya biləcəyimizi başa düşmək lazım idi. Və burada problem birləşdiricilərin sayında deyil, biz yalnız sistemi montaj kimi sınaqdan keçirərək öyrənə bilərik.

Yandex növbəsini necə evakuasiya etdik

Test

Biz olduqca rahat şəkildə bütün diaqramları və xəbərdarlıqları dörd monitorda yerləşdirdik və hətta onları noutbuka qoşduq, lakin problemlə üzləşdik. Qoşulmuş monitorlarda 4x4K piksellərin göstərilməsi video karta elə bir gərginlik gətirdi ki, noutbuk hətta şarj edərkən belə boşaldı. Xoşbəxtlikdən, problem Lenovo ThinkPad Thunderbolt 3 Dock Gen 2-nin köməyi ilə həll olundu. Mən monitoru, enerji təchizatını və hətta sevimli siçan və klaviaturamı dok stansiyasına qoşa bildim.

Ancaq dərhal başqa bir problem ortaya çıxdı: GPU o qədər sıxıldı ki, noutbuk həddindən artıq qızdı, yəni batareya da həddindən artıq qızdı, nəticədə qoruyucu rejimə keçdi və şarjı qəbul etməyi dayandırdı. Ümumiyyətlə, bu, təhlükəli vəziyyətlərdən qoruyan çox faydalı rejimdir. Bəzi hallarda problem yüksək texnoloji qurğunun - ventilyasiyanı yaxşılaşdırmaq üçün noutbukun altına yerləşdirilən ballpoint qələmin köməyi ilə həll edildi. Ancaq bu, hər kəsə kömək etmədi, buna görə də standart fan sürətini artırdıq.

Daha bir xoşagəlməz xüsusiyyət var idi. Bütün qrafiklər və xəbərdarlıqlar ciddi şəkildə müəyyən edilmiş yerdə yerləşdirilməlidir. Təsəvvür edin ki, siz eniş üçün təyyarəni idarə edirsiniz - sonra sürət göstəriciləri, hündürlükölçənlər, variometrlər, münasibət göstəriciləri, kompaslar və mövqe göstəriciləri ölçülərini dəyişməyə və müxtəlif yerlərə tullanmağa başlayır. Buna görə də buna kömək edəcək bir tətbiq etmək qərarına gəldik. Bir axşam biz onu Electron.js-də hazır vəziyyətə gətirərək yazdıq API pəncərələri yaratmaq və idarə etmək üçün. Biz konfiqurasiya prosessorunu və onların vaxtaşırı yenilənməsini, həmçinin məhdud sayda monitorlara dəstək əlavə etdik. Bir az sonra müxtəlif quraşdırmalar üçün dəstək əlavə etdilər.

Quraşdırma və çatdırılma

Bazar ertəsinə qədər yardım masasından sehrbazlar bizim üçün 40 monitor, on noutbuk və eyni sayda dok stansiyaları əldə etdilər. Bunu necə etdilər, bilmirəm, amma çox sağ olun.

Yandex növbəsini necə evakuasiya etdik

Bütün bunları növbətçi inzibatçıların mənzillərinə çatdırmaq qaldı. Və bunlar Moskvanın müxtəlif yerlərində on ünvandır: cənub, şərq, mərkəz və həmçinin ofisdən 45 kilometr aralıda yerləşən Balaşixa (yeri gəlmişkən, Serpuxovdan bir təcrübəçi sonradan əlavə edildi). Bütün bunları birtəhər insanlar arasında bölüşdürmək, logistika qurmaq lazım idi.

Xəritələrimizdəki bütün ünvanları daxil etdim, müxtəlif nöqtələr arasında marşrutu optimallaşdırmaq imkanı hələ də var (kuryerlər üçün alətin pulsuz beta versiyasından istifadə etdim). Komandamızı hər birinin öz marşrutu olan iki nəfərdən ibarət dörd müstəqil komandaya böldük. Mənim maşınım ən geniş oldu, ona görə də bir anda dörd işçi üçün avadanlıq götürdüm.

Yandex növbəsini necə evakuasiya etdik

Bütün çatdırılma rekord üç saat çəkdi. Bazar ertəsi axşam saat onda ofisdən çıxdıq. Gecə saat birdə artıq evdə idim. Elə həmin gecə təzə texnika ilə növbəmizə çıxdıq.

Nəticə ilə

Bir böyük diaqnostika konsolu əvəzinə, hər növbətçinin mənzilində nisbətən portativ on ədəd yığdıq. Təbii ki, hələ həll edilməli bir neçə şey var idi. Məsələn, əvvəllər bizdə növbətçinin bildirişlər üçün bir “dəmir” telefonu var idi. Bu, yeni şəraitdə işləmədi, ona görə də növbətçi zabitlər üçün “virtual telefonlar” (əsasən, messengerdəki kanallar) ilə gəldik. Başqa dəyişikliklər də oldu. Amma əsas odur ki, biz rekord müddətdə təkcə insanları deyil, onların yoluxma riskini azaldaraq, bütün işlərimizi proseslərə və məhsulun sabitliyinə zərər vermədən evə köçürə bildik. Artıq bir aydır ki, bunu edirik.

Aşağıda növbətçilərimizin əsl iş yerlərinin fotoşəkilləri ilə tanış ola bilərsiniz.

Yandex növbəsini necə evakuasiya etdik

Yandex növbəsini necə evakuasiya etdik

Yandex növbəsini necə evakuasiya etdik

Yandex növbəsini necə evakuasiya etdik

Yandex növbəsini necə evakuasiya etdik

Mənbə: www.habr.com