Како ја евакуиравме дежурната смена на Yandex

Кога работата се вклопува во еден лаптоп и може да се врши автономно од други луѓе, тогаш нема проблем да се преселите на оддалечена локација - само да останете дома наутро. Но, не сите имаат толку среќа.

Смената на повик е тим од специјалисти за достапност на услуги (SREs). Вклучува дежурни администратори, програмери, менаџери, како и заедничка „табла“ од 26 LCD панели од по 55 инчи. Стабилноста на услугите на компанијата и брзината на решавање на проблемите зависат од работата на дежурната смена.

Денес Дмитриј Меликов tal10n, раководителот на дежурната смена, ќе зборува како за неколку дена успеале да пренесат опрема до својот дом и да воспостават нови работни процеси. Му давам збор.

— Кога имате бескрајно резерви на време, можете удобно да се движите каде било со што било. Но, брзото ширење на коронавирусот не стави во сосема поинакви услови. Вработените во Yandex беа меѓу првите кои се префрлија на работа на далечина - дури и пред воведувањето на режимот на самоизолација. Се случи вака. Во четврток, на 12 март, од мене беше побарано да ја проценам можноста за префрлање на работата на тимот дома. Во петокот на 13-ти, се појави препорака да се префрли на работа на далечина. Ноќта во вторникот на 17 март имавме сè подготвено: дежурните работеа од дома, опремата беше транспортирана, софтверот што недостасуваше беше напишан, процесите беа реконфигурирани. И сега ќе ви кажам како успеавме. Но, прво, треба да се сетите на задачите што ги решава дежурната смена.

Кои сме ние

Yandex е голема компанија со стотици услуги. Стабилноста на пребарувањето, гласовниот асистент и сите други производи не зависи само од програмерите. Може да се прекине напојувањето во центарот за податоци. Работник може случајно да оштети оптички кабел додека го заменува асфалтот. Или може да дојде до пораст на активноста на корисниците, што ќе предизвика итна потреба за прераспределба на капацитетот. Згора на тоа, сите ние живееме во голема, сложена инфраструктура, а објавувањето на еден производ може случајно да доведе до деградација на друг.

26 панели на нашиот отворен простор се една и пол илјади предупредувања и повеќе од сто графикони и панели на нашите услуги. Во суштина, ова е огромен дијагностички панел. Искусен администратор на должност може брзо да го разбере статусот на важните компоненти гледајќи го и може да постави насока за истражување на технолошки проблем. Ова не значи дека едно лице треба постојано да ги гледа сите уреди: самата автоматизација ќе привлече внимание со испраќање известување до специјалниот интерфејс на дежурниот службеник, но без визуелен панел, решавањето на проблемот може да потрае долго време.

Кога ќе се појават проблеми, дежурниот прво го оценува нивниот приоритет. Потоа го изолира проблемот или го минимизира неговото влијание врз корисниците.

Постојат неколку стандардни начини за изолирање на проблемот. Една од нив е деградација на услугите, кога дежурниот администратор оневозможува некои од функциите кои корисниците најмалку ги забележуваат. Ова ви овозможува привремено да го намалите товарот и да откриете што се случило. Ако се појави проблем со центарот за податоци, дежурниот службеник контактира со оперативниот тим, го разбира проблемот, го следи времето на неговото решавање и, доколку е потребно, вклучува специјализирани тимови.

Кога дежурниот администратор не може да изолира проблем што се појавил поради ослободување, тој го пријавува до сервисниот тим - а програмерите бараат грешки во новиот код. Ако не можат да го сфатат тоа, тогаш администраторот привлекува програмери од други инженери за достапност на производи или услуги.

Можам долго да зборувам за тоа како функционира сè овде, но мислам дека веќе ја пренесов суштината. Дежурната смена ја координира работата на сите служби и ги следи глобалните проблеми. Важно е дежурниот администратор да ја има дијагностичката табла пред очи. Затоа, кога се префрлате на работа од далечина, не можете да им дадете на сите само лаптоп. Табелите и предупредувањата нема да се вклопат на екранот. Што да се прави?

Идејата

Во канцеларијата, сите десет дежурни администратори работат во смени зад една контролна табла, која вклучува 26 монитори, два компјутери, четири видео картички NVIDIA Quadro NVS 810, две напојувања за непрекинато напојување на решетка и неколку независни мрежни пристапи. Требаше да обезбедиме секој да има можност да работи дома. Едноставно не е можно да се собере таков ѕид во стан (мојата сопруга ќе биде особено среќна за ова), па решивме да создадеме пренослива верзија што може да се донесе и состави дома.

Почнавме да експериментираме со конфигурацијата. Требаше да ги сместиме сите уреди на помалку дисплеи, така што главниот услов за мониторот беше висока густина на пиксели. Од 4K мониторите достапни во нашата средина, го избравме Lenovo P27u-10 за тестирање.

Од лаптопите зедовме 16-инчен MacBook Pro. Има прилично моќен графички потсистем, неопходен за прикажување слики на неколку 4K дисплеи и четири универзални тип-C конектори. Може да прашате: зошто не и десктоп? Заменувањето на лаптопот со точно ист од магацин е многу полесно и побрзо отколку да се состави и конфигурира идентична системска единица. И тежи помалку.

Сега требаше да разбереме колку монитори всушност можеме да поврземе со лаптопот. И проблемот овде не е бројот на конектори; ова можевме да го дознаеме само со тестирање на собраниот систем.

Тестирање

Сосема удобно ги поставивме сите графикони и предупредувања на четири монитори, па дури и ги поврзавме на лаптоп, но наидовме на проблем. Рендерирање 4x4K пиксели на поврзаните монитори толку ја оптоварува видео картичката што лаптопот се исцеди дури и додека се полни. За среќа, проблемот беше решен со помош на Lenovo ThinkPad Thunderbolt 3 Dock Gen 2. Успеав да поврзам монитор, напојување, па дури и моето омилено глувче и тастатура на докинг станицата.

Но, веднаш се појави уште еден проблем: графичкиот процесор толку многу се гушкаше што лаптопот се прегреа, што значи дека и батеријата се прегреа, што како резултат влезе во заштитен режим и престана да прифаќа полнење. Во принцип, ова е многу корисен режим кој штити од опасни ситуации. Во некои случаи, проблемот беше решен со помош на високотехнолошки уред - хемиско пенкало поставено под лаптопот за да се подобри вентилацијата. Но, ова не им помогна на сите, па ја зголемивме брзината на стандардниот вентилатор.

Имаше уште една непријатна карактеристика. Сите графикони и предупредувања мора да се наоѓаат на строго дефинирано место. Замислете дека управувате со авион за да слетате - а потоа индикаторите за брзина, височините, вариометрите, индикаторите за став, компасите и индикаторите за позиција почнуваат да ја менуваат големината и да скокаат на различни места. Затоа решивме да направиме апликација која ќе помогне во ова. Во една вечер го напишавме во Electron.js, земајќи готови API за креирање и управување со прозорци. Додадовме процесор за конфигурација и нивно периодично ажурирање, како и поддршка за ограничен број монитори. Малку подоцна додадоа поддршка за различни поставувања.

Склопување и испорака

До понеделник, волшебниците од пултот добија 40 монитори, десет лаптопи и исто толку приклучни станици за нас. Не знам како успеаја, но многу им благодарам.

Остануваше сето тоа да се достави до становите на дежурните административци. И ова се десет адреси во различни делови на Москва: југ, исток, центар, а исто така и Балашиха, која е 45 километри од канцеларијата (патем, подоцна беше додаден практикант од Серпухов). Требаше некако сето ова да се дистрибуира меѓу луѓето, да се изгради логистика.

Ги внесов сите адреси на нашите Карти, сè уште има можност да ја оптимизирам маршрутата помеѓу различни точки (ја користев бесплатната бета верзија на алатката за курири). Го поделивме нашиот тим на четири независни тимови од по две лица, секој со своја рута. Мојата кола се покажа како најпространа, па зедов опрема за четворица вработени одеднаш.

Целата испорака траеше рекордни три часа. Излеговме од канцеларијата во десет во понеделникот навечер. Во еден часот по полноќ веќе бев дома. Истата вечер отидовме на смена со нова опрема.

Со тоа што

Наместо една голема дијагностичка конзола, составивме десет релативно преносливи во станот на секој дежурен. Се разбира, имаше уште некои детали за средување. На пример, имавме еден „железен“ телефон за дежурниот за известувања. Ова не функционираше во новите услови, па дојдовме до „виртуелни телефони“ за дежурни службеници (во суштина, канали во гласникот). Имаше и други промени. Но, главната работа е што за рекордно време успеавме да пренесеме не само луѓе, намалувајќи го ризикот од нивна инфекција, туку и целата наша работа дома без да им наштети на процесите и стабилноста на производот. Веќе еден месец работиме во овој режим.

Подолу ќе најдете фотографии од вистинските работни места на нашите дежурни.

Извор: www.habr.com