Как евакуирахме дежурната смяна на Yandex

Когато работата се побира в един лаптоп и може да се извършва автономно от други хора, тогава няма проблем да се преместите на отдалечено място - просто си стоите сутрин вкъщи. Но не всеки има такъв късмет.

Дежурната смяна е екип от специалисти по наличност на услуги (SRE). Включва дежурни администратори, разработчици, мениджъри, както и общо „табло“ от 26 LCD панела по 55 инча всеки. От работата на дежурната смяна зависи стабилността на услугите на компанията и скоростта на решаване на проблемите.

Днес Дмитрий Меликов tal10n, началник дежурна смяна, ще разкаже как за броени дни са успели да транспортират техника до дома си и да създадат нови работни процеси. Давам му думата.

— Когато имате безкраен запас от време, можете удобно да се придвижвате навсякъде с всичко. Но бързото разпространение на коронавируса ни постави в съвсем други условия. Служителите на Yandex бяха сред първите, които преминаха на дистанционна работа - още преди въвеждането на режима на самоизолация. Случи се така. В четвъртък, 12 март, бях помолен да преценя възможността за преместване на работата на екипа у дома. В петък 13-ти се появи препоръка за преминаване към дистанционна работа. Във вторник, 17 март, вечерта имахме всичко готово: дежурните работеха от вкъщи, оборудването беше транспортирано, липсващият софтуер беше написан, процесите бяха пренастроени. И сега ще ви кажа как го направихме. Но първо трябва да запомните задачите, които дежурната смяна решава.

Кои сме ние

Yandex е голяма компания със стотици услуги. Стабилността на търсенето, гласовия асистент и всички други продукти зависи не само от разработчиците. Захранването може да бъде прекъснато в центъра за данни. Работник по време на смяна на асфалт може случайно да повреди оптичния кабел. Или може да има скок в активността на потребителите, причинявайки спешна нужда от преразпределяне на капацитет. Освен това всички ние живеем в голяма, сложна инфраструктура и пускането на един продукт може случайно да доведе до деградация на друг.

26 панела в нашето отворено пространство са хиляди и половина сигнали и повече от сто графики и панели на нашите услуги. Всъщност това е огромен диагностичен панел. Опитен дежурен администратор може бързо да разбере състоянието на важни компоненти, като го погледне и може да зададе посоката за разследване на технологичен проблем. Това не означава, че човек трябва постоянно да разглежда всички устройства: самата автоматизация ще привлече вниманието, като изпрати известие до специалния интерфейс на дежурния служител, но без визуален панел решаването на проблема може да отнеме много време.

Когато възникнат проблеми, придружителят първо преценява техния приоритет. След това изолира проблема или минимизира въздействието му върху потребителите.

Има няколко стандартни начина за изолиране на проблема. Един от тях е влошаване на услугите, когато дежурният администратор деактивира някои от функциите, които потребителите най-малко забелязват. Това ви позволява временно да намалите натоварването и да разберете какво се е случило. При възникване на проблем с ЦОД дежурният служител се свързва с оперативния екип, разбира проблема, следи сроковете за неговото разрешаване и при необходимост включва специализирани екипи.

Когато дежурният администратор не може да изолира проблем, възникнал поради издание, той докладва за това на сервизния екип - и разработчиците търсят грешки в новия код. Ако не могат да го разберат, тогава администраторът привлича разработчици от други продукти или инженери за наличност на услуги.

Мога да говоря дълго за това как работи всичко тук, но мисля, че вече предадох същността. Дежурната смяна координира работата на всички служби и следи глобалните проблеми. За дежурния администратор е важно диагностичният панел да е пред очите му. Ето защо, когато преминавате към дистанционна работа, не можете просто да дадете лаптоп на всеки. Диаграмите и сигналите няма да се поберат на екрана. Какво да правя?

Идея

В офиса всичките десет дежурни администратори работят на смени зад едно табло, което включва 26 монитора, два компютъра, четири NVIDIA Quadro NVS 810 видеокарти, две стелажни непрекъсваеми захранвания и няколко независими мрежови достъпа. Трябваше да гарантираме, че всеки има възможност да работи у дома. Просто не е възможно да се сглоби такава стена в апартамент (жена ми ще бъде особено щастлива от това), затова решихме да създадем преносима версия, която може да бъде донесена и сглобена у дома.

Започнахме да експериментираме с конфигурацията. Трябваше да поставим всички устройства на по-малко дисплеи, така че основното изискване за монитора беше висока плътност на пикселите. От 4K мониторите, налични в нашата среда, избрахме Lenovo P27u-10 за тестване.

От лаптопите взехме 16-инчов MacBook Pro. Той има доста мощна графична подсистема, необходима за изобразяване на изображения на няколко 4K дисплея и четири универсални конектора Type-C. Може да попитате: защо не десктоп? Подмяната на лаптоп с абсолютно същия от склад е много по-лесна и бърза от сглобяването и конфигурирането на идентичен системен модул. И тежи по-малко.

Сега трябваше да разберем колко монитора всъщност можем да свържем към лаптопа. И проблемът тук не е в броя на конекторите, можем да разберем това само чрез тестване на сглобената система.

Тестване

Доста удобно разположихме всички диаграми и сигнали на четири монитора и дори ги свързахме с лаптоп, но се натъкнахме на проблем. Изобразяването на 4x4K пиксела на свързани монитори натовари видеокартата до такава степен, че лаптопът беше изтощен дори по време на зареждане. За щастие проблемът беше решен с помощта на Lenovo ThinkPad Thunderbolt 3 Dock Gen 2. Успях да свържа монитор, захранване и дори любимите си мишка и клавиатура към докинг станцията.

Но незабавно се появи друг проблем: графичният процесор пръскаше толкова много, че лаптопът прегряваше, което означава, че батерията също прегряваше, което в резултат премина в защитен режим и спря да приема заряд. Като цяло това е много полезен режим, който предпазва от опасни ситуации. В някои случаи проблемът беше решен с помощта на високотехнологично устройство - химикал, поставен под лаптопа за подобряване на вентилацията. Но това не помогна на всички, така че увеличихме и скоростта на стандартния вентилатор.

Имаше още една неприятна особеност. Всички графики и сигнали трябва да бъдат поставени на строго определено място. Представете си, че пилотирате самолет за кацане - и след това индикаторите за скорост, висотомерите, вариометрите, индикаторите за положение, компаси и индикатори за позиция започват да променят размера си и да скачат на различни места. Затова решихме да направим приложение, което ще помогне с това. За една вечер го написахме на Electron.js, като взехме готов API за създаване и управление на прозорци. Добавихме конфигурационен процесор и тяхното периодично обновяване, както и поддръжка за ограничен брой монитори. Малко по-късно добавиха поддръжка за различни настройки.

Монтаж и доставка

До понеделник магьосниците от бюрото за помощ ни бяха осигурили 40 монитора, десет лаптопа и също толкова докинг станции. Не знам как успяха, но много им благодаря.

Остана само да се достави всичко до апартаментите на дежурните администратори. И това са десет адреса в различни части на Москва: юг, изток, център, а също и Балашиха, която е на 45 километра от офиса (между другото, по-късно беше добавен стажант от Серпухов). Трябваше по някакъв начин да се разпредели всичко това между хората, да се изгради логистика.

Въведох всички адреси на нашите карти, все още има възможност за оптимизиране на маршрута между различни точки (използвах безплатната бета версия на инструмента за куриери). Разделихме екипа си на четири независими екипа от по двама души, всеки със собствен маршрут. Колата ми се оказа най-просторната, така че взех оборудване за четирима служители наведнъж.

Цялата доставка отне рекордните три часа. Тръгнахме от офиса в XNUMX вечерта в понеделник. В един часа през нощта вече бях вкъщи. Още същата вечер застъпихме дежурство с нова техника.

В резултат на което

Вместо една голяма диагностична конзола, монтирахме десет относително преносими в апартамента на всеки дежурен. Разбира се, имаше още няколко неща за изглаждане. Например преди имахме един "железен" телефон на дежурния за известия. Това не проработи в новите условия, затова измислихме „виртуални телефони“ за дежурните (по същество канали в месинджъра). Имаше и други промени. Но най-важното е, че за рекордно кратко време успяхме да прехвърлим не само хора, намалявайки риска от тяхното заразяване, но и цялата си работа у дома, без да навредим на процесите и стабилността на продукта. Правим това вече месец.

По-долу ще намерите снимки на реалните работни места на нашите служители.

Източник: www.habr.com