Яндекстің кезекші ауысымын қалай эвакуацияладық

Яндекстің кезекші ауысымын қалай эвакуацияладық

Жұмыс бір ноутбукке сыйып, басқа адамдардан автономды түрде орындалатын болса, қашықтағы орынға көшу қиын болмайды - тек таңертең үйде болу. Бірақ бәрі бірдей бақытты емес.

Шақыру бойынша ауысым – бұл қызметтің қолжетімділігі жөніндегі мамандар тобы (ҚҚҚ). Ол кезекші әкімшілерді, әзірлеушілерді, менеджерлерді, сондай-ақ әрқайсысы 26 дюймдік 55 СКД панелінен тұратын жалпы «бақылау тақтасын» қамтиды. Компания қызметінің тұрақтылығы мен мәселені шешу жылдамдығы кезекшілік ауысымының жұмысына байланысты.

Бүгін Дмитрий Меликов tal10n, кезекші ауысымының меңгерушісі бірнеше күннің ішінде техниканы үйлеріне қалай жеткізіп, жаңа жұмыс процестерін жолға қойғаны туралы әңгімелейді. Мен оған сөз беремін.

— Уақыттың шексіз қоры болған кезде кез келген жерде кез келген нәрсемен ыңғайлы қозғала аласыз. Бірақ коронавирустың тез таралуы бізді мүлдем басқа жағдайға қалдырды. Яндекс қызметкерлері қашықтан жұмыс істеуге көшкендердің бірі болды - тіпті өзін-өзі оқшаулау режимі енгізілгенге дейін. Бұл осылай болды. Бейсенбіде, 12 наурызда маған команданың жұмысын үйге ауыстыру мүмкіндігін бағалауды сұрады. 13-ші жұмада қашықтан жұмыс істеуге көшу туралы ұсыныс пайда болды. Сейсенбіге, 17 наурызға қараған түні бізде барлығы дайын болды: кезекшілер үйден жұмыс істеді, жабдықтар тасымалданды, жетіспейтін бағдарламалық қамтамасыз ету жазылды, процестер қайта конфигурацияланды. Енді мен оны қалай шешкенімізді айтамын. Бірақ алдымен кезекші ауысым шешетін міндеттерді есте сақтау керек.

Біз кімбіз

Яндекс – жүздеген қызметтері бар ірі компания. Іздеу, дауыстық көмекші және барлық басқа өнімдердің тұрақтылығы тек әзірлеушілерге ғана байланысты емес. Деректер орталығындағы қуат көзі үзілуі мүмкін. Жұмысшы асфальтты ауыстыру кезінде оптикалық кабельді кездейсоқ зақымдауы мүмкін. Немесе пайдаланушы белсенділігінің өсуі мүмкін, бұл қуатты қайта бөлудің шұғыл қажеттілігін тудыруы мүмкін. Оның үстіне, біз бәріміз үлкен, күрделі инфрақұрылымда өмір сүреміз және бір өнімнің шығарылуы кездейсоқ екіншісінің деградациясына әкелуі мүмкін.

Біздің ашық кеңістіктегі 26 панель - бұл бір жарым мың ескерту және жүзден астам диаграммалар мен қызметтеріміздің панельдері. Негізінде бұл үлкен диагностикалық панель. Тәжірибелі кезекші әкімші маңызды құрамдас бөліктердің күйін қарап, оны тез түсініп, технологиялық мәселені зерттеудің бағытын белгілей алады. Бұл адам барлық құрылғыларды үнемі қарап тұруы керек дегенді білдірмейді: автоматтандырудың өзі кезекшінің арнайы интерфейсіне хабарлама жіберу арқылы назар аударады, бірақ визуалды панельсіз мәселені шешу ұзаққа созылуы мүмкін.

Мәселелер туындаған кезде кезекші алдымен олардың басымдығын бағалайды. Содан кейін ол мәселені оқшаулайды немесе оның пайдаланушыларға әсерін азайтады.

Мәселені оқшаулаудың бірнеше стандартты жолдары бар. Солардың бірі – қызметтердің нашарлауы, себебі кезекші әкімші пайдаланушылар аз байқайтын кейбір функцияларды өшіреді. Бұл жүктемені уақытша азайтуға және не болғанын анықтауға мүмкіндік береді. Мәліметтер орталығына қатысты мәселе туындаса, кезекші операциялық топпен байланысады, мәселені түсінеді, оны шешу уақытын қадағалайды және қажет болған жағдайда мамандандырылған топтарды тартады.

Кезекші әкімші шығарылымға байланысты туындаған мәселені оқшаулай алмаса, ол бұл туралы қызмет көрсету тобына хабарлайды - әзірлеушілер жаңа кодтағы қателерді іздейді. Егер олар оны анықтай алмаса, әкімші басқа өнімдердің әзірлеушілерін немесе қызметтің қолжетімділігі инженерлерін тартады.

Мен мұнда бәрі қалай жұмыс істейтіні туралы ұзақ айта аламын, бірақ мен оның мәнін жеткіздім деп ойлаймын. Кезекші ауысым барлық қызметтердің жұмысын үйлестіреді және жаһандық проблемаларды бақылайды. Кезекші әкімшінің көз алдында диагностикалық панель болуы маңызды. Сондықтан қашықтан жұмыс істеуге ауысқан кезде барлығына ноутбук бере алмайсыз. Диаграммалар мен ескертулер экранға сыймайды. Не істеу?

Идея

Кеңседе кезекші он әкімшінің барлығы 26 монитор, екі компьютер, төрт NVIDIA Quadro NVS 810 бейне картасы, екі тірекке орнатылған үздіксіз қуат көзі және бірнеше тәуелсіз желіге кіру мүмкіндігін қамтитын бір бақылау тақтасының артында ауысыммен жұмыс істейді. Біз әркімнің үйде жұмыс істеу мүмкіндігін қамтамасыз етуіміз керек еді. Пәтерде мұндай қабырғаны құрастыру мүмкін емес (әйелім бұған ерекше қуанады), сондықтан біз үйде әкелуге және жинауға болатын портативті нұсқаны жасауды шештік.

Біз конфигурациямен тәжірибе жасай бастадық. Бізге барлық құрылғыларды аз дисплейлерге орналастыру керек болды, сондықтан мониторға қойылатын негізгі талап жоғары пиксель тығыздығы болды. Ортамызда қолжетімді 4K мониторлардың ішінен сынақ үшін Lenovo P27u-10 таңдадық.

Ноутбуктерден біз 16 дюймдік MacBook Pro алдық. Оның бірнеше 4K дисплейлерінде кескіндерді көрсету үшін қажетті жеткілікті қуатты графикалық ішкі жүйесі және төрт әмбебап Type-C қосқышы бар. Сіз сұрақ қоюыңыз мүмкін: неге жұмыс үстелі емес? Ноутбукті қоймадан дәл сол нұсқасына ауыстыру бірдей жүйелік блокты жинап, конфигурациялаудан әлдеқайда оңай және жылдамырақ. Және салмағы аз.

Енді біз ноутбукке қанша мониторды қосуға болатынын түсінуіміз керек еді. Бұл жерде мәселе қосқыштардың санында емес, біз оны жинақталған жүйені сынау арқылы ғана біле алдық.

Яндекстің кезекші ауысымын қалай эвакуацияладық

Тестілеу

Біз барлық диаграммалар мен ескертулерді төрт мониторға ыңғайлы орналастырдық, тіпті оларды ноутбукке қостық, бірақ мәселеге тап болдық. Жалғанған мониторларда 4x4K пиксельді көрсету видеокартаға соншалықты ауыртпалық түсірді, ноутбук зарядталып жатқанда да таусылды. Бақытымызға орай, мәселе Lenovo ThinkPad Thunderbolt 3 Dock Gen 2 көмегімен шешілді. Мен мониторды, қуат көзін және тіпті сүйікті тінтуір мен пернетақтаны қондыру станциясына қоса алдым.

Бірақ тағы бір мәселе бірден пайда болды: графикалық процессордың қатты жұмыс істегені сонша, ноутбук қызып кетті, яғни батарея да қызып кетті, нәтижесінде қорғаныс режиміне өтіп, зарядты қабылдауды тоқтатты. Жалпы, бұл қауіпті жағдайлардан қорғайтын өте пайдалы режим. Кейбір жағдайларда мәселе жоғары технологиялық құрылғының көмегімен шешілді - желдетуді жақсарту үшін ноутбук астына қойылған шарикті қалам. Бірақ бұл бәріне көмектеспеді, сондықтан біз стандартты желдеткіштің жылдамдығын да арттырдық.

Тағы бір жағымсыз қасиет болды. Барлық диаграммалар мен ескертулер қатаң белгіленген жерде орналасуы керек. Сіз қонуға арналған ұшақты басқарып жатқаныңызды елестетіңіз - содан кейін жылдамдық индикаторлары, биіктік өлшегіштері, вариометрлер, күй индикаторлары, компастар және позиция индикаторлары өлшемдерін өзгертіп, әртүрлі орындарға секіре бастайды. Сондықтан біз бұған көмектесетін қосымшаны жасауды шештік. Бір кеште біз оны Electron.js-ке дайын етіп жазып алдық API терезелерді құру және басқару. Біз конфигурация процессорын және олардың мерзімді жаңартылуын, сондай-ақ мониторлардың шектеулі санын қолдауды қостық. Біраз уақыттан кейін олар әртүрлі орнатуларға қолдау қосты.

Құрастыру және жеткізу

Дүйсенбіге дейін көмек көрсету үстеліндегі шеберлер бізге 40 монитор, он ноутбук және сонша қондыру станциясын алды. Мен олардың мұны қалай басқарғанын білмеймін, бірақ оларға көп рахмет.

Яндекстің кезекші ауысымын қалай эвакуацияладық

Оның барлығын кезекші әкімшілердің пәтерлеріне жеткізу ғана қалды. Бұл Мәскеудің әртүрлі бөліктеріндегі он мекенжай: оңтүстік, шығыс, орталық, сонымен қатар кеңседен 45 шақырым жерде орналасқан Балашиха (айтпақшы, кейінірек Серпуховтан интерн қосылды). Осының бәрін адамдар арасында қалай болса да бөлу, логистика құру қажет болды.

Мен біздің Карталарымызға барлық мекенжайларды енгіздім, әртүрлі нүктелер арасындағы маршрутты оңтайландыру мүмкіндігі әлі де бар (мен курьерлер үшін құралдың тегін бета нұсқасын қолдандым). Біз өз командамызды әрқайсысының өз бағыты бар екі адамнан тұратын төрт тәуелсіз командаға бөлдік. Менің көлігім ең кең болып шықты, сондықтан мен бірден төрт қызметкерге арналған жабдықты алдым.

Яндекстің кезекші ауысымын қалай эвакуацияладық

Бүкіл жеткізу рекордтық үш сағатқа созылды. Дүйсенбі күні кешкі сағат онда кеңседен шықтық. Түнгі сағат бірде мен үйде болдым. Сол түні жаңа техникамен кезекшілікке шықтық.

Нәтижесінде

Бір үлкен диагностикалық пульттің орнына біз әрбір кезекшінің пәтеріне салыстырмалы түрде портативті он консол жинадық. Әрине, әлі де шешуге болатын кейбір мәліметтер болды. Мысалы, бізде бұрын хабарландыру үшін кезекшіге бір «темір» телефон болатын. Бұл жаңа жағдайларда жұмыс істемеді, сондықтан біз кезекшілерге арналған «виртуалды телефондарды» ойлап таптық (негізі мессенджердегі арналар). Басқа да өзгерістер болды. Ең бастысы, рекордтық уақыт ішінде біз тек адамдарды ғана емес, олардың жұқтыру қаупін азайтып, барлық жұмысымызды процестерге және өнімнің тұрақтылығына зиянсыз үйге ауыстыра алдық. Бір айдан бері осы режимде жұмыс істеп жатырмыз.

Төменде біздің кезекшілеріміздің нақты жұмыс орындарының фотосуреттерін таба аласыз.

Яндекстің кезекші ауысымын қалай эвакуацияладық

Яндекстің кезекші ауысымын қалай эвакуацияладық

Яндекстің кезекші ауысымын қалай эвакуацияладық

Яндекстің кезекші ауысымын қалай эвакуацияладық

Яндекстің кезекші ауысымын қалай эвакуацияладық

Ақпарат көзі: www.habr.com