Ինչպես մենք տարհանեցինք Յանդեքսի հերթափոխը

Երբ աշխատանքը տեղավորվում է մեկ նոութբուքի վրա և կարող է կատարվել անկախ մյուս մարդկանցից, ապա հեռավար աշխատանքի անցնելու խնդիր չկա՝ պարզապես մնացեք տանը առավոտյան։ Բայց ոչ բոլորն են այդքան բախտավոր։

Հերթապահ հերթափոխը ծառայությունների հասանելիության մասնագետների (ԾՄՄ) թիմ է: Այն ներառում է հերթապահ ադմինիստրատորներ, մշակողներ, մենեջերներ և 26 LCD վահանակներից բաղկացած ընդհանուր «վահանակ», որոնցից յուրաքանչյուրը 55 դյույմ է: Ընկերության ծառայությունների կայունությունը և խնդիրների լուծման արագությունը կախված են հերթապահ հերթափոխի աշխատանքից:

Այսօր Դմիտրի Մելիքովը tal10nՀերթապահության պետը մեզ կպատմի, թե ինչպես են մի քանի օրվա ընթացքում կարողացել սարքավորումները տեղափոխել տուն և նոր աշխատանքային գործընթացներ սահմանել։ Ես խոսքը կփոխանցեմ նրան։

— Երբ ունես անսահման ժամանակ, կարող ես հարմարավետորեն տեղափոխվել ամենուր՝ ամեն ինչով։ Սակայն կորոնավիրուսի արագ տարածումը մեզ դրել է բոլորովին այլ պայմաններում։ Yandex-ի աշխատակիցները առաջիններից էին, ովքեր անցան հեռավար աշխատանքի՝ նույնիսկ ինքնամեկուսացման ռեժիմի ներդրումից առաջ։ Այդպես պատահեց։ Հինգշաբթի՝ մարտի 12-ին, ինձ խնդրեցին գնահատել թիմի աշխատանքը տնից տեղափոխելու հնարավորությունը։ Ուրբաթ՝ 13-ին, առաջարկվեց անցնել հեռավար աշխատանքի։ Երեքշաբթի՝ մարտի 17-ի գիշերը մենք ամեն ինչ պատրաստ ունեինք. հերթապահները աշխատում են տնից, սարքավորումները տեղափոխվել են, բացակայող ծրագրակազմը գրվել է, գործընթացները վերակազմակերպվել են։ Եվ հիմա ես ձեզ կասեմ, թե ինչպես ենք դա արել։ Բայց նախ պետք է հիշենք այն խնդիրները, որոնք լուծում է հերթափոխը։

Ով ենք մենք

Yandex-ը խոշոր ընկերություն է՝ հարյուրավոր ծառայություններով։ Որոնման, ձայնային օգնականի և մնացած բոլոր ապրանքների կայունությունը կախված չէ միայն մշակողներից։ Տվյալների կենտրոնի էլեկտրամատակարարումը կարող է խափանվել։ Ասֆալտը փոխարինող աշխատողը կարող է պատահաբար վնասել օպտիկական մալուխը։ Կամ կարող է լինել օգտատերերի ակտիվության աճ, ինչը կպահանջի հզորությունների անհապաղ վերաբաշխում։ Ավելին, մենք բոլորս ապրում ենք մեծ, բարդ ենթակառուցվածքում, և մեկ ապրանքի թողարկումը կարող է պատահաբար հանգեցնել մեկ այլ ապրանքի դեգրադացիայի։

Մեր բաց տարածքում գտնվող 26 վահանակները մեկուկես հազար ահազանգեր են և մեր ծառայությունների հարյուրից ավելի գրաֆիկներ ու վահանակներ: Իրականում սա հսկայական ախտորոշիչ վահանակ է: Փորձառու հերթապահ ադմինիստրատորը, նայելով դրան, արագ հասկանում է կարևոր ստորաբաժանումների վիճակը և կարող է ուղղություն տալ տեխնոլոգիական խնդրի ուսումնասիրությանը: Սա չի նշանակում, որ մարդը պետք է անընդհատ նայի բոլոր սարքերին. ավտոմատացումն ինքնին ուշադրություն կգրավի՝ հերթապահի հատուկ ինտերֆեյսին ծանուցում ուղարկելով, բայց առանց տեսողական վահանակի խնդրի լուծումը կարող է հետաձգվել:

Երբ խնդիրներ են առաջանում, սպասարկողը նախ գնահատում է դրանց առաջնահերթությունը։ Այնուհետև նա առանձնացնում է խնդիրը կամ նվազագույնի է հասցնում դրա ազդեցությունը օգտատերերի վրա։

Կան մի քանի ստանդարտ եղանակներ խնդիրը մեկուսացնելու համար: Դրանցից մեկը ծառայության վատթարացումն է, երբ հերթապահ ադմինիստրատորը անջատում է որոշ գործառույթներ, որոնք օգտատերերը ամենաքիչն են նկատում: Սա թույլ է տալիս ժամանակավորապես նվազեցնել ծանրաբեռնվածությունը և պարզել, թե ինչ է պատահել: Եթե տվյալների կենտրոնի հետ խնդիր է առաջանում, հերթապահ ադմինիստրատորը կապ է հաստատում օպերացիոն թիմի հետ, տեսակավորում է խնդիրը, վերահսկում է դրա լուծման ժամկետները և, անհրաժեշտության դեպքում, կապում մասնագիտացված թիմերի հետ:

Երբ հերթապահ ադմինիստրատորը չի կարողանում մեկուսացնել թողարկման հետևանքով առաջացած խնդիրը, նա այդ մասին հաղորդում է սպասարկման թիմին, և մշակողները սխալներ են փնտրում նոր կոդում: Եթե նրանք չեն կարողանում պարզել այն, ադմինիստրատորը ներգրավում է այլ արտադրանքի կամ ծառայությունների հասանելիության ինժեներների մշակողներին:

Կարող եմ երկար խոսել այն մասին, թե ինչպես է այստեղ ամեն ինչ դասավորված, բայց կարծում եմ՝ արդեն փոխանցեցի էությունը։ Հերթապահը համակարգում է բոլոր ծառայությունների աշխատանքը և վերահսկում գլոբալ խնդիրները։ Կարևոր է, որ հերթապահ ադմինիստրատորը իր աչքի առաջ ունենա ախտորոշիչ վահանակ։ Ահա թե ինչու, հեռավար աշխատանքի անցնելիս, չի կարելի պարզապես բոլորին նոութբուք տալ։ Գրաֆիկները և ահազանգերը չեն տեղավորվի էկրանին։ Ի՞նչ անել։

Գաղափար

Գրասենյակում բոլոր տասը հերթապահ ադմինիստրատորները հերթափոխով աշխատում են մեկ վահանակի մոտ, որը ներառում է 26 մոնիտոր, երկու համակարգիչ, չորս NVIDIA Quadro NVS 810 տեսաքարտեր, երկու դարակաշարային անխափան սնուցման աղբյուրներ և մի քանի անկախ ցանցային մուտքի կետեր: Մենք պետք է բոլորին հնարավորություն տանք աշխատել տանը: Բնակարանում նման պատ հավաքելը պարզապես անհնար է (կինս հատկապես ուրախ կլինի դրա համար), ուստի որոշեցինք ստեղծել շարժական տարբերակ, որը կարելի է բերել և հավաքել տանը:

Մենք սկսեցինք փորձարկումներ անել կոնֆիգուրացիայի հետ։ Մեզ անհրաժեշտ էր բոլոր սարքերը տեղադրել ավելի քիչ թվով էկրանների վրա, ուստի մոնիտորի հիմնական պահանջը բարձր պիքսելային խտությունն էր։ Մեր միջավայրում առկա 4K մոնիտորներից մենք փորձարկման համար ընտրեցինք Lenovo P27u-10-ը։

Նոութբուքերից մենք վերցրեցինք 16 դյույմանոց MacBook Pro-ն։ Այն ունի բավականին հզոր գրաֆիկական ենթահամակարգ, որն անհրաժեշտ է մի քանի 4K էկրանների վրա պատկերներ ցուցադրելու համար, և չորս ունիվերսալ Type-C միակցիչներ։ Կարող եք հարցնել՝ ինչո՞ւ ոչ սեղանադիր համակարգիչ։ Նոութբուքը պահեստից բերված ճիշտ նույն համակարգչով փոխարինելը շատ ավելի հեշտ և արագ է, քան նույնական համակարգային բլոկը հավաքելն ու կարգավորելը։ Եվ այն ավելի քիչ է կշռում։

Հիմա մենք պետք է հասկանայինք, թե իրականում քանի մոնիտոր կարող ենք միացնել նոութբուքին։ Եվ այստեղ խնդիրը միակցիչների քանակը չէ, մենք կարողացանք պարզել միայն հավաքված համակարգը փորձարկելով։

Փորձարկում

Մենք բոլոր գրաֆիկներն ու ազդանշանները բավականին հարմարավետ տեղադրեցինք չորս մոնիտորների վրա և նույնիսկ միացրինք դրանք նոութբուքին, բայց մենք բախվեցինք խնդրի։ Միացված մոնիտորների վրա 4x4K պիքսել նկարելը այնքան ծանրաբեռնեց տեսաքարտը, որ նոութբուքը լիցքաթափվեց նույնիսկ լիցքավորման ժամանակ։ Բարեբախտաբար, խնդիրը լուծվեց Lenovo ThinkPad Thunderbolt 3 Dock Gen 2-ի միջոցով։ Մենք կարողացանք միացնել մոնիտորը, սնուցումը և նույնիսկ մեր սիրելի մկնիկն ու ստեղնաշարը դոկին։

Սակայն անմիջապես մեկ այլ խնդիր առաջացավ. գրաֆիկական պրոցեսորը այնքան էր փչում, որ նոութբուքը գերտաքանում էր, ինչը նշանակում էր, որ մարտկոցը նույնպես գերտաքանում էր, ինչը ի վերջո անցավ պաշտպանիչ ռեժիմի և դադարեց լիցքավորում ընդունել: Ընդհանուր առմամբ, սա շատ օգտակար ռեժիմ է, որը պաշտպանում է վտանգավոր իրավիճակներից: Որոշ դեպքերում խնդիրը լուծվել է բարձր տեխնոլոգիական սարքի՝ նոութբուքի տակ դրված գնդիկավոր գրիչի օգնությամբ՝ օդափոխությունը բարելավելու համար: Սակայն սա բոլորին չօգնեց, ուստի մենք նաև բարձրացրինք ստանդարտ օդափոխիչի արագությունը:

Կար ևս մեկ տհաճ առանձնահատկություն։ Բոլոր գրաֆիկներն ու ահազանգերը պետք է տեղակայված լինեն խիստ սահմանված վայրում։ Պատկերացրեք, որ դուք վարում եք ինքնաթիռ վայրէջքի համար, և այդ ժամանակ օդային արագության ցուցիչները, բարձրաչափերը, վարիոմետրերը, արհեստական ​​հորիզոնները, կողմնացույցները և դիրքի ցուցիչները սկսում են փոխել չափերը և ցատկել տարբեր տեղերում։ Այսպիսով, մենք որոշեցինք ստեղծել մի ծրագիր, որը կօգնի այս հարցում։ Մի երեկո մենք այն գրեցինք Electron.js-ով՝ վերցնելով պատրաստի API պատուհաններ ստեղծելու և կառավարելու համար: Ավելացվել է կոնֆիգուրացիայի մշակիչ և դրանց պարբերական թարմացում, ինչպես նաև սահմանափակ թվով մոնիտորների աջակցություն: Մի փոքր ավելի ուշ մենք նաև ավելացրել ենք տարբեր կարգավորումների աջակցություն:

Մոնտաժ և առաքում

Երկուշաբթի օրը օգնության սեղանի վարպետները մեզ համար ձեռք էին բերել 40 մոնիտոր, տասը նոութբուք և նույնքան դոկ-կայան։ Չգիտեմ՝ ինչպես դա արեցին, բայց մենք շատ շնորհակալ ենք նրանց։

Մնում էր միայն այս ամենը հասցնել հերթապահ ադմինիստրատորների բնակարաններ։ Եվ սրանք տասը հասցեներ են Մոսկվայի տարբեր մասերում՝ հարավ, արևելք, կենտրոն, ինչպես նաև Բալաշիխա, որը գրասենյակից 45 կիլոմետր հեռավորության վրա է (ի դեպ, ավելի ուշ Սերպուխովից մի ստաժոր ավելացավ)։ Անհրաժեշտ էր այս ամենը ինչ-որ կերպ բաշխել մարդկանց միջև, կառուցել լոգիստիկա։

Ես մուտքագրեցի բոլոր հասցեները մեր քարտեզներում, կա նաև տարբեր կետերի միջև երթուղին օպտիմալացնելու տարբերակ (օգտագործեցի գործիքի անվճար բետա տարբերակը՝ սուրհանդակների համար): Մենք մեր թիմը բաժանեցինք երկու հոգուց բաղկացած չորս անկախ թիմերի, որոնցից յուրաքանչյուրը ստացավ իր սեփական երթուղին: Իմ մեքենան ամենատարողունակն էր, ուստի ես սարքավորումներ վերցրի միանգամից չորս աշխատակցի համար:

Ամբողջ առաքումը տևեց ռեկորդային երեք ժամ։ Մենք գրասենյակից դուրս եկանք երկուշաբթի երեկոյան ժամը տասին։ Ես արդեն տանն էի առավոտյան ժամը մեկին։ Նույն գիշերը մենք հերթապահության անցանք նոր սարքավորումներով։

Հետ, որ արդյունքում

Մեկ մեծ ախտորոշիչ վահանակի փոխարեն, մենք յուրաքանչյուր հերթապահի բնակարանում հավաքեցինք տասը համեմատաբար փոխադրելի։ Իհարկե, դեռ կային որոշ մանրուքներ կարգավորելու։ Օրինակ, նախկինում մենք ունեինք մեկ «երկաթե» հերթապահի հեռախոս՝ ծանուցումների համար։ Նոր պայմաններում սա չէր աշխատում, ուստի մենք ստեղծեցինք «վիրտուալ հեռախոսներ» հերթապահների համար (ըստ էության, ալիքներ մեսենջերում)։ Կային նաև այլ փոփոխություններ։ Բայց գլխավորն այն է, որ ռեկորդային ժամանակում մեզ հաջողվեց տեղափոխել ոչ միայն մարդկանց՝ նվազեցնելով նրանց վարակման ռիսկը, այլև մեր ամբողջ աշխատանքը տնից՝ առանց վնասելու գործընթացներին և արտադրանքի կայունությանը։ Մենք այս ռեժիմով աշխատում ենք արդեն մեկ ամիս։

Ստորև կարող եք գտնել մեր հերթապահ սպաների իրական աշխատավայրերի լուսանկարներ։

Source: www.habr.com