როგორ მოვახდინეთ Yandex-ის მორიგე ცვლის ევაკუაცია

როდესაც სამუშაო ჯდება ერთ ლეპტოპში და შეიძლება შესრულდეს დამოუკიდებლად სხვა ადამიანებისგან, მაშინ დისტანციურ ადგილას გადაადგილების პრობლემა არ არის - მხოლოდ დილით სახლში დარჩენა. მაგრამ ყველას ასე არ გაუმართლა.

გამოძახების ცვლა არის სერვისის ხელმისაწვდომობის სპეციალისტთა გუნდი (SREs). მასში შედის მოვალეობის შემსრულებელი ადმინისტრატორები, დეველოპერები, მენეჯერები, ასევე საერთო „დაფა“ 26 LCD პანელის 55 დიუმიანი თითოეული. კომპანიის სერვისების სტაბილურობა და პრობლემის გადაჭრის სიჩქარე დამოკიდებულია მორიგე ცვლის მუშაობაზე.

დღეს დიმიტრი მელიკოვი tal10nმორიგე ცვლის მენეჯერი ისაუბრებს იმაზე, თუ როგორ მოახერხეს რამდენიმე დღეში ტექნიკის სახლში გადატანა და ახალი სამუშაო პროცესების დამკვიდრება. სიტყვას ვაძლევ მას.

— როცა დროის უსასრულო მარაგი გაქვს, ნებისმიერ ადგილას კომფორტულად შეგიძლია გადაადგილება. მაგრამ კორონავირუსის სწრაფმა გავრცელებამ სრულიად განსხვავებულ პირობებში დაგვაყენა. Yandex-ის თანამშრომლები პირველები იყვნენ, ვინც გადაერთო დისტანციურ სამუშაოზე - თვითიზოლაციის რეჟიმის შემოღებამდეც კი. ასე მოხდა. ხუთშაბათს, 12 მარტს, მთხოვეს შემეფასებინა გუნდის მუშაობის სახლში გადატანის შესაძლებლობა. პარასკევს, 13-ს, გამოჩნდა რეკომენდაცია დისტანციურ სამუშაოზე გადასვლის შესახებ. სამშაბათს, 17 მარტის ღამეს ყველაფერი მზად გვქონდა: მორიგეები სახლიდან მუშაობდნენ, ტექნიკა გადაიტანეს, დაკარგული პროგრამული უზრუნველყოფა დაიწერა, პროცესები გადაკეთდა. ახლა კი მე გეტყვით, როგორ მოვახერხეთ ეს. მაგრამ პირველ რიგში, თქვენ უნდა გახსოვდეთ ამოცანები, რომლებსაც მოვალეობის ცვლა წყვეტს.

Ვინ ვართ ჩვენ

Yandex არის დიდი კომპანია ასობით სერვისით. ძიების, ხმოვანი ასისტენტის და ყველა სხვა პროდუქტის სტაბილურობა დამოკიდებულია არა მხოლოდ დეველოპერებზე. მონაცემთა ცენტრში ელექტრომომარაგება შეიძლება შეფერხდეს. ასფალტის გამოცვლისას მუშამ შეიძლება შემთხვევით დააზიანოს ოპტიკური კაბელი. ან შეიძლება მოხდეს მომხმარებლის აქტივობის ზრდა, რაც გამოიწვევს სიმძლავრის გადანაწილების გადაუდებელ აუცილებლობას. უფრო მეტიც, ჩვენ ყველანი ვცხოვრობთ დიდ, რთულ ინფრასტრუქტურაში და ერთი პროდუქტის გამოშვებამ შეიძლება შემთხვევით გამოიწვიოს მეორის დეგრადაცია.

ჩვენს ღია სივრცეში 26 პანელი არის ათასნახევარი გაფრთხილება და ჩვენი სერვისების ასზე მეტი სქემა და პანელი. არსებითად, ეს არის უზარმაზარი დიაგნოსტიკური პანელი. გამოცდილ მორიგე ადმინისტრატორს შეუძლია სწრაფად გაიგოს მნიშვნელოვანი კომპონენტების სტატუსი მისი დათვალიერებით და შეუძლია განსაზღვროს მიმართულება ტექნოლოგიური პრობლემის გამოსაკვლევად. ეს არ ნიშნავს იმას, რომ ადამიანმა მუდმივად უნდა უყუროს ყველა მოწყობილობას: თავად ავტომატიზაცია მიიპყრობს ყურადღებას მორიგე ოფიცრის სპეციალურ ინტერფეისზე შეტყობინების გაგზავნით, მაგრამ ვიზუალური პანელის გარეშე პრობლემის მოგვარებას შეიძლება დიდი დრო დასჭირდეს.

როდესაც პრობლემები წარმოიქმნება, მორიგე ჯერ აფასებს მათ პრიორიტეტს. შემდეგ ის იზოლირებს პრობლემას ან ამცირებს მის გავლენას მომხმარებლებზე.

პრობლემის იზოლირების რამდენიმე სტანდარტული გზა არსებობს. ერთ-ერთი მათგანია სერვისების დეგრადაცია, როდესაც მორიგე ადმინისტრატორი თიშავს ზოგიერთ ფუნქციას, რომელსაც მომხმარებლები ყველაზე ნაკლებად ამჩნევენ. ეს საშუალებას გაძლევთ დროებით შეამციროთ დატვირთვა და გაარკვიოთ რა მოხდა. თუ პრობლემა წარმოიქმნება მონაცემთა ცენტრთან, მორიგე დაუკავშირდება საოპერაციო ჯგუფს, აცნობიერებს პრობლემას, აკონტროლებს მისი გადაჭრის ვადებს და საჭიროების შემთხვევაში ჩართავს სპეციალიზებულ გუნდებს.

როდესაც მორიგე ადმინისტრატორს არ შეუძლია გამოყოს პრობლემა, რომელიც წარმოიშვა გამოშვების გამო, ის აცნობებს მას სერვისის გუნდს - და დეველოპერები ეძებენ შეცდომებს ახალ კოდში. თუ მათ არ შეუძლიათ ამის გარკვევა, მაშინ ადმინისტრატორი იზიდავს დეველოპერებს სხვა პროდუქტების ან სერვისების ხელმისაწვდომობის ინჟინრებისგან.

შემიძლია დიდხანს ვისაუბრო იმაზე, თუ როგორ მუშაობს აქ ყველაფერი, მაგრამ ვფიქრობ, არსი უკვე გადმოვიტანე. სამორიგეო ცვლა კოორდინაციას უწევს ყველა სამსახურის მუშაობას და აკონტროლებს გლობალურ პრობლემებს. მნიშვნელოვანია, რომ მორიგე ადმინისტრატორს ჰქონდეს დიაგნოსტიკური პანელი მის თვალწინ. სწორედ ამიტომ, დისტანციურ მუშაობაზე გადასვლისას, თქვენ არ შეგიძლიათ ყველას აჩუქოთ ლეპტოპი. დიაგრამები და გაფრთხილებები არ ჯდება ეკრანზე. Რა უნდა ვქნა?

იდეა

ოფისში მორიგე ათივე ადმინისტრატორი ცვლაში მუშაობს ერთი დაფის მიღმა, რომელიც მოიცავს 26 მონიტორს, ორ კომპიუტერს, ოთხ NVIDIA Quadro NVS 810 ვიდეო ბარათს, ორ თაროზე დამაგრებულ უწყვეტი კვების წყაროს და რამდენიმე დამოუკიდებელი ქსელის წვდომას. ჩვენ გვჭირდებოდა იმის უზრუნველყოფა, რომ ყველას ჰქონოდა სახლში მუშაობის შესაძლებლობა. უბრალოდ შეუძლებელია ასეთი კედლის აწყობა ბინაში (ჩემს მეუღლეს ეს განსაკუთრებით გაუხარდება), ამიტომ გადავწყვიტეთ შეგვექმნა პორტატული ვერსია, რომლის ჩამოტანა და აწყობა შესაძლებელია სახლში.

ჩვენ დავიწყეთ კონფიგურაციის ექსპერიმენტები. ჩვენ გვჭირდებოდა ყველა მოწყობილობის მოთავსება ნაკლებ ეკრანზე, ამიტომ მონიტორის მთავარი მოთხოვნა იყო პიქსელის მაღალი სიმკვრივე. ჩვენს გარემოში არსებული 4K მონიტორებიდან ჩვენ ავირჩიეთ Lenovo P27u-10 ტესტირებისთვის.

ლეპტოპებიდან ავიღეთ 16 დიუმიანი MacBook Pro. მას აქვს საკმაოდ მძლავრი გრაფიკული ქვესისტემა, რომელიც აუცილებელია რამდენიმე 4K დისპლეზე გამოსახულების გადასაღებად და ოთხი უნივერსალური Type-C კონექტორი. შეიძლება გკითხოთ: რატომ არა დესკტოპ? ლეპტოპის ზუსტად იგივე საწყობიდან შეცვლა ბევრად უფრო ადვილი და სწრაფია, ვიდრე იდენტური სისტემის ერთეულის აწყობა და კონფიგურაცია. და იწონის ნაკლებს.

ახლა ჩვენ გვჭირდებოდა გაგება, რამდენი მონიტორის რეალურად დაკავშირება შეგვეძლო ლეპტოპთან. და პრობლემა აქ არ არის კონექტორების რაოდენობა; ამის გარკვევა მხოლოდ აწყობილი სისტემის შემოწმებით შევძელით.

ტესტირება

ჩვენ საკმაოდ კომფორტულად მოვათავსეთ ყველა დიაგრამა და სიგნალიზაცია ოთხ მონიტორზე და ლეპტოპსაც კი დავუკავშირდით, მაგრამ პრობლემა შეგვექმნა. დაკავშირებულ მონიტორებზე 4x4K პიქსელების რენდერირებამ ისეთ დატვირთვას აყენებს ვიდეო ბარათს, რომ ლეპტოპი დატენვის დროსაც კი დაიწია. საბედნიეროდ, პრობლემა მოგვარდა Lenovo ThinkPad Thunderbolt 3 Dock Gen 2-ის დახმარებით. მე შევძელი მონიტორის, კვების წყაროს და ჩემი საყვარელი მაუსის და კლავიატურის დაკავშირება დოკ სადგურთან.

მაგრამ მაშინვე გაჩნდა კიდევ ერთი პრობლემა: GPU იმდენად იკუმშებოდა, რომ ლეპტოპი გადახურდა, რაც იმას ნიშნავს, რომ ბატარეაც გადახურდა, რაც შედეგად გადავიდა დამცავ რეჟიმში და შეწყვიტა დატენვის მიღება. ზოგადად, ეს არის ძალიან სასარგებლო რეჟიმი, რომელიც იცავს საშიში სიტუაციებისგან. ზოგიერთ შემთხვევაში პრობლემა მოგვარდა მაღალტექნოლოგიური მოწყობილობის დახმარებით - ვენტილაციის გასაუმჯობესებლად ლეპტოპის ქვეშ მოთავსებული ბურთულიანი კალამი. მაგრამ ეს ყველას არ დაეხმარა, ამიტომ ჩვენ ასევე გავზარდეთ სტანდარტული ვენტილატორის სიჩქარე.

იყო კიდევ ერთი უსიამოვნო თვისება. ყველა სქემა და სიგნალიზაცია უნდა განთავსდეს მკაცრად განსაზღვრულ ადგილას. წარმოიდგინეთ, რომ თქვენ პილოტირებთ თვითმფრინავს დასაფრენად - და შემდეგ სიჩქარის ინდიკატორები, სიმაღლეები, ვარიომეტრები, დამოკიდებულების ინდიკატორები, კომპასები და პოზიციის ინდიკატორები იწყებენ ზომის შეცვლას და გადახტებიან სხვადასხვა ადგილას. ამიტომ გადავწყვიტეთ შეგვექმნა აპლიკაცია, რომელიც ამაში დაგვეხმარება. ერთ საღამოს ჩვენ დავწერეთ Electron.js-ში, ავიღეთ მზა API Windows-ის შექმნასა და მართვაზე. ჩვენ დავამატეთ კონფიგურაციის პროცესორი და მათი პერიოდული განახლება, ასევე შეზღუდული რაოდენობის მონიტორების მხარდაჭერა. ცოტა მოგვიანებით მათ დაამატეს მხარდაჭერა სხვადასხვა კონფიგურაციისთვის.

შეკრება და მიწოდება

ორშაბათისთვის, ოსტატებმა დამხმარე მაგიდასთან მიიღეს 40 მონიტორი, ათი ლეპტოპი და ამდენივე დოკ სადგური. არ ვიცი, როგორ მოახერხეს, მაგრამ დიდი მადლობა.

დარჩენილი იყო ყველაფერი მორიგე ადმინისტრატორების ბინებში მიტანა. და ეს არის ათი მისამართი მოსკოვის სხვადასხვა კუთხეში: სამხრეთი, აღმოსავლეთი, ცენტრი და ასევე ბალაშიხა, რომელიც ოფისიდან 45 კილომეტრშია (სხვათა შორის, მოგვიანებით დაემატა სტაჟიორი სერფუხოვიდან). საჭირო იყო როგორმე გადანაწილებულიყო ეს ყველაფერი ადამიანებს შორის, აეშენებინა ლოჯისტიკა.

შევიყვანე ყველა მისამართი ჩვენს რუქებზე, ჯერ კიდევ არის შესაძლებლობა, გავაუმჯობესო მარშრუტი სხვადასხვა წერტილებს შორის (გამოვიყენე ინსტრუმენტის უფასო ბეტა ვერსია კურიერებისთვის). ჩვენი გუნდი დავყავით ოთხ დამოუკიდებელ გუნდად, ორკაციანი, თითოეულს თავისი მარშრუტი აქვს. ჩემი მანქანა ყველაზე ფართო აღმოჩნდა, ამიტომ ავიღე აღჭურვილობა ერთდროულად ოთხი თანამშრომლისთვის.

მთელ მიწოდებას რეკორდული სამი საათი დასჭირდა. ორშაბათს საღამოს ათზე გამოვედით ოფისიდან. ღამის პირველ საათზე უკვე სახლში ვიყავი. იმავე ღამეს ახალი ტექნიკით წავედით მორიგეობაში.

შედეგით, რომ

ერთი დიდი დიაგნოსტიკური კონსოლის ნაცვლად, თითოეული მორიგე ადამიანის ბინაში ათი შედარებით პორტატული ავაწყეთ. რა თქმა უნდა, ჯერ კიდევ იყო გარკვეული დეტალები. მაგალითად, ჩვენ გვქონდა ერთი „რკინის“ ტელეფონი მორიგესთვის შეტყობინებებისთვის. ეს არ მუშაობდა ახალ პირობებში, ამიტომ ჩვენ გამოვიმუშავეთ "ვირტუალური ტელეფონები" მორიგე ოფიცრებისთვის (არსებითად, არხები მესინჯერში). იყო სხვა ცვლილებებიც. მაგრამ მთავარი ის არის, რომ რეკორდულ დროში ჩვენ მოვახერხეთ არა მხოლოდ ადამიანების გადაყვანა, რითაც შევამცირეთ მათი ინფექციის რისკი, არამედ მთელი ჩვენი სამუშაო სახლში პროცესებისა და პროდუქტის სტაბილურობის გარეშე. უკვე ერთი თვეა ამ რეჟიმში ვმუშაობთ.

ქვემოთ ნახავთ ჩვენი მორიგე ოფიცრების რეალური სამუშაო ადგილების ფოტოებს.

წყარო: www.habr.com