Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiam la laboro taŭgas en unu tekkomputilo kaj povas esti plenumita aŭtonome de aliaj homoj, tiam ne estas problemo translokiĝi al malproksima loko - sufiĉas resti hejme matene. Sed ne ĉiuj estas tiel bonŝancaj.

La devoŝanĝo estas teamo de Specialistoj pri Disponebleco de Servo (SREoj). Ĝi inkluzivas devontajn administrantojn, programistojn, administrantojn, same kiel komunan "instrumentpanelo" de 26 LCD-paneloj de 55 coloj ĉiu. La stabileco de la servoj de la kompanio kaj la rapideco de solvado de problemoj dependas de la laboro de la devoŝanĝo.

Hodiaŭ Dmitrij Melikov tal10n, la estro de la deĵoranto, parolos pri kiel en kelkaj tagoj ili sukcesis transporti la ekipaĵojn al siaj hejmoj kaj establi novajn laborprocezojn. Mi donas al li la parolon.

- Kiam vi havas senfinan provizon da tempo, vi povas komforte moviĝi kun io ajn ie ajn. Sed la rapida disvastiĝo de la koronaviruso metis nin en tute malsamajn kondiĉojn. Yandex-dungitoj estis inter la unuaj, kiuj ŝanĝis al malproksima laboro, eĉ antaŭ la enkonduko de la mem-izolita reĝimo. Okazis tiel. Ĵaŭdon, la 12-an de marto, mi estis petita taksi la eblecon translokigi la laboron de la teamo hejmen. Vendredon la 13-an, estis rekomendo ŝanĝi al fora laboro. En la nokto de mardo, la 17-an de marto, ĉio estis preta por ni: la deĵorantoj laboris hejme, la ekipaĵo estis movita, la mankanta programaro estis skribita, la procezoj estis reagorditaj. Kaj nun mi rakontos al vi kiel ni faris ĝin. Sed unue vi devas memori pri la taskoj, kiujn la devoŝanĝo solvas.

Kiuj ni estas

Yandex estas granda kompanio kun centoj da servoj. La stabileco de serĉo, voĉa asistanto kaj ĉiuj aliaj produktoj dependas ne nur de programistoj. La nutrado povas esti interrompita en la datumcentro. Laboristo dum anstataŭigo de asfalto povas hazarde difekti la optikan kablon. Aŭ povas esti pliiĝo en uzanta agado, kiu postulos urĝan reasignadon de kapacito. Plie, ni ĉiuj vivas en granda, kompleksa infrastrukturo, kaj la liberigo de unu el la produktoj povas hazarde konduki al la degenero de alia.

26 paneloj en nia libera spaco estas mil kaj duono da atentigoj kaj pli ol cent leteroj kaj paneloj de niaj servoj. Fakte, ĉi tio estas grandega diagnoza panelo. Sperta administranto, rigardante ĝin, rapide komprenas la statuson de gravaj nodoj kaj povas fiksi la direkton por esplori teknologian problemon. Ĉi tio ne signifas, ke homo devas konstante rigardi ĉiujn aparatojn: la aŭtomatigo mem altiros atenton sendante sciigon al la speciala interfaco de la deĵora oficiro, sed sen vida panelo, la solvo de la problemo povas prokrasti.

Kiam problemoj okazas, la asistanto unue taksas ilian prioritaton. Ĝi tiam izolas la problemon aŭ minimumigas ĝian efikon al uzantoj.

Estas pluraj normaj manieroj izoli problemon. Unu el ili estas la degenero de servoj, kiam la deĵoranta administranto malŝaltas iujn el la funkcioj, kiujn uzantoj malpli rimarkas. Ĉi tio permesas vin provizore redukti la ŝarĝon kaj ekscii, kio okazis. Se estas problemo kun la datumcentro, la deĵoranto kontaktas la operacian teamon, komprenas la problemon, kontrolas la tempon de ĝia solvo kaj, se necese, ligas la koncernajn teamojn.

Kiam la deĵoranta administranto ne povas izoli la problemon estiĝintan pro la liberigo, li raportas ĝin al la servoteamo - kaj la programistoj serĉas erarojn en la nova kodo. Se ili malsukcesas eltrovi ĝin, tiam la administranto altiras programistojn de aliaj produktoj aŭ inĝenieroj por la havebleco de servoj.

Mi povas longe paroli pri kiel ĉio estas aranĝita kun ni, sed mi pensas, ke mi jam transdonis la esencon. La devoŝanĝo kunordigas la laboron de ĉiuj servoj kaj kontrolas tutmondajn problemojn. Gravas por la deĵoranta administranto havi diagnozan panelon antaŭ siaj okuloj. Tial kiam vi ŝanĝas al fora laboro, vi ne povas simple preni kaj doni al ĉiuj tekkomputilon. Grafikaĵoj kaj atentigoj ne taŭgas sur la ekrano. Kion fari?

Ideo

En la oficejo, ĉiuj dek deĵorantaj administrantoj laboras en deĵoroj ĉe la sama instrumentpanelo, kiu inkluzivas 26 ekranojn, du komputilojn, kvar NVIDIA Quadro NVS 810-vidkartojn, du rack-muntitajn seninterrompajn elektroprovizojn kaj plurajn sendependajn retajn alirojn. Ni devis certigi, ke ĉiuj havas la ŝancon labori hejme. Nur ne eblas kunmeti tian muron en apartamento (mia edzino aparte ĝojos pri tio), do ni decidis krei porteblan version, kiun oni povas alporti kaj kunmeti hejme.

Ni komencis eksperimenti kun la agordo. Ni devis konveni ĉiujn aparatojn sur malpli da ekranoj, do la ĉefa postulo por la ekrano estis alta piksela denseco. El la 4K-ekranoj disponeblaj en nia medio, ni elektis Lenovo P27u-10 por provoj.

De tekkomputiloj, ni prenis 16-colan MacBook Pro. Ĝi havas sufiĉe potencan grafikan subsistemon, kiu estas necesa por bildigi bildojn sur pluraj 4K ekranoj, kaj kvar universalaj Tipo-C konektiloj. Vi povas demandi: kial ne labortablo? Anstataŭigi tekkomputilon per ĝuste la sama el la magazeno estas multe pli facila kaj rapida ol kunmeti kaj agordi identan sistemunuon. Kaj jes, ĝi pezas malpli.

Nun necesis kompreni kiom da monitoroj ni vere povas konekti al tekkomputilo. Kaj la problemo ĉi tie ne estas la nombro da konektiloj, ni povus ekscii nur provante la sistemon kiel aro.

Kiel ni evakuis la Yandex-deĵoran deĵoron

Testado

Ni komforte metis ĉiujn diagramojn kaj atentigojn sur kvar ekranoj kaj eĉ konektis ilin al tekkomputilo, sed ni renkontis problemon. Reprezentado de 4×4K-pikseloj sur la konektitaj ekranoj ŝarĝis la vidkarton tiom multe, ke la tekokomputilo estis malŝarĝita eĉ dum ŝarĝo. Feliĉe, la problemo estis solvita kun la helpo de la aldokstacio Lenovo ThinkPad Thunderbolt 3 Dock Gen 2. Ni sukcesis konekti monitoron, potencon kaj eĉ vian plej ŝatatan muson kaj klavaron al la aldokstacio.

Sed alia problemo tuj ekaperis: la GPU ŝvelis tiom, ke la tekkomputilo trovarmiĝis, kio signifas, ke ankaŭ la kuirilaro trovarmiĝis, kiu sekve eniris en protektan reĝimon kaj ĉesis preni kontrolon. Ĝenerale, ĉi tio estas tre utila reĝimo, kiu protektas kontraŭ danĝeraj situacioj. En iuj kazoj, la problemo estis solvita helpe de altteknologia aparato - globkrajono metita sub la tekkomputilo por plibonigi ventoladon. Sed ĉi tio ne helpis ĉiujn, do ni ankaŭ pliigis la rapidecon de la norma ventumilo.

Estis unu plia malagrabla trajto. Ĉiuj leteroj kaj atentigoj devas esti metitaj en strikte difinitan lokon. Imagu, ke vi pilotas aviadilon por surteriĝi - kaj tiam rapidindikiloj, altimetroj, variometroj, artefaritaj horizontoj, kompasoj kaj poziciindikiloj komencas ŝanĝi grandecon kaj salti en malsamaj lokoj. Do ni decidis fari aplikaĵon, kiu helpos ĉi tion. En unu vespero, ni skribis ĝin sur Electron.js, prenante preta API por krei kaj administri fenestrojn. Ni aldonis agordan prizorganton kaj ilian periodan ĝisdatigon, kaj ankaŭ subtenon por limigita nombro da monitoroj. Iom poste, ili aldonis subtenon por malsamaj agordoj.

Muntado kaj livero

Ĝis lundo, la sorĉistoj de la helpservo akiris 40 ekranojn, dek tekkomputilojn kaj la saman nombron da aldostacioj por ni. Mi ne scias kiel ili faris tion, sed koran dankon.

Kiel ni evakuis la Yandex-deĵoran deĵoron

Restis liveri ĉion ĉi al la loĝejoj de la deĵorantaj administrantoj. Kaj jen dek adresoj en diversaj partoj de Moskvo: sude, oriente, centro, kaj ankaŭ Balaŝiĥa, kiu estas 45 kilometrojn de la oficejo (cetere, poste aldoniĝis ankaŭ staĝanto el Serpuĥov). Necesis iel distribui ĉion ĉi inter homoj, konstrui loĝistikon.

Mi enigis ĉiujn adresojn sur niaj Mapoj, ankoraŭ estas ŝanco optimumigi la itineron inter malsamaj punktoj (mi uzis la senpagan beta-version de la ilo por kurieroj). Ni dividis nian teamon en kvar sendependajn teamojn de du homoj, ĉiu ricevis sian propran itineron. Mia aŭto montriĝis la plej vasta, do mi prenis ekipaĵon por kvar dungitoj samtempe.

Kiel ni evakuis la Yandex-deĵoran deĵoron

La tuta livero daŭris rekordon tri horojn. Ni forlasis la oficejon lunde je la XNUMX-a. Je la unua horo matene mi jam estis hejme. Tiun saman nokton ni deĵoris kun nova ekipaĵo.

Kio estas la rezulto

Anstataŭ unu granda diagnoza konzolo, ni kolektis dek relative porteblajn en la loĝejo de ĉiu deĵoroficiro. Kompreneble, estis ankoraŭ kelkaj aferoj por gladi. Ekzemple, antaŭe ni havis unu "feran" telefonon de la deĵoranto por sciigoj. Sub la novaj kondiĉoj, ĉi tio ne funkciis, do ni elpensis "virtualajn telefonojn" por deĵorantoj (fakte, kanaloj en la mesaĝisto). Estis ankaŭ aliaj ŝanĝoj. Sed la ĉefa afero estas, ke en rekorda tempo ni sukcesis translokigi ne nur homojn, reduktante la riskon de ilia infekto, sed nian tutan laboron de hejme sen damaĝo al procezoj kaj produkta stabileco. Ni faras tion de unu monato.

Malsupre vi trovos fotojn pri la veraj laboroj de niaj deĵorantoj.

Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiel ni evakuis la Yandex-deĵoran deĵoron

Kiel ni evakuis la Yandex-deĵoran deĵoron

fonto: www.habr.com