Hvernig við rýmdum Yandex vaktvaktina

Hvernig við rýmdum Yandex vaktvaktina

Þegar vinnan passar í eina fartölvu og hægt er að framkvæma sjálfstætt frá öðru fólki, þá er ekkert vandamál að flytja á afskekktan stað - það er nóg að vera heima á morgnana. En það eru ekki allir jafn heppnir.

Vaktvaktin er teymi þjónustuframboðssérfræðinga (SRE). Það felur í sér skyldustjórnendur, þróunaraðila, stjórnendur, auk sameiginlegs „mælaborðs“ með 26 LCD spjöldum 55 tommu hver. Stöðugleiki í þjónustu fyrirtækisins og hraði við úrlausn vandamála fer eftir vinnu vaktar.

Í dag Dmitry Melikov tal10nvaktstjóri vakthafandi mun segja frá því hvernig þeim tókst á nokkrum dögum að flytja tækin heim til sín og koma á nýjum verkferlum. Ég gef honum orðið.

- Þegar þú hefur endalausan tíma geturðu hreyft þig með hverju sem er hvar sem er. En hröð útbreiðsla kórónavírussins hefur sett okkur í allt aðrar aðstæður. Starfsmenn Yandex voru meðal þeirra fyrstu sem skiptu yfir í fjarvinnu, jafnvel áður en sjálfeinangrunarfyrirkomulagið var tekið upp. Þetta gerðist svona. Fimmtudaginn 12. mars var ég beðinn um að kanna möguleika á að flytja vinnu teymisins heim. Föstudaginn 13. komu tilmæli um að skipta yfir í fjarvinnu. Þriðjudagskvöldið 17. mars var allt tilbúið fyrir okkur: afgreiðslufólkið var að vinna heima, búnaðurinn færður, hugbúnaðurinn sem vantaði skrifaður, ferlarnir endurstilltir. Og nú skal ég segja þér hvernig við gerðum það. En fyrst þarf að muna um þau verkefni sem vaktvaktin leysir.

Hver erum við

Yandex er stórt fyrirtæki með hundruð þjónustu. Stöðugleiki leitar, raddaðstoðarmanns og allra annarra vara veltur ekki aðeins á þróunaraðilum. Aflgjafinn gæti verið rofinn í gagnaverinu. Starfsmaður við að skipta um malbik getur skaðað ljósleiðara fyrir slysni. Eða það gæti verið aukning í virkni notenda, sem mun krefjast brýnna endurúthlutunar á getu. Þar að auki búum við öll í stórum, flóknum innviðum og losun einnar vörunnar getur óvart leitt til niðurbrots annarrar.

26 spjöld í opna rýminu okkar eru eitt og hálft þúsund tilkynningar og meira en hundrað töflur og spjöld yfir þjónustu okkar. Í raun er þetta risastórt greiningarborð. Reyndur vaktstjóri, með því að skoða það, skilur fljótt stöðu mikilvægra hnúta og getur sett stefnuna á að rannsaka tæknilegt vandamál. Þetta þýðir ekki að maður ætti stöðugt að skoða öll tækin: sjálfvirknin sjálf mun vekja athygli með því að senda tilkynningu til sérstaks viðmóts vaktstjóra, en án sjónræns spjalds gæti lausn vandans seinkað.

Þegar vandamál koma upp metur þjónninn fyrst forgang þeirra. Það einangrar síðan vandamálið eða lágmarkar áhrif þess á notendur.

Það eru nokkrar staðlaðar leiðir til að einangra vandamál. Eitt af því er rýrnun þjónustunnar, þegar vaktstjóri stöðvar sumar af þeim aðgerðum sem notendur taka síst eftir. Þetta gerir þér kleift að minnka álagið tímabundið og komast að því hvað gerðist. Ef vandamál er með gagnaverið þá hefur vaktstjóri samband við rekstrarteymi, skilur vandamálið, stjórnar tímasetningu lausnar þess og tengir, ef nauðsyn krefur, viðkomandi teymi.

Þegar stjórnandi á vakt getur ekki einangrað vandamálið sem kom upp vegna útgáfunnar tilkynnir hann það til þjónustuteymisins - og þróunaraðilar leita að villum í nýja kóðanum. Ef þeim tekst ekki að átta sig á því, þá laðar stjórnandinn að sér þróunaraðila frá öðrum vörum eða verkfræðingum til að fá þjónustu.

Ég get talað lengi um hvernig öllu er háttað hjá okkur, en ég held að ég sé búinn að koma kjarnanum á framfæri. Vaktvaktin samhæfir starf allrar þjónustu og stjórnar alþjóðlegum vandamálum. Mikilvægt er fyrir vakthafandi stjórnanda að hafa greiningarborð fyrir augum. Þess vegna geturðu ekki bara tekið og gefið öllum fartölvu þegar þú skiptir yfir í fjarvinnu. Gröf og viðvaranir passa ekki á skjáinn. Hvað skal gera?

Hugmynd

Á skrifstofunni vinna allir tíu stjórnendurnir á vakt á vöktum við sama mælaborðið, sem inniheldur 26 skjái, tvær tölvur, fjögur NVIDIA Quadro NVS 810 skjákort, tvær truflanir á rekki og nokkrir sjálfstæðir netaðgangir. Við þurftum að tryggja að allir ættu möguleika á að vinna heima. Það er bara ekki hægt að setja saman svona vegg í íbúð (konan mín verður sérstaklega ánægð með það), svo við ákváðum að búa til flytjanlega útgáfu sem hægt er að koma með og setja saman heima.

Við byrjuðum að gera tilraunir með uppsetninguna. Við þurftum að koma öllum tækjum fyrir á færri skjái, þannig að aðalkrafan fyrir skjáinn var mikill pixlaþéttleiki. Af 4K skjám sem til eru í umhverfi okkar völdum við Lenovo P27u-10 fyrir próf.

Af fartölvum tókum við 16 tommu MacBook Pro. Það er með nokkuð öflugt grafíkundirkerfi, sem er nauðsynlegt til að birta myndir á nokkrum 4K skjáum, og fjögur alhliða Type-C tengi. Þú gætir spurt: hvers vegna ekki skrifborð? Það er miklu auðveldara og fljótlegra að skipta út fartölvu fyrir nákvæmlega sömu fartölvu frá vöruhúsinu en að setja saman og stilla eins kerfiseiningu. Og já, það vegur minna.

Nú var nauðsynlegt að skilja hversu marga skjái við getum raunverulega tengt við fartölvu. Og vandamálið hér er ekki fjöldi tengjanna, við gætum komist að því aðeins með því að prófa kerfið sem samsetningu.

Hvernig við rýmdum Yandex vaktvaktina

Prófun

Við settum öll kort og viðvaranir þægilega á fjóra skjái og tengdum þá jafnvel við fartölvu, en við lentum í vandræðum. Að gefa upp 4×4K pixla á tengdum skjáum hleðst skjákortið svo mikið að fartölvan losnaði jafnvel við hleðslu. Sem betur fer var vandamálið leyst með hjálp Lenovo ThinkPad Thunderbolt 3 Dock Gen 2. Við náðum að tengja skjá, rafmagn og jafnvel uppáhalds músina þína og lyklaborðið við tengikví.

En annað vandamál kom strax upp á yfirborðið: GPU pústaðist svo mikið að fartölvan ofhitnaði, sem þýðir að rafhlaðan ofhitnaði líka, sem fór í hlífðarham og hætti að taka hleðslu. Almennt séð er þetta mjög gagnleg stilling sem verndar gegn hættulegum aðstæðum. Í sumum tilfellum var vandamálið leyst með hjálp hátæknibúnaðar - kúlupenna sem settur var undir fartölvuna til að bæta loftræstingu. En þetta hjálpaði ekki öllum, svo við hækkuðum líka hraðann á venjulegu viftunni.

Það var enn einn óþægilegur þáttur. Öll töflur og viðvaranir verða að vera settar á stranglega afmarkaðan stað. Ímyndaðu þér að þú sért að stýra flugvél til að lenda - og þá byrja hraðavísar, hæðarmælar, víxlmælar, gervi sjóndeildarhringur, áttavitar og stöðuvísar að breyta stærð og hoppa um á mismunandi stöðum. Svo við ákváðum að búa til umsókn sem mun hjálpa við þetta. Á einu kvöldi skrifuðum við það á Electron.js og tókum tilbúið API til að búa til og stjórna gluggum. Við bættum við stillingastjórnun og reglubundinni uppfærslu þeirra, auk stuðnings við takmarkaðan fjölda skjáa. Nokkru síðar bættu þeir við stuðningi við mismunandi uppsetningar.

Samsetning og afhending

Á mánudaginn höfðu galdramennirnir frá þjónustuverinu fengið 40 skjái, tíu fartölvur og jafnmargar tengikvíar fyrir okkur. Ég veit ekki hvernig þeir gerðu það, en takk kærlega.

Hvernig við rýmdum Yandex vaktvaktina

Eftir stóð að afhenda þetta allt í íbúðir vakthafandi stjórnenda. Og þetta eru tíu heimilisföng í mismunandi hlutum Moskvu: suður, austur, miðju og einnig Balashikha, sem er 45 kílómetra frá skrifstofunni (við the vegur, nemi frá Serpukhov var einnig bætt við síðar). Það þurfti einhvern veginn að dreifa þessu öllu á milli manna, byggja upp flutninga.

Ég setti inn öll heimilisföngin á kortunum okkar, það er enn tækifæri til að fínstilla leiðina á milli mismunandi punkta (ég notaði ókeypis beta útgáfuna af tólinu fyrir sendiboða). Við skiptum teyminu okkar í fjögur sjálfstæð teymi með tveimur mönnum, hver fékk sína leið. Bíllinn minn reyndist rúmastur svo ég tók búnað fyrir fjóra starfsmenn í einu.

Hvernig við rýmdum Yandex vaktvaktina

Öll sendingin tók met þrjár klukkustundir. Við fórum af skrifstofunni klukkan XNUMX á mánudaginn. Klukkan eitt um nóttina var ég þegar heima. Sama kvöldið fórum við á vakt með ný tæki.

Með þeim afleiðingum að

Í stað einnar stórrar greiningartölvu söfnuðum við tíu tiltölulega færanlegum í íbúð hvers varðstjóra. Auðvitað var enn eftir að strauja nokkra hluti. Til dæmis áður en við höfðum einn "járn" síma vaktstjóra fyrir tilkynningar. Við nýju skilyrðin virkaði þetta ekki, svo við komum með „sýndarsíma“ fyrir þá sem eru á vakt (reyndar rásir í boðberanum). Það voru líka aðrar breytingar. En aðalatriðið er að á mettíma tókst okkur að flytja ekki bara fólk, sem minnkaði hættuna á smiti þeirra, heldur alla vinnu okkar að heiman án þess að skaða ferla og vörustöðugleika. Við erum búin að vera að þessu í mánuð núna.

Hér að neðan finnur þú myndir af raunverulegum störfum aðstoðarmanna okkar.

Hvernig við rýmdum Yandex vaktvaktina

Hvernig við rýmdum Yandex vaktvaktina

Hvernig við rýmdum Yandex vaktvaktina

Hvernig við rýmdum Yandex vaktvaktina

Hvernig við rýmdum Yandex vaktvaktina

Heimild: www.habr.com