Ажлыг нэг зөөврийн компьютерт багтааж, бусад хүмүүсээс бие даан хийх боломжтой бол алслагдсан газар руу шилжихэд ямар ч асуудал гарахгүй - зөвхөн өглөө гэртээ байх болно. Гэхдээ хүн бүр тийм азтай байдаггүй.
Дуудлагын ээлж нь үйлчилгээний хүртээмжийн мэргэжилтнүүдийн баг юм (SRE). Үүнд үүрэг хариуцлагын администраторууд, хөгжүүлэгчид, менежерүүд, түүнчлэн тус бүр нь 26 инчийн 55 LCD самбар бүхий нийтлэг "хяналтын самбар" багтдаг. Компанийн үйлчилгээний тогтвортой байдал, асуудлыг шийдвэрлэх хурд нь ээлжийн ажлаас хамаарна.
Өнөөдөр Дмитрий Меликов , жижүүрийн менежер, тэд хэдхэн хоногийн дотор гэрт нь тоног төхөөрөмж тээвэрлэж, шинэ ажлын процесс бий болгосон талаар ярих болно. Би түүнд үг хэлье.
— Танд эцэс төгсгөлгүй цаг хугацаа байгаа үед та юу ч хамаагүй хаана ч хамаагүй хөдөлж чадна. Гэвч коронавирусын хурдацтай тархалт биднийг огт өөр нөхцөл байдалд орууллаа. Yandex-ийн ажилчид алсын зайн ажилд шилжсэн анхны хүмүүсийн нэг байсан - бүр өөрийгөө тусгаарлах дэглэмийг нэвтрүүлэхээс өмнө. Ийм зүйл болсон. Гуравдугаар сарын 12-ны пүрэв гарагт багийн ажлыг гэр рүүгээ шилжүүлэх боломжийн талаар үнэлгээ өгөхийг надаас хүссэн. 13-ны баасан гарагт алсын зайн ажилд шилжих зөвлөмж гарчээ. Гуравдугаар сарын 17-ны Мягмар гарагийн шөнө бид бүх зүйлийг бэлэн болгосон: жижүүрүүд гэрээсээ ажиллаж, тоног төхөөрөмжийг тээвэрлэж, алга болсон програм хангамжийг бичиж, процессыг дахин тохируулсан. Одоо би үүнийг хэрхэн яаж салгаснаа танд хэлэх болно. Гэхдээ эхлээд ээлжийн ээлжийн шийддэг ажлуудыг санаж байх хэрэгтэй.
Бид хэн бэ
Yandex бол олон зуун үйлчилгээтэй томоохон компани юм. Хайлтын тогтвортой байдал, дуут туслах болон бусад бүх бүтээгдэхүүн нь зөвхөн хөгжүүлэгчдээс хамаардаггүй. Дата төвийн тэжээлийн хангамж тасалдаж болзошгүй. Ажилчин асфальт солих үед санамсаргүйгээр оптик кабелийг гэмтээж болно. Эсвэл хэрэглэгчийн идэвхжил нэмэгдэж, хүчин чадлыг дахин хуваарилах зайлшгүй шаардлагатай болж магадгүй юм. Түүгээр ч зогсохгүй бид бүгд том, нарийн төвөгтэй дэд бүтцэд амьдардаг бөгөөд нэг бүтээгдэхүүн гарах нь санамсаргүйгээр нөгөөг нь доройтуулж болзошгүй юм.
Манай нээлттэй орон зайд байгаа 26 самбар нь нэг хагас мянган дохиолол, манай үйлчилгээний зуу гаруй график, самбар юм. Үндсэндээ энэ бол маш том оношлогооны самбар юм. Туршлагатай жижүүр администратор нь чухал бүрэлдэхүүн хэсгүүдийн байдлыг хурдан ойлгож, технологийн асуудлыг судлах чиглэлийг тодорхойлж чадна. Энэ нь хүн бүх төхөөрөмжийг байнга харж байх ёстой гэсэн үг биш юм: автоматжуулалт нь жижүүрийн тусгай интерфэйс рүү мэдэгдэл илгээснээр анхаарал татах болно, гэхдээ харааны самбаргүйгээр асуудлыг шийдэхэд удаан хугацаа шаардагдана.
Асуудал гарсан тохиолдолд жижүүр эхлээд тэдний тэргүүлэх ач холбогдлыг үнэлдэг. Дараа нь энэ нь асуудлыг тусгаарлах эсвэл хэрэглэгчдэд үзүүлэх нөлөөллийг багасгадаг.
Асуудлыг тусгаарлах хэд хэдэн стандарт арга байдаг. Үүний нэг нь жижүүрийн администратор нь хэрэглэгчдийн хамгийн бага анзаардаг зарим функцийг идэвхгүй болгосноор үйлчилгээний доройтол юм. Энэ нь ачааллыг түр зуур багасгаж, юу болсныг олж мэдэх боломжийг олгоно. Хэрэв дата төвтэй холбоотой асуудал гарвал жижүүр нь үйл ажиллагааны багтай холбогдож, асуудлыг ойлгож, шийдвэрлэх хугацааг хянаж, шаардлагатай бол мэргэшсэн багийг татан оролцуулдаг.
Жижүүрийн администратор хувилбарын улмаас үүссэн асуудлыг салгаж чадахгүй бол үйлчилгээний багт мэдээлдэг бөгөөд хөгжүүлэгчид шинэ кодын алдааг хайдаг. Хэрэв тэд үүнийг олж чадахгүй бол администратор нь бусад бүтээгдэхүүн эсвэл үйлчилгээний хүртээмжийн инженерүүдийн хөгжүүлэгчдийг татдаг.
Би энд бүх зүйл хэрхэн ажилладаг талаар удаан ярьж чадна, гэхдээ би мөн чанарыг аль хэдийн дамжуулсан гэж бодож байна. Жижүүр нь бүх үйлчилгээний ажлыг зохицуулж, дэлхийн хэмжээнд тулгарч буй асуудлуудыг хянадаг. Жижүүрийн администратор нүднийхээ өмнө оношилгооны самбартай байх нь чухал юм. Тийм ч учраас алсын ажил руу шилжихдээ хүн бүрт зөөврийн компьютер өгч болохгүй. График болон анхааруулга нь дэлгэцэн дээр багтахгүй. Юу хийх вэ?
Санаа
Оффис дээр жижүүрийн арван администратор бүгд нэг хяналтын самбарын ард ээлжээр ажилладаг бөгөөд үүнд 26 монитор, хоёр компьютер, дөрвөн NVIDIA Quadro NVS 810 видео карт, өлгүүрт суурилуулсан хоёр тасалдалгүй тэжээлийн хангамж, хэд хэдэн бие даасан сүлжээнд нэвтрэх боломжтой. Бид хүн бүр гэртээ ажиллах боломжтой байх ёстой байсан. Орон сууцанд ийм ханыг угсрах нь зүгээр л боломжгүй юм (эхнэр маань үүнд баяртай байх болно), тиймээс бид гэртээ авчирч, угсарч болох зөөврийн хувилбарыг бүтээхээр шийдсэн.
Бид тохиргоог туршиж эхэлсэн. Бид бүх төхөөрөмжийг цөөн дэлгэц дээр байрлуулах шаардлагатай байсан тул мониторын гол шаардлага нь өндөр пикселийн нягтрал байв. Манай орчинд байгаа 4K мониторуудаас бид Lenovo P27u-10-г туршиж үзэхээр сонгосон.
Зөөврийн компьютеруудаас бид 16 инчийн MacBook Pro авсан. Энэ нь хэд хэдэн 4K дэлгэц дээр зураг гаргахад шаардлагатай нэлээн хүчирхэг график дэд систем, дөрвөн төрлийн бүх нийтийн Type-C холбогчтой. Та асууж магадгүй: яагаад ширээний компьютер биш гэж? Зөөврийн компьютерийг агуулахаас яг ижил төхөөрөмжөөр солих нь ижил системийн нэгжийг угсарч, тохируулахаас хамаагүй хялбар бөгөөд хурдан юм. Мөн энэ нь бага жинтэй.
Одоо бид зөөврийн компьютерт хичнээн монитор холбож болохыг ойлгох хэрэгтэй болсон. Энд байгаа асуудал бол холбогчдын тоо биш, бид үүнийг зөвхөн угсарсан системийг турших замаар олж мэдэх боломжтой.
Тест хийх
Бид дөрвөн монитор дээр бүх диаграмм, сэрэмжлүүлгийг тав тухтай байрлуулж, зөөврийн компьютерт холбосон боловч асуудалтай тулгарлаа. Холбогдсон мониторууд дээр 4x4K пикселийг дүрслэх нь видео картанд маш их ачаалал өгч, зөөврийн компьютер цэнэглэж байх үед ч шавхагдсан байв. Аз болоход Lenovo ThinkPad Thunderbolt 3 Dock Gen 2-ын тусламжтайгаар асуудал шийдэгдсэн. Би монитор, цахилгаан хангамж, тэр ч байтугай өөрийн дуртай хулгана, гарыг залгах станцад холбож чадсан.
Гэвч өөр нэг асуудал тэр даруй гарч ирэв: GPU маш их ачаалалтай байсан тул зөөврийн компьютер хэт халсан бөгөөд энэ нь батерей нь хэт халсан гэсэн үг бөгөөд үүний үр дүнд хамгаалалтын горимд шилжиж, цэнэгээ хүлээн авахаа больсон. Ерөнхийдөө энэ бол аюултай нөхцөл байдлаас хамгаалах маш ашигтай горим юм. Зарим тохиолдолд агааржуулалтыг сайжруулахын тулд зөөврийн компьютерын доор байрлуулсан баллон үзэг - өндөр технологийн төхөөрөмжийн тусламжтайгаар асуудлыг шийдсэн. Гэхдээ энэ нь хүн бүрт тус болоогүй тул бид стандарт сэнсний хурдыг нэмэгдүүлсэн.
Бас нэг таагүй шинж чанар байсан. Бүх диаграммууд болон анхааруулга нь хатуу тодорхойлогдсон газарт байрлах ёстой. Та буухаар онгоц жолоодож байна гэж төсөөлөөд үз дээ - дараа нь хурдны үзүүлэлт, өндөр хэмжигч, вариометр, хандлагын үзүүлэлт, луужин, байрлалын үзүүлэлтүүд хэмжээ өөрчлөгдөж, өөр өөр газар руу үсэрч эхэлнэ. Тиймээс бид үүнд туслах аппликейшн хийхээр шийдсэн. Нэг орой бид үүнийг Electron.js дээр бичээд бэлэн болгочихсон цонх үүсгэх, удирдах талаар. Бид тохиргооны процессор болон тэдгээрийн үе үе шинэчлэлтийг нэмсэн, мөн хязгаарлагдмал тооны мониторын дэмжлэгийг нэмсэн. Хэсэг хугацааны дараа тэд янз бүрийн тохиргоонд дэмжлэг нэмсэн.
Угсралт, хүргэлт
Даваа гариг гэхэд тусламжийн албаны шидтэнгүүд бидэнд 40 дэлгэц, арван зөөврийн компьютер, мөн тооны залгах станц авч өгсөн. Тэд үүнийг яаж зохицуулсныг би мэдэхгүй ч тэдэнд маш их баярлалаа.
Энэ бүгдийг жижүүрийн удирдлагуудын орон сууцанд хүргэх л үлдлээ. Эдгээр нь Москвагийн янз бүрийн хэсэгт байрлах арван хаяг юм: өмнөд, зүүн, төв, мөн оффисоос 45 км-ийн зайд орших Балашиха (дашрамд хэлэхэд, Серпуховын дадлагажигчийг хожим нэмсэн). Энэ бүхнийг ямар нэгэн байдлаар хүмүүсийн хооронд хуваарилах, ложистикийг бий болгох шаардлагатай байсан.
Би газрын зураг дээрх бүх хаягийг орууллаа, өөр өөр цэгүүдийн хоорондох маршрутыг оновчтой болгох боломж байсаар байна (би шуудан зөөгч нарт зориулсан хэрэгслийн үнэгүй бета хувилбарыг ашигласан). Бид багаа хоёр хүний бүрэлдэхүүнтэй дөрвөн бие даасан багт хуваасан бөгөөд тус бүр өөрийн гэсэн маршруттай. Миний машин хамгийн өргөн нь болсон тул би нэг дор дөрвөн ажилтны тоног төхөөрөмж авав.
Бүх хүргэлт нь дээд амжилт тогтоосон гурван цаг зарцуулсан. Бид даваа гарагийн орой арван цагт оффисоос гарлаа. Шөнийн нэг цагт би аль хэдийн гэртээ байсан. Тэр шөнөдөө бид шинэ техник хэрэгсэлтэй жижүүрт гарсан.
Эцсийн эцэст
Оношилгооны нэг том консолын оронд жижүүр бүрийн байранд харьцангуй зөөврийн арван ширхэгийг угсарсан. Мэдээжийн хэрэг, шийдвэрлэх шаардлагатай зарим нарийн ширийн зүйлс байсан. Тухайлбал, жижүүрийн мэдэгдлийн нэг “төмөр” утастай байсан. Энэ нь шинэ нөхцөлд ажиллахгүй байсан тул бид жижүүрийн "виртуал утас" (үндсэндээ мессенжер дэх сувгууд) зохион бүтээсэн. Бусад өөрчлөлтүүд ч байсан. Гэхдээ хамгийн гол нь бид зөвхөн хүмүүсийг биш, тэдний халдвар авах эрсдэлийг бууруулж, үйл явц, бүтээгдэхүүний тогтвортой байдалд хохирол учруулахгүйгээр гэр рүүгээ шилжүүлж чадсан явдал юм. Энэ горимд ажиллаад нэг сар болж байна.
Манай жижүүрийн жинхэнэ ажлын байрны гэрэл зургуудыг доороос үзнэ үү.
Эх сурвалж: www.habr.com