Yandex 근무 교대를 대피시킨 방법

작업이 하나의 노트북에 들어가고 다른 사람이 자율적으로 수행할 수 있으면 원격 위치로 이동하는 데 아무런 문제가 없습니다. 아침에 집에 있으면 됩니다. 그러나 모든 사람이 그렇게 운이 좋은 것은 아닙니다.

당직 근무는 서비스 가용성 전문가(SRE)로 구성된 팀입니다. 여기에는 담당 관리자, 개발자, 관리자뿐만 아니라 각각 26인치 LCD 패널 55개로 구성된 공통 "대시보드"가 포함됩니다. 회사 서비스의 안정성과 문제 해결 속도는 근무 교대 근무에 따라 달라집니다.

오늘은 드미트리 멜리코프 탈10n근무 교대 관리자인 은 어떻게 며칠 만에 장비를 집으로 운반하고 새로운 작업 프로세스를 구축할 수 있었는지 이야기할 것입니다. 나는 그에게 바닥을 준다.

— 무한한 시간이 주어지면 무엇이든 가지고 어디든 편안하게 이동할 수 있습니다. 그러나 코로나바이러스의 급속한 확산으로 인해 우리는 완전히 다른 상황에 놓이게 되었습니다. Yandex 직원은 자가 격리 체제가 도입되기 전에도 가장 먼저 원격 근무로 전환한 직원 중 하나였습니다. 이런 일이 일어났습니다. 12월 13일 목요일에 저는 팀의 업무를 집으로 옮길 가능성을 평가해 달라는 요청을 받았습니다. 17일 금요일 원격근무로 전환하라는 권고가 나왔습니다. XNUMX월 XNUMX일 화요일 밤, 우리는 모든 것을 준비했습니다. 근무자들은 재택근무를 하고, 장비를 운송하고, 누락된 소프트웨어를 작성하고, 프로세스를 재구성했습니다. 이제 우리가 어떻게 해냈는지 말씀 드리겠습니다. 하지만 먼저 근무 교대가 해결하는 작업을 기억해야 합니다.

우리는 누구인가

Yandex는 수백 가지 서비스를 제공하는 대기업입니다. 검색, 음성 지원 및 기타 모든 제품의 안정성은 개발자에게만 달려 있는 것이 아닙니다. 데이터 센터의 전원 공급이 중단될 수 있습니다. 아스팔트를 교체하는 동안 작업자가 실수로 광케이블을 손상시킬 수 있습니다. 또는 사용자 활동이 급증하여 긴급하게 용량을 재할당해야 할 수도 있습니다. 게다가 우리 모두는 크고 복잡한 인프라에 살고 있으며, 한 제품의 출시로 인해 우연히 다른 제품의 성능이 저하될 수도 있습니다.

우리의 열린 공간에 있는 26개의 패널은 XNUMX만 개의 경고와 XNUMX개 이상의 차트 및 서비스 패널입니다. 본질적으로 이것은 거대한 진단 패널입니다. 숙련된 현직 관리자는 주요 구성요소의 상태를 살펴봄으로써 빠르게 파악하고, 기술적인 문제에 대한 조사 방향을 설정할 수 있습니다. 이는 사람이 모든 장치를 지속적으로 살펴봐야 한다는 의미는 아닙니다. 자동화 자체는 담당관의 특수 인터페이스에 알림을 보내 주의를 끌지만 시각적 패널이 없으면 문제를 해결하는 데 오랜 시간이 걸릴 수 있습니다.

문제가 발생하면 담당관은 먼저 우선순위를 평가합니다. 그런 다음 문제를 격리하거나 사용자에게 미치는 영향을 최소화합니다.

문제를 격리하는 몇 가지 표준 방법이 있습니다. 그 중 하나는 근무 중인 관리자가 사용자가 거의 눈치채지 못하는 일부 기능을 비활성화할 때 서비스 품질이 저하되는 것입니다. 이를 통해 일시적으로 부하를 줄이고 무슨 일이 일어났는지 파악할 수 있습니다. 데이터센터에 문제가 발생하면 담당직원이 운영팀에 연락해 문제를 파악하고 해결 시기를 모니터링하며, 필요한 경우 전문팀을 참여시킨다.

담당 관리자가 릴리스로 인해 발생한 문제를 격리할 수 없는 경우 이를 서비스 팀에 보고하고 개발자는 새 코드에서 오류를 찾습니다. 이를 파악할 수 없는 경우 관리자는 다른 제품의 개발자나 서비스 가용성 엔지니어를 유치합니다.

여기서 모든 것이 어떻게 작동하는지에 대해 오랫동안 이야기할 수 있지만, 핵심은 이미 전달했다고 생각합니다. 근무 교대는 모든 서비스의 작업을 조정하고 글로벌 문제를 모니터링합니다. 담당 관리자가 진단 패널을 눈앞에 두는 것이 중요합니다. 그렇기 때문에 원격 근무로 전환할 때 모든 사람에게 노트북만 제공할 수는 없습니다. 차트와 알림은 화면에 맞지 않습니다. 무엇을 해야 할까요?

생각

사무실에서는 근무 중인 관리자 26명 모두 모니터 810대, 컴퓨터 XNUMX대, NVIDIA Quadro NVS XNUMX 비디오 카드 XNUMX개, 랙 장착형 무정전 전원 공급 장치 XNUMX개, 여러 개의 독립적인 네트워크 액세스가 포함된 하나의 대시보드 뒤에서 교대로 근무합니다. 우리는 모든 사람이 집에서 일할 수 있는 기회를 갖도록 해야 했습니다. 아파트에서 그런 벽을 조립하는 것은 불가능합니다. (제 아내는 특히 이것에 대해 기뻐할 것입니다.) 그래서 우리는 집에 가져가서 조립할 수 있는 휴대용 버전을 만들기로 결정했습니다.

우리는 구성을 실험하기 시작했습니다. 우리는 더 적은 수의 디스플레이에 모든 장치를 맞춰야 했기 때문에 모니터의 주요 요구 사항은 높은 픽셀 밀도였습니다. 우리 환경에서 사용할 수 있는 4K 모니터 중에서 테스트를 위해 Lenovo P27u-10을 선택했습니다.

노트북에서는 16인치 MacBook Pro를 사용했습니다. 여러 4K 디스플레이에서 이미지를 렌더링하는 데 필요한 상당히 강력한 그래픽 하위 시스템과 XNUMX개의 범용 Type-C 커넥터가 있습니다. 당신은 물을 수 있습니다: 데스크탑은 왜 안되나요? 노트북을 창고에서 가져온 것과 똑같은 것으로 교체하는 것은 동일한 시스템 장치를 조립하고 구성하는 것보다 훨씬 쉽고 빠릅니다. 그리고 무게도 덜 나갑니다.

이제 우리는 노트북에 실제로 연결할 수 있는 모니터 수를 이해해야 했습니다. 여기서 문제는 커넥터 수가 아니라 조립된 시스템을 테스트해야만 알 수 있었습니다.

테스트

모든 차트와 알림을 4개의 모니터에 매우 편안하게 배치하고 노트북에 연결하기도 했지만 문제가 발생했습니다. 연결된 모니터에서 4x3K 픽셀을 렌더링하면 비디오 카드에 부담이 가해져 충전 중에도 노트북이 방전되었습니다. 다행히 Lenovo ThinkPad Thunderbolt 2 Dock Gen XNUMX의 도움으로 문제가 해결되었습니다. 모니터, 전원 공급 장치는 물론 제가 가장 좋아하는 마우스와 키보드까지 도킹 스테이션에 연결할 수 있었습니다.

그러나 즉시 또 다른 문제가 나타났습니다. GPU가 너무 많이 작동하여 노트북이 과열되어 배터리도 과열되어 결과적으로 보호 모드로 들어가 충전이 중단되었습니다. 일반적으로 이는 위험한 상황으로부터 보호하는 매우 유용한 모드입니다. 어떤 경우에는 통풍을 개선하기 위해 노트북 아래에 볼펜을 배치하는 첨단 장치의 도움으로 문제가 해결되었습니다. 하지만 이것이 모든 사람에게 도움이 되지는 않았기 때문에 표준 팬의 속도도 높였습니다.

불편한 기능이 하나 더 있었습니다. 모든 차트와 경고는 엄격하게 정의된 장소에 위치해야 합니다. 착륙하기 위해 비행기를 조종하고 있는데 속도 표시기, 고도계, 변속계, 자세 표시기, 나침반 및 위치 표시기가 크기가 변경되고 다른 위치로 이동하기 시작한다고 상상해 보세요. 그래서 우리는 이에 도움이 되는 애플리케이션을 만들기로 결정했습니다. 어느 날 저녁 우리는 기성품을 가지고 Electron.js에 그것을 작성했습니다. API 창 생성 및 관리에 대해 알아보세요. 구성 프로세서와 주기적 업데이트를 추가하고 제한된 수의 모니터를 지원했습니다. 조금 후에 그들은 다양한 설정에 대한 지원을 추가했습니다.

조립 및 배송

월요일까지 헬프 데스크의 마법사들은 우리를 위해 모니터 40대, 노트북 XNUMX대, 그리고 같은 수의 도킹 스테이션을 확보했습니다. 어떻게 관리했는지는 모르겠지만 정말 감사합니다.

남은 것은 그것을 모두 근무중인 관리자의 아파트로 전달하는 것뿐이었습니다. 그리고 이것은 모스크바의 여러 지역에 있는 45개의 주소입니다: 남쪽, 동쪽, 중앙 및 사무실에서 XNUMXkm 떨어진 Balashikha도 있습니다(그런데 나중에 Serpukhov의 인턴이 추가되었습니다). 물류를 구축하려면 어떻게든 이 모든 것을 사람들 사이에 분배해야 했습니다.

지도에 모든 주소를 입력했지만 여전히 여러 지점 사이의 경로를 최적화할 수 있는 기회가 있습니다(택배용 도구의 무료 베타 버전을 사용했습니다). 우리는 팀을 XNUMX명으로 구성된 XNUMX개의 독립적인 팀으로 나누었으며 각각 고유한 경로를 가지고 있습니다. 내 차가 가장 넓은 것으로 판명되어 직원 XNUMX명이 동시에 장비를 가져갔습니다.

전체 배송에는 기록적인 XNUMX시간이 걸렸습니다. 우리는 월요일 저녁 XNUMX시에 사무실을 떠났습니다. 아침 XNUMX시에 나는 이미 집에있었습니다. 그날 밤 우리는 새로운 장비를 가지고 근무에 나섰습니다.

결과와의

하나의 대형 진단 콘솔 대신에 우리는 근무 중인 각 사람의 아파트에 상대적으로 휴대 가능한 진단 콘솔 XNUMX개를 조립했습니다. 물론 아직 정리해야 할 세부 사항이 남아 있었습니다. 예를 들어, 우리는 근무 담당자가 알림을 받을 수 있도록 하나의 "철" 전화기를 사용했습니다. 이것은 새로운 조건에서는 작동하지 않았기 때문에 우리는 근무 장교를 위한 "가상 전화"(기본적으로 메신저의 채널)를 고안했습니다. 다른 변화도 있었습니다. 그러나 가장 중요한 것은 기록적인 시간 내에 사람뿐만 아니라 감염 위험을 줄이는 것이 아니라 모든 작업을 프로세스와 제품 안정성에 해를 끼치지 않고 집으로 옮길 수 있다는 것입니다. 우리는 현재 한 달 동안 이 모드로 작업해 왔습니다.

아래에서 우리 근무 임원들의 실제 작업장 사진을 확인하실 수 있습니다.

출처 : habr.com