데이터 센터가 휴일을 저장하는 방법

일년 내내 러시아인들은 새해 연휴, XNUMX월 연휴 및 기타 짧은 주말 등 정기적으로 휴일을 가집니다. 그리고 이것은 연속 마라톤, Steam에서의 자발적인 구매 및 판매의 전통적인 시간입니다. 연휴 전 기간 동안 소매 및 물류 회사는 사람들이 온라인 상점에서 선물을 주문하고, 배송비를 지불하고, 여행 티켓을 구매하고, 의사소통하는 등 압박감이 커졌습니다. 달력상의 최고 수요는 온라인 영화관, 게임 포털, 비디오 호스팅 및 스트리밍 음악 서비스에 대한 좋은 스트레스 테스트이기도 합니다. 이들은 모두 휴일 동안 한계에 도달합니다.

Linxdatacenter 데이터 센터의 성능을 활용하는 Okko 온라인 영화관의 예를 통해 콘텐츠의 중단 없는 가용성을 보장하는 방법을 알려드리겠습니다.

이전에는 계절적 소비 급증에 대응하여 현지 배포를 위해 "예비"로 추가 장비를 구매했습니다. 그러나 "Time H"가 왔을 때 기업이 자체적으로 서버 및 스토리지 시스템의 올바른 구성에 대처할 수 없거나 대처할 시간이 없다는 것이 종종 밝혀졌습니다. 긴급 상황이 발생함에 따라 이러한 문제를 해결하는 것은 불가능했습니다. 얼마 후 이해가 되었습니다. 콘텐츠 및 온라인 서비스에 대한 최고 수요는 종량제 모델(실제 소비량에 대한 지불)을 사용하여 구매할 수 있는 제XNUMX자 리소스의 도움으로 완벽하게 처리됩니다.

오늘날 휴일 동안 자원에 대한 수요 급증(소위 버스트)을 예상하는 거의 모든 회사는 사전에 통신 채널 용량 확장을 주문합니다. 데이터 센터 리소스에 애플리케이션과 데이터베이스를 배포하는 회사는 휴일 피크 기간 동안 클라우드의 컴퓨팅 성능을 높이고 필요한 가상 머신, 스토리지 용량 등을 데이터 센터에 추가로 주문합니다.  

계산에서 표시를 놓치지 않는 방법

최대 부하에 대비하려면 공급자와 클라이언트 간의 조정된 작업이 중요합니다. 이 작업의 주요 포인트에는 타이밍 및 볼륨 측면에서 로드 급증에 대한 정확한 예측, 신중한 계획 및 데이터 센터 내 동료는 물론 콘텐츠 제공자 측 IT 전문가 팀과의 상호 작용 품질이 포함됩니다.

다양한 솔루션은 좋아하는 TV 시리즈의 새 에피소드가 태블릿 화면에서 멈추는 것을 방지하는 데 필요한 리소스의 빠른 할당을 구성하는 데 도움이 됩니다.
 

• 첫째, 워크로드 밸런서입니다. 서버, 스토리지 시스템 및 네트워크의 로드 수준을 주의 깊게 모니터링하여 현재 작업에 맞게 각 시스템의 작동을 최적화할 수 있는 소프트웨어 솔루션입니다. 밸런서는 하드웨어와 가상 머신 모두의 가용성 수준을 평가하여 한편으로는 시스템 성능이 저하되는 것을 방지하고, 다른 한편으로는 인프라가 "과열"되거나 느려지는 것을 방지합니다. 이러한 방식으로 특정 수준의 예비 자원이 유지되며 긴급한 문제(비디오 콘텐츠가 포함된 포털에 대한 요청 급증, 특정 제품에 대한 주문 증가 등)를 해결하기 위해 신속하게 이전될 수 있습니다.
• 둘째, CDN입니다. 이 기술을 사용하면 사용자는 사용자에게 가장 가까운 지리적 지점에서 액세스하여 버퍼링 지연 없이 포털에서 콘텐츠를 수신할 수 있습니다. 또한 CDN은 채널 정체, 연결 끊김, 채널 교차점의 패킷 손실 등으로 인해 트래픽 전송 프로세스에 미치는 해로운 영향을 제거합니다.

모든 것을 보는 오코

모스크바와 상트페테르부르크 사이트를 사용하여 휴일을 준비하는 Okko 온라인 영화관의 예를 살펴보겠습니다.

회사 내 Okko의 기술 이사인 Alexey Golubev에 따르면 달력 휴일(성수기) 외에도 주요 메이저 영화가 개봉되는 기간이 있습니다.

“매년 연휴 기간 동안 Okko의 교통량은 전년도에 비해 약 두 배 정도 증가했습니다. 따라서 지난 새해 시즌의 최대 피크 로드가 80Gbit/s라면 2018/19년에는 160(전통적인 두 배 증가)을 예상했습니다. 그런데 우리는 200Gbit/s가 넘는 데이터를 수신했습니다!”

Okko는 "New Year"라는 코드명 프로젝트의 일환으로 일년 내내 천천히 최대 부하에 대비합니다. 이전에 Okko는 자체 인프라를 사용했으며 자체 하드웨어와 자체 소프트웨어를 갖춘 자체 콘텐츠 제공 클러스터를 보유하고 있습니다. 일년 내내 Okko 기술 전문가들은 점차적으로 새 서버를 구입하고 클러스터 처리량을 늘려 연간 성장이 두 배로 늘어날 것으로 예상했습니다. 또한 새로운 업링크와 운영자가 연결되었습니다. Rostelecom, Megafon 및 MTS와 같은 대규모 플레이어 외에도 트래픽 교환 지점과 소규모 운영자도 연결되었습니다. 이러한 접근 방식을 통해 최단 경로를 통해 최대 수의 클라이언트에게 서비스를 제공할 수 있게 되었습니다.

작년에 장비 비용, 확장을 위한 인건비를 분석하고 이를 타사 CDN 사용 비용과 비교한 결과, 오코는 이제 하이브리드 유통 모델을 시도해야 할 때라는 것을 깨달았습니다. 설 연휴 기간 동안 두 배의 성장에 이어 교통량이 감소하며 2019월은 비수기입니다. 그리고 현재 귀하의 장비는 유휴 상태인 것으로 나타났습니다. 여름에는 감소가 평준화되고 가을 시즌에는 새로운 상승이 시작됩니다. 따라서 새로운 XNUMX년을 준비하면서 Okko는 다른 경로를 택했습니다. Okko는 자체뿐만 아니라 외부 CDN(콘텐츠 전송 네트워크)에도 부하를 분산할 수 있도록 소프트웨어를 수정했습니다. 두 개의 CDN이 연결되어 초과 트래픽이 "병합"되었습니다. Okko IT 인프라의 내부 대역폭은 동일한 두 배의 성장을 견딜 준비가 되어 있었지만 리소스가 초과될 경우를 대비해 파트너 CDN이 준비되었습니다.

“CDN을 확장하지 않기로 한 결정으로 Okko는 CAPEX에서 배포 예산의 약 20%를 절약했습니다. 또한 회사는 장비 설정 작업을 파트너에게 맡김으로써 몇 달의 인력을 절약했습니다." — Alexey Golubev의 의견입니다.

Okko의 배포 클러스터(내부 CDN)는 모스크바와 상트페테르부르크에 있는 두 Linxdatacenter 사이트에서 구현됩니다. 콘텐츠와 해당 캐싱(분산 노드)의 전체 미러링이 제공됩니다. 이에 따라 모스크바 데이터센터는 모스크바와 러시아 여러 지역을 처리하고, 상트페테르부르크 데이터센터는 북서부와 러시아 나머지 지역을 처리한다. 밸런싱은 지역 기반뿐만 아니라 특정 데이터 센터의 노드 로드에 따라 발생하며, 캐시에 있는 영화의 존재 여부와 기타 여러 요소도 고려됩니다.

확대된 서비스 아키텍처는 다이어그램에서 다음과 같습니다.

물리적으로 서비스 및 제품 개발 지원은 상트페테르부르크에 있는 약 XNUMX개의 랙과 모스크바에 있는 여러 랙으로 구성됩니다. 가상화를 위한 수십 대의 서버와 배포, 서비스 지원, 사무실 자체 인프라 등 모든 것을 위한 거의 XNUMX개의 "하드웨어" 서버가 있습니다. 최대 부하 기간 동안 콘텐츠 제공자와 데이터 센터의 상호 작용은 현재 작업과 다르지 않습니다. 모든 의사소통은 지원 서비스에 대한 요청과 긴급 상황의 경우 전화로 제한됩니다.

오늘날 우리는 진정한 100% 중단 없는 온라인 콘텐츠 소비 시나리오에 그 어느 때보다 가까워졌습니다. 이에 필요한 모든 기술이 이미 사용 가능하기 때문입니다. 온라인 스트리밍의 발전은 매우 빠르게 진행되고 있습니다. 콘텐츠 소비에 대한 법적 모델의 인기가 높아지고 있습니다. 러시아 사용자는 점차 콘텐츠 비용을 지불해야 한다는 사실에 익숙해지기 시작했습니다. 또한 영화뿐만 아니라 음악, 서적, 인터넷 교육 자료에도 적용됩니다. 그리고 이와 관련하여 가장 다양한 콘텐츠를 제공하고 네트워크 지연을 최소화하는 것이 온라인 서비스 운영의 가장 중요한 기준입니다. 그리고 서비스 제공자로서 우리의 임무는 자원 요구 사항을 적시에 예비된 자원으로 충족시키는 것입니다.

출처 : habr.com