시스템 부하 증가를 견디는 방법: 블랙 프라이데이를 위한 대규모 준비에 대해 이야기합니다.

헤이 하브르!

2017년 블랙 프라이데이 기간에는 로드가 거의 2018배 증가했고 서버는 한계에 도달했습니다. 지난 한 해 동안 클라이언트 수가 크게 증가했으며 신중한 사전 준비 없이는 플랫폼이 XNUMX년의 부하를 견디지 ​​못할 수도 있다는 것이 분명해졌습니다.

우리는 가능한 가장 야심찬 목표를 설정했습니다. 즉, 가장 강력한 활동의 ​​급증에도 완전히 대비하고 싶었고 일년 내내 미리 새로운 역량을 시작하기 시작했습니다.

우리의 CTO인 Andrey Chizh(chizh_andrey)에서는 2018년 블랙 프라이데이를 어떻게 준비했는지, 낙상을 방지하기 위해 어떤 조치를 취했는지, 그리고 그 세심한 준비의 결과를 알려드립니다.

오늘은 2018년 블랙 프라이데이 준비에 대해 이야기하고 싶습니다. 대부분의 주요 판매가 끝난 지금, 왜일까요? 대규모 행사가 있기 약 XNUMX년 전부터 준비를 시작해 시행착오를 거쳐 최적의 솔루션을 찾았습니다. 더운 계절을 미리 대비하시고, 가장 부적절한 순간에 나타날 수 있는 사기를 예방하시기 바랍니다.
이 자료는 그러한 주식에서 최대 이익을 얻고 싶은 모든 사람에게 유용할 것입니다. 여기서 문제의 기술적 측면은 마케팅 측면보다 열등하지 않습니다.

대규모 판매시 트래픽의 특징

대중의 믿음과는 달리, 블랙 프라이데이는 7년에 단 하루가 아니라 거의 일주일 내내 진행됩니다. 첫 번째 할인 혜택은 세일 8~XNUMX일 전에 도착합니다. 웹 사이트 트래픽은 일주일 내내 순조롭게 증가하기 시작하여 금요일에 최고조에 도달하고 토요일에는 매장의 일반 수준으로 급격하게 감소합니다.

이를 고려하는 것이 중요합니다. 온라인 상점은 시스템의 "느림"에 특히 민감합니다. 또한 이메일 뉴스레터 라인의 제출 수도 크게 증가했습니다.

블랙 프라이데이를 충돌 없이 통과하는 것은 전략적으로 중요합니다. 왜냐하면... 웹사이트와 매장 뉴스레터의 가장 중요한 기능은 플랫폼 운영에 따라 달라집니다. 즉,

• 제품 추천 추적 및 발행,
• 관련 자료 발행(예: 화살표, 로고, 아이콘, 기타 시각적 요소 등 추천 블록 디자인 이미지),
• 필요한 크기의 제품 이미지 제공(이러한 목적을 위해 매장 서버에서 이미지를 다운로드하여 필요한 크기로 압축하고 캐싱 서버를 통해 각 제품에 필요한 크기의 이미지를 생성하는 하위 시스템인 "ImageResizer"가 있습니다. 각 추천 블록).

실제로 2019년 블랙 프라이데이 동안 서비스 부하가 40% 증가했습니다. Retail Rocket 시스템이 온라인 상점 사이트에서 추적하고 처리하는 이벤트 수가 초당 요청 수 5개에서 8개로 늘어났습니다. 우리는 더 심각한 부하를 준비하고 있었기 때문에 그러한 급증에서 쉽게 살아 남았습니다.

일반 준비

블랙 프라이데이는 특히 모든 소매업과 전자상거래가 바쁜 시기입니다. 현재 사용자 수와 활동량이 크게 증가하고 있으므로 항상 그렇듯 바쁜 시기를 대비하여 철저히 준비했습니다. 여기에 러시아뿐만 아니라 흥분이 훨씬 더 높은 유럽에도 많은 온라인 상점이 연결되어 있고 브라질 시리즈보다 더 나쁜 수준의 열정을 가지고 있다는 사실을 추가합시다. 증가된 부하에 완벽하게 대비하려면 무엇을 해야 합니까?

서버 작업

먼저, 서버 성능을 높이기 위해 정확히 무엇이 필요한지 알아내는 것이 필요했습니다. 이미 10월에 우리는 블랙 프라이데이를 위해 특별히 새 서버를 주문하기 시작했으며 총 XNUMX대의 추가 시스템을 추가했습니다. XNUMX월까지 그들은 완전히 전투에 들어갔습니다.

동시에 일부 빌드 머신은 애플리케이션 서버로 사용하기 위해 다시 설치되었습니다. 권장 사항 발행과 ImageResizer 서비스 모두에 대해 서로 다른 기능을 사용하도록 즉시 준비하여 로드 유형에 따라 각 기능을 이러한 역할 중 하나에 사용할 수 있도록 했습니다. 일반 모드에서 Application 및 ImageResizer 서버는 명확하게 정의된 기능을 가지고 있습니다. 전자는 추천을 발행하고 후자는 온라인 쇼핑 웹사이트의 편지 및 추천 블록에 대한 이미지를 제공합니다. 블랙 프라이데이를 준비하면서 다운로드 유형에 따라 서버 간의 트래픽 균형을 맞추기 위해 모든 서버를 이중 목적 서버로 만들기로 결정했습니다.

그런 다음 Kafka(Apache Kafka)용 대형 서버 5대를 추가하고 XNUMX대의 강력한 시스템으로 구성된 클러스터를 얻었습니다. 불행하게도 모든 것이 우리가 원하는 만큼 순조롭게 진행되지는 않았습니다. 데이터 동기화 프로세스 중에 두 대의 새로운 시스템이 네트워크 채널의 전체 폭을 점유했고 우리는 추가 프로세스를 신속하고 안전하게 수행하는 방법을 긴급히 찾아야 했습니다. 전체 인프라. 이 문제를 해결하기 위해 우리 관리자들은 주말을 용감하게 희생해야 했습니다.

데이터 작업

서버 외에도 우리는 파일을 최적화하여 부하를 줄이기로 결정했고 우리에게 있어서 가장 큰 진전은 정적 파일의 번역이었습니다. 이전에 서버에서 호스팅되었던 모든 정적 파일은 S3 + Cloudfront로 이동되었습니다. 서버의 부하가 한계값에 가까웠기 때문에 오랫동안 이 작업을 수행하고 싶었는데 이제 좋은 기회가 생겼습니다.

블랙 프라이데이 일주일 전, 이미지 캐싱 시간을 3일로 늘려 ImageResizer가 충돌할 경우 이전에 캐시된 이미지를 CDN에서 검색할 수 있었습니다. 또한 이미지가 오래 저장될수록 크기 조정에 리소스를 소비하는 빈도가 줄어들기 때문에 서버의 로드도 줄었습니다.

마지막으로 중요한 점은 블랙 프라이데이 5일 전에 새로운 기능 배포 및 인프라 작업에 대한 유예가 발표되었습니다. 모든 관심은 증가된 부하에 대처하는 데 집중되어 있습니다.

어려운 상황에 대한 대응 계획

아무리 고품질의 준비라도 가짜는 항상 가능합니다. 그리고 우리는 발생할 수 있는 심각한 상황에 대해 3가지 대응 계획을 개발했습니다.

• 부하 감소,
• 일부 서비스를 비활성화하고,
• 서비스를 완전히 종료합니다.

계획 A: 부하를 줄입니다. 부하 급증으로 인해 서버가 허용 가능한 응답 시간을 초과한 경우 활성화되어야 합니다. 이 경우 트래픽의 일부를 Amazon 서버로 전환하여 점차적으로 부하를 줄이는 메커니즘을 준비했습니다. 그러면 모든 요청에 ​​대해 "200 OK"로 간단히 응답하고 빈 응답을 제공합니다. 우리는 이것이 서비스 품질의 저하라는 것을 이해했지만 서비스가 전혀 작동하지 않는다는 사실과 약 10%의 트래픽에 대한 권장 사항을 표시하지 않는다는 사실 사이의 선택은 분명합니다.

계획 B: 서비스를 비활성화합니다. 서비스의 부분적 성능 저하를 암시합니다. 예를 들어, 일부 데이터베이스 및 통신 채널의 부하를 줄이기 위해 개인 추천 계산 속도를 줄입니다. 일반 모드에서는 권장 사항이 실시간으로 계산되어 방문자마다 다른 버전의 온라인 상점이 생성되지만 부하가 증가하는 조건에서는 속도를 줄이면 다른 핵심 서비스가 계속 작동할 수 있습니다.

플랜 C: 아마겟돈의 경우. 시스템 전체에 장애가 발생하는 경우 고객과 안전하게 연결을 끊을 수 있는 계획을 준비했습니다. 매장 구매자는 더 이상 추천 사항을 볼 수 없으며 온라인 매장의 성능은 어떤 식으로든 저하되지 않습니다. 이를 위해서는 새로운 사용자가 서비스와의 상호작용을 중단할 수 있도록 통합 파일을 재설정해야 합니다. 즉, 기본 추적 코드를 비활성화하고 서비스에서 데이터 수집과 권장 사항 계산을 중단하며 사용자는 권장 사항 블록이 없는 페이지만 보게 됩니다. 이전에 통합 파일을 받은 모든 분들께는 DNS 레코드를 Amazon 및 200 OK 스텁으로 전환하는 옵션을 제공했습니다.

결과

추가 빌드 머신을 사용할 필요 없이 전체 로드를 처리했습니다. 그리고 사전 준비 덕분에 개발된 대응 계획이 전혀 필요하지 않았습니다. 그러나 수행된 모든 작업은 가장 예상치 못한 엄청난 트래픽 유입에 대처하는 데 도움이 될 귀중한 경험입니다.
블랙프라이데이에는 2017년과 마찬가지로 서비스 부하가 40% 증가했고, 온라인 매장 이용자 수도 60% 늘었다. 준비 기간 동안 모든 어려움과 실수가 발생하여 예상치 못한 상황에서 우리와 고객을 구했습니다.

블랙프라이데이에 어떻게 대처하고 계시나요? 중요한 부하에 어떻게 대비합니까?

출처 : habr.com