Како да издржите зголемени оптоварувања на системот: зборуваме за големи подготовки за црниот петок

Еј Хабр!

Во 2017 година, за време на црниот петок, оптоварувањето се зголеми за речиси еден и пол пати, а нашите сервери беа на нивната граница. Во текот на годината, бројот на клиенти значително се зголеми и стана јасно дека без внимателна прелиминарна подготовка, платформата можеби едноставно нема да ги издржи оптоварувањата од 2018 година.

Ја поставивме најамбициозната можна цел: сакавме да бидеме целосно подготвени за сите, дури и најмоќните бранови на активност и почнавме однапред да лансираме нови капацитети во текот на целата година.

Нашиот CTO Андреј Чиж (chizh_andrey) раскажува како се подготвивме за црниот петок 2018 година, какви мерки презедовме за да избегнеме падови и, се разбира, резултатите од таквата внимателна подготовка.

Денес сакам да зборувам за подготовките за црниот петок 2018. Зошто сега, кога поголемиот дел од големите продажби се зад нас? Почнавме да се подготвуваме околу една година пред настаните од големи размери и преку обиди и грешки го најдовме оптималното решение. Препорачуваме однапред да се грижите за жешките сезони и да спречите измами што може да се појават во најнеповолниот момент.
Материјалот ќе биде корисен за секој што сака да го притисне максималниот профит од таквите залихи, бидејќи Техничката страна на прашањето не е инфериорна во однос на маркетинг страната овде.

Карактеристики на сообраќајот при големи продажби

Спротивно на популарното верување, црниот петок не е само еден ден во годината, туку речиси цела недела: првите понуди за попуст пристигнуваат 7-8 дена пред продажбата. Сообраќајот на веб-страниците почнува непречено да расте во текот на неделата, го достигнува својот врв во петок и нагло опаѓа во сабота на редовните нивоа на продавницата.

Ова е важно да се земе предвид: онлајн продавниците стануваат особено чувствителни на какви било „забавувања“ во системот. Дополнително, нашата линија на билтен за е-пошта исто така доживеа значително зголемување на бројот на поднесоци.

За нас е стратешки важно да го поминеме црниот петок без падови, бидејќи ... Најважната функционалност на веб-страниците и билтените за продавници зависи од работата на платформата, имено:

• Следење и издавање препораки за производи,
• Издавање на сродни материјали (на пример, слики од дизајнот на блокови за препораки, како што се стрелки, логоа, икони и други визуелни елементи),
• Обезбедување слики на производи со потребната големина (за овие цели имаме „ImageResizer“ - потсистем кој презема слика од серверот на продавницата, ја компресира до потребната големина и, преку серверите за кеширање, произведува слики со потребната големина за секој производ во секој блок за препораки).

Всушност, за време на црниот петок 2019 година, оптоварувањето на услугата се зголеми за 40%, т.е. бројот на настани што системот Retail Rocket ги следи и обработува на сајтовите на онлајн продавниците се зголеми од 5 на 8 илјади барања во секунда. Поради фактот што се подготвувавме за посериозни товари, лесно преживеавме таков наплив.

Општа подготовка

Црниот петок е зафатен период за сите малопродажби и е-трговија особено. Бројот на корисници и нивната активност во овој момент значително расте, па ние, како и секогаш, темелно се подготвивме за ова напорно време. Да го додадеме овде фактот дека имаме многу онлајн продавници поврзани не само во Русија, туку и во Европа, каде возбудата е многу поголема и добиваме ниво на страст полошо од бразилските серии. Што треба да се направи за да бидете целосно подготвени за зголемени оптоварувања?

Работа со сервери

Прво, требаше да откриеме што точно ни треба за да ја зголемиме моќноста на серверот. Веќе во август, почнавме да нарачуваме нови сервери специјално за црниот петок - вкупно додадовме 10 дополнителни машини. До ноември тие беа целосно во борба.

Во исто време, некои од машините за изградба беа повторно инсталирани за употреба како сервери за апликации. Веднаш ги подготвивме да користат различни функции: и за издавање препораки и за услугата ImageResizer, така што, во зависност од видот на оптоварувањето, секоја од нив може да се користи за една од овие улоги. Во нормален режим, серверите Application и ImageResizer имаат јасно дефинирани функции: првите издаваат препораки, вторите обезбедуваат слики за писма и блокови со препораки на веб-локациите за онлајн купување. Како подготовка за црниот петок, беше одлучено да се направат сите сервери со двојна намена со цел да се балансира сообраќајот меѓу нив во зависност од видот на преземањето.

Потоа додадовме два големи сервери за Кафка (Апачи Кафка) и добивме кластер од 5 моќни машини. За жал, сè не одеше толку глатко како што сакавме: за време на процесот на синхронизација на податоците, две нови машини ја окупираа целата ширина на мрежниот канал и моравме итно да откриеме како да го спроведеме процесот на додавање брзо и безбедно за целата инфраструктура. За да се реши овој проблем, нашите администратори мораа храбро да ги жртвуваат своите викенди.

Работа со податоци

Покрај серверите, решивме да ги оптимизираме датотеките за да го олесниме товарот и голем чекор за нас беше преводот на статични датотеки. Сите статични датотеки што претходно беа хостирани на серверите беа преместени во S3 + Cloudfront. Веќе долго време сакаме да го направиме ова, бидејќи оптоварувањето на серверот беше блиску до граничните вредности, а сега се појави одлична можност.

Една недела пред црниот петок, го зголемивме времето за кеширање на сликите на 3 дена, така што ако ImageResizer падна, претходно кешираните слики ќе бидат преземени од cdn. Исто така, го намали оптоварувањето на нашите сервери, бидејќи колку подолго се чува сликата, толку поретко треба да трошиме ресурси за промена на големината.

И последно, но не и најмалку важно: 5 дена пред црниот петок, беше објавен мораториум за распоредување на секоја нова функционалност, како и за секоја работа со инфраструктурата - целото внимание е насочено кон справување со зголемените оптоварувања.

Планови за одговор на тешки ситуации

Колку и да е квалитетна подготовката, факапите се секогаш можни. И ние развивме 3 планови за одговор за можни критични ситуации:

• намалување на оптоварувањето,
• оневозможување на некои услуги,
• целосно исклучување на услугата.

План А: Намалете го товарот. Требаше да се активира ако, поради напливот на оптоварување, нашите сервери отидоа подалеку од прифатливите временски рокови за одговор. Во овој случај, подготвивме механизми за постепено намалување на оптоварувањето со префрлување на дел од сообраќајот на серверите на Амазон, кои едноставно ќе одговорат на сите барања со „200 OK“ и ќе дадат празен одговор. Разбравме дека ова е деградација на квалитетот на услугата, но очигледен е изборот помеѓу фактот дека услугата воопшто не работи или не покажува препораки за приближно 10% од сообраќајот.

План Б: Оневозможи услуги. Имплицирана делумна деградација на услугата. На пример, намалување на брзината на пресметување на лични препораки со цел да се истоварат некои бази на податоци и канали за комуникација. Во нормален режим, препораките се пресметуваат во реално време, создавајќи различна верзија на онлајн продавницата за секој посетител, но во услови на зголемено оптоварување, намалувањето на брзината им овозможува на другите основни услуги да продолжат да работат.

План В: во случај на Армагедон. Доколку дојде до целосен дефект на системот, подготвивме план кој ќе ни овозможи безбедно да се исклучиме од нашите клиенти. Купувачите на продавници едноставно ќе престанат да гледаат препораки; перформансите на онлајн продавницата нема да страдаат на кој било начин. За да го направите ова, ќе треба да ја ресетираме нашата интеграциска датотека за новите корисници да престанат да комуницираат со услугата. Односно, би го оневозможиле нашиот главен код за следење, услугата би престанала да собира податоци и да пресметува препораки, а корисникот едноставно би видел страница без блокови за препораки. За сите оние кои претходно добиле датотека за интеграција, обезбедивме опција за префрлување на записот DNS на Amazon и никулецот 200 OK.

Резултатите од

Се справивме со целиот товар дури и без потреба да користиме дополнителни машини за изградба. И благодарение на претходната подготовка, не ни требаше ниту еден од развиените планови за одговор. Но, целата сработена работа е непроценливо искуство кое ќе ни помогне да се справиме со најнеочекуваните и огромни приливи на сообраќај.
Како и во 2017 година, оптоварувањето на услугата се зголеми за 40%, а бројот на корисници во онлајн продавниците се зголеми за 60% на црниот петок. Сите тешкотии и грешки се случија во подготвителниот период, што нè спаси нас и нашите клиенти од непредвидени ситуации.

Како се справувате со црниот петок? Како се подготвувате за критичните оптоварувања?

Извор: www.habr.com