Как да издържим на увеличените натоварвания на системата: говорим за мащабна подготовка за Черен петък

Хей Хабр!

През 2017 г., по време на Черния петък, натоварването се увеличи почти един път и половина, а нашите сървъри бяха на лимита си. През годината броят на клиентите нарасна значително и стана ясно, че без внимателна предварителна подготовка платформата може просто да не издържи натоварванията от 2018 г.

Поставихме възможно най-амбициозната цел: искахме да бъдем напълно подготвени за всякакви, дори и най-мощните, вълни на активност и започнахме да стартираме нови мощности предварително през цялата година.

Нашият технически директор Андрей Чиж (chizh_andrey) разказва как се подготвихме за Черен петък 2018 г., какви мерки взехме, за да избегнем падания, и, разбира се, резултатите от такава внимателна подготовка.

Днес искам да говоря за подготовката за Черен петък 2018. Защо сега, когато повечето от големите разпродажби са зад нас? Започнахме подготовката около година преди мащабни събития и чрез опити и грешки намерихме оптималното решение. Препоръчваме ви да се погрижите за горещите сезони предварително и да предотвратите измами, които могат да изскочат в най-неподходящия момент.
Материалът ще бъде полезен за всички, които искат да извлекат максимална печалба от такива акции, т.к Тук техническата страна на въпроса не отстъпва на маркетинговата.

Характеристики на трафика при големи продажби

Противно на общоприетото схващане, Черният петък не е само един ден в годината, а почти цяла седмица: първите оферти с намаления пристигат 7-8 дни преди разпродажбата. Трафикът на уебсайта започва да расте плавно през цялата седмица, достига своя пик в петък и спада доста рязко в събота до нормалните нива на магазина.

Това е важно да се има предвид: онлайн магазините стават особено чувствителни към всякакви „забавяния“ в системата. Освен това нашата линия за имейл бюлетин също претърпя значително увеличение на броя на изпращанията.

За нас е стратегически важно да преминем Черния петък без катастрофи, защото... Най-важната функционалност на уебсайтовете и бюлетините на магазините зависи от работата на платформата, а именно:

• Проследяване и издаване на продуктови препоръки,
• Издаване на свързани материали (например изображения на дизайна на препоръчителни блокове, като стрелки, лога, икони и други визуални елементи),
• Предоставяне на продуктови изображения с необходимия размер (за целта имаме “ImageResizer” - подсистема, която изтегля изображение от сървъра на магазина, компресира го до необходимия размер и чрез кеширащи сървъри произвежда изображения с необходимия размер за всеки продукт в всеки препоръчителен блок).

Всъщност по време на Черен петък 2019 г. натоварването на услугата се увеличи с 40%, т.е. броят на събитията, които системата Retail Rocket проследява и обработва в сайтовете на онлайн магазините, се е увеличил от 5 на 8 хиляди заявки в секунда. Поради факта, че се подготвяхме за по-сериозни натоварвания, лесно преживяхме такъв скок.

Общо обучение

Черният петък е натоварено време за цялата търговия на дребно и по-специално за електронната търговия. Броят на потребителите и тяхната активност в този момент нараства значително, така че ние, както винаги, се подготвихме старателно за това натоварено време. Нека добавим тук факта, че имаме много онлайн магазини, свързани не само в Русия, но и в Европа, където вълнението е много по-високо и получаваме ниво на страст, по-лошо от бразилските сериали. Какво трябва да се направи, за да сте напълно подготвени за повишени натоварвания?

Работа със сървъри

Първо беше необходимо да разберем от какво точно се нуждаем, за да увеличим мощността на сървъра. Още през август започнахме да поръчваме нови сървъри специално за Черния петък - общо добавихме 10 допълнителни машини. До ноември те бяха напълно в битка.

В същото време някои от компилиращите машини бяха преинсталирани за използване като сървъри на приложения. Веднага ги подготвихме да използват различни функции: както за издаване на препоръки, така и за услугата ImageResizer, така че в зависимост от вида на натоварването всяка от тях да може да се използва за една от тези роли. В нормален режим сървърите на Application и ImageResizer имат ясно дефинирани функции: първият издава препоръки, вторият доставя изображения за писма и препоръчителни блокове на уебсайтове за онлайн пазаруване. В подготовката за Черния петък беше решено да се направят всички сървъри с двойно предназначение, за да се балансира трафикът между тях в зависимост от типа изтегляне.

След това добавихме два големи сървъра за Kafka (Apache Kafka) и получихме клъстер от 5 мощни машини. За съжаление, всичко не вървеше толкова гладко, колкото бихме искали: по време на процеса на синхронизиране на данни две нови машини заеха цялата ширина на мрежовия канал и трябваше спешно да разберем как да извършим процеса на добавяне бързо и безопасно за цялата инфраструктура. За да разрешат този проблем, нашите администратори трябваше доблестно да пожертват своите уикенди.

Работа с данни

В допълнение към сървърите, решихме да оптимизираме файловете, за да облекчим натоварването и голяма стъпка за нас беше преводът на статични файлове. Всички статични файлове, които преди това са били хоствани на сървъри, бяха преместени в S3 + Cloudfront. Отдавна искахме да направим това, тъй като натоварването на сървъра беше близо до пределните стойности и сега се появи страхотна възможност.

Седмица преди Черния петък увеличихме времето за кеширане на изображения до 3 дни, така че ако ImageResizer се срине, предишните кеширани изображения ще бъдат извлечени от cdn. Това също така намали натоварването на нашите сървъри, тъй като колкото по-дълго се съхранява изображението, толкова по-рядко трябва да харчим ресурси за преоразмеряване.

И не на последно място: 5 дни преди Черния петък беше обявен мораториум върху внедряването на всяка нова функционалност, както и върху всякаква работа с инфраструктурата - цялото внимание е насочено към справяне с увеличените натоварвания.

Планове за реагиране в трудни ситуации

Колкото и качествена да е подготовката, факапите винаги са възможни. И ние сме разработили 3 плана за реакция при възможни критични ситуации:

• намаляване на натоварването,
• деактивиране на някои услуги,
• пълно спиране на услугата.

План А: Намалете натоварването. Трябваше да се активира, ако поради скок в натоварването нашите сървъри надхвърлиха допустимите времена за отговор. В този случай сме подготвили механизми за постепенно намаляване на натоварването чрез прехвърляне на част от трафика към сървърите на Amazon, които просто ще отговарят на всички заявки с „200 OK“ и ще дават празен отговор. Разбрахме, че това е влошаване на качеството на услугата, но изборът между това услугата да не работи изобщо или да не показва препоръки за приблизително 10% от трафика е очевиден.

План Б: Деактивирайте услугите. Подразбира се частично влошаване на услугата. Например намаляване на скоростта на изчисляване на лични препоръки, за да се разтоварят някои бази данни и комуникационни канали. В нормален режим препоръките се изчисляват в реално време, създавайки различна версия на онлайн магазина за всеки посетител, но при условия на повишено натоварване, намаляването на скоростта позволява на други основни услуги да продължат да работят.

План C: в случай на Армагедон. Ако възникне пълна повреда на системата, ние сме подготвили план, който ще ни позволи безопасно да бъдем изключени от нашите клиенти. Купувачите на магазина просто ще спрат да виждат препоръки; ефективността на онлайн магазина няма да пострада по никакъв начин. За да направим това, ще трябва да нулираме нашия интеграционен файл, така че новите потребители да спрат да взаимодействат с услугата. Това означава, че ще деактивираме основния си код за проследяване, услугата ще спре да събира данни и да изчислява препоръки и потребителят просто ще види страница без блокове за препоръки. За всички, които преди това са получили интеграционен файл, ние предоставихме опцията за превключване на DNS записа към Amazon и 200 OK.

Резултати от

Ние се справихме с целия товар дори без да е необходимо да използваме допълнителни строителни машини. И благодарение на предварителната подготовка не се нуждаехме от нито един от разработените планове за реагиране. Но цялата извършена работа е безценен опит, който ще ни помогне да се справим с най-неочакваните и огромни напливи от трафик.
Както и през 2017 г., натоварването на услугата се е увеличило с 40%, а броят на потребителите в онлайн магазините се е увеличил с 60% в Черния петък. Всички трудности и грешки възникнаха по време на подготвителния период, което спаси нас и нашите клиенти от непредвидени ситуации.

Как се справяте с Черния петък? Как се подготвяте за критични натоварвания?

Източник: www.habr.com