Hæ Habr!
Árið 2017, á svörtum föstudegi, jókst álagið um næstum einn og hálft sinnum og netþjónar okkar voru á hámarki. Á árinu hefur viðskiptavinum fjölgað umtalsvert og það varð ljóst að án vandaðs undirbúnings gæti pallurinn einfaldlega ekki staðist álagið 2018.
Við settum okkur metnaðarfyllsta markmið sem mögulegt er: við vildum vera fullkomlega undirbúin fyrir hvers kyns, jafnvel kröftugustu, virkni og byrjuðum að hleypa af stokkunum nýjum getu fyrirfram allt árið.
CTO okkar Andrey Chizh () segir frá því hvernig við undirbjuggum okkur fyrir Svarta föstudaginn 2018, hvaða ráðstafanir við gerðum til að forðast fall og að sjálfsögðu niðurstöður svo vandaðs undirbúnings.
Í dag vil ég tala um undirbúning fyrir Black Friday 2018. Hvers vegna núna, þegar flestar helstu sölurnar eru að baki? Við byrjuðum að undirbúa okkur um það bil ári fyrir stórviðburði og fundum bestu lausnina með því að prófa og villa. Við mælum með því að þú sjáir um heitu árstíðirnar fyrirfram og komdu í veg fyrir svindl sem gæti komið upp á óhentugustu augnablikinu.
Efnið mun nýtast öllum sem vilja kreista hámarkshagnað af slíkum hlutabréfum, vegna þess Tæknilega hlið málsins er ekki síðri en markaðshliðin hér.
Eiginleikar umferðar á stórum sölum
Andstætt því sem almennt er talið, er svartur föstudagur ekki bara einn dagur á ári heldur næstum heil vika: fyrstu afsláttartilboðin berast 7-8 dögum fyrir útsölu. Umferð um vefsvæði byrjar að vaxa vel alla vikuna, nær hámarki á föstudeginum og lækkar nokkuð verulega á laugardögum í venjulegt magn verslunarinnar.
Þetta er mikilvægt að hafa í huga: netverslanir verða sérstaklega viðkvæmar fyrir hvers kyns „hægum“ í kerfinu. Að auki varð einnig fyrir verulegri aukningu í fjölda innsendinga á fréttabréfalínu okkar í tölvupósti.
Það er hernaðarlega mikilvægt fyrir okkur að fara í gegnum Black Friday án hruns, því... Mikilvægasta virkni vefsíðna og fréttabréfa verslana fer eftir rekstri vettvangsins, þ.e.
- Rekja og gefa út tillögur um vörur,
- Útgáfa tengdra efna (td myndir af hönnun meðmælablokka, svo sem örvar, lógó, tákn og önnur sjónræn atriði),
- Að útvega vörumyndir af nauðsynlegri stærð (í þessum tilgangi höfum við "ImageResizer" - undirkerfi sem hleður niður mynd af verslunarþjóninum, þjappar henni saman í nauðsynlega stærð og framleiðir í gegnum skyndiminni netþjóna myndir af nauðsynlegri stærð fyrir hverja vöru í hvern meðmælablokk).
Reyndar, á Black Friday 2019, jókst álagið á þjónustuna um 40%, þ.e. fjöldi atburða sem Retail Rocket kerfið rekur og vinnur á vefverslunum hefur aukist úr 5 í 8 þúsund beiðnir á sekúndu. Vegna þeirrar staðreyndar að við vorum að undirbúa okkur fyrir alvarlegri álag, lifðum við svona byl auðveldlega af.
Almenn þjálfun
Svartur föstudagur er annasamur tími fyrir alla smásölu og sérstaklega rafræn viðskipti. Fjöldi notenda og virkni þeirra á þessum tíma er að aukast verulega, þannig að við, eins og alltaf, undirbúum okkur vel fyrir þennan annatíma. Við skulum bæta því við hér að við höfum margar netverslanir tengdar, ekki aðeins í Rússlandi, heldur einnig í Evrópu, þar sem spennan er miklu meiri og við fáum verri ástríðu en brasilísku seríurnar. Hvað þarf að gera til að vera fullbúinn fyrir aukið álag?
Að vinna með netþjóna
Í fyrsta lagi var nauðsynlegt að finna út hvað nákvæmlega við þurftum til að auka afl netþjónsins. Þegar í ágúst byrjuðum við að panta nýja netþjóna sérstaklega fyrir Black Friday - alls bættum við við 10 vélum til viðbótar. Í nóvember voru þeir komnir í bardaga.
Á sama tíma voru sumar smíðavélarnar settar upp aftur til notkunar sem forritaþjóna. Við undirbjuggum þá strax til að nota mismunandi aðgerðir: bæði til að gefa út ráðleggingar og fyrir ImageResizer þjónustuna, þannig að hægt væri að nota hverja þeirra fyrir eitt af þessum hlutverkum, allt eftir tegund álags. Í venjulegum ham hafa forrita- og ImageResizer-þjónarnir skýrt skilgreindar aðgerðir: sá fyrrnefndi gefur út ráðleggingar, sá síðarnefndi gefur myndir fyrir bréf og meðmælablokkir á vefverslunum á netinu. Í undirbúningi fyrir Black Friday var ákveðið að búa til alla tvínota netþjóna til að jafna umferð á milli þeirra eftir tegund niðurhals.
Síðan bættum við við tveimur stórum netþjónum fyrir Kafka (Apache Kafka) og fengum hóp af 5 öflugum vélum. Því miður gekk allt ekki eins snurðulaust fyrir sig og við vildum: meðan á gagnasamstillingarferlinu stóð tóku tvær nýjar vélar alla breidd netrásarinnar og við urðum að finna út í skyndi hvernig ætti að framkvæma bætiferlið hratt og örugglega fyrir alla innviði. Til að leysa þetta mál þurftu stjórnendur okkar að fórna helgunum af kappi.
Vinna með gögn
Auk netþjóna ákváðum við að fínstilla skrár til að létta álaginu og stórt skref fyrir okkur var þýðing á kyrrstæðum skrám. Allar kyrrstæður skrár sem áður voru hýstar á netþjónum voru færðar yfir á S3 + Cloudfront. Okkur hefur lengi langað til að gera þetta þar sem álagið á netþjóninn var nálægt viðmiðunarmörkum og nú hafa skapast frábært tækifæri.
Viku fyrir Black Friday jókuðum við myndageymslutímann í 3 daga, þannig að ef ImageResizer hrundi yrðu myndir sem áður voru í skyndiminni sóttar af geisladisknum. Það minnkaði líka álagið á netþjóna okkar, þar sem því lengur sem myndin er geymd, því sjaldnar þurfum við að eyða fjármagni í að breyta stærð.
Og síðast en ekki síst: 5 dögum fyrir Black Friday var tilkynnt um stöðvun á uppsetningu nýrrar virkni, sem og hvers kyns vinnu við innviðina - öll athygli beinist að því að takast á við aukið álag.
Áætlanir um að bregðast við erfiðum aðstæðum
Sama hversu vandaður undirbúningurinn er, fakaps eru alltaf mögulegar. Og við höfum þróað 3 viðbragðsáætlanir fyrir hugsanlegar mikilvægar aðstæður:
- álagsminnkun,
- slökkva á sumum þjónustum,
- algjörri lokun á þjónustunni.
Plan A: Draga úr álagi. Hefði átt að vera virkjað ef, vegna aukins álags, fóru netþjónar okkar út fyrir viðunandi svartíma. Í þessu tilviki höfum við útbúið kerfi til að draga smám saman úr álaginu með því að skipta hluta af umferð yfir á Amazon netþjóna, sem myndi einfaldlega svara öllum beiðnum með „200 OK“ og gefa tómt svar. Við skildum að þetta væri rýrnun á gæðum þjónustunnar, en valið á milli þess að þjónustan virki alls ekki eða sýnir ekki ráðleggingar fyrir um það bil 10% af umferð er augljóst.
Plan B: Slökkva á þjónustu. Gefið í skyn að skerða þjónustuna að hluta. Til dæmis að draga úr hraða útreikninga á persónulegum ráðleggingum til að losa suma gagnagrunna og samskiptaleiðir. Í venjulegum ham eru ráðleggingar reiknaðar út í rauntíma, sem skapar aðra útgáfu af netversluninni fyrir hvern gest, en við aukið álag gerir það að draga úr hraðanum öðrum kjarnaþjónustum til að halda áfram að virka.
Plan C: ef um er að ræða Harmagedón. Ef algjör kerfisbilun kemur upp höfum við útbúið áætlun sem gerir okkur kleift að aftengjast viðskiptavinum okkar á öruggan hátt. Kaupendur verslana munu einfaldlega hætta að sjá ráðleggingar; árangur netverslunarinnar mun ekki líða fyrir neinn hátt. Til að gera þetta þyrftum við að endurstilla samþættingarskrána okkar þannig að nýir notendur hættu að hafa samskipti við þjónustuna. Það er, við myndum slökkva á aðalrakningarkóðanum okkar, þjónustan myndi hætta að safna gögnum og reikna ráðleggingar og notandinn myndi einfaldlega sjá síðu án meðmælablokka. Fyrir alla þá sem hafa áður fengið samþættingarskrá höfum við boðið upp á möguleika á að skipta yfir DNS skránni yfir í Amazon og 200 OK stubbinn.
Niðurstöður
Við önnuðumst allt álagið jafnvel án þess að þurfa að nota viðbótarsmíðavélar. Og þökk sé fyrirfram undirbúningi þurftum við ekki neinar þróaðar viðbragðsáætlanir. En öll vinnan er ómetanleg reynsla sem mun hjálpa okkur að takast á við óvæntasta og gríðarlegasta umferðarflæði.
Líkt og árið 2017 jókst álagið á þjónustuna um 40% og notendum í netverslunum fjölgaði um 60% á svörtum föstudegi. Allir erfiðleikar og mistök komu upp á undirbúningstímabilinu sem bjargaði okkur og viðskiptavinum okkar frá ófyrirséðum aðstæðum.
Hvernig gengur þér að takast á við Black Friday? Hvernig undirbýrðu þig fyrir mikilvægt álag?
Heimild: www.habr.com