Počas roka sa Rusko pravidelne vyberá na sviatky – novoročné prázdniny, májové a iné menej dlhé víkendy. A to je tradičný čas pre maratónske pozeranie seriálov, spontánne nákupy a výpredaje na Steame. V predsviatočnom období retail a logistické firmy zažívajú zvýšenú záťaž: ľudia si objednávajú dary v internetových obchodoch, platia za ich doručenie, kupujú lístky na cesty a komunikujú. Kalendárne vrcholy dopytu sú pre online kiná, herné portály, video hostingy a streamovacie hudobné služby dobrým stresovým testom – počas sviatkov všetky fungujú "na plno".
Povieme vám, ako je zabezpečená nepretržitá dostupnosť obsahu na príklade online kina Okko, ktoré sa vo svojej činnosti opiera o kapacity dátového centra Linxdatacenter.
Predtým sa na sezónne skoky v spotrebe nakupovalo dodatočné zariadenie na lokálne umiestnenie, pričom "s rezervou". Avšak, keď "Čas X" nastal, častokrát sa ukázalo, že si firmy samostatne nevedia alebo nestihnú správne nastaviť servery a úložiská. Riešiť tieto úlohy v čase nepredvídaných situácií jednoducho nebolo možné. Po čase prišlo porozumenie, že vrcholy dopytu po obsahu a online službách sa výborne zvládajú pomocou prostriedkov tretej strany, ktoré je možné zakúpiť na model pay-as-you-go – platba za fakticky spotrebovaný objem.
Dnes prakticky všetky firmy, ktoré predvídajú nával dopytu po svojich zdrojoch počas sviatkov (takzvaný burst), vopred objednávajú zvýšenie priepustnosti komunikačných kanálov. Tí, ktorí umiestňujú aplikácie a databázy na prostriedky datacentra, na sviatočné vrcholy zvyšujú výpočtové kapacity v cloude, a to objednávaním potrebných virtuálnych strojov, objemu úložiska atď. v dátových centrách.
Ako sa vyhnúť chybám vo výpočtoch
Na prípravu na špičkové zaťaženia je dôležitá koordinovaná práca poskytovateľa a klienta. Hlavné body v tejto práci sú presná prognóza skoku zaťaženia podľa termínov a objemov, dôkladné plánovanie a kvalita interakcie s kolegami v rámci datacentra, ako aj s tímom IT odborníkov na strane poskytovateľa obsahu.
Rýchla alokácia potrebných zdrojov, aby nová séria obľúbeného seriálu na obrazovke vášho tabletu neprepadala, je podporovaná radom riešení.
- Po prvé, sú to vyrovnávače zaťaženia: softvérové riešenia, ktoré dôkladne monitorujú úroveň zaťaženia serverov, úložných systémov a siete, čím optimalizujú výkon každej systémy pre danú úlohu. Vyrovnávače hodnotia úroveň dostupnosti ako „hardware“ tak aj virtuálních strojů, čím zabraňujú poklesu výkonnosti systémov na jednej strane a neumožňujú infraštruktúre „prehrievať“ a spomaľovať na druhej strane. Týmto spôsobom sa udržuje určitá úroveň rezervy zdrojov, ktoré môžu byť rýchlo presunuté na riešenie naliehavých úloh (náhly nárast dopytu po portáli s video obsahom, zvýšenie objednávok konkrétneho tovaru a podobne).
- Po druhé, CDN. Táto technológia umožňuje používateľom bez oneskorení pri načítavaní získať obsah z portálu prostredníctvom prístupu z najbližšieho geografického bodu k používateľovi. Okrem toho CDN zmierňuje škodlivé účinky na procesy prenosu dát spôsobené preťažením kanálov, prerušením spojenia, stratou paketov na spojovacích bodoch atď.
Všadeprítomné Okko
Pozrime sa na príklad prípravy na sviatky online kina Okko, ktoré využíva naše miesta v Moskve a Petrohrade.
Podľa slov Alexeja Golubeva, technického riaditeľa Okko, spoločnosť má okrem kalendárnych sviatkov (vysoká sezóna) aj obdobia, keď vychádzajú hlavné filmové novinky od štúdií:
„Každý rok v sviatočnej sezóne Okko rastie objemom prenášaných dát približne dvakrát v porovnaní s predchádzajúcim rokom. Tak, ak v predchádzajúcej vianočnej sezóne bol maximálny špičkový výkon 80 Gbit/s, tak v 2018/19 sme očakávali 160 – tradičný dvojnásobný nárast. Avšak, dostali sme viac ako 200 Gbit/s!“
Okko sa vždy pripravuje na špičkovú záťaž pomaly, počas roka, v rámci projektu s kódovým názvom „Nový rok“. Predtým v Okko používali svoju vlastnú infraštruktúru, spoločnosť má svoj zdrojový klaster distribúcie obsahu na vlastnom hardvéri a so svojím softvérom. Počas roka technickí špecialisti Okko postupne kupovali nové servery, zvyšovali priepustnosť svojho klastru s predpokladaným ročným rastom dvojnásobne. Okrem toho pripájali nové uplinky a operátorov – okrem veľkých hráčov ako „Rostelecom“, „Megafon“ a MTS, taktiež pripojili aj body výmeny dopravy a najmenších operátorov. Takýto prístup umožnil doručovať služby maximálnemu počtu zákazníkov najkratšou trasou.
Minulý rok, po analýze nákladov na zariadenia, pracovných nákladov na rozšírenie a porovnaní so nákladmi na používanie externých CDN, v Okko pochopili, že prišiel čas vyskúšať hybridný model distribúcie. Po dvojnásobnom náraste počas novoročných sviatkov nastal pokles dopravy, a február je najnižšou sezónou. A vychádza to tak, že ich vlastné zariadenia sa v tomto čase nevyužívajú. Do leta sa pokles vyrovnáva a už k jesennej sezóne začína nový nárast. Preto v rámci prípravy na nový rok 2019 sa Okko vybralo inou cestou: vylepšili svoj softvér, aby dokázali rozdeľovať záťaž nielen na seba, ale aj na externé CDN (sieť dodávky obsahu – Content Delivery Network). Pripojili dva takéto CDN, do ktorých sa „odovzdával“ prebytok dopravy. Vnútorná priepustnosť IT infraštruktúry Okko bola pripravená vydržať ten známy dvojnásobný rast, ale pre prípad, že by došlo k preťaženiu zdrojov, boli pripravené partnerské CDN.
„Rozhodnutie nenavyšovať svoj CDN ušetrilo Okko približne 20 % rozpočtu na distribúciu v CAPEX. Navyše spoločnosť ušetrila niekoľko človeko-mesiacov presunutím práce na nastavenie zariadení na plecia partnera.“ — komentuje Alexej Golubev.
Distribučný klaster (vnútorný CDN) v Okko je realizovaný na dvoch lokalitách Linxdatacenter v Moskve a v Petrohrade. Je zabezpečené úplné zrkadlenie obsahu a jeho ukladania do cache (distribučné uzly). Preto moskovské dátové centrum spracováva Moskvu a niekoľko oblastí Ruska, zatiaľ čo petrohradské spracováva Severozápad a zvyšok územia krajiny. Vyvažovanie sa deje nielen na regionálnom základe, ale aj v závislosti od zaťaženia uzlov v konkrétnom dátovom centre, pričom sa tiež zohľadňuje dostupnosť filmu v cache a rad ďalších faktorov.
Zväčšená architektúra služby vyzerá na schéme takto:
Fyzická služba a podpora vývoja produktu sa skladá z približne desiatich stánkov v Petrohrade a niekoľkých stánkov v Moskve. Sú tu desiatky serverov pre virtualizáciu a takmer dve sto „hardvérových“ serverov pre všetko ostatné – distribúciu, podporu služieb a vlastnú infraštruktúru kancelárie. Interakcia poskytovateľa obsahu s dátovým centrom počas špičkových zaťažení sa vôbec nelíši od aktuálnej práce. Všetka komunikácia je obmedzená na žiadosť do zákazníckej podpory, a v prípade mimoriadnej situácie – na telefonát.
Dnes sme, ako nikdy predtým, blízko k skutočnému, na 100 % bezproblémovému scenáru konzumácie obsahu online, pretože všetky potrebné technológie sú už k dispozícii. Rozvoj online streamovania prebieha veľmi rýchlo. Rastie popularita legálnych modelov konzumácie obsahu: ruskí používatelia si začínajú postupne zvykať na to, že za obsah sa treba platiť. A to nielen za filmy, ale aj za hudbu, knihy a vzdelávacie materiály online. V tejto súvislosti je dodávka najrozmanitejšieho obsahu s minimálnymi sieťovými oneskoreniami – najdôležitejším kritériom v práci online služieb. A našou úlohou, ako poskytovateľa služieb, je uzavrieť potreby po zdrojoch načas a s rezervou.
Zdroj: habr.com
