V teku leta Slovenci redno odhajajo na praznike - novoletne počitnice, majske in druge manj dolge vikende. To je tradicionalen čas za maratone serij, spontano nakupovanje in razprodaje na Steamu. V predprazničnem obdobju pa pri maloprodaji in logističnih podjetjih prihaja do povečanega obremenitve: ljudje naročajo darila v spletnih trgovinah, plačujejo dostavo, kupujejo vozovnice za potovanja in komunicirajo. Koledarski vrhovi povpraševanja so dober stresni test tudi za spletne kino dvorane, igralne portale, video gostitelje in storitve za pretakanje glasbe - med prazniki vsi delujejo
Pojasnjujemo, kako je organizirana zagotovitev neprekinjenega dostopa do vsebin na primeru spletne kino dvorane Okko, ki se pri svojem delovanju opira na moč podatkovnega centra Linxdatacenter.
Prej so ob sezonskih skokih povpraševanja kupovali dodatno opremo za lokalno nameščanje, pri čemer 'z zalogo'. Vendar pa je, ko je nastopil 'Čas Č', pogosto prišlo do ugotovitve, da podjetja ne morejo ali nimajo časa za pravilno nastavitev strežnikov in SHR. Reševanje teh nalog med razvojem izrednih situacij enostavno ni bilo mogoče. Sčasoma je prišlo do razumevanja: vrhovi povpraševanja po vsebinah in spletnih storitvah se odlično obravnavajo z viri tretjih strani, ki jih je mogoče pridobiti po modelu pay-as-you-go - plačilo dejansko porabljene količine.
Danes praktično vsa podjetja, ki pričakujejo porast povpraševanja po svojih virih med prazniki (t.i. burst), vnaprej naročajo povečanje pasovne širine povezav. Tista podjetja, ki nameščajo aplikacije in baze podatkov na virih podatkovnega centra, med prazničnimi vrhovi povečujejo računalniške zmogljivosti v oblakih, dodatno naročajo potrebne virtualne stroje, kapacitete SHR itd.
Kako se ne zmotiti v izračunih
Za pripravo na vršne obremenitve je pomembno usklajeno delo ponudnika in stranke. Glavni vidiki tega dela so natančna napoved porasta obremenitve po časovnih obdobjih in količinah, skrbno načrtovanje ter kakovostno sodelovanje s kolegi znotraj podatkovnega centra ter s skupino IT strokovnjakov na strani ponudnika vsebin.
Organizirati hitro dodelitev virov, potrebnih za to, da nova sezona vaše priljubljene serije na zaslonu vašega tabličnega računalnika ne zastaja, pomaga vrsta rešitev.
- Prvič, to so uravnavači obremenitev: to so programske rešitve, ki natančno spremljajo raven obremenitve strežnikov, shramb in omrežja, kar omogoča optimizacijo delovanja vsakega sistema za naloge, ki so postavljene. Uravnavači ocenjajo raven razpoložljivosti tako strojne opreme kot virtualnih naprav, kar preprečuje upad učinkovitosti sistemov na eni strani in preprečuje, da bi se infrastruktura "pregrevala" in zaostajala na drugi. Tako se ohranja določen nivo zaloge virov, ki jih je mogoče hitro preusmeriti za reševanje nujnih nalog (nenaden skok povpraševanja po portalu z video vsebinami, povečanje naročil določenega blaga in podobno).
- Drugič, CDN. Ta tehnologija uporabnikom omogoča, da brez zamud na predobremenitev dostopajo do vsebin portala iz najbližje geografske točke. Poleg tega CDN omili škodljive učinke na procese prenosa prometa, ki jih povzročajo preobremenitve kanalov, pretrganja povezav, izgube paketov na spojih kanalov itd.
Vsevidni Okko
Poglejmo primer priprave na praznike spletnega kino-teatra Okko, ki uporablja naše platforme v Moskvi in Sankt Peterburgu.
Po besedah Alekseja Golubeva, tehničnega direktorja Okko, podjetje poleg koledarskih praznikov (visokoj sezone) ima obdobja, ko prihajajo glavne filmske novosti velikih studios:
"Vsako leto v praznični sezoni se obseg prometa Okko poveča približno dvakrat v primerjavi s prejšnjim letom. Tako je bila prejšnjo novoletno sezono največja pika obremenitve 80 Gbit/s, medtem ko smo v 2018/19 pričakovali 160 – tradicionalno dvakratno rast. Vendar smo dobili več kot 200 Gbit/s!"
Okko se vedno na vrhunsko obremenitev pripravlja postopoma, skozi leto, v okviru projekta s kodnim imenom "Novo leto". Prej je Okko uporabljal lastno infrastrukturo, podjetje ima svoj distribucijski grozd za dostavo vsebin, na lastni opremi in zLASTNIM programsko opremo. Čez leto so tehnični strokovnjaki Okko postopoma kupovali new servers, so we've increased the bandwidth of our cluster, assuming an annual growth of two times. Additionally, we connected new uplinks and operators – besides major players like 'Ростелеком', 'Мегафон', and MTS, we also connected traffic exchange points and smaller operators. This approach allowed us to deliver the service to the maximum number of clients via the shortest route.
Last year, after analyzing the cost of equipment and labor for expansion, and comparing it with the cost of using third-party CDNs, Okko realized it was time to try a hybrid distribution model. After a twofold increase during the New Year holidays, traffic began to decline, with February being the lowest season. As a result, our own equipment was underutilized during this time. By summer, the decline levelled out, and by autumn, a new rise began. Therefore, in preparation for the new 2019 year, Okko took a different route: we refined our software to distribute the load not only to ourselves but also to external CDNs (Content Delivery Network). Two CDNs were connected to absorb excess traffic. The internal bandwidth of Okko's IT infrastructure was prepared to withstand that same double growth, but in case resources were overwhelmed, partner CDNs were also prepared.
"The decision not to expand our own CDN saved Okko about 20% of the distribution budget in CAPEX. Plus, the company saved several person-months by shifting the setup work to a partner," comments Alexey Golubev.
The distributing cluster (internal CDN) at Okko is implemented at two locations: Linxdatacenter in Moscow and St. Petersburg. Complete mirroring of both content and its caching (distributing nodes) is ensured. Accordingly, the Moscow data center processes Moscow and several regions of Russia, while the St. Petersburg center handles the Northwest and the remainder of the country. Load balancing occurs not only based on regional criteria but also depending on the load of nodes in a specific data center, taking into account the film's availability in cache and a number of other factors.
The aggregated architecture of the service looks like this in the diagram:
Fizične storitve in podpora razvoju produkta sestavljata okoli deset omaric v Sankt Peterburgu in nekaj omaric v Moskvi. Na voljo je nekaj deset strežnikov za virtualizacijo in skoraj dvesto 'železnih' strežnikov za vse ostalo – distribucijo, podporo storitvam in lastno infrastrukturo pisarne. Interakcija ponudnika vsebin s podatkovnim centrom v času vrhunskih obremenitev se nikakor ne razlikuje od trenutnega dela. Vsa komunikacija je omejena na prijavo v podporno službo, v primeru izredne situacije pa po telefonskem klicu.
Danes smo, kot nikoli prej, blizu pravemu, 100% brezskrbnemu scenariju potrošnje vsebin na spletu, saj so vse potrebne tehnologije že na voljo. Razvoj spletnega prenosa poteka zelo hitro. Narašča priljubljenost zakonitih modelov potrošnje vsebin: ruski uporabniki se postopoma navajajo, da je treba plačati za vsebine. In to ne le za filme, ampak tudi za glasbo, knjige, izobraževalne materiale na spletu. V tej luči je dostava najbolj raznolike vsebine z najmanjšimi omrežnimi zakasnitvami – najpomembnejši kriterij pri delu spletnih storitev. Naša naloga kot ponudnika storitev je, da pravočasno in z rezervo pokrijemo potrebe po virih.
Izvor: habr.com
