Hvordan datacentere redder feriene

I løpet av året reiser nordmenn regelmessig på ferie – juleferier, mai-fridager og andre, kortere fridager. Dette er en tradisjonell tid for seriemaraton, spontane kjøp og salg på Steam. I forkant av feriene opplever detaljhandel og logistikkselskaper økt belastning: folk bestiller gaver fra nettbutikker, betaler for levering, kjøper billetter for reiser og kommuniserer. Kalendermessige etterspørselstopper fungerer som en god stresstest også for nettjenester som kinoer, spillportaler, videohosting og streamingmusikk tjenester – i feriene jobber de alle

Vi forteller om hvordan pålitelig tilgang til innhold er organisert, med et eksempel fra nettkinotjenesten Okko, som baserer sin drift på datacentret Linxdatacenter.

Tidligere ble det kjøpt ekstra utstyr for lokal lagring ved sesongmessige topper i forbruk, med «et overskudd». Men når «Time H» kom, viste det seg ofte at selskapene hverken kunne eller rakk å håndtere riktig oppsett av servere og lagringssystemer selv. Det var rett og slett ikke mulig å løse disse problemene underveis i utviklingen av nødsituasjoner. Etter hvert kom forståelsen av at topper i etterspørselen etter innhold og nettjenester kan håndteres glimrende ved hjelp av tredjepartsressurser, som kan kjøpes på en pay-as-you-go-modell – betaling for faktisk forbrukt kapasitet.

I dag bestiller praktisk talt alle selskaper som forutsier en økning i etterspørselen etter ressursene sine i feriene (den såkalte burst), på forhånd utvidelse av båndbredden til kommunikasjonslinjene. Selskaper som plasserer applikasjoner og databaser på ressursene til datacentere, øker datakraften i skyene for ferietoppene, ved å bestille flere virtuelle maskiner, lagringskapasitet osv. fra datacentrene.  

Hvordan unngå feil i beregningene

For preparing for peak loads, coordinated work between the provider and the client is essential. Key points in this work include accurate forecasting of load spikes in terms of timing and volume, careful planning, and the quality of interaction with colleagues within the data center, as well as with the IT specialists on the content provider's side.

Organizing the rapid allocation of resources necessary for the latest series of your favorite show to stream smoothly on your tablet is assisted by a range of solutions.
 

• First of all, there are load balancers: these are software solutions that carefully monitor the load levels on servers, storage systems, and networks, allowing for the optimization of each system's performance to meet specific tasks. Balancers assess the availability of both hardware and virtual machines, preventing system performance from dropping on one hand, and ensuring the infrastructure doesn't 'overheat' and slow down on the other. This maintains a certain level of resource reserve that can be swiftly redirected to address urgent tasks (such as sudden spikes in requests to a video content portal, or an increase in orders for a specific product, etc.).
• Secondly, CDN. This technology allows users to access content from the portal without delays caused by buffering by obtaining it from the nearest geographical point to the user. Furthermore, CDN mitigates the negative impact on traffic transmission processes caused by channel overloads, connection interruptions, packet losses at channel junctions, etc.

The all-seeing Okko

Let's consider an example of preparations for holidays by the online cinema Okko, which uses our platforms in Moscow and St. Petersburg.

According to Alexey Golubev, the technical director of Okko, in addition to calendar holidays (high season), there are periods when major movie releases from studios occur:

"Every year during the holiday season, Okko's traffic volume doubles compared to the previous year. For instance, if the maximum peak load last holiday season was 80 Gbit/s, then in 2018/19 we expected 160 – a traditional growth of twofold. However, we received over 200 Gbit/s!"

Okko forbereder seg alltid til maksimal belastning i sakte tempo, over året, i prosjektet med kodenavnet «Nytt År». Tidligere brukte Okko sin egen infrastruktur, og selskapet har sin egen distribusjonsklynge for innholdslevering, på eget utstyr og med egen programvare. I løpet av året har de tekniske spesialistene i Okko gradvis kjøpt nye servere, økt båndbredden i klyngen sin, med forventet årlig vekst på det dobbelte. De koblet også til nye uplinks og operatører – i tillegg til store aktører som «Rostelecom», «Megafon» og MTS, koblet de også til trafikknutepunkter og de minste operatørene. Denne tilnærmingen gjorde det mulig å levere tjenesten til maksimal antall kunder via de korteste rutene.

I fjor, etter å ha analysert kostnadene for utstyr, arbeidsinnsats for utvidelsen og sammenlignet med kostnadene ved å bruke tredjeparts CDN, innså Okko at det var på tide å prøve en hybrid distribusjonsmodell. Etter en dobling av trafikken i nyttårsferien, er det et fall i trafikken, og februar er sesongen med lavest aktivitet. Det betyr at eget utstyr står ubrukt i denne perioden. Innen sommeren dempes nedgangen, og allerede før høysesongen begynner en ny oppgang. Derfor, som forberedelse til det nye året, valgte Okko en annen vei: de forbedret sin programvare for å kunne fordele belastningen ikke bare på seg selv, men også på eksterne CDN (Content Delivery Network). To slike CDN ble koblet til, der overskuddet av trafikk ble «sluset». Den interne båndbredden til IT-infrastrukturen i Okko var klar til å tåle den doble veksten, men i tilfelle det skulle oppstå en ressursoverskridelse, ble partner-CDN forberedt.

«Beslutningen om ikke å øke sin egen CDN sparte Okko rundt 20 % av distribusjonsbudsjettet i CAPEX. I tillegg sparte selskapet flere person-måneder ved å overlate arbeidet med å konfigurere utstyret til partneren.» – kommenterer Alekxey Golubev.

Distribusjonsklustret (intern CDN) i Okko er implementert på to steder i Linxdatacenter i Moskva og St. Petersburg. Full speiling av både innhold og caching (distribusjonsnoder) er sikret. Dermed håndterer datasenteret i Moskva Moskva og flere regioner i Russland, mens datasenteret i St. Petersburg håndterer Nordvest og resten av landet. Lastbalansering skjer ikke bare på regionsbasis, men også avhengig av belastningen på nodene i det spesifikke datasenteret, i tillegg til tilgjengelighet av film i cachen og flere andre faktorer.

Den forenklede arkitekturen til tjenesten ser slik ut:

Fysisk består tjenesten og støtte for produktutvikling av omtrent ti stativer i St. Petersburg og flere stativer i Moskva. Det finnes et par titalls servere for virtualisering og nesten to hundre «fysiske» servere for resten – distribusjon, servicestøtte og egen kontorinfrastruktur. Samspillet mellom innholdsleverandøren og datasenteret under spissbelastninger er ikke forskjellig fra den nåværende driften. All kommunikasjon begrenses til en forespørsel til kundestøtte, og i tilfelle en nødsituasjon – ved telefon.

I dag er vi, mer enn noen gang, nær en 100% sømløs scenario for innholdsforbruk på nettet, siden all nødvendig teknologi er tilgjengelig. Utviklingen av online streaming skjer veldig raskt. Populariteten av lovlige modeller for innholdsforbruk vokser: russiske brukere begynner gradvis å venne seg til at de må betale for innhold. Dette gjelder ikke bare filmer, men også musikk, bøker og utdanningsmateriale på nettet. I denne sammenheng er levering av så variert innhold som mulig og med minimale nettverksforsinkelser – et av de viktigste kriteriene for online tjenester. Vår oppgave som tjenesteleverandør er å dekke ressursbehovene i tide og med margin.

Kilde: habr.com