In het afgelopen jaar gingen de Russen regelmatig op vakantie – de nieuwjaarsvakantie, de mei-vakantie en andere kortere vrije dagen. Dit is de traditionele tijd voor binge-watch marathons, spontane aankopen en uitverkopen op Steam. Tijdens de feestdagen ervaren detailhandels en logistieke bedrijven een verhoogde belasting: mensen bestellen cadeaus in webwinkels, betalen voor de bezorging, kopen tickets voor reizen en communiceren. De pieken in de vraag zijn ook een goede stresstest voor online bioscopen, gamingportals, video-hostings en streaming muziekdiensten – tijdens de feestdagen draaien ze allemaal
We leggen uit hoe de voortdurende beschikbaarheid van content is georganiseerd aan de hand van het voorbeeld van de online bioscoop Okko, dat in zijn werking vertrouwt op de capaciteiten van datacenter Linxdatacenter.
Eerder werd voor seizoensgebonden pieken in het verbruik extra apparatuur aangeschaft voor lokale plaatsing, vaak met een 'reserve'. Echter, wanneer het 'Tijdstip X' aanbrak, bleek vaak dat bedrijven niet in staat waren om de servers en opslagfondsen zelf goed in te stellen, of daar simpelweg niet genoeg tijd voor hadden. Deze problemen tijdens het verloop van onverwachte situaties konden niet opgelost worden. Na verloop van tijd kwam het besef dat de pieken in de vraag naar content en online diensten uitstekend konden worden afgehandeld met middelen van derden die kunnen worden aangeschaft op basis van pay-as-you-go – betalen voor wat je daadwerkelijk verbruikt.
Tegenwoordig bestellen vrijwel alle bedrijven die een golf van vraag naar hun middelen verwachten tijdens de feestdagen (de zogenaamde burst) vooraf uitbreiding van de bandbreedte. Bedrijven die applicaties en databases hosten in datacenters vergroten hun rekenkracht in de cloud tijdens feestdagen door extra virtuele machines, opslagcapaciteit, etc. in datacenters te bestellen.
Hoe maak je geen fouten in je berekeningen
Voor de voorbereiding op piekbelastingen is een gecoördineerde samenwerking tussen provider en klant belangrijk. De belangrijkste punten in deze samenwerking zijn een nauwkeurige voorspelling van de pieklast qua timing en volume, zorgvuldige planning en de kwaliteit van de samenwerking met collega's binnen het datacenter, evenals met het IT-team aan de kant van de contentprovider.
Het snel toewijzen van de benodigde middelen om ervoor te zorgen dat de nieuwe serie van uw favoriete show op het scherm van uw tablet soepel speelt, wordt geholpen door een aantal oplossingen.
- Allereerst zijn er load balancers: dit zijn softwareoplossingen die het belastingsniveau van servers, opslagsystemen en netwerken nauwlettend monitoren, waardoor de werking van elk systeem kan worden geoptimaliseerd voor de gestelde taak. Load balancers evalueren zowel de beschikbaarheid van de hardware als virtuele machines, waardoor de prestaties van systemen aan de ene kant niet verminderen en de infrastructuur aan de andere kant niet oververhit raakt en traag wordt. Zo blijft er een bepaald niveau van beschikbare middelen behouden, die snel kunnen worden ingezet voor dringende taken (een plotselinge stijging van het verkeer naar de videowebsite, een toename van de bestellingen voor een bepaald product, enzovoort).
- Ten tweede, de CDN. Deze technologie stelt gebruikers in staat om content van de portal zonder buffering vertraging te ontvangen via toegang vanuit het dichtstbijzijnde geografische punt. Bovendien neutraliseert de CDN de negatieve invloed op de datatransmissieprocessen, veroorzaakt door overbelasting van de kanalen, verbinding onderbrekingen, pakketverlies op knooppunten van de kanalen, enzovoort.
Alziend Okko
Laten we een voorbeeld bekijken van de voorbereidingen voor de feestdagen van de online bioscoop Okko, die onze platforms in Moskou en Sint-Petersburg gebruikt.
Volgens Alexei Golubev, technisch directeur van Okko, heeft het bedrijf, naast de kalender feestdagen (hoogseizoen), ook periodes waarin belangrijke films van grote studio's uitkomen:
‘Elk jaar tijdens het feestseizoen groeit Okko in het verkeer met ongeveer het dubbele in vergelijking met het voorgaande jaar. Zo was de maximale pieklast vorig nieuwjaar 80 Gbit/s, terwijl we in 2018/19 160 verwachten – een traditionele verdubbeling. Echter, we kregen meer dan 200 Gbit/s!’
Okko bereidt zich altijd langzaam voor op de pieklast, gedurende het jaar, als onderdeel van een project onder de codenaam 'Nieuw Jaar'. Eerder gebruikte Okko zijn eigen infrastructuur, het bedrijf heeft zijn eigen distributiecluster voor contentlevering, op eigen hardware en met eigen software. Gedurende het jaar hebben de technische specialisten van Okko geleidelijk aan nieuwe servers, de doorvoersnelheid van hun cluster te vergroten, waarbij een jaarlijkse groei van tweemaal werd aangenomen. Daarnaast werden nieuwe uplinks en operators aangesloten – naast grote spelers zoals 'Rostelecom', 'MegaFon' en MTS, werden ook verkeersuitwisselingspunten en de kleinste operators aangesloten. Deze aanpak stelde hen in staat diensten aan het grootste aantal klanten via de kortste routes te leveren.
Vorig jaar, na de kosten van apparatuur en de arbeidsinspanningen voor uitbreiding te hebben geanalyseerd en deze te hebben vergeleken met de kosten van het gebruik van externe CDN's, realiseerde Okko zich dat het tijd was om een hybride distributiemodel uit te proberen. Na de dubbele groei tijdens de nieuwjaarsvakantie volgde een daling van het verkeer, terwijl februari het laagste seizoen is. Dit betekent dat hun apparatuur in deze periode niet wordt gebruikt. Tegen de zomer wordt de daling gecompenseerd en begint in het herfstseizoen de nieuwe stijging. Daarom volgde Okko ter voorbereiding op het nieuwe jaar 2019 een andere weg: ze verbeterden hun software, zodat ze de belasting niet alleen op henzelf, maar ook op externe CDN's (Content Delivery Network) konden verdelen. Twee van deze CDN's werden aangesloten, waar de overtollige verkeersbelasting naartoe werd geleid. De interne doorvoersnelheid van Okko's IT-infrastructuur was klaar voor die dubbele groei, maar voor het geval dat er een overbelasting zou plaatsvinden, waren partner-CDN's voorbereid.
‘De beslissing om onze eigen CDN niet uit te breiden heeft Okko ongeveer 20% van de budgetten voor distributie in CAPEX bespaard. Bovendien heeft het bedrijf enkele man-maanden bespaard door de installatie van apparatuur op de schouders van de partner te leggen.’ — aldus Aleksey Golubev.
Het distributiecluster (interne CDN) van Okko is gerealiseerd op twee locaties van Linxdatacenter in Moskou en Sint-Petersburg. Er is volledige mirroring van zowel content als caching (distributieknopen) verzekerd. Dienovereenkomstig verwerkt het datacenter in Moskou Moskou en verschillende regio's van Rusland, terwijl het datacenter in Sint-Petersburg Noordwest en de rest van het land bedient. De load balancing vindt niet alleen plaats op basis van regionale kenmerken, maar ook afhankelijk van de belasting van knopen in het specifieke datacenter, en er wordt rekening gehouden met de beschikbaarheid van een film in de cache en een aantal andere factoren.
De vergrote architectuur van de service wordt in het schema als volgt weergegeven:
De fysieke service en ondersteuning voor productontwikkeling bestaan uit ongeveer tien racks in Sint-Petersburg en enkele racks in Moskou. Er zijn een paar tientallen servers voor virtualisatie en bijna tweehonderd "fysieke" servers voor alles wat overig is - distributie, serviceondersteuning en de eigen kantoorinfrastructuur. De interactie tussen de contentprovider en het datacenter tijdens piekbelastingen verschilt niet van het huidige werk. Alle communicatie is beperkt tot een aanvraag bij de klantenservice en in het geval van een noodsituatie - via een telefoontje.
Tegenwoordig zijn we, meer dan ooit, dichtbij een echte, 100% ononderbroken scenario voor het consumeren van content online, aangezien alle noodzakelijke technologieën daarvoor al beschikbaar zijn. De ontwikkeling van online streaming vindt zeer snel plaats. De populariteit van legale modellen voor het consumeren van content groeit: Russische gebruikers Gewoonlijk beginnen te wennen aan het idee dat ze voor content moeten betalen. Daarbij niet alleen voor films, maar ook voor muziek, boeken en educatieve materialen op het net. En in dit verband is de levering van de meest diverse content met de minste netwerkvertragingen - de belangrijkste criterium voor de werking van online diensten. Onze taak als serviceprovider is om op tijd en met een buffer in de middelen te voorzien.
Bron: habr.com
