Kuidas andmekeskused päästavad pühi.

Aasta jooksul reisivad venelased regulaarselt puhkusele – uusaasta puhkused, maikuu pühad ja teised lühikesed nädalavahetused. See on traditsiooniline aeg seriaali maratonideks, spontaanseteks ostudeks ja Steam'i allahindlusteks. Eelõhtul kannab jaekaubandus ja logistikaettevõtted suuremat koormust: inimesed tellivad kingitusi internetipoodidest, maksavad nende kohaletoimetamise eest, ostavad reisipileteid, suhtlevad. Kalendriga seotud nõudluse tipud toimivad heade stressitestidena ka online-kino, mänguportaalide, videosalvestuste ja voogedastusmuusika teenuste jaoks – pühade ajal töötavad nad kõik "ülekoormuse" tingimustes.

Selgitame, kuidas on korraldatud sisu katkestusteta kättesaadavuse tagamine online-kino Okko näitel, mis toetub oma töös Linxdatacenteri andmekeskuse jõudlusele.

Varem oli tarvis osta täiendavat varustust kohaliku hostimise jaoks hooajaliste tarbimise hüpetega, kusjuures seda tehti "varuga". Kuid kui "X hetk" saabus, selgus sageli, et ettevõtted ei suudnud serversüsteemide ja andmesalvestuse õige seadistamisega iseseisvalt toime tulla või ei jõudnud sellega aegsasti tegelema. Probleemide lahendamine eriolukordade ajal käigus osutus keeruliseks. Aja jooksul sai selgeks, et sisu ja online-teenuste nõudluse tipud saab tõhusalt rahuldada kolmandate osapoolte ressurssidega, mida saab soetada makse-eest-kasutuse järgi — tasumine tegelikult tarbitud mahu eest.

Tänapäeval tellivad praktiliselt kõik ettevõtted, kes ootavad nõudluse kasvu oma ressursside järele pühade ajal (nn burst), ettekanne sidekanalite läbilaskevõime suurendamiseks. Need, kes paigutavad rakendusi ja andmebaase andmekeskuste ressurssidele, suurendavad pühade tipuks pilvandmetöötluse arvutusvõimet, tellides andmekeskustes vajalikke virtuaalmasinaid, andmesalvestuse mahtu jne.  

Kuidas mitte eksida arvutustes

Püsimiseks suurte koormustega on oluline kooskõlastatud töö teenusepakkuja ja kliendi vahel. Peamised punktid selles töös on täpne koormuse hüppe prognoos ajakava ja mahtude osas, hoolikas planeerimine ja kvaliteetsed suhted kolleegidega andmekeskuses ning IT-spetsialistide meeskonnaga sisu pakkuja poolel.

Kiirete ressursside eraldamine, et uus lemmik seriaali episood teie tahvelarvuti ekraanil ei hanguks, on toetatud mitmete lahendustega.
 

• Esiteks, need on koormuste tasakaalustajad: need on tarkvaralahendused, mis jälgivad hoolikalt serverite, andmesalvestussüsteemide ja võrgu koormust, võimaldades optimeerida iga süsteemi tööd vastavalt seatud ülesandele. Koormuste tasakaalustajad hindavad nii riistvara kui ka virtuaalmasinad, vältides nii süsteemide jõudluse langust kui ka infrastruktuuri "ülekuumenemist" ja aeglustumist. Nii hoitakse teatud tasemel ressursside varu, mida saab kiiresti suunata hädaseisundite lahendamiseks (näiteks järsk tõus videoportaali kasutamise korral või teatud toote tellimuste kasv jne).
• Teiseks, CDN. See tehnoloogia võimaldab kasutajatel viivitusteta sisu portaali lähedalt saada, mis asub nende geograafilise asukoha piires. Lisaks vähendab CDN negatiivset mõju andmeedastusprotsessidele, mis on põhjustatud kanalite ülelaskest, ühenduste katkemisest, pakettide kadumise tõttu kanalite lõikude juures jne.

Kõike nägev Okko

Vaatame näidet Okko veebikino valmistumisest pühadeks, kasutades meie platvorme Moskvas ja Peterburis.

Aleksandr Golubevi, Okko tehnilise direktori sõnul on ettevõttes, lisaks kalendripühadele (kõrghooaegadele), perioode, mil väljastatakse peamised filmide esilinastused suurtootjatelt:

Igal aastal pühadehooajal kasvab Okko liiklus maht ligikaudu kaks korda rohkem kui eelmisel aastal. Kui eelmisel uue aasta hooajal oli maksimaalne tippkoormus 80 Gbit/s, siis 2018/19 ootasime 160 - traditsiooniline kahekordne kasv. Kuid saime rohkem kui 200 Gbit/s!

Okko valmistub tippkoormuseks rahulikult, aasta jooksul, projekti koodimehega «Uus Aasta». Varem kasutas Okko oma infrastruktuuri, ettevõttel on oma sisu edastamise klaster, oma riistvara ja tarkvara. Aasta jooksul ostsid Okko tehnilised spetsialistid järk-järgult uus server, suurendades oma kihi läbilaskevõimet, eeldades aastast kahekordset kasvu. Lisaks ühendati uusi uplinke ja operaatoresid - lisaks suurtele mängijatele nagu «Rostelecom», «Megafon» ja MTS, ühendati ka liikluse vahetuspunktid ja kõige väiksemad operaatorid. Selline lähenemine võimaldas teenust võimalikult paljude klientideni toimetada kõige lühemat marsruuti pidi.

Eelmisel aastal, analüüsides seadmete, tööjõu ja laiendamise hindu ning võrreldes neid kolmandate osapoolte CDN-ide kasutamisega, mõistsid Okko, et on aeg proovida hübriidset edastamismudelit. Uue aasta pühade ajal toimunud kahekordse kasvu järel järgnes liikluse langus, ja veebruar on kõige madalam sesoon. Seega, sellel ajal jääb oma seadmed kasutamata. Suve poole langeb langus tasakaalu, ja sügisel algab uus tõus. Seetõttu läks Okko uude 2019. aastasse teisiti: nad täiendasid oma tarkvara, et suudaksid jaotada koormust mitte ainult enda, vaid ka väliste CDN-ide (sisu edastamise võrk – Content Delivery Network) peale. Ühendati kaks sellist CDN-i, kuhu suunati ülejääk liiklusest. Okko sisemine IT-infrastruktuuri läbilaskevõime oli valmis taluma seda kahekordset kasvu, kuid juhuks, kui ressursid ületatakse, valmistati ette partnerite CDN-id.

„CDN-i mitte laiendamise otsus aitas Okko kokkuhoid umbes 20% CAPEX jaotuse eelarvest. Lisaks säästis ettevõte mitu inimese kuud, üle kandes seadmete seadistamise töö partneri õlgadele,“ kommenteerib Aleksei Golubev.

Okko jaotusklauster (sisemine CDN) on loodud kahes Linxdatacenter'i asukohas Moskvasse ja Peterburi. Tagatud on täielik sisu ja selle vahemälu (jaotavad sõlmed) peegeldamine. Vastavalt töötleb Moskva andmekeskus Moskvat ja mitmeid Venemaa piirkondi, Peterburi aga Põhja-Läänet ja ülejäänud riigi territooriumi. Tasakaalustamine toimub mitte ainult piirkondliku märgi alusel, vaid ka sõltuvalt konkreetse andmekeskuse sõlmede koormusest, arvesse võetakse ka filmi olemasolu vahemälus ning rida teisi tegureid.

Teenuse suurlahendus näeb välja selliselt:

Füüsiline teenus ja toote arendamise tugi koosnevad umbes kümnest rack'ist Peterburis ja mõnest rack'ist Moskvas. On paar kümmet serverit virtualiseerimiseks ja peaaegu kakssada "raudserverit" muudeks otstarveteks – levitamine, teenuse tugi ja kontorienda infrastruktuur. Sisu pakkuja suhtlemine andmekeskusega tipnõudluse ajal ei eristu arendustegevusest. Kõik suhtlemine piirdub toetuse taotlusega ning hädaolukordade korral – telefonikõnega.

Täna, rohkem kui kunagi varem, oleme lähedal tõeliselt 100% katkestusteta sisu tarbimise stsenaariumile veebis, kuna kõik vajalikud tehnoloogiad on juba saadaval. Veebistriiming areneb väga kiiresti. Õiguslike sisu tarbimise mudelite populaarsus tõuseb: Venemaa kasutajad hakkavad järk-järgult harjuma sellega, et sisu eest tuleb maksta. Ja see kehtib mitte ainult filmide, vaid ka muusika, raamatute, haridusmaterjalide kohta. Seetõttu on kõige mitmekesisema sisu tarnimine ja vähimad viivitused võrgus - kriitiline kriteerium veebiteenuste tõhususes. Meie ülesanne teenusepakkujana on rahuldada ressursivajadused õigeaegselt ja varuga.

Allikas: habr.com