Kuidas andmekeskused päästavad pühadeaega

Aasta jooksul reisiavad venelased regulaarselt puhkusele – uue aasta puhkus, mais ja teised lühemad vabad päevad. See on traditsiooniline aeg sarjade maratonide, spontaansete ostude ja Steam'i allahindluste jaoks. Jõulueelsel perioodil on jaemüügiettevõtted ja logistikaettevõtted suurenenud koormuse all: inimesed tellivad internetipoodidest kingitusi, maksavad kohaletoimetamise eest, ostavad reisi jooksul pileteid ja suhtlevad. Kalendrikohased nõudluse tipud on suurepärane stressitest ka online-kinoteatritele, mänguportaalidele, videohostingu ja voogedastusmuusika teenustele – pühade ajal töötavad nad kõik „ülekoormuse“ peale.

Räägime, kuidas on korraldatud sisu katkestusteta kütuse tagamine online-kinoteatri Okko näitel, mis tugineb oma töös Linxdatacenteri andmekeskuse võimsusele.

Varasemalt soetati hooajaliste tarbimise hüpe jaoks täiendavat varustust kohalikuks paigutamiseks, ja seda „varuga“. Kuid kui „K” hetk saabus, selgus sageli, et ettevõtted ei suutnud iseseisvalt serverite ja SAN-i seadistamisega toime tulla või ei jõudnud selle ajaga. Need ülesanded olid keeruline lahendada rikkalikult situatsioonide arengu kaudu. Aja jooksul tekkis arusaam: nõudluse tipud sisu ja online-teenuste järele on suurepäraselt hallatavad kolmandate osapoolte ressursside abil, mille maksmiseks on võimalik kasutada pay-as-you-go mudelit — tasuda tegelikult tarbitud mahu eest.

Tänapäeval ootavad praktiliselt kõik ettevõtted, kes ennustavad oma ressursside nõudluse kasvu pühade ajal (nii nimetatud burst), ette tellimusega suurema ribalaiuse laiendamist. Need ettevõtted, kes paigutavad rakendusi ja andmebaase andmekeskuse ressurssidele, suurendavad pühade tipudeks oma arvutusvõimet pilves, tellides andmekeskustes vajalikke virtuaalmasinaid, SAN-i mahtu jne.  

Kuidas arvutustes ebaõnnestuda

Pöördekoormuseks valmistumisel on oluline koostöö korralik töö teenusepakkuja ja kliendi vahel. Selle koostöö peamised punktid hõlmavad nõudluse kasvu täpset prognoosi, planeerimist ja kvaliteetset koostööd andmekeskuse kolleegidega ning IT-spetsialistide meeskonnaga sisu pakkuja poole.

Kiirete ressursside eraldamine, et teie lemmikseriaali uus hooaeg ei hanguks teie tahvelarvuti ekraanil, on võimalik tänu mitmetele lahendustele.
 

• Esiteks, koormuse tasakaalustajad: need on tarkvaralahendused, mis jälgivad hoolikalt serverite, andmesalvestussüsteemide ja võrgu koormust, võimaldades optimeerida iga süsteemi tööd seatud ülesannete täitmiseks. Tasakaalustajad hindavad nii riistvara kasulikkust kui ka virtuaalmasinate, vältides süsteemide jõudluse langust, samal ajal ei luba nad infrastruktuuril "üle kuumeneda" ja aeglustuda. Nii säilitatakse teatud ressursside varu, mida saab kiiresti suunata kiireloomuliste ülesannete lahendamiseks (näiteks video sisu portaali järsk külastuste hüpe, teatud toote tellimuste kasv jne).
• Teiseks, CDN. See tehnoloogia võimaldab kasutajatel ilma viivitusteta sisu portaali kaudu väljastpoolt, lähima geograafilise punkti kaudu, kätte saada. Lisaks aitab CDN vähendada liikluse edastamise protsesside negatiivset mõju, mis on tingitud kanalite ülekoormusest, ühenduse katkestustest, pakettide kadudest kanalite lõikes jne.

Kõike nägev Okko

Vaatame näidet Okko veebikino valmistumisest pühadeks, mis kasutab meie platvorme Moskvas ja Peterburis.

Aleksei Golubevi, Okko tehnilise direktori sõnul, on ettevõttes lisaks kalendrapühadele (tipphooaegadele) perioode, mil välja tulevad peamised filmipremiired suurettevõtetelt:

„Igal aastal pühadehooajal kasvab Okko liiklus maht umbes kaks korda võrreldes eelmise aastaga. Nii oli eelmise uue aasta hooajal maksimaalne tippkoormus 80 Gbit/s, kuid 2018/19 ootasime 160 – traditsiooniline kaks korda kasv. Kuid saime üle 200 Gbit/s!“

Okko valmistub alati tipukoormuseks rahulikult, aasta jooksul, projekti raames, mille koodnimi on „Uus Aasta“. Varem kasutas Okko oma infrastruktuuri, ettevõttel on oma sisu edastamise klaster, oma riistvaraga ja oma tarkvaraga. Aasta jooksul ostsid Okko tehnilised spetsialistid järk-järgult uusi servereid, suurendades oma klustrite läbilaskevõimet, oletades aastast kahekordset kasvu. Lisaks ühendati uusi sissetulekute ja operaatoritega – peale suurte mängijate nagu «Ростелеком», «Мегафон» ja МТС, ühendati ka liikluse vahetuspunktid ja väikseimad operaatorid. Selline lähenemine võimaldas teenust toimetada kõige suuremale hulgale klientidele lühima marsruudiga.

Eelmisel aastal analüüsides seadmete hindu, tööjõukulusid laiendamiseks ja võrreldes kolmandate osapoolte CDN-ide kasutamise kuludega, mõistsid Okko, et on aeg proovida hübriidmudeleid. Kahekordse kasvu ajal uusaastapuhkuste ajal järgnes liikluse langus, ja veebruar on kõige madalam hooaeg. Tulemuseks oli, et nende enda seadmed seisis sel ajal. Suveks langus tasakaalustub ja sügise hooaja lähenedes algab uus tõus. Seetõttu, valmistudes uue 2019. aasta saabumiseks, läks Okko teise teed: nad täiendasid oma tarkvara, et suudaks koormust mitte ainult enda peale suunata, vaid ka välistesse CDN-idesse (sisu edastamise võrk – Content Delivery Network). Ühendati kaks sellist CDN-i, kuhu voolasid ülejäägid liiklusest. Okko IT-infrastruktuuri sisemine läbilaskevõime suutis taluda seda kahekordset kasvu, kuid varuks, kui ressursse liigseks muutub, olid ette valmistatud partnerite CDN-id.

„Otsus mitte suurendada oma CDN-i säästis Okko umbes 20% jaotuskuludest CAPEX-is. Pluss ettevõte säästis mitu inimene-kuud, pannes seadmete seadistamise töö partneri õlgadele.” – kommenteerib Aleksei Golubev.

Jaotav kluster (sisemine CDN) Okko-s on rajatud kahe Linxdatacenter'i asukohta Moskvas ja Peterburis. Tagatud on täielik sisu ja selle vahemälu peegeldamine (jaotavad sõlmed). Vastavalt sellele töötleb Moskva andmekeskus Moskvat ja mitmeid Venemaa piirkondi, samas kui Peterburi keskus – Põhja-Läänet ja ülejäänud osa riigist. Tasakaalustamine toimub mitte ainult piirkondade järgi, vaid ka vastavalt sõlmede koormusele konkreetses andmekeskuses, samuti arvestatakse filmi olemasolu vahemälu ja mitmete teiste teguritega.

Teenuse suurem arhitektuur näeb välja skeemi järgi selline:

Füüsiline teenus ja toote arenduse tugi koosneb umbes kümnest serverist Peterburis ja mitmest serverist Moskvas. On paar tosinat serverit virtualiseerimiseks ja peaaegu Kakssada "füüsilist" serverit kõike muud - levitamiseks, teenuse toetamiseks ja kontori enda infrastruktuuri jaoks. Sisu pakkuja ja andmekeskuse vahelise suhtlemine tipukoormuse ajal ei erine mingil moel praegusest tööst. Kogu suhtlemine piirdub toega seotud paberite esitamisega ja hädaolukorra korral telefonikõnega.

Täna oleme, nagu kunagi varem, lähedal tõeliselt 100% katkestusteta sisutarbimise stsenaariumile veebis, kuna kõik vajalikud tehnoloogiad on juba olemas. Veebivoo areng toimub väga kiiresti. Kasvab legaalsete sisutarbimise mudelite populaarsus: Venemaa kasutajad hakkavad järk-järgult harjuma ideega, et sisu eest tuleb maksta. Ja mitte ainult filmide, vaid ka muusika, raamatute ja hariduslike materjalide eest. Seetõttu on kõige mitmekesisema sisu edastamine ja minimaalsete võrgu viivitustega – ülioluline kriteerium veebiteenuste töös. Ja meie ülesanne, kui teenuse pakkujat, on rahuldada ressursinõudmised õigeaegselt ja varuga.

Allikas: habr.com