Sisu teed on mõistmatud või CDN-i kohta räägime sõna

Vastutusest loobumine:
Antud artikkel ei sisalda teavet, mis oleks varem tundmatu lugejatele, kes on tuttavad CDN-i mõisted, vaid on ülevaade tehnoloogiast

Esimene veebileht ilmus 1990. aastal ja selle suurus oli vaid mõned baitid. Sellest ajast alates on sisu kasvanud nii kvalitatiivselt kui kvantitatiivselt. IT-ökosüsteemi areng on viinud selleni, et tänapäevased veebilehed mõõdetakse megabaitides ja suund suureneb, mille tõttu võrgud muutuvad igal aastal üha võimekamaks. Kuidas saavad sisu pakkujad hõlmata suuri geograafilisi alasid ja tagada kasutajatele igal pool kõrge juurdepääsukiirus? Nendele ülesannetele peavad vastama sisu edastamise ja jaotamise võrgud, mida tuntakse kui Content Delivery Network või lihtsalt CDN.

Internetis on üha rohkem "raskeid" sisu. Samal ajal näitavad mitmed uuringud, et kasutajad ei soovi tegeleda veebiteenustega, mis laadivad kauem kui 4-5 sekundit. Liigne madal veebisaidi laadimiskiirus toob kaasa publiku kadumise, mis kindlasti vähendab ka liiklust, konversiooni ja seega ka kasumit. Sisuedastuse võrgud (CDN) peaksid teoorias aitama neist probleemidest ja nende tagajärgedest vabaneda. Kuid tegelikkuses lahendavad kõik detailid ja spetsiifika, millest antud valdkonnas ei ole puudust.

Kust tuli idee jaotatud võrkudest

Alustame lühikese ajaloo ja mõistete määratlemisega. CDN on serverite rühm, mis asub erinevates kohtades, et pakkuda juurdepääsu internetisisule suurele kasutajaskonnale. Jagatud võrkude idee seisneb mitme kohaloleku kohas (PoP), mis asuvad allika serverist väljaspool. Selline süsteem suudab kiiremini töödelda suure hulga sisenevaid päringuid, suurendades vastuse kiirus ja andmete edastamise kiirus.

Kasutajatele sisu edastamise probleem sai teravaks interneti arengu tipul, st 90ndate keskel. Tookordsed serverid, mille jõudlus ei ulatunud isegi tänapäevaste lipulaevade sülearvutite tasemeni, suutsid vaevu taluda koormust ja ei suutnud hakkama saada pidevalt kasvava liiklusega. Microsoft kulutas igal aastal sadu miljoneid dollareid uurimistöödeks, mis puudutasid teavettevõrgustikku (tulevad meelde Bill Gatesi tuntud 640 KB). Nende probleemide lahendamiseks tuli rakendada hierarhilist vahemälu, liikuda modemitest kiudoptilistele kaablitele ning põhjalikult analüüsida võrgustike topoloogiat. Olukord meenutas vana lokomotiivi, mis kiiruselt edenes rööbastel ja mille kiirusetõstmiseks moderniseeriti seda kõigi võimalike vahenditega.

Juba 90-ndate alguses mõistsid veebisaitide omanikud, et koormuse vähendamiseks ja vajalike päringute rahuldamiseks on tarvis kasutada vahendussüsteemidega servereid. Nii sündisid esimesed CDN-id, mis jagasid staatilist sisu erinevatelt serveritelt, mis olid geograafiliselt jaotatud üle maailma. Umbes sel ajal tekkis ka äri hajutatud võrkude põhjal. Suurim (kui mitte vähemalt üks suurimaid) CDN-teenuse pakkujaid maailmas, ettevõte Akamai, sai selle valdkonna pioneeriks, alustades oma teed 1998. aastal. Paari aasta pärast muutusid CDN-id massiliselt kättesaadavaks ning sisu edastamisest ja kontributsioonist saadavad tulud ulatusid kümnete miljoniteni dollarites kuus.

Tänapäeval puutume igapäevaselt kokku CDN-idega, kui külastame suure liiklusega äri veebilehti või suhtleme sotsiaalmeedias. Teenuseid pakuvad: Amazon, Cloudflare, Akamai ning palju teisi rahvusvahelisi pakkujaid. Suured ettevõtted eelistavad tihti kasutada oma valitud CDN-e, mis toob neile mitmeid eeliseid kiirus ja sisu edastamise kvaliteedi osas. Kui Facebook ei omaks jaotatud võrgustikke ja toetuks vaid USA-s asuvale originaalserverile, võiksid idameeste kasutajate profiilide laadimise ajad olla tunduvalt pikemad.

Mõned sõnad CDN-ist ja striimisest

Konsultatsioonifirma FutureSource Consulting viis läbi analüüsi muusikatööstusest ja jõudis järeldusele, et 2023. aastal ulatub muusika voogedastus teenuste tellimuste arv peaaegu pool miljardit inimest. Rohkem kui 90% tuludest teenivad teenused just voogedastuse kaudu. Videote puhul on olukord sarnane, populaarsetes väljendites on juba juurdunud sellised terminid nagu: let's play, online kontsert ja online kino. Oma voogedastusteenused on välja töötanud Apple, Google, YouTube ja paljud teised ettevõtted.

Alguses kasutati CDN-e peamiselt staatilise sisu jaoks. Staatiline sisu on teave, mis ei muutu sõltuvalt kasutaja tegevusest, ajast ja muudest teguritest, st see ei ole personaalne. Kuid videostreaming ja audio teenuste areng on lisanud veel ühe levinud kasutusstsenaariumi jaotatud võrgustike kasutamiseks. Vahe serverid, olles lähedal sihtrühmale üle kogu maailma, võimaldavad tagada pideva juurdepääsu sisule tipukoormusperioodidel, vältides interneti „kitsaskohtade” puudust.

Kuidas see toimib

CDN-ide kõikide funktsioonid on sarnased: kasutada vahendajaid, et saaks kiiremini edastada sisu lõppkasutajale. See töötab järgmiselt: kasutaja saadab faili allalaadimistaotluse, mille saab CDN-server, mis ühendub originaalserveriga ja edastab kasutajale sisu. Samal ajal salvestab CDN endale failid määratud ajaperioodiks ja töötleb kõik järgnevad taotlused oma vahemälust. Valikuliselt oskavad nad ka eelnevalt laadida faile algsest serverist, seadistada vahemälu säilitamise aega, tihendada suuri faile ja palju muud. Parimal juhul edastab host kogu liikluse CDN-solmule, mis kasutab seejärel oma ressursse sisu edastamiseks kasutajatele. Loomulikult toob efektiivne teabe vahemälu haldamine ja taotluste jaotamine mitte ühele serverile, vaid võrgule, kaasa tasakaalustatud liikluskoormuse.

CDN-i teise olulisema tunnusjooneks on andmete edastamise viivituste (RTT – round trip time) vähendamine. TCP-ühenduse loomine, meediumisisu laadimine, JS-faili allalaadimine, TLS-seansi käivitamine – kõik need sõltuvad pingest. On ilmne, et mida lähemal olete allikale, seda kiiremini saate sellelt vastuse. Isegi valguse kiirusel on piirang: umbes 200 tuhat km/s kiudoptilises kaablis. See tähendab, et Moskva ja Washingtoni vahel on viivitus umbes 75 ms RTT, ja see on ilma vahevarustuse mõjuta.

Selleks et paremini mõista, milliseid ülesandeid sisuteenuste võrgud lahendavad, toome välja nimekirja praegu aktuaalsetest lahendustest:

• Google, Yandex, MaxCDN (kasutavad tasuta CDN-e JS-raamatukogude levitamiseks, omavad enam kui 90 kohalolekupunkti enamikus maailma riikides);
• Cloudinary, Cloudimage, Google (klientide optimeerimise teenused ja raamatukogud: pildid, videod, fondid jne);
• Jetpack, Incapsula, Swarmify jne (ressursside optimeerimine sisuhaldussüsteemides: bitrix, wordpress jne);
• CDNVideo, StackPath, NGENIX, MegaFon (CDN staatilise sisu edastamiseks, kasutatakse üldotstarbeliste võrkudena);
• Imperva, Cloudflare (veebisaitide laadimise kiiruslahendused).

Esimesed 3 CDN tüüpi, mis on loetletud, on mõeldud edastama ainult osa liiklusest peamiselt serverilt. Ülejäänud 2 toimivad täisfunktsionaalsete tagapoolsete serveritena, edastades täielikult kanalid algsest hostist.

Kellele ja milliseid eeliseid tehnoloogia pakub

Teoorias võib iga veebisait, mis müüb oma tooteid/teenuseid ettevõtlusklientidele või eraisikutele (B2B või B2C), kasu saada CDN-i rakendamisest. Oluline on, et selle sihtrühm, st kasutajabaas, asuks väljaspool nende geograafilist asukohta. Kuid isegi kui see nii ei ole, aitavad levitusvõrgud tasakaalustada koormust suurte sisu mahtude korral.

Pole pole on teada, et serverikanali täitmiseks piisab paarist tuhandest voogust. Seetõttu toob videotaustade edastamine massidele kindlasti kaasa kitsaskoha – interneti kanalil. Sama näeme, kui veebilehel on palju väikeseid, omavahel mitteühendatud pilte (nt toote eelvaated). Algne server kasutab igaühiske ühenduse töötlemiseks ühte TCP-ühendust, mis seab laadimise järjekorda. CDN-i lisamine toob endaga kaasa nõude jagada päringud mitme domeeni vahel ja kasutada mitut TCP-ühendust, vähendades kanali koormust. Ringikujulise viivituse valem, isegi kõige halvematel juhtudel, annab 6-7 RRT ja omandab kuju: TCP+TLS+DNS. Siia tasub õigustatult lisada ka viivitused, mis on seotud raadiosignaali aktiveerimise ja signaali edastamisega mobiilitornidele.

Kokkuvõttes toovad internetiäri tehnikaga spetsialistid esile sellised punktid:

1. Kiire infrastruktuuri skaleerimine + ribalaiuse vähendamine. Rohkem servereid = rohkem punkte, kus teavet hoitakse. Seetõttu töötleb üks punkt väiksemat andmevoogu ajaühikus ning seetõttu võib tal olla väiksem ribalaius. Lisaks tulevad mängu optimeerimistööriistad, mis aitavad toime tulla tipukoormustega ilma viivitusteta.
2. Madalam latentsus. Oleme juba maininud, et inimesed ei armasta internetis kaua oodata. Seetõttu soodustab kõrge latentsus kõrgeid lahkumismäärasid. Viivitus võib tuleneda andmete töötlemise probleemidest serveris, vanade seadmete kasutamisest või lihtsalt hoolimatust võrgu topoloogiast. Enamik neist probleemidest lahendatakse osaliselt sisuhalduse võrkudega. Siiski on oluline märkida, et tegelik kasu tehnoloogia kasutusele võtmisest on nähtav vaid siis, kui "tarbija latentsus" ületab 80-90 ms, mis on vahemaa Moskva ja New Yorki vahel.

   

3. Andmete turvalisus. DDos'd (teenuse katkestamise tüüpi viiruslikud rünnakud) on suunatud serveri töö katkestamisele, et saavutada mingisugust kasu. Üksik server on oluliselt haavatavam turbeprobleemide suhtes kui jaotatud võrk (sellise gigandi nagu CloudFlare infrastruktuuri mahamine ei ole sugugi lihtne ülesanne). Filtrite ja mõistliku päringute jaotuse abil võrgus saab probleemideta ennetada kunstlikult loodud ligipääsu raskusi legitiimsele liiklusele.
4. Sisu kiire levitamine ja lisateenused. Suurte andmekogude jaotamine serverivõrku võimaldab pakkumise kiiremini lõppkasutajani viia. Näiteks ei pea kaugele vaatama – piisab, et meenutada Amazonit ja AliExpressi.
5. Võimalus peita probleeme põhisaidiga. Ei ole vaja oodata DNS-i uuendamist, saab vahetada selle uude asukohta, jagades varem vahemällu salvestatud sisu. See omakorda võib parandada katkestuste taluvust.

Oleme arutanud eeliseid. Nüüd vaatame, millistele niššidele see kasu toob.

Reklaamäri

Reklaam on edusamme edendav jõud. Kuid et mootor ei kustuks, peab seda mõõdukalt koormama. Nii seisab reklaamäri silmitsi probleemidega, püüdes kohanduda kaasaegse digitaalse maailmaga, kus kasutatakse „raskeid” sisu. Raskeks peetakse multimeedia reklaame (peamiselt animaatsiooniga bännerid ja videoklipid), mis nõuavad suurt võrgu läbilaskevõimet. Multimeedia veebilehtede laadimine võtab aega ja võib põhjustada kasutajate närvide pinget. Enamik inimesi loobub sellistest ressurssidest juba enne, kui kogu teave on laaditud. Reklaamifirmad saavad CDN-i eeliseid kasutada nende probleemide lahendamiseks.

Müük

E-kaubandus vajab pidevat geograafilise katvuse laiendamist. Teine oluline aspekt on võitlus konkurentide vastu, keda on igas turusegmendis üleliia. Kui veebisait ei vasta kasutaja nõudmistele (sh laadimise aeg) ei saa ta populaarseks ning ei too pidevalt kõrget konversiooni. CDN-i rakendamine peaks näitama oma eeliseid andmete küsimiste töötlemisel erinevatest kohtadest. Samuti aitab liikluse jaotamine ära hoida selle teravaid hüppeid ja sellest tulenevaid serveri tõrkeid.

Meelelahutuse platvormid

Siia sobivad kõikvõimalikud meelelahutuse platvormid alates filmide ja mängude allalaadimisest kuni voogedastuse videoni. Kuigi tehnoloogia töötab staatiliste andmete põhjal, saavad voogedastatud andmed kiiremini kasutajani jõuda edastajate abil. Taas, CDN-i andmete vahemällu salvestamine on pääste suurte portalide omanikutele – meediahoidladele.

Veebimängud

Internetimängud tuleks välja tuua eraldi punktina. Kui reklaam vajab suuremaid ribalaiuseid, on veebiprojektid veelgi rohkem ressursinõudlikud. Teenusepakkujad seisavad silmitsi probleemiga, millel on kaks külge: juurdepääsu kiirus serveritele ja kõrge mängu sooritusvõime tagamine koos kauni graafikaga. CDN online-mängude jaoks pakub võimalust luua nn "push-tsoonid", kuhu arendajad saavad mängud salvestada kasutajatele lähedal asuvatesse serveritesse. See vähendab algse serveri juurdepääsu kiirusest tingitud mõju ja tagab seega mugava mängimise igal pool.

Miks CDN ei ole imerohi

Ehkki ilmsed eelised on olemas, ei püüa kõik ja mitte alati tehnoloogiat oma äri juurutada. Miks nii? Kuidas see võib olla paradoksaalne, tulenevad mõned puudused eelistest, lisaks tuleb veel paar punkti, mis on seotud võrgu juurutamisega. Turundajad räägivad kaunilt kõigist tehnoloogia eelistest, unustades mainida, et kõik need kaotavad tähenduse ulatuslike tingimuste korral. Kui vaatame CDN puudusi lähemalt, tasub esile tõsta:

• Töötamine ainult staatikaga. Jah, enamikul kaasaegsetest veebisaitidest on madal dünaamilise sisu osakaal. Kuid seal, kus lehed on personaliseeritud, ei saa CDN kuidagi aidata (kui just ei vähenda suurt liiklust);
• Vahepealne kätkamine. Isegi optimiseerimine on üks peamisi jaotatud võrkude eeliseid. Kuid kui muudatused on tehtud algsel serveril, kulub aega, enne kui CDN need kõigis oma serverites uuesti kätkab;
• Massilised blokeeringud. Kui mõne põhjusel keelatakse CDN-i IP-aadress, suletakse kõik saidid, mis on sellele seotud;
• Enamasti loob brauser kaks ühendust (algse serveri ja CDN-iga). Ja see toob kaasa lisamillisecondide ooteaja;
• Projekti IP-aadressi sidumine (sealhulgas mittetegutsevatega), mis olid varem sellega seotud. Selle tulemuseks on keeruline positsioneerimine Google'i veebiroomikute poolt ja raskused saidi tõstmisel topi SEO edendamisel;
• CDN sõlm on potentsiaalne rikke koht. Kui neid kasutada, on oluline eelnevalt mõista, kuidas süsteemi marsruutimine toimib ning millised probleemid võivad tekkida saidiga töötamisel;
• Tundub lihtne, aga sisu edastamise teenuste eest on vaja maksta. Peamiselt sõltuvad kulud liikluse mahust, mis tähendab, et võib osutuda vajalikuks eelarve planeerimise käigus kontroll;

Oluline fakt: isegi CDN-i lähedus kasutajale ei garanteeri madalat pingi. Marsruudi loomine võib toimuda kliendi ja hosti vahel, mis asub teises riigis või isegi teisel kontinendil. See sõltub konkreetsest võrgu marsruutimisest ja selle suhetest sideoperaatoritega (peer'ing). Paljud suured CDN-i pakkujad pakuvad mitut plaani, kus hind mõjutab otseselt kohaloleku punkti lähedust sisu edastamisel sihtkasutajatele.

On võimalusi – käivita oma CDN

Kas olete rahul sisuturundusettevõtete poliitikaga, kuid teie ettevõte vajab laienemist? Kui mingeid võimalusi on, tasub proovida oma CDN-i käivitamist. See on mõttekas järgmistes olukordades:

• Praegused kulud sisu levitamiseks ei vasta ootustele ja pole majanduslikult põhjendatud;
• On vajalik püsiv vahemälu, mitte teiste saitide naabrus serveris ja kanalites;
• Sihtgrupp asub piirkonnas, kus teie jaoks saadaolevaid CDN-i kohaloleku punkte pole;
• On vajalik isikupärastada sisu edastamise seadistusi;
• On vaja kiirendada dünaamilise sisu edastamist;
• On kahtlusi, et kolmandate osapoolte teenused rikuvad kasutajate privaatsust ja teevad muid ebaseaduslikke toiminguid.

CDNi käivitamine nõuab teilt domeeninime, mitmeid servereid erinevates piirkondades (virtuaalsed või pühendatud) ja tööriista taotluste töötlemiseks. Ärge unustage ka SSL-sertifikaatide paigaldamist, staatilise sisu serveerimise programmide (Nginx või Apache) seadistamist ja efektiivset süsteemi jälgimist.

Korrektne vahemälu prokside konfigureerimine on teema, milleks on eraldi artikkel, seetõttu ei hakka me siin detailselt arutama, kus ja millist parameetrit õigesti seada. Arvestades algsed kulud ja aja võrgu ülesseadmiseks, võivad valmislahendused olla perspektiivikam variant. Kuid on oluline järgida turuolukorda ja planeerida mitu sammu ette.

Mis siis kokkuvõttes

CDN on täiendavate ressursside kogum, mis on mõeldud teie liikluse levitamiseks laiemale publikule. Kas neid on veebiettevõtluses vaja? Nii ja ei, see sõltub kõik sellest, kellele sisu on suunatud ja milliseid eesmärke ettevõtte omanik järgib.

Piirkondlikud ja kitsaskohalised projektid saavad CDNi rakendamisest rohkem miinuseid kui plusse. Päringud jõuavad endiselt esmalt algserverisse, kuid nüüd läbi vahendaja. Seetõttu on kahtlane pingi vähenemine, kuid täiesti kindlad igakuised kulud teenuse kasutamisele. Hea võrguteenuse korral saab olemasolevaid infotehnoloogia turvalisuse algoritme rahulikult täiustada, paigutada oma serverid lähemale kasutajatele ja saada pidevalt tasuta optimeerimist ja kasu.

Kuid neile, kes tõeliselt peaksid mõtlema vahendajate serverite peale, on need suured ettevõtted, mille infrastruktuur ei suuda pidevalt kasvava liiklusvooga toime tulla. CDN näitab end suurepäraselt kui tehnoloogia, mis võimaldab kiiresti luua võrku laias geograafilises ulatuses, tagada mugava pilvegamingu või müüa kaupu suurel kaubanduspinnal.

Kuid isegi laia publiku geograafia juures on oluline eelnevalt mõista, milleks konkreetselt on vajalik sisu jaotamise võrk. Veebisaidi kiirus on endiselt keeruline ülesanne, mida ei lahenda lihtsalt CDN-i rakendamine. Ära unusta selliseid olulisi funktsioone nagu: platvormidevaheline koostalitlusvõime, kohandatavus, serveripoolne optimeerimine, kood, renderdamine jne. Eelnev tehniline auditeerimine ja adekvaatsed sammud probleemide lahendamiseks on endiselt parim lahendus iga veebiprojekti jaoks, sõltumata selle suunast ja ulatusest.

Reklaami õigustes

Praegu saad tellida võimsaid servereid, mis kasutavad uusimaid protsessoreid AMD Epyc. Paindlikud hinnakujundusvõimalused — alates 1 CPU tuumast kuni uskumatute 128 CPU tuumani, 512 GB RAM, 4000 GB NVMe.

Allikas: habr.com