🥇Sisu teed on salapärased või räägime sõna CDN-ist

Märkus:
See artikkel ei sisalda varasematele lugejatele tundmatuid andmeid, kelle jaoks CDN mõisted on tuttavad, vaid on tehnoloogia ülevaade.

Esimene veebileht ilmus 1990. aastal ja selle suurus oli vaid mõni bait. Sellest ajast peale on sisu nii kvaliteedi kui ka kvantiteedi osas suurenenud. IT-ökosüsteemi areng on viinud selleni, et kaasaegsed veebilehed mõõdetakse megabaitides ja suundumus võimekuse suurendamiseks on igal aastal järjest tugevnenud. Kuidas saavad sisupakkujad hõlmata suuri geograafilisi alasid ja tagada kasutajatele kiirusinfo kergesti kättesaadavaks? Nende ülesannetega peavad tegelema sisu edastamise ja jaotamise võrgud, milleks on sisuhaldussüsteemid (CDN).

Internetis on üha rohkem 'raskete' sisu. Samal ajal näitavad paljud uuringud, et kasutajad ei soovi tegeleda veebiteenustega, mis laadivad kauem kui 4-5 sekundit. Liialt madal veebilehe laadimiskiirus toob kaasa kasutajate kaotuse, mis omakorda viib liikluse, konversiooni ja seega kasumi vähenemiseni. Sisu edastamise võrgud (CDN) peaksid teoorias need probleemid lahendama. Kuid praktikas mõjutavad kõike detaile ja nüansse, mis on selles valdkonnas alati piisavalt.

Kust tuli mõte jaotatud võrkudest?

Alustame lühikese ajaloo ja terminite määratlemisega. CDN on serverite grupp, mis on paigutatud erinevatesse kohtadesse, et võimaldada internetis sisule suurt hulka kasutajatele juurdepääsu. Jaotatud võrkude idee seisneb mitmete kohaloleku kohtade (PoP) olemasolus, mis asuvad algse serveri taga. Selline süsteem suudab kiiresti töödelda suurt hulka saabunud päringuid, suurendades vastuse kiirus ja andmete edastamise kiirus.

Sisu, et sisu kohaletoimetamise probleem ilmnes teravalt interneti arengu haripunktis, st 90ndate keskpaiku. Tookordsed serverid, mille jõudlus ei ulatunud isegi tänapäevaste tipptasemel sülearvutite tasemele, suudsid vaevalt koormust taluda ja ei suutnud pidevalt kasvava liiklusega hakkama saada. Microsoft kulutas iga aasta sadu miljoneid dollareid infoteede uurimisele (tulevad meelde Bill Gatesi kuulsad 640 KB). Nende probleemide lahendamiseks tuli kasutada hierarhilist vahemälu, liikuda modemitest kiudoptilistele kaablitele ning põhjalikult analüüsida võrkude topoloogiat. Olukord meenutas vanaaegset lokomotiivi, mis kihutab rööbastel ja samal ajal moderniseeritakse seda kõigi võimalike vahenditega kiirusel suurendamiseks.

Kuni 90ndate lõpuks mõistsid veebilehe omanikud, et koormuse vähendamiseks ja nõutud päringute rahuldamiseks tuleb kasutada vahendisse servereid. Nii tekkisid esimesed CDN-id, mis andsid staatilist sisu välja erinevatelt serveritelt, mis olid geograafiliselt jaotatud üle kogu maailma. Umbes sel ajal tekkis ka äri jaotatud võrkude peal. Suurim (vähemalt üks suurimaid) CDN teenuse pakkujaid maailmas, ettevõte Akamai, sai selles valdkonnas pioneeriks, alustades oma teed 1998. aastal. Mõni aasta hiljem sai CDN massiliseks ning sisu kohaletoimetamisest ja kontsentraatimist saadud tulud ulatusid igakuuselt kümnetesse miljonitesse dollaritesse.

Täna kohtame CDN-e igapäevases tegevuses, kui külastame suurt liiklust omavaid kommertslehti või suheldes sotsiaalmeedias. Teenust pakuvad: Amazon, Cloudflare, Akamai ja paljud muud rahvusvahelised teenusepakkujad. Suured ettevõtted püüavad kasutada kaootilisi CDN-e, mis toob kaasa mitmeid eeliseid sisu kohaletoimetamise kiirusel ja kvaliteedis. Kui Facebookil ei oleks jaotatud võrke ning ta piirdus ainult USA algserveriga, võiks idaeurooplaste profiilide avamine võtta märkimisväärselt rohkem aega.

Mõni sõna CDN-ist ja voogedastusest

FutureSource Consulting agentuur viis läbi muusika tööstuse analüüsi ja jõudis järeldusele, et 2023. aastal jõuab muusika voogedastusteenuste tellimuste arv peaaegu poole miljardini. Lisaks saadakse enam kui 90% tuludest just voogaudio teenustest. Videos on olukord sarnane, rahva keeles on kindlalt juurdunud sellised terminid nagu: letspley, veebikontsert ja veebikino. Oma voogedastusteenused on Apple'il, Google'il, YouTube'il ja paljudel teistel ettevõtetel.

Varasemas nägemuses kasutati CDN-e peamiselt staatiliste sisu veebilehtede jaoks. Staatiline teave on info, mis ei muutu sõltuvalt kasutaja tegevusest, ajast ja muudest teguritest, st see ei ole personalizeeritud. Siiski, voogedastuse videote ja audio teenuste areng on lisanud veel ühe levinud kasutuse stsenaariumi jaotatud võrkude kasutamiseks. Vahepealsed serverid, mis asuvad maailma erinevates sihtpunktides, võimaldavad tagada stabiilse juurdepääsu sisule tipnnäitajate perioodidel, välistades interneti kitsaskohad.

Kuidas see töötab

Kõikide CDN-de olemus on enam-vähem sama: kasutada vahepealseid servereid, et võimaldada sisu kiiremat kohaletoimetamist lõppkasutajale. Protsess töötab järgmiselt: kasutaja saadab faili allalaadimise päringu, mille saab CDN-server, mis pöördub ühekordselt originaalserveri poole ja edastab sisu kasutajale. Samal ajal vahendab CDN faile määratud ajaperioodi jooksul ja kõik edasised päringud töötleb oma vahemälust. Valikuliselt oskavad nad ka eelnevalt laadida faile algserverist, seada vahemälu hoidmistähtaegu, tihendada suuri faile ja palju muud. Ideaalsetes tingimustes edastab host kogu liikluse CDN-sõlmele, mis juba kasutab oma ressursse sisu kohaletoimetamiseks kasutajatele. Loomulikult viib tõhus info vahemälu haldamine, samuti päringute jaotamine rohkem kui ühele serverile, võrku, tasakaalustatumate koormusteni.

Teine oluline CDN-i funktsioon on andmeedastusviivituste (RTT - round trip time) vähendamine. TCP-ühenduse seadistamine, meedia sisu laadimine, JS-faili allalaadimine, TLS-seansi käivitamine, kõik need sõltuvad pingest. On selge, et mida lähemal olete allikale, seda kiiremini saate sellelt vastuse. Isegi valguse kiirusel on oma piir: umbes 200 tuhat km/s kiudoptilises kaables. See tähendab, et Moskva ja Washingtoni vahel on viivitus umbes 75 ms RTT, ja see ei arvesse võta vahepealset seadmete mõju.

Kuna mõista, milliseid probleeme CDN-id lahendavad, toome välja tänapäeval olulised lahendused:

Google, Yandex, MaxCDN (kasutavad tasuta CDN-e JS-raamatukogude levitamiseks, omavad üle 90 kohaloleku punkti peaaegu kõikides riikides);
Cloudinary, Cloudimage, Google (kliendi optimeerimise teenused ja raamatukogud: pildid, videod, fontide jne);
Jetpack, Incapsula, Swarmify jne (ressursside optimeerimine sisuhaldussüsteemides: Bitrix, WordPress jne);
CDNVideo, StackPath, NGENIX, MegaFon (CDN staatilise sisu levitamiseks, kasutatakse üldotstarbeliste võrkudena);
Imperva, Cloudflare (lahendused veebisaitide laadimiskiirusel kiirendamiseks).

Esimesed kolm CDN-i tüüpi toovad esitatud nimekirjast ainult osa liiklusest peamiselt serverilt. Järgmised kaks kasutatakse täielike proksi serveritena, edastades täielikult kanaleid algsest hostist.

Kellele ja milliseid eeliseid tehnoloogia pakub

Teoorias võib iga veebisait, mis müüb oma tooteid/teenuseid ettevõtete klientidele või füüsilistele isikutele (B2B või B2C), saada kasu CDN-i rakendamisest. Oluline on, et selle sihtrühm, st kasutajate baas, asuks nende geograafilisest asukohast väljaspool. Kuid isegi kui see pole nii, aitavad levitusvõrgud koormuse tasakaalustamisel suurte andmete mahtude korral.

Pole ei ole saladus, et serverikanali koormamiseks piisab paarist tuhandest voost. Seetõttu toob videovoo jagamine laiemale publikule paratamatult kaasa kitsaskoha - internetiühenduse ribalaiuses. Sama näeme, kui veebilehel on palju väikeseid, kokku liitmata pilte (nt toote eelvaated). Algserver kasutab iga taotluse töötlemisel ühte TCP-ühendust, mis seab koormuse järjekorda. CDN-i lisamine toob endaga kaasa vajaduse jagada taotlusi mitmele domeenile ja kasutada mitut TCP-ühendust, vähendades seeläbi koormust. Ringpikkuse valem, isegi kõige keerulisemates olukordades, toob esile väärtuse 6-7 RTT ja omandab kujundi: TCP+TLS+DNS. Siia on õigustatud ka lisama viivitused, mis on seotud raadiosignaali aktiveerimisega seadmes ja signaali edastamisega mobiilitornidesse.

Kokkuvõttes toovad spetsialistid esile järgmised internetiäri tehnoloogia tugevused:

Kiire infrastruktuuri skaleerimine + ribalaiuse vähendamine. Rohkem servereid = rohkem punkte, kus teavet hoitakse. Tulemuseks töötleb üks punkt vähem liiklust ajaühiku kohta, mistõttu võib sellel olla väiksem ribalaius. Lisaks tulevad mängu optimeerimisvahendid, mis võimaldavad toime tulla tipukoormustega ilma ajakadu.
Vähem pingeid. Oleme juba maininud, et inimesed ei armasta internetis kaua oodata. Seetõttu põhjustab kõrge pinge kõrgeid loobumismäärasid. Viivitus võib olla tingitud andmete töötlemise probleemidest serveris, vanade seadmete kasutamisest või lihtsalt läbimõtlemata võrgutopoloogiast. Enamik neist probleemidest lahendavad osaliselt sisu edastamise võrgud. Siiski on oluline märkida, et tehnoloogia rakendamise reaalne kasu on nähtav ainult siis, kui "tarbija pinge" ületab 80-90 ms, mis on kaugus Moskvast New Yorki.
Andmete turvalisus. DDos`id (teenuse katkestamise viiruslikud rünnakud) on suunatud serveri talitlushäirete tekitamisele mingi kasu saavutamise eesmärgil. Üksik server on palju haavatavam teabe turvalisuse probleemide suhtes kui hajutatud võrk (sellise hiiglasliku nagu CloudFlare infrastruktuuri hävitamine ei ole lihtne ülesanne). Filtrite kasutamise ja päringute nutika jaotamise abil saab hõlpsasti vältida kunstlikult loodud juurdepääsuprobleeme legaalsele liiklusele.
Sisu kiire levitamine ja täiendavad teenusefunktsioonid. Suurte andmehulkade jaotamine serverivõrku võimaldab pakkumise kiiremini lõppkasutajani viia. Näiteid selle kohta ei pea kaugele otsima – piisab, kui meenutada Amazonit ja AliExpressi.
Võimalus „maskeerida” peamise saidiga seotud probleeme. Ei ole vaja oodata DNS-i uuendamist, saab suunata selle uude asukohta eelnevalt vahemällu salvestatud sisu jagamisega. See omakorda võib parandada tõrke taluvust.

Võitudest oleme aru saanud. Nüüd vaatame, millistele niššidele see on kasulik.

Reklaamiettevõte

Reklaam on progressi mootor. Kuid et mootor ei kütuse lõppedes ei läheks üles, tuleb seda mõõdukalt koormata. Seega seisavad reklaamiettevõtted, püüdes vastata tänapäeva digitaalsele maailmale, silmitsi „raske sisu” probleemidega. Raskeks sisuks peetakse multimeedia reklaami (peamiselt animeeritud bännereid ja videoklippe), mis nõuab kõrgeid võrgu ribalaiuseid. Multimeedia veebileht laadib aeglaselt ja võib külmuda, pannes kasutajate närvid proovile. Enamiku kasutajate jaoks saavad sellised ressursid veidi enne täieliku teabe laadimist ebaõnnestuda. Reklaamiettevõtted saavad CDN-i eeliseid kasutada nende probleemide lahendamiseks.

Müügid

Elektroniline kaubandus vajab pidevat geograafilise katvuse laiendamist. Veel üks oluline aspekt on võitlus konkurentidega, keda igas turusegmendis on külluses. Kui veebisait ei vasta kasutaja vajadustele (sealhulgas kui see laadib liiga kaua), ei saa see populaarseks ja ei suuda tagada kõrget konversiooni. CDN-i rakendamine peaks näitama oma eeliseid andmete päringute töötlemisel erinevatest kohtadest. Samuti aitab liikluse jaotamine ennetada selle piike ja sellele järgnenud serveri tõrkeid.

Meelelahutuslikud platvormid

Siia sobivad kõikvõimalikud meelelahutuslikud platvormid alates filmide ja mängude allalaadimisest kuni voogedastatav video ehk streamingini. Kuigi tehnoloogia töötab staatiliste andmetega, saavad voogedastatud andmed kiiresti kasutajani jõuda edastajate kaudu. Taaskord on CDN-i info vahemälu suur abi suurte portaalide omanikest – meediahoidlatest.

Veebimängud

Internetimänge tuleb käsitleda eraldi punktina. Kui reklaam vajab suuri ribalaiusi, on veebiprojektid veelgi nõudlikumad ressursside osas. Teenusepakkujatel on probleem, millel on kaks poolt: juurdepääsu kiirus serveritele ja kõrge mängu soorituse tagamine kauni graafikaga. CDN veebimängude jaoks on võimalus omada nn „push-tsoone”, kus arendajad saavad hoida mänge serverites, mis on kasutajatele lähedal. See vähendab algserveri juurdepääsu kiirusest tulenevat mõju, tagades seega mugava mängukogemuse kõikjal.

Miks CDN ei ole imerohi

Kuigi sellel on ilmsed eelised, ei püüa kõik ja alati tehnoloogiat oma ärisse rakendada. Miks see nii on? Paradoxaalselt tulenevad mõned puudused eeliste kaudu ning lisandub veel paar punkti, mis on seotud võrgu juurutamisega. Turundajad räägivad ilusasti tehnoloogia kõigist eelistest, unustades mainida, et need kaotavad oma mõtte ulatuslike tingimuste korral. Kui vaadata CDN-i miinuseid lähemalt, tasub esile tuua:

Töö ainult staatiliste elementidega. Jah, enamikul kaasaegsetest veebilehtedest on madal dünaamilise sisu protsent. Kuid personaliseeritud lehtede puhul ei saa CDN midagi teha (kui mitte arvestada suurt liikluse mahalaadimist);
Vahemälu viivitus. Isegi optimeerimine on üks peamisi jaotatud võrkude eeliseid. Kuid muudatuste tegemisel algses serveris kulub aega, enne kui CDN selle kõikides oma serverites uuesti vahemällu salvestab;
Massiivne blokeerimine. Kui mingil põhjusel bloqueoib CDN-i IP-aadressi, suletakse kõik saidid, mis sellele toetuvad;
Enamasti loob brauser kaks ühendust (algse serveri ja CDN-iga). See tähendab täiendavaid millisekundeid ootamiseks;
IP-aadressiga projekti seondumine (sealhulgas mitteeksisteerivate), mis olid varem sellega seotud. Selle tulemusena saame keerulisema reitingu Google'i otsingubotidelt ja raskusi saidi tõstmisel SEO edendamisel;
CDN südamik – see on potentsiaalne rikke punkt. Kui neid kasutatakse, on oluline eelnevalt mõista, kuidas süsteemi marsruutimine toimib ja milliseid vigu võib veebisaidi töö käigus tekkida;
Lihtne, kuid sisuteenuste eest tuleb maksta. Peamiselt on kulud proportsionaalsed liikluse mahuga, seega võib osutuda vajalikuks eelarve planeerimiseks kontroll;

Oluline fakt: isegi CDN-i lähedus kasutajale ei taga madalat pingi. Marsruudi loomine võib toimuda kliendist hostini, mis asub teises riigis või isegi teisel kontinendil. See sõltub konkreetse võrgu marsruudi poliitikast ja selle suhetest sideoperaatoreitega (peering). Paljud suured CDN-i pakkujad pakuvad mitmeid tariife, kus hind mõjutab otseselt kohaloleku punkti lähedust sisu edastamisel sihtkasutajatele.

On võimalusi – käivita oma CDN

Ei meeldi sisuvõrguteenuste pakkujate poliitika, kuid äri vajab laienemist? Kui on võimalusi, siis miks mitte proovida oma CDN-i käivitada. See on mõistlik järgmistes olukordades:

Praegused kulud sisu levitamiseks ei vasta ootustele ja pole majanduslikult põhjendatud;
Vajalik pidev vahemälu, ilma teiste veebisaitide kõrvalolekuta serveris ja kanalil;
Sihtauditoorium asub piirkonnas, kus pole teie CDN-ile kergesti kättesaadavaid kohalolekukohti;
Vajadus kohandada seadistusi sisu edastamisel;
Vajadus kiirendada dünaamilise sisu edastamist;
Kahtlused kasutajate privaatsuse rikkumise ja teiste kolmandate osapoolte teenuste seadusevastaste tegevuste suhtes.

CDN käivitamine nõuab domeeninime, mitmeid servereid erinevates piirkondades (virtuaalsed või pühendatud) ja päringute töötlemise tööriista. Ärge unustage SSL-sertifikaatide installimist, staatilise sisu edastamise programmide seadistamist ja redigeerimist (Nginx või Apache) ning kogu süsteemi tõhusat jälgimist.

Õige vahemällu salvestavate vaheprokside seadistamine on eraldi artikli teema, seega ei käsitle me siin, kus ja milliseid parameetreid õigesti seada. Arvestades algkulusid ja aega võrgu juurutamiseks, võib valmislahenduste kasutamine osutuda perspektiivikamaks. Kuid tuleb juhinduda praegusest olukorrast ja kavandada mitu sammu ette.

Mida lõpuks saavutada

CDN on täiendavate ressursside kogum teie liikluse edastamiseks laiemale publikule. Kas neid on interneti äri jaoks vaja? Jah ja ei, sõltub sellest, millisele sihtgrupile sisu suunatakse ja milliseid eesmärke äri omanik jälgib.

Regioonilised ja kitsalt spetsialiseeritud projektid saavad CDN-i rakendamisest rohkem miinuseid kui plusse. Päringud suunatakse siiski esmalt algserverisse, kuid nüüd juba vahendaja kaudu. Seega kahtlane vähendamine latentsuses, kuid kindlad igakuised kulud teenuse kasutamiseks. Hea võrguvarustuse olemasolul on võimalik rahulikult täiustada olemasolevaid infokaitse algoritme, paigutada oma serverid lähemale kasutajatele ning saada optimeerimisi ja kasumit tasuta ja pidevalt.

Kelle tõeliselt tasub mõelda vahenduss serveritele, on suured ettevõtted, mille infrastruktuur ei suuda toime tulla pidevalt kasvava liiklusega. CDN näitab end suurepäraselt tehnoloogiana, mis võimaldab kiiresti kehtestada võrgu laias geograafias, tagades mugava pilve mängimise või kaupade müümise suurel kaubandusplatvormil.

Kuid isegi juhul, kui publik on lai, on oluline eelnevalt aru saada, milleks täpselt on vajalikud sisu levitamise võrgud. Veebisaidi kiirus on endiselt keeruline ülesanne, mis ei lahene maagiliselt CDN-i rakendamisega. Ei tohi unustada ka selliseid olulisi funktsioone nagu: platvormidevaheline ühilduvus, kohandatavus, serveri osa, koodi ja renderdamise optimeerimine jne. Eelnev tehniline audit ja adekvaatsed meetmed probleemide kõrvaldamiseks on endiselt optimaalne lahendus mis tahes veebiprojekti jaoks, sõltumata selle suunast ja mahust.

Reklaami õigustes

Just praegu saate tellida võimsaid servereid, mis kasutavad uusimaid protsessoreid AMD Epyc. Paindlikud hinnaplaanid – alates 1 CPU tuumast kuni hullumeelse 128 CPU tuumani, 512 GB RAM, 4000 GB NVMe.

Allikas: habr.com