Innehållets vägar är ofattbara eller om CDN säger jag ett ord

Disclaimer:
Den här artikeln innehåller inga nyheter som är okända för läsare som är bekanta med begreppet CDN, utan fungerar som en översikt av teknologin.

Den första webbsidan dök upp 1990 och hade en storlek på några få byte. Sedan dess har innehållet skalats både kvalitativt och kvantitativt. Utvecklingen av IT-ekosystemet har lett till att moderna webbsidor mäts i megabytes, och trenden att öka nätverkets bandbredd förstärks varje år. Hur kan innehållsleverantörer nå stora geografiska områden och säkerställa att användarna överallt har hög hastighet för åtkomst till information? Det är dessa utmaningar som innehållsleverans- och distributionsnätverk, även kallade Content Delivery Networks eller helt enkelt CDN, måste hantera.

Det finns allt mer „tungt” innehåll på internet. Också många studier visar att användarna inte vill ha att göra med webbtjänster som tar längre än 4-5 sekunder på sig att ladda. För låg laddningstid på en webbplats kan leda till förlorad publik, vilket i sin tur medför minskad trafik, konvertering och därmed intäkter. Innehållsleveransnätverk (CDN) kan, i teorin, lösa dessa problem och deras konsekvenser. Men i praktiken handlar det ofta om detaljer och nyanser i varje specifik situation, vilket det finns gott om inom detta område.

Varifrån kom idén om distribuerade nätverk?

Låt oss börja med en kort historisk tillbakablick och definition av termer. CDN är ett nätverk av en grupp servrar belägna på olika platser för att tillhandahålla åtkomst till internetinnehåll med omfattande täckning för användarna. Idén om distribuerade nätverk innebär att det finns flera punkter för närvaro (PoP) som ligger utanför den ursprungliga servern. Ett sådant system kan snabbare bearbeta den stora mängd inkommande förfrågningar, vilket ökar responsen och hastigheten för överföring av data.

Problemet med att leverera innehåll till användare blev akut i slutet av 90-talet, när internet var i sin ungdom. De dåvarande servrarna, vars prestanda knappt matchade dagens toppmoderna bärbara datorer, kämpade för att klara belastningen och kunde inte hantera det ständigt växande trafikflödet. Microsoft spenderade årligen hundratals miljoner dollar på forskning relaterad till informationsmagistralen (man kan inte låta bli att tänka på de berömda 640 KB från Bill Gates). På vägen mot att lösa dessa problem var man tvungen att använda hierarkisk caching, övergå från modem till fiberoptik och noggrant analysera nätverkens topologi. Situationen påminde om ett gammalt lok som rusar fram på spåren och moderniseras med alla tillgängliga medel för att öka hastigheten.

Redan i slutet av 90-talet insåg ägarna av webbsidor att de för att minska belastningen och uppfylla de krav som ställdes behövde använda mellanservrar. Så kom de första CDN:erna till, som delade ut statiskt innehåll från olika servrar spridda över hela världen. Ungefär samtidigt började även affärer baserade på distribuerade nätverk att dyka upp. Den största (åtminstone en av de största) CDN-leverantören i världen, företaget Akamai, blev en pionjär inom detta område och började sin verksamhet 1998. Några år senare blev CDN allmänt förekommande och intäkterna från leverans och distribuering av innehåll uppgick till tiotals miljoner dollar varje månad.

I dag stöter vi på CDN varje gång vi besöker en handelssida med hög trafik eller interagerar på sociala medier. Tjänsten erbjuds av: Amazon, Cloudflare, Akamai och många andra multinationella leverantörer. Stora företag strävar dessutom efter att använda egna CDN, vilket ger dem flera fördelar när det kommer till hastighet och kvalitet på innehållsleveransen. Om Facebook inte hade haft distribuerade nätverk och istället nöjt sig med bara en ursprungsserver belägen i USA, skulle inladdningen av profiler för användare i östra Europa ta betydligt längre tid.

Ett par ord om CDN och streaming

FutureSource Consulting har genomfört en analys av musikindustrin och dragit slutsatsen att antalet abonnemang på musiktjänster kommer att nå nästan en halv miljard personer under 2023. Dessutom kommer mer än 90% av intäkterna att genereras från ljudströmning. Situationen är liknande för video, där sådana termer som: låtspelsvideo, onlinekonsert och onlinebiograf redan har etablerat sig i folklexikonet. Apple, Google, YouTube och många andra företag har sina egna strömningstjänster.

I ett tidigt skede användes CDN främst för webbplatser med statiskt innehåll. Statisk information är det som inte ändras beroende på användarens handlingar, tid och andra faktorer, dvs. inte är personaliserad. Men utvecklingen av strömningstjänster för video och ljud har lagt till ännu ett vanligt användningsområde för distribuerade nätverk. Mellanservrar, som ligger nära den målgrupp världen över, möjliggör stabil tillgång till innehållet under perioder med hög belastning, vilket utesluter bristen på internet "flaskhalsar".

Hur det fungerar

Allt CDN:s kärna är i stort sett densamma: att använda mellanhänder för att snabbare kunna leverera innehåll till slutkonsumenten. Det fungerar så här: användaren skickar en begäran om att ladda ner en fil, denna begäran tas emot av CDN-servern, som en gång kontaktar den ursprungliga servern och ger användaren innehållet. Parallellt med detta cachar CDN filerna under en viss tidsperiod och alla efterföljande begärningar hanteras från sin egen cache. Valfritt kan de också förladda filer från den ursprungliga servern, ställa in cachelagringstiden, komprimera stora filer och mycket mer. I den mest ideala situationen överför värden hela flödet till CDN-noden, som sedan använder sina egna resurser för att leverera innehåll till användarna. Självklart kommer effektiv cachning av information och fördelning av begärningar inte på en server utan på ett nätverk att leda till en mer balanserad trafikbelastning.

Den andra viktiga egenskapen hos CDN:s arbete är att minska förseningar vid datatransfer (även kallad RTT – round trip time). Etablering av TCP-anslutning, nedladdning av medieinnehåll, JS-filer, start av TLS-sessioner, allt detta beror på ping-tiden. Det är uppenbart att ju närmare du är källan, desto snabbare kan du få svar. Även ljusets hastighet har sina begränsningar: cirka 200 000 km/s via fiberoptik. Detta innebär att fördröjningen från Moskva till Washington kommer att vara cirka 75 ms i RTT, och detta utan påverkan från mellanliggande utrustning.

För att bättre förstå vilka uppgifter innehållsdistributionsnätverk löser, kommer här en lista över aktuella lösningar idag:

• Google, Yandex, MaxCDN (använder gratis CDN för att distribuera JS-bibliotek, har över 90 närvaro punkter i de flesta länder i världen);
• Cloudinary, Cloudimage, Google (tjänster och bibliotek för klientoptimering: bilder, videos, typsnitt etc.);
• Jetpack, Incapsula, Swarmify och så vidare (optimering av resurser i innehållshanteringssystem: Bitrix, WordPress osv.);
• CDNVideo, StackPath, NGENIX, MegaFon (CDN för distribution av statiskt innehåll, används som allmänna nätverk);
• Imperva, Cloudflare (lösningar för att snabba upp webbplatsladdning).

De första tre typerna av CDN i listan är avsedda för att överföra endast en del av trafiken från huvudservern. De återstående två används som fullfjädrade proxyservrar med fullständig överföring av dataportarna från den ursprungliga värden.

Vem och vilka fördelar ger tekniken

I teorin kan vilken webbplats som säljer sina produkter/tjänster till företagskunder eller privatpersoner (B2B eller B2C) dra nytta av att implementera ett CDN. Det är viktigt att deras målgrupp, det vill säga användarbasen, är belägen utanför deras geografiska plats. Men även om så inte är fallet, kommer innehållsdistributionsnätverk att hjälpa till med belastningsbalansering vid stora mängder innehåll.

Det är ingen hemlighet att det för att fylla serverkanalen räcker med ett par tusen flöden. Därför kommer spridning av videoströmning till massorna oundvikligen att leda till att det uppstår en flaskhals - bandbredden på internetkanalen. Detta märker vi också när en webbplats har många små, osammanhängande bilder (produkter, till exempel). Den ursprungliga servern använder en TCP-anslutning för att bearbeta vilket antal förfrågningar som helst, vilket ställer in lasten i kö. Att lägga till CDN innebär behovet av att sprida förfrågningar över flera domäner och använda flera TCP-anslutningar, vilket avlastar kanalen. Och formeln för cirkulär fördröjning, även vid de mest ogynnsamma förhållandena, ger ett värde av 6-7 RTT och får utseendet: TCP+TLS+DNS. Här ska man också rimligen inkludera fördröjningar relaterade till aktivering av radiokanalen på enheten och signalöverföring till mobilmaster.

Genom att sammanfatta styrkorna med teknologi för företag på nätet framhäver experterna följande punkter:

1. Snabb skalning av infrastrukturen + minskad bandbredd. Fler servrar = fler punkter där information lagras. Som ett resultat bearbetar en punkt mindre trafik per tidsenhet, vilket innebär att den kan ha lägre bandbredd. Dessutom träder optimeringsverktyg i kraft, vilket gör det möjligt att hantera toppbelastningar utan tidsförlust.
2. Mindre ping. Vi har redan nämnt att människor inte gillar att vänta länge på internet. Därför bidrar hög ping till höga avvisningsgrader. Fördröjningen kan orsakas av problem med databehandling på servern, användning av gammal utrustning eller helt enkelt en dåligt planerad nätverkstopologi. Många av dessa problem löses delvis av innehållsdistributionsnätverk. Även här är det viktigt att notera att den verkliga nyttan av att införa teknologin bara kommer att synas när "kundpingen" överstiger 80-90 ms, vilket är avståndet från Moskva till New York.

   

3. Datasäkerhet. DDoS-attacker (virtuella attacker av typen 'överbelastningsattack') syftar till att orsaka avbrott i serverns drift för att uppnå någon form av vinst. En enskild server är mycket mer utsatt för informationssäkerhetsrisker än ett distribuerat nätverk (att överlista en infrastruktur som CloudFlare är ingen lätt uppgift). Genom att använda filter och effektivt fördela förfrågningar över nätverket kan man utan problem förhindra konstgjorda komplikationer med tillgången till legitim trafik.
4. Snabb distribution av innehåll och ytterligare tjänstefunktioner. Att distribuera stora mängder information över ett servernätverk gör det möjligt att snabbare nå ut med erbjudandet till slutanvändaren. Det behövs inte gå långt för exempel – tänk bara på Amazon och AliExpress.
5. Möjlighet att 'maskera' problem med den primära webbplatsen. Det behövs inte vänta på att DNS ska uppdateras, man kan omdirigera den till en ny plats med distribution av tidigare cachat innehåll. Detta kan i sin tur förbättra redundansen.

Vi har gått igenom fördelarna. Låt oss nu titta på vilka nischer som kan dra nytta av detta.

Reklambranschen

Reklam är motorn i framsteg. Och för att motorn inte ska gå sönder måste den belastas i rimlig mängd. Så även reklambranschen, som försöker anpassa sig till den moderna digitala världen, stöter på problem med 'tungt innehåll'. Med tungt menas multimediadvertising (främst animerade banners och videoklipp) som kräver hög bandbredd. En webbplats med multimedia laddas länge och kan hänga sig, vilket testar användarnas tålamod. Många avstår från sådana resurser innan all information har laddats. Reklambyråer kan använda fördelarna med CDN för att lösa dessa problem.

Försäljning

E-handel behöver ständigt utvidga sin geografiska närvaro. En annan viktig aspekt är kampen mot konkurrenter, av vilka det finns gott om i varje marknadssegment. Om webbplatsen inte uppfyller användarens krav (inklusive lång laddningstid) kommer den inte att bli populär och kan inte generera stabilt höga konverteringar. Implementering av CDN bör visa sina fördelar när det gäller att hantera databasförfrågningar från olika platser. Dessutom kommer trafikfördelning att hjälpa till att förhindra toppar och de efterföljande serveravbrotten.

Plattformar med underhållningsinnehåll

Här passar alla typer av underhållningsplattformar, från nedladdning av filmer och spel till strömmande video. Även om teknologin fungerar med statisk information, kan strömmande data snabbare nå användaren via retransmittorer. Återigen är cachen av information i CDN en räddning för ägare av stora portaler – mediearkiv.

Onlinespel

Internetspel behöver lyftas till en separat punkt. Om reklam behöver stor bandbredd, så är onlinaprojekt ännu mer krävande på resurser. Leverantörer står inför ett problem med två sidor: hastighet till servrar + att säkerställa hög spelprestanda med vacker grafik. CDN för onlinespel är en möjlighet att ha så kallade "push-zoner", där utvecklare kan lagra spel på servrar belägna nära användarna. Detta minskar påverkan av hastigheten på åtkomst till den ursprungliga servern, vilket innebär att en bekväm spelupplevelse kan säkerställas överallt.

Varför CDN inte är en universallösning

Trots de uppenbara fördelarna är det inte alla som alltid strävar efter att implementera teknologin i sin verksamhet. Varför är det så? Paradoxalt nog följer vissa nackdelar av fördelarna, och dessutom tillkommer ytterligare några punkter relaterade till distributionen av nätverket. Marknadsförare kommer att tala vackert om alla fördelarna med teknologin, men glömmer att nämna att alla dessa fördelar förlorar sin betydelse under olika omständigheter. När man noggrant granskar nackdelarna med CDN bör man särskilja:

• Arbete som endast rör statisk media. Ja, de flesta moderna webbplatser har en låg andel dynamiskt innehåll. Men där sidor är personaliserade kan en CDN inte hjälpa till (även om den kan lätta på en stor del av trafiken);
• Cachefördröjning. Själv optimering är en av de största fördelarna med fördelningsnät. Men när ändringar görs på den ursprungliga servern tar det tid innan CDN kan cacha den på alla sina servrar;
• Massblockeringar. Om en CDN:s IP-adress blockeras av någon anledning, stängs alla webbplatser som är kopplade till den;
• I de flesta fall kommer webbläsaren att etablera två anslutningar (till den ursprungliga servern och CDN). Det ger extra millisekunder i väntan;
• Bindning till IP-adresser för projekt (inklusive de som inte längre existerar) som tidigare var kopplade till den. Resultatet blir en komplicerad rankning från Googles sökrobotar och svårigheter att få webbplatsen att nå topp i SEO-framsteg;
• En CDN-nod är en potentiell felpunkt. Om de används är det viktigt att förstå hur systemets routning fungerar i förväg och vilka fel som kan uppstå under arbetet med webbplatsen;
• Det kan tyckas enkelt, men man måste betala för tjänsterna för innehållsdistribution. Generellt är kostnaderna proportionella mot trafiken, vilket innebär att det kan krävas kontroll för att planera budgeten.

En viktig punkt: även om en CDN ligger nära användaren garanterar det inte låg latens. Routen kan gå från klienten till en värd som ligger i ett annat land eller till och med på en annan kontinent. Detta beror på den specifika nätets routningspolicy och dess relationer med teleoperatörer (peering). Många stora CDN-leverantörer har flera prissättningar, där kostnaden direkt påverkar närheten till närvaropunkten vid överföring av innehåll till målgruppen.

Om du har resurser kan du starta din egen CDN

Är du missnöjd med policyn för företag som tillhandahåller tjänster för innehållsdistributionsnät och behöver ditt företag expandera? Om det finns resurser, varför inte prova att starta en egen CDN? Detta är meningsfullt i följande fall:

• De aktuella kostnaderna för distributionsinnehåll motsvarar inte dina förväntningar och är inte ekonomiskt hållbara;
• Behöver en permanent cache, utan grannar med andra webbplatser på servern och kanalen;
• Den målgrupp som finns i en region där det inte finns några punkter för närvaro för tillgängliga CDN;
• Behovet av att anpassa inställningarna vid leverans av innehåll;
• Det krävs en snabbare leverans av dynamiskt innehåll;
• Misstankar om kränkning av användarnas sekretess och andra otillbörliga åtgärder från tredjepartstjänster.

Lansering av CDN kräver att du har ett domännamn, flera servrar i olika regioner (virtuella eller dedikerade) och ett verktyg för begärningshantering. Glöm inte installation av SLL-certifikat, konfigurering och redigering av program för leverans av statiskt innehåll (Nginx eller Apache), samt effektiv övervakning av hela systemet.

Korrekt konfiguration av cache-proxys är ämnet för en separat artikel, därför går vi inte in på detaljer här: var och vilken parameter som ska ställas in korrekt. Med tanke på startkostnader och tid för att implementera nätverket kan användningen av färdiga lösningar vara mer fördelaktigt. Men det är nödvändigt att vägledas av den rådande situationen och planera flera steg framåt.

Vad blev resultatet?

CDN är ett set av extra resurser för att vidarebefordra din trafik till en bred publik. Är de nödvändiga för företag på internet? Både ja och nej, det beror helt på vilken publik innehållet riktar sig till och vilka mål företagets ägare har.

Regionala och nischprojekt kommer att få fler nackdelar än fördelar av att implementera CDN. Förfrågningar kommer fortfarande att komma till den ursprungliga servern, men genom en mellanhand. Härifrån ifrågasätts den minskade latensen, men det följer tydliga månatliga kostnader för att använda tjänsten. Med bra nätverksutrustning kan man lugnt förbättra befintliga informationssäkerhetsalgoritmer, placera sina servrar närmare användarna och få optimeringar och vinster kostnadsfritt på en kontinuerlig basis.

Det är verkligen företag med stor infrastruktur som bör tänka på mellanservrar, då deras system inte klarar av den ständigt växande trafikmängden. CDN visar sig utmärkt som en teknik som möjliggör en snabb distribution av nätverk till en bred geografisk användarbas, vilket erbjuder bekväm molngaming eller försäljning av varor på stora kommersiella plattformar.

Men även med en bred geografisk publik är det viktigt att förstå i förväg vad innehållsdistributionsnätverk (CDN) konkret behövs till. Att snabba upp en webbplats förblir en komplex uppgift som inte magiskt löses genom att implementera CDN. Viktiga funktioner som plattformsoberoende, anpassningsförmåga, serveroptimering, kodoptimering, rendering, osv. får inte glömmas bort. En preliminär teknisk granskning och adekvata åtgärder för att avhjälpa problem är fortfarande den mest optimala lösningen för vilket onlineprojekt som helst, oavsett riktning och omfattning.

I reklamens namn

Just nu kan du beställa kraftfulla servrar, som använder de senaste processorerna AMD Epyc. Flexibla priser — från 1 CPU-kärna till galna 128 CPU-kärnor, 512 GB RAM, 4000 GB NVMe.

Källa: habr.com