Ścieżki treści są nieprzeniknione, powiedzmy słowo o CDN

Zrzeczenie się:
Artykuł ten nie zawiera informacji nieznanych wcześniej czytelnikom zaznajomionym z koncepcją CDN, lecz ma charakter przeglądu technologii

Pierwsza strona internetowa pojawiła się w 1990 roku i miała zaledwie kilka bajtów. Od tego czasu treść uległa zmianie zarówno pod względem jakościowym, jak i ilościowym. Rozwój ekosystemu IT doprowadził do tego, że współczesne strony internetowe mierzone są w megabajtach, a tendencja do zwiększania przepustowości sieci z roku na rok tylko się nasila. W jaki sposób dostawcy treści mogą działać na dużą skalę geograficzną i zapewniać użytkownikom na całym świecie szybki dostęp do informacji? Sieci dostarczania i dystrybucji treści, zwane także siecią dostarczania treści lub po prostu CDN, muszą sprostać tym zadaniom.

W Internecie pojawia się coraz więcej „ciężkich” treści. Jednocześnie liczne badania pokazują, że użytkownicy nie chcą mieć do czynienia z serwisami internetowymi, jeśli ładują się dłużej niż 4-5 sekund. Zbyt niska prędkość ładowania witryny obarczona jest utratą odbiorców, co z pewnością doprowadzi do zmniejszenia ruchu, konwersji, a tym samym zysku. Sieci dostarczania treści (CDN) teoretycznie eliminują te problemy i ich konsekwencje. Ale w rzeczywistości, jak zwykle, o wszystkim decydują szczegóły i niuanse konkretnego przypadku, których w tej dziedzinie jest mnóstwo.

Skąd wziął się pomysł sieci rozproszonych?

Zacznijmy od krótkiej wycieczki do historii i definicji pojęć. CDN to sieć grupy serwerów zlokalizowanych w różnych lokalizacjach, zapewniająca dostęp do treści internetowych obejmujących dużą liczbę użytkowników. Ideą sieci rozproszonych jest posiadanie kilku punktów obecności (PoP) jednocześnie, które znajdują się poza serwerem źródłowym. Taki system szybciej przetworzy szereg przychodzących żądań, zwiększając szybkość reakcji i przesyłania dowolnych danych.

Problem z dostarczaniem treści użytkownikom pojawił się dotkliwie w szczytowym okresie rozwoju Internetu, tj. w połowie lat 90-tych. Ówczesne serwery, których wydajność nie sięgała nawet nowoczesnych flagowych laptopów, z trudem wytrzymywały obciążenie i nie radziły sobie z ciągle rosnącym ruchem. Microsoft wydawał setki milionów dolarów rocznie na badania związane z autostradą informacyjną (od razu na myśl przychodzi słynne 640 KB autorstwa Billa Gatesa). Aby rozwiązać te problemy, musieliśmy zastosować hierarchiczne buforowanie, przejść z modemów na światłowody i szczegółowo przeanalizować topologię sieci. Sytuacja przypominała starą lokomotywę, która pędzi po szynach i po drodze jest modernizowana wszelkimi możliwymi środkami w celu zwiększenia prędkości.

Już pod koniec lat 90. właściciele portali internetowych zdali sobie sprawę, że aby zmniejszyć obciążenie i zapewnić wymagane żądania, muszą korzystać z serwerów pośredniczących. Tak pojawiły się pierwsze sieci CDN, dystrybuujące treści statyczne z różnych serwerów rozproszonych geograficznie po całym świecie. Mniej więcej w tym samym czasie pojawił się biznes oparty na sieciach rozproszonych. Największy (przynajmniej jeden z największych) dostawca CDN na świecie, firma Akamai, stała się pionierem w tym obszarze rozpoczynając swoją podróż w 1998 roku. Kilka lat później CDN stał się powszechny, a przychody z dostarczania treści i wkładu sięgały dziesiątek milionów dolarów miesięcznie.

Dzisiaj natrafiamy na CDN za każdym razem, gdy odwiedzamy stronę komercyjną o dużym natężeniu ruchu lub komunikujemy się w sieciach społecznościowych. Usługę świadczą: Amazon, Cloudflare, Akamai, a także wielu innych dostawców międzynarodowych. Co więcej, duże firmy mają tendencję do korzystania z własnych sieci CDN, co zapewnia im szereg korzyści w zakresie szybkości i jakości dostarczania treści. Gdyby Facebook nie posiadał sieci rozproszonych, a zadowalał się jedynie serwerem pochodzenia zlokalizowanym w Stanach Zjednoczonych, ładowanie profili użytkowników z Europy Wschodniej mogłoby trwać znacznie dłużej.

Kilka słów o CDN i streamingu

FutureSource Consulting przeanalizowało branżę muzyczną i stwierdziło, że w 2023 roku liczba subskrypcji serwisów streamingowych muzyki sięgnie prawie pół miliarda osób. Co więcej, ponad 90% swoich przychodów usługi będą czerpać ze strumieniowego przesyłania dźwięku. Podobnie jest z wideo – określenia takie jak „zagrajmy”, koncert online i kino online na dobre zadomowiły się już w popularnym leksykonie. Apple, Google, YouTube i wiele innych firm ma własne usługi przesyłania strumieniowego.

Na początku CDN był używany głównie w przypadku witryn o zawartości statycznej. Statyczne to informacje, które nie zmieniają się w zależności od działań użytkownika, czasu i innych czynników, tj. nie jest spersonalizowany. Jednak rozwój usług przesyłania strumieniowego wideo i audio dodał kolejny powszechny przypadek użycia w sieciach rozproszonych. Serwery pośredniczące, zlokalizowane blisko odbiorców docelowych na całym świecie, pozwalają zapewnić stabilny dostęp do treści w okresach szczytowego obciążenia, eliminując brak wąskich gardeł w Internecie.

Jak to działa

Istota wszystkich sieci CDN jest w przybliżeniu taka sama: korzystaj z pośredników, aby móc szybciej dostarczać treści konsumentowi końcowemu. Działa to w następujący sposób: użytkownik wysyła żądanie pobrania pliku, odbiera je serwer CDN, który wykonuje jednorazowe połączenie z oryginalnym serwerem i przekazuje treść użytkownikowi. Równolegle CDN buforuje pliki przez określony czas i przetwarza wszystkie kolejne żądania z własnej pamięci podręcznej. Opcjonalnie mogą także wstępnie ładować pliki z serwera źródłowego, dostosowywać okres przechowywania pamięci podręcznej, kompresować duże pliki i wiele więcej. W najbardziej idealnej sytuacji host przekazuje cały strumień do węzła CDN, który wykorzystuje już własne zasoby do dostarczania treści użytkownikom. Jest rzeczą oczywistą, że skuteczne buforowanie informacji, a także dystrybucja żądań nie do jednego serwera, ale do sieci, doprowadzi do bardziej zrównoważonego obciążenia ruchem.

Drugą ważną cechą działania CDN jest redukcja opóźnień w transmisji danych (tzw. RTT – round trip time). Nawiązanie połączenia TCP, pobranie treści multimedialnych, pliku JS, rozpoczęcie sesji TLS, wszystko to zależy od polecenia ping. Oczywiście im bliżej jesteś źródła, tym szybciej możesz uzyskać od niego odpowiedź. Przecież nawet prędkość światła ma swoją granicę: około 200 tys. km/s w światłowodzie. Oznacza to, że z Moskwy do Waszyngtonu opóźnienie wyniesie około 75 ms w RTT i to bez wpływu sprzętu pośredniego.

Aby lepiej zrozumieć, jakie problemy rozwiązują sieci dystrybucji treści, poniżej znajduje się lista aktualnych rozwiązań:

• Google, Yandex, MaxCDN (korzystaj z bezpłatnych CDN do dystrybucji bibliotek JS, posiadaj ponad 90 punktów obecności w większości krajów świata);
• Cloudinary, Cloudimage, Google (usługi i biblioteki optymalizacji klienta: obrazy, filmy, czcionki itp.);
• Jetpack, Incapsula, Swarmify itp. (optymalizacja zasobów w systemach zarządzania treścią: bitrix, wordpress itp.);
• CDNVideo, StackPath, NGENIX, Megafon (CDN do dystrybucji treści statycznych, używany jako sieci ogólnego przeznaczenia);
• Imperva, Cloudflare (rozwiązania przyspieszające ładowanie strony internetowej).

Pierwsze 3 typy CDN z listy przeznaczone są do przesyłania tylko części ruchu z głównego serwera. Pozostałe 2 służą jako pełnoprawne serwery proxy z pełną transmisją kanałów z hosta źródłowego.

Komu i jakie korzyści daje ta technologia?

Teoretycznie każda witryna sprzedająca swoje produkty/usługi klientom korporacyjnym lub indywidualnym (B2B lub B2C) może odnieść korzyści z wdrożenia CDN. Ważne jest, aby była to jego grupa docelowa, tj. baza użytkowników znajdowała się poza ich lokalizacją geograficzną. Ale nawet jeśli tak nie jest, sieci dystrybucyjne pomogą w równoważeniu obciążenia w przypadku dużych ilości treści.

Nie jest tajemnicą, że kilka tysięcy wątków wystarczy, aby zapchać kanał serwera. Dlatego rozpowszechnianie transmisji wideo wśród ogółu społeczeństwa nieuchronnie doprowadzi do powstania wąskiego gardła – przepustowości kanału internetowego. To samo widzimy, gdy na stronie internetowej znajduje się wiele małych, niepołączonych obrazów (np. podglądy produktów). Serwer pochodzenia używa jednego połączenia TCP podczas przetwarzania dowolnej liczby żądań, które ustawiają pobieranie w kolejce. Dodanie sieci CDN powoduje konieczność dystrybucji żądań w wielu domenach i korzystania z wielu połączeń TCP, odciążając w ten sposób obciążenie kanału. A formuła opóźnienia w obie strony, nawet w najsmutniejszych scenariuszach, daje wartość 6-7 RRT i przyjmuje postać: TCP+TLS+DNS. Obejmuje to również opóźnienia związane z aktywacją kanału radiowego w urządzeniu i przesyłaniem sygnału do masztów telefonii komórkowej.

Podsumowując mocne strony technologii w biznesie internetowym, eksperci podkreślają następujące punkty:

1. Szybkie skalowanie infrastruktury + zmniejszona przepustowość. Więcej serwerów = więcej punktów, w których przechowywane są informacje. W rezultacie jeden punkt przetwarza mniej ruchu w jednostce czasu, co oznacza, że ​​może mieć mniejszą przepustowość. Dodatkowo w grę wchodzą narzędzia optymalizacyjne, które pozwalają poradzić sobie ze szczytowymi obciążeniami bez straty czasu.
2. Niższy ping. Wspominaliśmy już, że ludzie nie lubią długo czekać w Internecie. Dlatego wysoki ping przyczynia się do wysokiego współczynnika odrzuceń. Opóźnienie może być spowodowane problemami z przetwarzaniem danych na serwerze, wykorzystaniem przestarzałego sprzętu lub po prostu źle przemyślaną topologią sieci. Większość tych problemów jest częściowo rozwiązywana przez sieci dystrybucji treści. Chociaż warto tutaj zaznaczyć, że realna korzyść z wdrożenia technologii będzie widoczna dopiero wtedy, gdy „ping konsumencki” przekroczy 80-90 ms, a jest to odległość z Moskwy do Nowego Jorku.

   

3. Ochrona danych. Celem ataków DDos (Denial of Service) jest zawieszenie serwera w celu uzyskania korzyści. Jeden serwer jest znacznie bardziej podatny na luki w bezpieczeństwie informacji niż sieć rozproszona (instalacja infrastruktury takiego giganta jak CloudFlare nie jest zadaniem łatwym). Dzięki zastosowaniu filtrów i odpowiedniej dystrybucji żądań w sieci można łatwo zapobiec sztucznie kreowanym utrudnieniom w dostępie do legalnego ruchu.
4. Szybka dystrybucja treści i dodatkowe funkcje serwisowe. Rozpowszechnienie dużej ilości informacji w sieci serwerowej umożliwi szybkie dotarcie z ofertą do konsumenta końcowego. Powtórzę: nie musisz daleko szukać przykładów – pamiętaj tylko o Amazonie i AliExpress.
5. Możliwość „maskowania” problemów ze stroną główną. Nie ma potrzeby czekać, aż DNS zostanie zaktualizowany, możesz przenieść go do nowej lokalizacji i rozpowszechniać wcześniej zbuforowaną zawartość. To z kolei może poprawić odporność na błędy.

Ustaliliśmy zalety. Przyjrzyjmy się teraz, które nisze na tym korzystają.

Biznes reklamowy

Reklama jest motorem postępu. Aby zapobiec spaleniu silnika, należy go umiarkowanie obciążyć. Branża reklamowa, próbując sprostać współczesnemu cyfrowemu światu, staje więc przed problemami „ciężkich treści”. Ciężkie media to reklama multimedialna (głównie animowane banery i filmy), która wymaga dużej przepustowości sieci. Strona z multimediami ładuje się długo i może się zawiesić, wystawiając na próbę wytrzymałość nerwów użytkowników. Większość ludzi porzuca takie zasoby jeszcze przed pobraniem wszystkich dostępnych informacji. Firmy reklamowe mogą wykorzystać sieci CDN do rozwiązania tych problemów.

sprzedaż

Handel elektroniczny musi stale poszerzać swój zasięg geograficzny. Kolejnym ważnym punktem jest walka z konkurencją, której jest mnóstwo w każdym segmencie rynku. Jeśli witryna nie będzie spełniać wymagań użytkowników (w tym długo się wczytuje), nie będzie popularna i nie będzie w stanie generować stale wysokich konwersji. Wdrożenie CDN powinno udowodnić swoją przewagę w obsłudze żądań danych z różnych lokalizacji. Dystrybucja ruchu pomoże także zapobiec skokom ruchu i późniejszym awariom serwerów.

Platformy z treściami rozrywkowymi

Odpowiednie są tutaj wszelkiego rodzaju platformy rozrywkowe, od pobierania filmów i gier po strumieniowe przesyłanie filmów. Pomimo tego, że technologia działa na danych statycznych, dane przesyłane strumieniowo mogą szybciej docierać do użytkownika za pośrednictwem wzmacniaków. Ponownie buforowanie informacji CDN to zbawienie dla właścicieli dużych portali - przechowywanie multimediów.

Gry online

Gry internetowe należy umieścić w osobnym dziale. Jeśli reklama wymaga dużej przepustowości, projekty online wymagają jeszcze więcej zasobów. Dostawcy stoją przed problemem, który ma dwie strony: szybkość dostępu do serwerów + zapewnienie wysokiej wydajności w grach z piękną grafiką. CDN dla gier online to szansa na utworzenie tzw. „stref push”, w których programiści mogą przechowywać gry na serwerach znajdujących się blisko użytkowników. Pozwala to zmniejszyć wpływ szybkości dostępu do oryginalnego serwera, a tym samym zapewnić wygodną rozgrywkę w każdym miejscu.

Dlaczego CDN nie jest panaceum

Pomimo oczywistych zalet, nie każdy i nie zawsze stara się wprowadzać technologię do swojego biznesu. Dlaczego? Paradoksalnie z zalet wynikają pewne wady, a do tego dochodzi jeszcze kilka punktów związanych z rozmieszczeniem sieci. Marketerzy będą pięknie opowiadać o wszystkich zaletach technologii, zapominając o tym, że w szerokim zakresie warunków wszystkie one tracą znaczenie. Jeśli przyjrzymy się bliżej wadom CDN, warto podkreślić:

• Pracuj tylko ze statyką. Tak, większość nowoczesnych witryn internetowych ma niski procent treści dynamicznych. Jednak tam, gdzie strony są spersonalizowane, CDN nie będzie w stanie pomóc (być może z wyjątkiem rozładowania dużej ilości ruchu);
• Opóźnienie buforowania. Sama optymalizacja jest jedną z głównych zalet sieci dystrybucyjnych. Kiedy jednak dokonasz zmiany na serwerze źródłowym, potrzeba czasu, zanim CDN ponownie zapisze ją na wszystkich swoich serwerach;
• Blokady masowe. Jeśli z jakiegoś powodu adres IP sieci CDN zostanie zablokowany, wówczas wszystkie hostowane na niej witryny zostaną zamknięte;
• W większości przypadków przeglądarka nawiąże dwa połączenia (z serwerem pochodzenia i CDN). A to dodatkowe milisekundy oczekiwania;
• Powiązanie z adresem IP projektów (w tym nieistniejących), które zostały do ​​niego wcześniej przypisane. W rezultacie otrzymujemy skomplikowane rankingi od botów wyszukiwarki Google i trudności z wyniesieniem witryny na sam szczyt podczas promocji SEO;
• Węzeł CDN jest potencjalnym punktem awarii. Jeśli z nich korzystasz, ważne jest, aby z wyprzedzeniem zrozumieć, jak działa routing systemu i jakie błędy mogą wystąpić podczas pracy z witryną;
• To banalne, ale za usługi dostarczania treści trzeba płacić. Ogólnie rzecz biorąc, koszty są proporcjonalne do wielkości ruchu, co oznacza, że ​​w celu zaplanowania budżetu mogą być wymagane kontrole.

Ważny fakt: nawet bliskość CDN do użytkownika nie gwarantuje niskiego pingu. Trasę można zbudować od klienta do hosta zlokalizowanego w innym kraju lub nawet na innym kontynencie. Zależy to od polityki routingu danej sieci i jej relacji z operatorami telekomunikacyjnymi (peering). Wielu dużych dostawców CDN ma wiele planów, w których koszt bezpośrednio wpływa na bliskość punktu obecności podczas dostarczania treści do docelowych użytkowników.

Są możliwości - uruchom własny CDN

Nie podoba Ci się polityka firm świadczących usługi sieciowe dystrybucji treści, a Twój biznes potrzebuje rozwoju? Jeśli to możliwe, spróbuj uruchomić własny CDN. Ma to sens w następujących przypadkach:

• Obecne koszty dystrybucji treści nie spełniają oczekiwań i nie mają uzasadnienia ekonomicznego;
• Potrzebujemy stałej pamięci podręcznej, bez bliskości innych witryn na serwerze i kanale;
• Docelowi odbiorcy znajdują się w regionie, w którym nie ma dostępnych punktów obecności CDN;
• Konieczność personalizacji ustawień podczas dostarczania treści;
• Istnieje potrzeba przyspieszenia dostarczania treści dynamicznych;
• Podejrzenia naruszenia prywatności użytkowników i inne nielegalne działania ze strony usług stron trzecich.

Uruchomienie CDN będzie wymagało posiadania nazwy domeny, kilku serwerów w różnych regionach (wirtualnych lub dedykowanych) oraz narzędzia do przetwarzania żądań. Nie zapomnij o instalacji certyfikatów SLL, konfiguracji i edycji programów do obsługi treści statycznych (Nginx lub Apache) oraz efektywnym monitorowaniu całego systemu.

Prawidłowa konfiguracja serwerów proxy buforujących jest tematem osobnego artykułu, dlatego nie będziemy tutaj szczegółowo opisywać: gdzie i jaki parametr ustawić poprawnie. Biorąc pod uwagę koszty uruchomienia i czas wdrożenia sieci, bardziej obiecujące może być skorzystanie z gotowych rozwiązań. Trzeba jednak kierować się obecną sytuacją i planować kilka kroków do przodu.

Z tym, że

CDN to zestaw dodatkowych możliwości przekazywania ruchu masom. Czy są potrzebne w biznesie internetowym? Tak i nie, wszystko zależy od tego, dla jakich odbiorców przeznaczony jest dany treści i jakie cele realizuje właściciel firmy.

Projekty regionalne i wysokospecjalistyczne będą miały więcej wad niż korzyści z wdrożenia CDN. Żądania nadal będą najpierw kierowane do serwera źródłowego, ale przez pośrednika. Stąd wątpliwy spadek pingu, ale dość wyraźne miesięczne koszty korzystania z usługi. Jeśli posiadasz dobry sprzęt sieciowy, możesz łatwo ulepszyć istniejące algorytmy bezpieczeństwa informacji, umieścić swoje serwery bliżej użytkowników i na bieżąco otrzymywać optymalizacje i zyski za darmo.

Ale kto tak naprawdę powinien myśleć o serwerach pośredniczących, to duże firmy, których infrastruktura nie jest w stanie poradzić sobie ze stale rosnącym przepływem ruchu. CDN doskonale sprawdza się jako technologia, która pozwala szybko wdrożyć sieć dla szerokiego obszaru geograficznego użytkowników, zapewnić wygodne granie w chmurze czy sprzedawać towary na dużej platformie komercyjnej.

Jednak nawet w przypadku szerokiego grona odbiorców geograficznych ważne jest, aby z wyprzedzeniem zrozumieć, dlaczego potrzebne są sieci dystrybucji treści. Przyspieszenie witryny internetowej nadal pozostaje złożonym zadaniem, którego nie da się w magiczny sposób rozwiązać poprzez wdrożenie CDN. Nie zapomnij o tak ważnych funkcjach jak: wieloplatformowość, możliwość adaptacji, optymalizacja części serwerowej, kodu, renderowania itp. Wstępny audyt techniczny i odpowiednie działania mające na celu wyeliminowanie problemów są nadal optymalnym rozwiązaniem dla każdego projektu online, niezależnie od jego ostrości i skali.

O prawach reklamy

Możesz zamówić już teraz potężne serwerykorzystające z najnowszych procesorów AMD Epyc. Elastyczne plany - od 1 rdzenia procesora do niesamowitych 128 rdzeni procesora, 512 GB RAM, 4000 GB NVMe.

Źródło: www.habr.com