As misteriosas formas de conteúdo ou digamos uma palavra sobre CDN

Isenção de responsabilidade:
Este artigo não contém informações até então desconhecidas dos leitores familiarizados com o conceito de CDN, mas tem a natureza de uma revisão de tecnologia

A primeira página da web apareceu em 1990 e tinha apenas alguns bytes de tamanho. Desde então, o conteúdo cresceu qualitativa e quantitativamente. O desenvolvimento do ecossistema de TI levou ao fato de que as páginas da web modernas são medidas em megabytes e a tendência de aumento da largura de banda da rede só se fortalece a cada ano. Como podem os fornecedores de conteúdos cobrir grandes escalas geográficas e fornecer aos utilizadores em todo o mundo acesso à informação em alta velocidade? As redes de entrega e distribuição de conteúdo, também conhecidas como Content Delivery Network ou simplesmente CDN, devem dar conta dessas tarefas.

Há cada vez mais conteúdo “pesado” na Internet. Ao mesmo tempo, vários estudos mostram que os usuários não querem lidar com serviços da web se eles demorarem mais de 4 a 5 segundos para carregar. Uma velocidade de carregamento do site muito baixa acarreta perda de audiência, o que certamente levará a uma diminuição no tráfego, na conversão e, portanto, no lucro. As redes de entrega de conteúdo (CDNs), em teoria, eliminam esses problemas e suas consequências. Mas na realidade, como sempre, tudo é decidido pelos detalhes e nuances de um caso particular, que abunda nesta área.

De onde veio a ideia das redes distribuídas?

Vamos começar com uma breve excursão pela história e definições de termos. CDN é uma rede de um grupo de máquinas servidoras localizadas em diferentes locais para fornecer acesso ao conteúdo da Internet cobrindo um grande número de usuários. A ideia das redes distribuídas é ter vários pontos de presença (PoP) ao mesmo tempo, que ficam localizados fora do servidor de origem. Esse sistema processará o conjunto de solicitações recebidas com mais rapidez, aumentando a resposta e a velocidade de transferência de quaisquer dados.

O problema com a entrega de conteúdo aos usuários surgiu de forma aguda no auge do desenvolvimento da Internet, ou seja, em meados dos anos 90. Os servidores da época, cujo desempenho não atingia nem mesmo os principais laptops modernos, dificilmente suportavam a carga e não conseguiam lidar com o tráfego cada vez maior. A Microsoft gastou centenas de milhões de dólares anualmente em pesquisas relacionadas à rodovia da informação (os famosos 640 KB de Bill Gates vêm imediatamente à mente). Para resolver esses problemas, tivemos que usar cache hierárquico, mudar de modems para fibra óptica e analisar detalhadamente a topologia da rede. A situação lembrava uma velha locomotiva, que corre ao longo dos trilhos e ao longo do caminho é modernizada por todos os meios possíveis para aumentar a velocidade.

Já no final da década de 90, os proprietários de portais perceberam que para reduzir a carga e atender as solicitações necessárias era necessário utilizar servidores intermediários. Foi assim que surgiram os primeiros CDNs, distribuindo conteúdo estático de diversos servidores espalhados geograficamente pelo mundo. Na mesma época, surgiu um negócio baseado em redes distribuídas. O maior (pelo menos um dos maiores) provedores de CDN do mundo, a Akamai, tornou-se pioneiro nesta área, iniciando sua jornada em 1998. Alguns anos depois, a CDN se difundiu e as receitas provenientes da entrega e contribuição de conteúdo chegaram a dezenas de milhões de dólares mensais.

Hoje nos deparamos com um CDN sempre que vamos a uma página comercial de alto tráfego ou nos comunicamos em redes sociais. O serviço é fornecido por: Amazon, Cloudflare, Akamai, bem como muitos outros fornecedores transnacionais. Além disso, grandes empresas tendem a utilizar CDNs próprios, o que lhes traz uma série de vantagens na velocidade e qualidade de entrega de conteúdo. Se o Facebook não tivesse redes distribuídas, mas se contentasse apenas com um servidor de origem localizado nos Estados Unidos, poderia demorar muito mais para carregar um perfil para usuários na Europa Oriental.

Algumas palavras sobre CDN e streaming

A FutureSource Consulting analisou a indústria musical e concluiu que em 2023 o número de assinaturas de serviços de streaming de música atingirá quase meio bilhão de pessoas. Além disso, os serviços receberão mais de 90% de sua receita proveniente de streaming de áudio. A situação com o vídeo é semelhante; termos como let’s play, concerto online e cinema online já se tornaram enraizados no léxico popular. Apple, Google, YouTube e muitas outras empresas têm seus próprios serviços de streaming.

Em sua introdução inicial, o CDN era usado principalmente para sites com conteúdo estático. Estática é informação que não muda dependendo das ações do usuário, tempo e outros fatores, ou seja, não é personalizado. Mas a ascensão dos serviços de streaming de vídeo e áudio adicionou outro caso de uso comum para redes distribuídas. Servidores intermediários, localizados próximos ao público-alvo em todo o mundo, permitem fornecer acesso estável ao conteúdo em períodos de pico de carga, eliminando a falta de gargalos na Internet.

Как это работает

A essência de todas as CDNs é aproximadamente a mesma: usar intermediários para poder entregar conteúdo ao consumidor final com mais rapidez. Funciona da seguinte forma: o usuário envia uma solicitação de download de um arquivo, ele é recebido pelo servidor CDN, que faz uma chamada única para o servidor original e entrega o conteúdo ao usuário. Paralelamente a isso, o CDN armazena arquivos em cache por um determinado período de tempo e processa todas as solicitações subsequentes de seu próprio cache. Opcionalmente, eles também podem pré-carregar arquivos do servidor de origem, ajustar o período de retenção do cache, compactar arquivos pesados ​​e muito mais. Na situação mais ideal, o host passa todo o fluxo para um nó CDN, que já está utilizando seus próprios recursos para entregar conteúdo aos usuários. Nem é preciso dizer que o armazenamento eficaz de informações em cache, bem como a distribuição de solicitações não para um servidor, mas para a rede, levará a uma carga de tráfego mais equilibrada.

A segunda característica importante da operação do CDN é a redução dos atrasos na transmissão de dados (também conhecido como RTT – round trip time). Estabelecer uma conexão TCP, baixar conteúdo de mídia, um arquivo JS, iniciar uma sessão TLS, tudo isso depende do ping. Obviamente, quanto mais próximo você estiver da fonte, mais rápido poderá obter uma resposta dela. Afinal, até a velocidade da luz tem limite: cerca de 200 mil km/s via fibra óptica. Isso significa que de Moscou a Washington o atraso será de cerca de 75 ms no RTT, e isso sem a influência de equipamentos intermediários.

Para entender melhor quais problemas as redes de distribuição de conteúdo resolvem, aqui está uma lista das soluções atuais:

• Google, Yandex, MaxCDN (usam CDNs gratuitos para distribuir bibliotecas JS, possuem mais de 90 pontos de presença na maioria dos países do mundo);
• Cloudinary, Cloudimage, Google (serviços de otimização de clientes e bibliotecas: imagens, vídeos, fontes, etc.);
• Jetpack, Incapsula, Swarmify, etc. (otimização de recursos em sistemas de gerenciamento de conteúdo: bitrix, wordpress, etc.);
• CDNVideo, StackPath, NGENIX, Megafon (CDN para distribuição de conteúdo estático, usado como redes de uso geral);
• Imperva, Cloudflare (soluções para agilizar o carregamento de sites).

Os primeiros 3 tipos de CDN da lista são projetados para transferir apenas parte do tráfego do servidor principal. Os 2 restantes são usados ​​​​como servidores proxy completos com transmissão completa de canais do host de origem.

Para quem e quais benefícios a tecnologia oferece?

Em teoria, qualquer site que venda seus produtos/serviços para clientes corporativos ou pessoas físicas (B2B ou B2C) pode se beneficiar com a implementação de um CDN. É importante que o seu público-alvo, ou seja, a base de usuários estava fora de sua localização geográfica. Mas mesmo que não seja esse o caso, as redes de distribuição ajudarão no balanceamento de carga para grandes volumes de conteúdo.

Não é nenhum segredo que alguns milhares de threads são suficientes para entupir um canal do servidor. Portanto, a distribuição de transmissões de vídeo ao público em geral levará inevitavelmente à formação de um gargalo - a largura de banda do canal da Internet. Vemos a mesma coisa quando há muitas imagens pequenas e sem costura em um site (visualizações de produtos, por exemplo). O servidor de origem usa uma conexão TCP ao processar qualquer número de solicitações, o que colocará o download na fila. Adicionar um CDN torna necessário distribuir solicitações entre vários domínios e usar múltiplas conexões TCP, aliviando a carga do canal. E a fórmula de atraso de ida e volta, mesmo nos cenários mais tristes, fornece um valor de 6-7 RRT e assume a forma: TCP+TLS+DNS. Isso também inclui atrasos associados à ativação do canal de rádio no dispositivo e à transmissão do sinal para torres de celular.

Tendo resumido os pontos fortes da tecnologia para negócios online, os especialistas destacam os seguintes pontos:

1. Dimensionamento rápido da infraestrutura + largura de banda reduzida. Mais servidores = mais pontos onde as informações são armazenadas. Como resultado, um ponto processa menos tráfego por unidade de tempo, o que significa que pode ter menos rendimento. Além disso, ferramentas de otimização entram em ação, permitindo lidar com picos de carga sem perder tempo.
2. Menos ping. Já mencionamos que as pessoas não gostam de esperar muito na Internet. Portanto, um ping alto contribui para altas taxas de rejeição. O atraso pode ser causado por problemas de processamento de dados no servidor, uso de equipamentos antigos ou simplesmente topologia de rede mal pensada. A maioria destes problemas é parcialmente resolvida pelas redes de distribuição de conteúdo. Embora seja importante notar aqui que o benefício real da implementação da tecnologia só será visível quando o “ping do consumidor” exceder 80-90 ms, e esta é a distância de Moscou a Nova York.

   

3. Segurança de dados. DDos (ataques de vírus de negação de serviço) têm como objetivo travar o servidor para obter algum benefício. Um servidor é muito mais suscetível a vulnerabilidades de segurança da informação do que uma rede distribuída (instalar a infraestrutura de um gigante como o CloudFlare não é uma tarefa fácil). Graças ao uso de filtros e à distribuição adequada das solicitações pela rede, você pode facilmente evitar dificuldades criadas artificialmente no acesso ao tráfego legítimo.
4. Distribuição rápida de conteúdo e funções de serviço adicionais. A distribuição de grandes quantidades de informação numa rede de servidores permitirá transmitir rapidamente a oferta ao consumidor final. Novamente, você não precisa procurar muito por exemplos - lembre-se apenas da Amazon e do AliExpress.
5. A capacidade de “mascarar” problemas com o site principal. Não há necessidade de esperar até que o DNS seja atualizado; você pode transferi-lo para um novo local e distribuir o conteúdo previamente armazenado em cache. Isso, por sua vez, pode melhorar a tolerância a falhas.

Nós resolvemos as vantagens. Agora vamos ver quais nichos se beneficiam com isso.

Negócio de publicidade

A publicidade é o motor do progresso. Para evitar que o motor queime, ele deve ser carregado moderadamente. Assim, o negócio da publicidade, ao tentar fazer face ao mundo digital moderno, enfrenta os problemas do “conteúdo pesado”. Mídia pesada refere-se à publicidade multimídia (principalmente banners e vídeos animados) que requer alta largura de banda de rede. Um site com multimídia demora muito para carregar e pode congelar, testando a força dos nervos dos usuários. A maioria das pessoas abandona esses recursos antes mesmo de baixar todas as informações disponíveis. As empresas de publicidade podem aproveitar as CDNs para resolver esses problemas.

De vendas

O comércio eletrónico necessita de expandir constantemente a sua cobertura geográfica. Outro ponto importante é a luta contra os concorrentes, que são abundantes em todos os segmentos de mercado. Se um site não atender aos requisitos do usuário (incluindo demorar muito para carregar), ele não será popular e não será capaz de gerar conversões consistentemente altas. A implementação de uma CDN deve provar a sua vantagem no tratamento de solicitações de dados de diferentes locais. Além disso, a distribuição do tráfego ajudará a evitar picos de tráfego e falhas subsequentes no servidor.

Plataformas com conteúdo de entretenimento

Todos os tipos de plataformas de entretenimento são adequados aqui, desde download de filmes e jogos até streaming de vídeos. Apesar da tecnologia funcionar com dados estáticos, o streaming de dados pode chegar ao usuário com mais rapidez por meio de repetidores. Novamente, armazenar informações de CDN em cache é uma salvação para proprietários de grandes portais - armazenamento multimídia.

Jogos online

Os jogos da Internet devem ser colocados em uma seção separada. Se a publicidade exige grande largura de banda, os projetos on-line exigem ainda mais recursos. Os provedores se deparam com um problema que tem dois lados: velocidade de acesso aos servidores + garantia de alto desempenho em jogos com belos gráficos. Uma CDN para jogos online é uma oportunidade de ter as chamadas “zonas push”, onde os desenvolvedores podem armazenar jogos em servidores localizados próximos aos usuários. Isso permite reduzir o impacto da velocidade de acesso ao servidor original e, portanto, garantir uma jogabilidade confortável em qualquer lugar.

Por que o CDN não é uma panacéia

Apesar das vantagens óbvias, nem todos e nem sempre se esforçam para introduzir tecnologia nos seus negócios. Por que é que? Paradoxalmente, algumas desvantagens decorrem das vantagens, além de serem acrescentados mais alguns pontos relacionados à implantação da rede. Os profissionais de marketing falarão lindamente sobre todas as vantagens da tecnologia, esquecendo-se de mencionar que todas elas perdem o sentido em uma ampla gama de condições. Se olharmos mais detalhadamente as desvantagens do CDN, vale destacar:

• Trabalhe apenas com estática. Sim, a maioria dos sites modernos tem uma baixa porcentagem de conteúdo dinâmico. Mas onde as páginas são personalizadas, o CDN não poderá ajudar (exceto talvez descarregar uma grande quantidade de tráfego);
• Atraso de cache. A própria otimização é uma das principais vantagens das redes de distribuição. Mas quando você faz uma alteração no servidor de origem, leva algum tempo até que o CDN a armazene novamente em todos os seus servidores;
• Bloqueios em massa. Se por algum motivo o endereço IP de uma CDN for banido, todos os sites hospedados nela serão fechados;
• Na maioria dos casos, o navegador fará duas conexões (ao servidor de origem e ao CDN). E estes são milissegundos adicionais de espera;
• Vinculação ao endereço IP de projetos (inclusive inexistentes) que lhe foram anteriormente atribuídos. Como resultado, obtemos classificações complicadas dos bots de pesquisa do Google e dificuldades em levar o site ao topo durante a promoção de SEO;
• O nó CDN é um ponto potencial de falha. Caso você os utilize, é importante entender com antecedência como funciona o roteamento do sistema e quais erros podem ocorrer ao trabalhar com o site;
• É banal, mas você tem que pagar pelos serviços de entrega de conteúdo. Em geral, os custos são proporcionais ao volume de tráfego, o que significa que podem ser necessários controlos para planear o orçamento.

Um fato importante: mesmo a proximidade do CDN com o usuário não garante um ping baixo. A rota pode ser construída desde um cliente até um host localizado em outro país ou até mesmo em outro continente. Isto depende da política de roteamento de uma determinada rede e do seu relacionamento com as operadoras de telecomunicações (peering). Muitos grandes provedores de CDN têm vários planos, onde o custo afeta diretamente a proximidade do ponto de presença ao entregar conteúdo aos usuários-alvo.

Existem oportunidades – lance seu próprio CDN

Você está insatisfeito com as políticas das empresas que fornecem serviços de rede de distribuição de conteúdo, mas seu negócio precisa se expandir? Se possível, por que não tentar lançar seu próprio CDN? Isso faz sentido nos seguintes casos:

• Os custos actuais de distribuição de conteúdos não correspondem às expectativas e não são economicamente justificados;
• Precisamos de um cache permanente, sem proximidade de outros sites do servidor e canal;
• O público-alvo está em uma região onde não há pontos de presença CDN disponíveis para você;
• A necessidade de personalizar as configurações na entrega de conteúdo;
• É necessário acelerar a entrega de conteúdo dinâmico;
• Suspeitas de violação da privacidade do usuário e outras ações ilegais por parte de serviços de terceiros.

O lançamento de uma CDN exigirá que você tenha um nome de domínio, vários servidores em diferentes regiões (virtuais ou dedicados) e uma ferramenta de processamento de solicitações. Não se esqueça de instalar certificados SLL, configurar e editar programas para servir conteúdo estático (Nginx ou Apache) e monitorar efetivamente todo o sistema.

A configuração correta de proxies de cache é assunto de um artigo separado, portanto não descreveremos em detalhes aqui: onde e qual parâmetro definir corretamente. Considerando os custos iniciais e o tempo para implantar uma rede, o uso de soluções prontas pode ser mais promissor. Mas é preciso guiar-se pela situação atual e planejar vários passos à frente.

Com o resultado de que

CDN é um conjunto de capacidades adicionais para retransmitir seu tráfego para as massas. Eles são necessários para negócios online? Sim e não, tudo depende do público a que o conteúdo se destina e dos objetivos que o empresário persegue.

Projetos regionais e altamente especializados receberão mais desvantagens do que vantagens com a implementação da CDN. As solicitações ainda chegarão primeiro ao servidor de origem, mas por meio de um intermediário. Daí a duvidosa redução do ping, mas custos mensais bastante definidos de utilização do serviço. Se você tiver um bom equipamento de rede, poderá melhorar facilmente os algoritmos de segurança da informação existentes, colocar seus servidores mais próximos dos usuários e receber otimizações e lucros gratuitamente de forma contínua.

Mas quem realmente deveria pensar em servidores intermediários são as grandes empresas cuja infraestrutura não consegue dar conta do fluxo de tráfego cada vez maior. O CDN se mostra perfeitamente como uma tecnologia que permite implantar rapidamente uma rede para uma ampla área geográfica de usuários, fornecer jogos confortáveis ​​na nuvem ou vender produtos em uma grande plataforma comercial.

Mas mesmo com um público geográfico vasto, é importante compreender antecipadamente porque são necessárias redes de distribuição de conteúdos. A aceleração de sites ainda continua sendo uma tarefa complexa, que não pode ser resolvida magicamente com a implementação de um CDN. Não se esqueça de recursos importantes como: plataforma cruzada, adaptabilidade, otimização da parte do servidor, código, renderização, etc. Uma auditoria técnica preliminar e medidas adequadas para eliminar problemas ainda são a solução ideal para qualquer projeto online, independentemente do seu foco e escala.

Como a publicidade

Você pode fazer o pedido agora mesmo servidores poderososque usam os processadores mais recentes AMD Epyc. Planos flexíveis - de 1 núcleo de CPU a 128 núcleos de CPU, 512 GB de RAM, 4000 GB de NVMe.

Fonte: habr.com