Os caminhos do conteúdo são insondáveis ou vamos falar sobre CDN

Isenção de responsabilidade:
Este artigo não traz informações desconhecidas para os leitores familiarizados com o conceito de CDN, mas é uma visão geral da tecnologia.

A primeira página da web apareceu em 1990 e tinha tamanho de alguns bytes. Desde então, o conteúdo se expandiu tanto qualitativa quanto quantitativamente. O desenvolvimento do ecossistema de TI levou ao fato de que as páginas da web modernas são medidas em megabytes, e a tendência de aumento da largura de banda das redes só se fortalece a cada ano. Como os provedores de conteúdo podem abranger grandes dimensões geográficas e garantir que os usuários tenham acesso rápido à informação em qualquer lugar? Essas tarefas são cumpridas pelas redes de entrega e distribuição de conteúdo, ou simplesmente CDN.

Na internet, cada vez mais existe conteúdo 'pesado'. Vários estudos mostram que os usuários não querem lidar com serviços da web que demoram mais de 4-5 segundos para carregar. Uma velocidade de carregamento muito baixa pode resultar na perda de audiência, o que inevitavelmente levará a uma diminuição do tráfego, das conversões e, consequentemente, dos lucros. As redes de entrega de conteúdo (CDN), em teoria, permitem eliminar esses problemas e suas consequências. Mas, na prática, como sempre, são os detalhes e nuances de cada caso que fazem a diferença, e há muitos nesse setor.

De onde veio a ideia das redes distribuídas?

Começaremos com um breve excerto da história e a definição dos termos. CDN – uma rede composta por um grupo de servidores localizados em diferentes lugares para fornecer acesso ao conteúdo da internet com um grande número de usuários. A ideia das redes distribuídas é a presença de vários pontos de presença (PoPs) que estão localizados fora do servidor de origem. Esse sistema processa mais rapidamente o volume de solicitações recebidas, aumentando a resposta e a velocidade de transmissão de dados.

O problema de entregar conteúdo aos usuários surgiu de forma aguda no auge da internet, ou seja, no meio dos anos 90. Os servidores da época, cuja performance não chegava nem perto da de laptops topo de linha atuais, mal conseguiam suportar a carga e não conseguiam lidar com o tráfego em constante crescimento. A Microsoft gastava anualmente centenas de milhões de dólares em pesquisas relacionadas à infraestrutura de informação (imediatamente lembramos da famosa afirmação de Bill Gates sobre os 640 KB). Para resolver essas questões, usava-se o cache hierárquico, a transição de modems para fibra ótica e a análise detalhada da topologia das redes. A situação se assemelhava a uma locomotiva antiga, que corria pelos trilhos e, no caminho, era modernizada por todos os meios possíveis para aumentar sua velocidade.

No final dos anos 90, os proprietários de portais da web perceberam que, para reduzir a carga e garantir as solicitações necessárias, era preciso utilizar servidores intermediários. Assim surgiram as primeiras CDNs, que distribuíam conteúdo estático de diferentes servidores, geograficamente espalhados pelo mundo. Aproximadamente nessa mesma época, o negócio das redes distribuídas começou a surgir. O maior (ou pelo menos um dos maiores) provedoras de CDN do mundo, a Akamai, tornou-se pioneira nesta área, iniciando sua trajetória em 1998. Poucos anos depois, as CDNs se tornaram populares, e as receitas de entrega e contribuição de conteúdo eram contadas em dezenas de milhões de dólares mensalmente.

Hoje nos deparamos com CDNs toda vez que acessamos uma página comercial com alto tráfego ou interagimos nas redes sociais. O serviço é fornecido por: Amazon, Cloudflare, Akamai, além de muitos outros provedores transnacionais. Além disso, grandes empresas buscam utilizar suas próprias CDNs, o que lhes traz uma série de vantagens em termos de velocidade e qualidade na entrega de conteúdo. Se o Facebook não tivesse redes distribuídas e se contentasse apenas com um servidor original localizado nos EUA, o tempo de carregamento dos perfis para usuários da Europa Oriental poderia ser significativamente maior.

Algumas palavras sobre CDN e streaming

A agência FutureSource Consulting realizou uma análise da indústria da música e concluiu que, em 2023, o número de assinaturas em serviços de streaming de música alcançará quase meio bilhão de pessoas. Além disso, mais de 90% da receita será proveniente do áudio em streaming. A situação é semelhante no setor de vídeo, onde termos como: let's play, concertos online e cinema online já estão estabelecidos no vocabulário popular. Empresas como Apple, Google, YouTube e muitas outras possuem seus próprios serviços de streaming.

No seu conceito inicial, o CDN era utilizado principalmente para sites com conteúdo estático. O conteúdo estático é aquele que não muda em função das ações do usuário, do tempo ou de outros fatores, ou seja, não é personalizado. Contudo, o desenvolvimento de serviços de vídeo e áudio streaming adicionou um novo cenário comum para a utilização de redes distribuídas. Os servidores intermediários, posicionados próximos ao público-alvo em todo o mundo, garantem acesso estável ao conteúdo durante períodos de alta demanda, eliminando a falta de "pontos de estrangulamento" na internet.

Como funciona

A essência de todos os CDNs é aproximadamente a mesma: usar intermediários para entregar conteúdo ao consumidor final de forma mais rápida. O funcionamento é o seguinte: o usuário envia um pedido para baixar um arquivo, este é recebido pelo servidor CDN, que, uma única vez, se conecta ao servidor original e fornece o conteúdo ao usuário. Paralelamente, o CDN faz o cache dos arquivos por um determinado período de tempo e as próximas solicitações são atendidas a partir do seu próprio cache. Opcionalmente, eles também conseguem pré-carregar arquivos do servidor de origem, configurar a duração do cache, compactar arquivos grandes e muito mais. Na situação mais ideal, o host transfere todo o fluxo para o nó CDN, que já utiliza seus próprios recursos para entregar o conteúdo aos usuários. É claro que o cache eficiente da informação, assim como a distribuição de solicitações não a um único servidor, mas a uma rede, levará a uma carga de tráfego mais equilibrada.

Uma das principais características do funcionamento de uma CDN é a redução da latência na transmissão de dados (também conhecida como RTT – round trip time). O estabelecimento de uma conexão TCP, o carregamento de conteúdos de mídia, arquivos JS, o início de uma sessão TLS, tudo isso depende do ping. É evidente que quanto mais próximo você estiver da origem, mais rápido conseguirá obter uma resposta. Afinal, mesmo a velocidade da luz tem seu limite: cerca de 200 mil km/s através de fibra óptica. Isso significa que a latência de Moscovo a Washington será de cerca de 75 ms em RTT, e isso sem contar o impacto do equipamento intermediário.

Para entender melhor quais problemas as redes de distribuição de conteúdo resolvem, apresentamos uma lista de soluções atuais:

• Google, Yandex, MaxCDN (usam CDNs gratuitas para distribuição de bibliotecas JS, possuem mais de 90 pontos de presença na maioria dos países do mundo);
• Cloudinary, Cloudimage, Google (serviços e bibliotecas de otimização de clientes: imagens, vídeos, fontes etc.);
• Jetpack, Incapsula, Swarmify e outros (otimização de recursos em sistemas de gerenciamento de conteúdo: bitrix, wordpress, etc.);
• CDNVideo, StackPath, NGENIX, MegaFon (CDNs para a distribuição de conteúdo estático, usados como redes de propósito geral);
• Imperva, Cloudflare (soluções para acelerar o carregamento de sites).

Os primeiros 3 tipos de CDN da lista apresentada são projetados para transmitir apenas uma parte do tráfego do servidor principal. Os 2 restantes são usados como servidores proxy completos com a transmissão total dos canais do host de origem.

Quem se beneficia da tecnologia

Em teoria, qualquer site que venda seus produtos/serviços para clientes corporativos ou indivíduos (B2B ou B2C) pode se beneficiar da implementação de uma CDN. É importante que seu público-alvo, ou seja, a base de usuários, esteja fora de sua localização geográfica. Mas mesmo que não seja o caso, as redes de distribuição ajudarão com a balanceamento da carga durante grandes volumes de conteúdo.

Não é segredo que, para saturar a largura de banda do servidor, são suficientes alguns milhares de fluxos. Portanto, a distribuição de transmissões de vídeo para grandes massas inevitavelmente resultará em um gargalo – a largura de banda da conexão com a internet. Isso também é observado quando um site contém muitas imagens pequenas não agrupadas (como as prévias de produtos, por exemplo). O servidor original utiliza uma única conexão TCP ao processar qualquer número de solicitações, o que coloca a carga em uma fila. A adição de uma CDN exige distribuir as solicitações em vários domínios e usar várias conexões TCP, aliviando a carga na conexão. E a fórmula de latência circular, mesmo nas piores condições, apresenta um valor de 6-7 RTT e se apresenta como: TCP+TLS+DNS. Também é justo incluir aqui as latências associadas à ativação do canal de rádio no dispositivo e à transmissão do sinal para torres de celular.

Resumindo os pontos fortes da tecnologia para negócios na internet, os especialistas destacam os seguintes aspectos:

1. Escalabilidade rápida da infraestrutura + redução da largura de banda. Mais servidores = mais pontos onde as informações estão armazenadas. Como resultado, um ponto processa menos tráfego por unidade de tempo, o que significa que pode ter uma largura de banda menor. Além disso, entram em cena as ferramentas de otimização, que permitem lidar com picos de carga sem perda de tempo.
2. Menor latência. Já mencionamos que as pessoas não gostam de esperar muito na internet. Portanto, uma latência alta contribui para altas taxas de rejeição. O atraso pode ser causado por problemas no processamento de dados no servidor, pelo uso de equipamentos antigos ou simplesmente por uma topologia de rede mal planejada. A maioria desses problemas é parcialmente resolvida por redes de distribuição de conteúdo. Embora aqui seja importante notar que o benefício real da implementação da tecnologia será visível apenas quando a 'latência do consumidor' exceder 80-90 ms, o que corresponde à distância de Moscovo a Nova Iorque.

   

3. Segurança de dados. Ataques DDoS (ataques de negação de serviço) visam prejudicar o funcionamento do servidor para obter algum benefício. Um servidor está muito mais exposto a vulnerabilidades de segurança da informação do que uma rede distribuída (derrubar a infraestrutura de um gigante como a CloudFlare não é uma tarefa simples). Graças ao uso de filtros e ao gerenciamento inteligente de solicitações pela rede, é possível prevenir problemas artificiais de acesso ao tráfego legítimo sem maiores dificuldades.
4. Distribuição rápida de conteúdo e funções de serviço adicionais. A distribuição de grandes volumes de informações na rede de servidores permitirá entregar a proposta ao consumidor final de forma mais rápida. Exemplos não precisam ser procurados longe – basta lembrar da Amazon e da AliExpress.
5. Possibilidade de "disfarçar" problemas com o site principal. Não é necessário esperar pela atualização do DNS, é possível redirecioná-lo para uma nova localização com a distribuição de conteúdo previamente armazenado em cache. Isso, por sua vez, pode melhorar a resistência a falhas.

Discutimos as vantagens. Agora vamos considerar quais nichos se beneficiam disso.

Negócio de publicidade

Publicidade é o motor do progresso. E para que esse motor não superaqueça, é preciso carregá-lo moderadamente. Assim, o negócio de publicidade, ao tentar se adequar ao mundo digital moderno, enfrenta problemas com "conteúdo pesado". Conteúdo pesado refere-se à publicidade multimídia (principalmente banners animados e vídeos), que requer altas larguras de banda de rede. Um website com multimídia carrega lentamente e pode travar, testando a paciência dos usuários. Muitos abandonam esses recursos antes mesmo de carregarem todas as informações disponíveis. As empresas de publicidade podem utilizar as vantagens das CDN para resolver esses problemas.

Vendas

O comércio eletrônico precisa de uma expansão constante da cobertura geográfica. Outro ponto importante é a competição, que é abundante em cada segmento de mercado. Se um site não atende às expectativas do usuário (incluindo tempos de carregamento longos), ele não será popular e não conseguirá gerar uma conversão estável e alta. A implementação de uma CDN deve demonstrar suas vantagens ao processar solicitações de dados de diferentes locais. Além disso, a distribuição de tráfego ajudará a prevenir picos e subsequentes falhas no servidor.

Plataformas de conteúdo de entretenimento

Todas as plataformas de entretenimento, desde o download de filmes e jogos até vídeos em streaming, se enquadram aqui. Embora a tecnologia trabalhe com dados estáticos, os dados de streaming podem chegar ao usuário mais rapidamente através de retransmissores. Novamente, o cache de informações da CDN é uma salvação para proprietários de grandes portais — repositórios de multimídia.

Jogos online

Os jogos na internet precisam ser tratados como um item separado. Se a publicidade requer uma grande largura de banda, os projetos online exigem ainda mais recursos. Os provedores enfrentam um problema com duas vertentes: a velocidade de acesso aos servidores + a garantia de um alto desempenho de jogo com gráficos bonitos. A CDN para jogos online oferece a possibilidade de ter chamadas 'zonas de push', onde os desenvolvedores podem armazenar jogos em servidores localizados próximos aos usuários. Isso ajuda a reduzir o impacto da velocidade de acesso ao servidor original, garantindo, portanto, uma jogabilidade confortável em todos os lugares.

Por que a CDN não é uma panaceia

Apesar das vantagens óbvias, nem todos buscam implementar essa tecnologia em seus negócios. Por que isso acontece? Embora possa parecer paradoxal, algumas desvantagens surgem das próprias vantagens, além de alguns pontos adicionais relacionados à implantação da rede. Os profissionais de marketing falam lindamente sobre todas as vantagens da tecnologia, esquecendo-se de mencionar que todas elas perdem sentido em uma ampla gama de condições. Ao examinar mais detalhadamente as desvantagens da CDN, é importante destacar:

• Trabalhe apenas com estáticos. Sim, a maioria dos sites modernos tem uma baixa porcentagem de conteúdo dinâmico. Mas onde as páginas são personalizadas, o CDN não poderá ajudar (exceto para aliviar um grande volume de tráfego);
• Atraso de cache. A própria otimização é uma das principais vantagens das redes de distribuição. Mas ao fazer alterações no servidor original, leva tempo até que o CDN re-cache essa informação em todos os seus servidores;
• Bloqueios em massa. Se por algum motivo o endereço IP do CDN for bloqueado, todos os sites hospedados nele ficarão inacessíveis;
• Na maioria dos casos, o navegador estabelecerá duas conexões (com o servidor original e com o CDN). Isso resulta em milissegundos adicionais de espera;
• Vinculação ao endereço IP dos projetos (inclusive os inexistentes), que anteriormente estavam associados a ele. Como resultado, obtemos uma classificação complicada pelos bots do Google e dificuldades em atingir o topo nas promoções de SEO;
• Um nó de CDN é um ponto potencial de falha. Se forem utilizados, é importante entender previamente como funciona a roteação do sistema e quais erros podem acontecer ao trabalhar com o site;
• É simples, mas é preciso pagar pelos serviços de entrega de conteúdo. Geralmente, os custos são proporcionais ao volume de tráfego, o que pode exigir controle para o planejamento do orçamento.

Um fato importante: mesmo a proximidade do CDN com o usuário não garante uma latência baixa. O caminho pode ser construído do cliente para um host situado em outro país ou até em outro continente. Isso depende da política de roteamento da rede específica e de suas relações com os provedores de telecomunicações (peering). Muitos grandes provedores de CDN têm vários planos, onde o custo está diretamente relacionado à proximidade do ponto de presença durante a entrega do conteúdo aos usuários finais.

Se há recursos, inicie seu próprio CDN

Não está satisfeito com a política das empresas que fornecem serviços de redes de distribuição de conteúdo, mas o negócio precisa de expansão? Se você tem os recursos, por que não tentar lançar seu próprio CDN? Isso faz sentido nas seguintes situações:

• Os custos atuais de distribuição de conteúdo não estão correspondendo às expectativas e não são economicamente viáveis;
• É necessário um cache permanente, sem compartilhar o servidor e a largura de banda com outros sites;
• O público-alvo está localizado em uma região onde não existem pontos de presença CDN disponíveis para você;
• Necessidade de personalizar as configurações na entrega de conteúdo;
• É preciso acelerar a entrega de conteúdo dinâmico;
• Suspeitas sobre violação da privacidade dos usuários e outras ações ilegais por parte de serviços terceirizados.

O lançamento de uma CDN exigirá de você um nome de domínio, vários servidores em diferentes regiões (virtuais ou dedicados) e uma ferramenta para processamento de solicitações. Não se esqueça da instalação de certificados SSL, configuração e edição de programas para entrega de conteúdo estático (Nginx ou Apache), além de uma monitoramento eficaz de todo o sistema.

A configuração correta de proxies de cache é assunto para um artigo separado, então aqui não vamos detalhar onde e qual parâmetro deve ser ajustado. Considerando os custos iniciais e o tempo necessário para implantar a rede, a utilização de soluções prontas pode ser mais promissora. No entanto, deve-se seguir a conjuntura atual e planejar alguns passos à frente.

E no final

CDN é um conjunto de capacidades adicionais para retransmitir seu tráfego para um grande público. Elas são necessárias para negócios na internet? Sim e não, depende do público que o conteúdo visa e das metas do proprietário do negócio.

Projetos regionais e especializados podem obter mais desvantagens do que vantagens ao implementar uma CDN. As solicitações ainda chegarão primeiro ao servidor de origem, mas agora através de um intermediário. Portanto, há uma redução duvidosa na latência, mas custos mensais bem definidos para usar o serviço. Com um bom equipamento de rede, é possível aprimorar os algoritmos de segurança da informação, posicionar seus servidores mais próximos dos usuários e obter otimizações e lucros gratuitamente de forma contínua.

E quem realmente deve considerar servidores intermediários são grandes empresas cuja infraestrutura não consegue lidar com o fluxo de tráfego em constante crescimento. O CDN se destaca como uma tecnologia que possibilita a rápida expansão de uma rede para uma ampla geografia de usuários, garantindo um gaming em nuvem confortável ou a venda de produtos em uma grande plataforma comercial.

Mas mesmo com uma ampla geografia de audiência, é importante entender de antemão para que as redes de distribuição de conteúdo são necessárias. A aceleração do site continua sendo uma tarefa complexa que não se resolve magicamente com a implementação do CDN. Não devemos esquecer funções importantes, como: compatibilidade entre plataformas, adaptabilidade, otimização do lado do servidor, do código, do renderização, etc. Uma auditoria técnica prévia e medidas adequadas para resolver problemas ainda são a solução ideal para qualquer projeto online, independentemente da sua direção e escala.

Em nome da publicidade

Neste momento, você pode encomendar servidores poderosos, que utilizam os mais recentes processadores AMD Epyc. Planos flexíveis — de 1 núcleo de CPU até impressionantes 128 núcleos de CPU, 512 GB de RAM, 4000 GB de NVMe.

Fonte: habr.com