A Internet parece uma estrutura forte, independente e inquebrável. Em teoria, a robustez da rede é suficiente para sobreviver a uma explosão nuclear. Na prática, a Internet pode cair por causa de um simples roteador. Tudo isso porque a Internet é um emaranhado de contradições, vulnerabilidades, erros e vídeos de gatinhos. A base da Internet, o protocolo BGP, contém uma série de problemas. É surpreendente que ainda funcione. Além dos erros dentro da própria Internet, também é atacada por todos os lados: grandes provedores de Internet, corporações, governos e ataques DDoS. O que fazer com isso e como viver com isso?
A resposta é conhecida Aleksey Uchakov () é o líder da equipe de engenheiros de rede da empresa IQ Option. Sua principal tarefa é garantir a disponibilidade da plataforma para os usuários. Na transcrição da apresentação de Aleksey na , falaremos sobre BGP, ataques DDoS, o interruptor da Internet, erros de provedores, descentralização e os casos em que um pequeno roteador fez a Internet entrar em hibernação. No final, algumas dicas sobre como sobreviver a tudo isso.
O dia em que a Internet quebrou
Vou citar apenas alguns incidentes em que a conectividade da Internet foi afetada. Isso será suficiente para uma imagem completa.
«Incidente AS7007». A primeira vez que a Internet quebrou foi em abril de 1997. Um erro no software de um roteador do sistema autônomo 7007 fez com que, em determinado momento, o roteador anunciasse sua tabela de roteamento interna e enviasse metade da rede para um black hole.
«Paquistão contra YouTube». Em 2008, alguns corajosos do Paquistão decidiram bloquear o YouTube em seu país. Fizeram isso de tal modo que meio mundo ficou sem os vídeos de gatinhos.
«Captura de prefixos VISA, MasterCard e Symantec pela Rostelecom». Em 2017, a Rostelecom, por engano, começou a anunciar os prefixos da VISA, MasterCard e Symantec. Como resultado, o tráfego financeiro foi desviado por canais controlados pelo provedor. O vazamento durou pouco tempo, mas causou incômodo nas empresas financeiras.
«Google contra Japão». Em agosto de 2017, o Google começou a anunciar, em parte de seus uplinks, os prefixos de grandes provedores japoneses NTT e KDDI. O tráfego foi desviado para o Google como se fosse de trânsito, provavelmente por erro. Como o Google não é um provedor e não permite tráfego de trânsito, uma parte significativa do Japão ficou sem Internet.
«DV LINK capturou os prefixos do Google, Apple, Facebook, Microsoft». Em 2017, o provedor russo DV LINK começou a anunciar, sem motivo aparente, as redes do Google, Apple, Facebook, Microsoft e de alguns outros grandes players.
«A eNet dos EUA capturou os prefixes do AWS Route53 e do MyEtherwallet». Em 2018, um provedor de Ohio ou algum de seus clientes anunciou as redes do Amazon Route53 e da carteira de criptomoedas MyEtherwallet. O ataque foi bem-sucedido: mesmo com o certificado autoassinado, que mostrava um aviso ao usuário ao acessar o site do MyEtherwallet, muitas carteiras foram comprometidas e parte da criptomoeda foi roubada.
Houve mais de 14.000 incidentes semelhantes apenas em 2017! A rede ainda é descentralizada, por isso não é tudo e não todos que são afetados. Mas os incidentes ocorrem na casa das milhares, e todos estão relacionados ao protocolo BGP, no qual a internet opera.
BGP e seus problemas
Protocolo BGP - Border Gateway Protocol, foi descrito pela primeira vez em 1989 por dois engenheiros da IBM e da Cisco Systems em três "guardanapos" - folhas de formato A4. Esses ainda estão no escritório principal da Cisco Systems em São Francisco como uma relíquia do mundo das redes.
Na base do protocolo, está a interação de sistemas autônomos — Autonomous Systems ou, em resumo, AS. Um sistema autônomo é apenas um ID que está vinculado a redes IP em um registro público. Um roteador com esse ID pode anunciar essas redes ao mundo. Assim, qualquer rota na internet pode ser representada como um vetor, que chamamos de AS Path. O vetor consiste em números de sistemas autônomos que devem ser percorridos para alcançar a rede de destino.
Por exemplo, existe uma rede composta por um determinado número de sistemas autônomos. É necessário ir do sistema AS65001 para o sistema AS65003. O caminho de um sistema é representado pelo AS Path no diagrama. Ele consiste em dois autônomos: 65002 e 65003. Para cada endereço de destino, existe um vetor AS Path que consiste nos números dos sistemas autônomos que precisamos percorrer.
Quais são os problemas do BGP?
BGP é um protocolo de confiança
O protocolo BGP é baseado em confiança. Isso significa que, por padrão, confiamos em nosso vizinho. Essa é a característica de muitos protocolos que foram desenvolvidos no início da internet. Vamos entender o que significa ‘confiar’.
Não há autenticação do vizinho. Formalmente, existe o MD5, mas o MD5 em 2019 – é algo…
Não há filtragem. O BGP possui filtros e eles estão descritos, mas não são utilizados, ou usados de forma inadequada. Depois explicarei por quê.
Muito fácil configurar a vizinhança. A configuração da vizinhança no protocolo BGP em quase qualquer roteador é apenas algumas linhas de configuração.
Não é necessário ter direitos de gerenciamento do BGP. Não precisa fazer exames que validem suas qualificações. Ninguém vai retirar os direitos por configurar o BGP bêbado.
Dois problemas principais
Roubo de prefixos - prefix hijacks. O roubo de prefixo é o anúncio de uma rede que não pertence a você, como no caso do MyEtherwallet. Nós pegamos alguns prefixos, negociamos com o provedor ou o hackeamos, e através dele anunciamos essas redes.
Vazamentos de rotas - route leaks. Com vazamentos é um pouco mais complicado. Um vazamento é uma alteração no AS Path. No melhor dos casos, a alteração causará um maior atraso, pois precisará seguir um caminho mais longo ou passar por um link menos eficiente. No pior caso, repetiremos o que aconteceu com o Google e o Japão.
O próprio Google não é um operador nem um sistema autônomo de trânsito. Mas quando anunciou seu provedor as redes de operadores japoneses, o tráfego através do Google via AS Path aparecia como mais prioritário. O tráfego foi direcionado para lá e foi descartado simplesmente porque as configurações de roteamento dentro do Google são mais complicadas do que apenas filtros na borda.
Por que os filtros não funcionam?
Ninguém se importa. Essa é a principal razão - ninguém se importa. O administrador de um pequeno provedor ou de uma empresa que se conectou a um provedor via BGP pegou um MikroTik, configurou o BGP nele e nem sabe que é possível configurar filtros.
Erros de configuração. Alguém estava depurando, errou na máscara, colocou a rede errada - e aqui estamos novamente, com um erro.
Não há capacidade técnica. Por exemplo, os provedores de telecomunicações têm muitos clientes. A maneira inteligente seria atualizar automaticamente os filtros para cada cliente - monitorar quando ele tem uma nova rede, que ele alugou sua rede para alguém. Monitorar isso é complicado, e fazer manualmente é ainda mais difícil. Por isso, implementam filtros relaxados ou nem os colocam.
Exceções. Existem exceções para clientes favoritos e grandes. Especialmente no caso de interconexões entre operadores. Por exemplo, a TransTelecom e a Rostelecom têm várias redes e entre elas uma interconexão. Se a interconexão falhar, ninguém ficará feliz, por isso relaxam os filtros ou os removem completamente.
Informações desatualizadas ou incorretas em IRR. Os filtros são baseados em informações que estão registradas em IRR — Registro de Roteamento da Internet. Estes são os registros dos registradores regionais da internet. Muitas vezes, os registros contêm informações desatualizadas ou irrelevantes, ou até mesmo ambas.
Quem são esses registradores?
Todos os endereços na internet pertencem a uma organização IANA — Autoridade de Números Atribuídos da Internet. Quando você compra uma rede de IP de alguém, você não compra os endereços, mas o direito de usá-los. Os endereços são um recurso intangível e, por acordo geral, todos pertencem à agência IANA.
O sistema funciona assim. A IANA delega a gestão de endereços IP e números de sistemas autônomos para cinco registradores regionais. Eles concedem sistemas autônomos LIR — registradores de internet locais. Em seguida, os LIR alocam endereços IP para usuários finais.
A desvantagem do sistema é que cada um dos registradores regionais mantém seus registros à sua maneira. Cada um tem sua própria visão sobre quais informações devem constar nos registros, quem deve ou não verificar. Como resultado, temos a bagunça que existe hoje.
Como mais podemos combater esses problemas?
IRR — qualidade medíocre. Com o IRR está claro — a situação é ruim.
Comunidades BGP. Esta é uma certa atribuição descrita no protocolo. Podemos anexar, por exemplo, uma comunidade especial ao nosso anúncio, para que o vizinho não envie nossas redes para seus vizinhos. Quando temos um link P2P, trocamos apenas nossas redes. Para que uma rota não acabe em outras redes por engano, anexamos uma comunidade.
Comunidades não são transitivas. Isso é sempre um acordo entre duas partes, e essa é sua desvantagem. Não podemos anexar qualquer comunidade, exceto uma que seja aceita por padrão por todos. Não podemos ter certeza de que todas as comunidades serão aceitas e interpretadas corretamente. Portanto, no melhor dos casos, se você negociar com seu uplink, ele entenderá o que você deseja por meio da comunidade. Mas o vizinho pode não compreender, ou o operador simplesmente pode descartar sua marca, e você não conseguirá o que queria.
RPKI + ROA resolve apenas uma pequena parte dos problemas. RPKI é Infraestrutura de Chave Pública de Recursos — um quadro especial para assinar informações de roteamento. É uma boa ideia forçar os LIRs e seus clientes a manter uma base de dados atualizada do espaço de endereços. Mas há um problema com isso.
O RPKI também é um sistema hierárquico de chaves públicas. A IANA possui uma chave a partir da qual são geradas as chaves RIR, e a partir delas as chaves LIR? com as quais assinam seu espaço de endereçamento através de ROAs — Autorizações de Origem de Rota:
— Eu garanto que este prefixo será anunciado em nome desta autônoma.
Além do ROA, existem outros objetos, mas falaremos sobre eles outra hora. Aparentemente, parece ser uma ferramenta boa e útil. Mas não nos protege de vazamentos de forma alguma e não resolve todos os problemas com o roubo de prefixos. Por isso, os participantes não estão com muita pressa para implementá-la. Embora já tenhamos garantias de grandes players como a AT&T e grandes IXs de que prefixos com registros ROA inválidos serão descartados.
Talvez eles façam isso, mas ainda temos uma enorme quantidade de prefixos que não estão assinados de forma alguma. Por um lado, não está claro se eles estão sendo anunciados de forma válida. Por outro lado, não podemos descartá-los por padrão, porque não temos certeza se isso é certo ou não.
O que mais há?
BGPSec. Isso é uma coisa legal, concebida por acadêmicos para a rede de cavalos-ponis cor-de-rosa. Eles disseram:
— Temos RPKI + ROA — um mecanismo de verificação da assinatura do espaço de endereçamento. Vamos criar um atributo BGP separado e chamá-lo de Caminho BGPSec. Cada roteador assinará com sua própria assinatura os anúncios que ele passa para os vizinhos. Assim, teremos um caminho confiável de anúncios assinados que poderemos verificar.
Teoricamente é bom, mas na prática há muitos problemas. O BGPSec quebra muitas mecânicas existentes do BGP sobre a escolha do next-hop e o gerenciamento do tráfego de entrada/saída diretamente no roteador. O BGPSec não funciona até que 95% dos participantes do mercado implementem, o que por si só é uma utopia.
O BGPSec tem enormes problemas de desempenho. No hardware atual, a velocidade de verificação de anúncios é de aproximadamente 50 prefixos por segundo. Para comparação: a tabela atual da internet tem 700.000 prefixos, que seria carregada em 5 horas, durante as quais mais 10 vezes mudaria.
BGP Open Policy (BGP baseado em papéis). Uma proposta recente com base no modelo Gao-Rekford. Esses são dois cientistas que estudam o BGP.
O modelo Gao-Rekford se resume ao seguinte. Simplificando, no caso do BGP, existem um número limitado de tipos de interação:
- Provider Customer;
- P2P;
- interação interna, digamos, iBGP.
Com base no papel do roteador, já é possível aplicar determinadas políticas de importação/exportação por padrão. O administrador não precisa configurar listas de prefixos. Com base no papel acordado entre os roteadores, que pode ser configurado, já obtemos alguns filtros padrão. Atualmente, isso é um rascunho que está sendo discutido no IETF. Espero que em breve vejamos isso na forma de RFC e implementação em hardware.
Grandes provedores de Internet
Vamos analisar o exemplo do provedor CenturyLink. É o terceiro maior provedor dos EUA, atendendo 37 estados e possuindo 15 data centers.
Em dezembro de 2018, a CenturyLink ficou fora do ar no mercado dos EUA por 50 horas. Durante o incidente, houve problemas com o funcionamento de caixas eletrônicos em dois estados, e o número 911 ficou inoperante em cinco estados por várias horas. Também foram afetadas loterias em Idaho. A Comissão Federal de Comunicações dos EUA está atualmente investigando este incidente.
A causa da tragédia foi um único cartão de rede em um data center. O cartão falhou, enviando pacotes incorretos e fez com que os 15 data centers do provedor ficassem fora do ar.
Para esse provedor, a ideia de «grande demais para falir»não funcionou. Essa ideia, na verdade, não se aplica. Qualquer grande jogador pode ser derrubado por um pequeno detalhe. Nos EUA, a conectividade ainda está razoável. Os clientes da CenturyLink que tinham redundância migraram em massa para lá. Depois, operadores alternativos reclamaram da sobrecarga em suas ligações.
Se o hipotético ‘Kazakhstan Telecom’ falhar, todo o país ficará sem internet.
Corporações
Será que o Google, Amazon, Facebook e outras corporações sustentam a internet? Não, elas também a quebram.
Em 2017, na conferência ENOG13 em São Petersburgo, Jeff Houston do APNIC apresentou . Nela, ele fala que nos habituamos à interação, fluxos de dinheiro e tráfego na internet serem verticais. Temos pequenos provedores que pagam para se conectarem a provedores maiores, que então pagam por conectividade ao trânsito global.
Atualmente, temos uma estrutura orientada verticalmente. Tudo estaria bem, mas o mundo está mudando — grandes players estão construindo seus próprios cabos transoceânicos para estabelecer suas próprias backbones.
Notícia sobre o cabo CDN.
Em 2018, a TeleGeography publicou um estudo que mais da metade do tráfego da internet já não é mais internet, mas backbones de CDN dos grandes players. Esse tráfego está relacionado à internet, mas já não é a rede sobre a qual falávamos.
A internet está se fragmentando em um grande conjunto de redes fracamente interconectadas.
A Microsoft tem sua própria rede, o Google tem a sua, e elas se cruzam pouco entre si. O tráfego que começou em algum lugar nos EUA atravessa canais da Microsoft pelo oceano até a Europa, onde chega a alguma CDN, e depois, através de uma CDN ou IX, conecta-se ao seu provedor e chega ao seu roteador.
A descentralização está desaparecendo.
Essa força do internet, que poderia ajudá-lo a sobreviver a uma explosão nuclear, está se perdendo. Estão surgindo locais de concentração de usuários e tráfego. Se um hipotético Google Cloud falhar, muitas pessoas serão afetadas de uma só vez. Experimentamos isso parcialmente quando o Roskomnadzor bloqueou a AWS. No caso da CenturyLink, está claro que basta um pequeno problema.
Antes, nem tudo quebrava e não era para todos. No futuro, podemos chegar ao ponto em que, ao afetar um grande player, muitas coisas podem ser quebradas, em muitos locais e para muitos.
Estados
Os estados estão na fila, e com eles geralmente acontece assim.
Aqui nosso Roskomnadzor não é nem um pouco pioneiro. Práticas semelhantes de desligamento da Internet existem no Irã, na Índia, e no Paquistão. No Reino Unido, há um projeto de lei sobre a possibilidade de desconectar a internet.
Qualquer grande estado deseja ter um interruptor para desconectar a internet, seja completamente ou em partes: Twitter, Telegram, Facebook. Não é que não entendam que isso nunca vai funcionar, mas realmente desejam. Geralmente, aplicam o interruptor para fins políticos – para eliminar concorrentes políticos, ou quando as eleições estão se aproximando, ou hackers russos quebraram algo novamente.
Ataques DDoS
Não vou roubar o trabalho dos colegas da Qrator Labs, eles fazem isso muito melhor do que eu. Eles têm sobre a estabilidade da internet. E veja o que eles escreveram no relatório de 2018.
A duração média dos ataques DDoS cai para 2,5 horas. Os atacantes também começam a contar dinheiro, e se o recurso não caiu imediatamente, eles rapidamente o deixam em paz.
A intensidade dos ataques está aumentando. Em 2018, vimos 1,7 Tb/s na rede Akamai, e isso não é o limite.
Novas vetores de ataque estão surgindo e os antigos estão se intensificando.Novos protocolos suscetíveis a amplificação estão aparecendo, e novos ataques estão focados em protocolos existentes, especialmente em TLS e similares.
A maior parte do tráfego é de dispositivos móveis.Nesse contexto, o tráfego da internet está se deslocando para clientes móveis. É fundamental saber lidar com isso, tanto para os atacantes quanto para os defensores.
Não há invulneráveis.Essa é a mensagem principal: não existe e nunca haverá uma proteção universal que proteja de qualquer DDoS.
Um sistema não pode ser derrubado, a menos que esteja desconectado da internet.
Espero tê-lo assustado o suficiente. Agora vamos pensar sobre o que podemos fazer a respeito.
O que fazer?!
Se você tem tempo livre, interesse e conhecimento de inglês, participe de grupos de trabalho: IETF, RIPE WG. Estes são listas de discussão abertas, assine os boletins, participe das discussões, venha a conferências. Se você é um LIR, pode votar, por exemplo, na RIPE em várias iniciativas.
Para os meros mortais, isso monitoramento. é para saber o que está quebrado.
Monitoramento: o que verificar?
Ping simples, e não apenas uma verificação binária - funcionou ou não. Registre o RTT no histórico para depois verificar anomalias.
Traceroute. É um programa para identificar rotas na rede TCP/IP. Ajuda a detectar anomalias e bloqueios.
Verificações HTTP de URLs personalizadas e certificados TLS ajudam a identificar bloqueios ou substituição de DNS para ataques, que são praticamente a mesma coisa. Os bloqueios costumam ser feitos por meio de falsificação de DNS e redirecionamento do tráfego para uma página de erro.
Se possível, verifique a resolução do seu origin a partir dos seus clientes em diferentes locais, caso você tenha um aplicativo. Assim, você descobrirá anomalias de interceptação de DNS que alguns provedores cometem.
Monitoramento: de onde verificar?
Não há uma resposta universal. Verifique de onde vêm os usuários. Se os usuários estão na Rússia, verifique a partir da Rússia, mas não se limite a isso. Se seus usuários estão em diferentes regiões, verifique a partir dessas regiões. Mas é melhor verificar de todo o mundo.
Monitoramento: com o que verificar?
Eu pensei em três maneiras. Se você souber mais, escreva nos comentários.
- RIPE Atlas.
- Monitoramento comercial.
- Sua própria rede de VMs.
Vamos falar sobre cada um deles.
RIPE Atlas — é uma caixinha pequena. Para quem conhece o "Revisor" nacional, é a mesma caixinha, mas com outro rótulo.
RIPE Atlas — um programa gratuito. Você se registra, recebe um roteador pelo correio e o conecta à rede. Por permitir que outra pessoa utilize seu teste, você recebe alguns créditos. Com esses créditos, você pode realizar algumas pesquisas. É possível testá-las de várias maneiras: ping, traceroute, verificar os certificados. A cobertura é bastante ampla, com muitas nódulos. Mas existem nuances.
O sistema de créditos não permite construir soluções de produção. Os créditos para pesquisa contínua ou monitoramento comercial não são suficientes. Os créditos são adequados para uma pesquisa curta ou uma verificação pontual. A cota diária de uma prova é consumida em 1-2 verificações.
A cobertura é desigual. Como o programa é gratuito de ambas as partes, a cobertura é boa na Europa, na parte europeia da Rússia e em algumas regiões. Mas se você precisa da Indonésia ou da Nova Zelândia, a situação é muito pior — pode não haver 50 provas por país.
Não é possível verificar http a partir da prova. Isso se deve a nuances técnicas. Prometem corrigir na nova versão, mas por enquanto não é possível verificar http. Você pode apenas verificar o certificado. Algum tipo de verificação http só pode ser feito até um dispositivo especial do RIPE Atlas, chamado Anchor.
A segunda maneira é o monitoramento comercial. Com isso tudo está bom, você está pagando, certo? Prometem várias dezenas ou centenas de pontos de monitoramento em todo o mundo, com painéis bonitos "prontos para uso". Mas, novamente, existem problemas.
Isso é pago, e em algumas partes, muito caro. O monitoramento por ping, verificações de todo o mundo e muitas verificações http podem custar alguns milhares de dólares por ano. Se as finanças permitem e você gosta dessa solução — fique à vontade.
A cobertura pode ser insuficiente na região de interesse. Com o pingo, podem apenas delimitar a parte abstrata do mundo — Ásia, Europa, América do Norte. Sistemas de monitoramento raros podem detalhar a prova até um país ou região específica.
Suporte fraco para testes personalizados. Se você precisa de algo customizado, ao invés de apenas "blá blá" em uma URL, então isso também apresenta problemas.
A terceira maneira é o seu próprio monitoramento. É o clássico: "Vamos escrever o nosso!"
Seu monitoramento se transforma em desenvolvimento de produto de software, e, de fato, distribuído. Você está procurando um provedor de infraestrutura, observa como implementá-lo e monitorá-lo — afinal, o monitoramento precisa ser monitorado, certo? E você também precisará de suporte. Pense dez vezes antes de assumir isso. Talvez seja mais fácil pagar alguém para fazer isso por você.
Monitoramento de anomalias BGP e ataques DDoS
Aqui, em relação aos recursos disponíveis, é ainda mais simples. Anomalias BGP são detectadas através de serviços especializados como QRadar, BGPmon. Eles recebem a tabela full view de vários operadores. Com base no que veem de diferentes operadores, podem detectar anomalias, buscar amplificadores e outros tipos de problemas. Normalmente, o registro é gratuito — você insere o número do seu ASN, se inscreve para receber notificações por e-mail, e o serviço alerta sobre seus problemas.
No monitoramento de ataques DDoS, tudo também é simples. Na maioria das vezes, é baseado em NetFlow e logs. Existem sistemas especializados como FastNetMon, módulos para Splunk. Em último caso, há seu fornecedor de proteção DDoS. Você também pode enviar NetFlow para ele, e com base nisso, ele o alertará sobre ataques direcionados a você.
Como resultado, obtemos um serviço de "monitoramento como serviço", automatizado na linha de produção de integração contínua. O desenvolvedor ou testador precisa apenas definir a lista de métricas em um arquivo JSON, e tudo o mais acontece automaticamente. Obtemos um controle de qualidade transparente dos lançamentos: todas as notificações sobre desempenho, consumo de recursos ou regressões arquitetônicas.
Não tenha ilusões — a internet definitivamente irá falhar. Não irá falhar tudo e não para todos, mas 14 mil incidentes em 2017 sugerem que incidentes ocorrerão.
Sua tarefa é detectar problemas o mais cedo possível. No mínimo, não mais tarde do que seu usuário. Além de perceber, você deve sempre ter um 'plano B' disponível. O plano é a estratégia de o que você fará quando tudo falhar: operadores de reserva, DC, CDN. O plano deve ser uma lista de verificação separada, pela qual você verifica o funcionamento de tudo. O plano deve funcionar sem a necessidade de engenheiros de rede, pois eles geralmente são poucos e desejam descansar.
Isso é tudo. Desejo a você alta disponibilidade e monitoramento eficaz.
Na próxima semana, Novosibirsk espera sol, alta carga e alta concentração de desenvolvedores em . Espera-se que haja uma série de apresentações sobre monitoramento, disponibilidade e testes, segurança e gerenciamento. Esperam-se também anotações na forma de resumos, networking, fotos e postagens nas redes sociais. Recomendamos adiar todos os compromissos nos dias 24 e 25 de junho e . Esperamos vê-lo na Sibéria!
Fonte: habr.com
