Lançamos novos serviços, o tráfego cresceu, trocamos servidores, conectamos novas plataformas e modernizamos os data centers – agora vamos contar essa história, com a qual vocês foram apresentados há cinco anos..
Cinco anos é um período característico para se fazer uma avaliação intermediária. Por isso, decidimos compartilhar o desenvolvimento de nossa infraestrutura, que ao longo desses cinco anos percorreu um caminho de crescimento surpreendentemente interessante do qual nos orgulhamos. As mudanças quantitativas que realizamos se transformaram em qualitativas, nossa infraestrutura agora pode operar em modos que, no meio da década passada, pareciam ficção científica.
Gerenciamos projetos complexos com exigências rigorosas de confiabilidade e carga, entre os quais estão o PREMIER e o Match TV. Durante as transmissões esportivas e a estreia de séries populares, é necessário transmitir dados em terabits por segundo, e isso realizamos com facilidade, a ponto de trabalhar nessas velocidades já se ter tornado algo cotidiano para nós. Há cinco anos, o projeto mais exigente operando em nossos sistemas era o Rutube, que desde então se desenvolveu, aumentando seus volumes e tráfego, algo que precisávamos considerar no planejamento das cargas.
Falamos sobre como desenvolvemos o 'hardware' de nossa infraestrutura () e aprimoramos o sistema responsável pela entrega de vídeo (), mas desde a redação desses textos, muito tempo se passou e várias outras soluções foram criadas e implementadas, cujos resultados nos permitem atender às demandas modernas e sermos suficientemente flexíveis para nos adaptarmos a novas tarefas.
O núcleo de rede está em constante desenvolvimento. Migramos para equipamentos Cisco em 2015, o que já mencionamos em um artigo anterior. Naquela época, éramos ainda 10/40G, mas por razões compreensíveis, após alguns anos, modernizamos os chassis existentes e agora utilizamos também 25/100G.
Links de 100G há muito deixaram de ser um luxo (mais precisamente, são uma exigência do tempo em nosso segmento) e já não são raridade (cada vez mais operadores oferecem conexões nessas velocidades). No entanto, 10/40G ainda é relevante: através dessas links continuamos a conectar operadores com baixo volume de tráfego, para os quais agora não é viável utilizar portas de maior capacidade.
A infraestrutura de rede que construímos merece uma análise separada e, em breve, será o tema de um artigo à parte. Nele, vamos nos aprofundar nos detalhes técnicos e na lógica de nossas ações durante sua criação. Mas agora, vamos continuar a esboçar a infraestrutura de forma mais esquemática, pois sua atenção, prezados leitores, não é ilimitada.
Servidores de entrega de vídeo evoluem rapidamente, para isso oferecemos considerável esforço. Se antes utilizávamos predominantemente servidores 2U com 4-5 placas de rede, cada uma com dois ports de 10G, agora a maior parte do tráfego é entregue por servidores 1U, que possuem 2-3 placas, cada uma com dois ports de 25G. Os preços das placas de 10G e 25G praticamente se igualaram, e soluções de maior velocidade permitem entrega tanto em 10G quanto em 25G. O resultado foi uma economia evidente: menos componentes no servidor e cabos para conexão — menor custo (e maior confiabilidade), componentes ocupam menos espaço no rack — permitindo instalar um maior número de servidores por unidade de área e, consequentemente, reduziu o custo de aluguel.
Mas o mais importante é o ganho em velocidade! Agora podemos entregar mais de 100G com 1U! E isso em um contexto onde alguns grandes projetos russos consideram um "acesso" de 40G com 2U como um "feito". Que problemas eles têm!
Vale notar que ainda usamos a geração de placas de rede que operam apenas em 10G. Este equipamento funciona de forma estável e é bem conhecido para nós, por isso não descartamos, mas encontramos uma nova aplicação para ele. Esses componentes foram instalados em servidores de armazenamento de vídeo, que claramente já não são suficientes apenas com uma ou duas interfaces de 1G; aqui, as placas de 10G mostraram-se relevantes.
Sistemas de armazenamento de dados também estão crescendo. Nos últimos cinco anos, eles passaram de doze discos (12x HDD 2U) para trinta e seis discos (36x HDD 4U). Essas unidades tão volumosas geram receio em alguns, pois em caso de falha de um chassi desse tipo, a performance - e até mesmo a operação! - de todo o sistema pode estar em risco. Mas isso não acontecerá conosco: implementamos redundância no nível de cópias de dados geodistribuídas. Distribuímos os chassis entre diferentes data centers - no total, utilizamos três - e isso elimina a possibilidade de problemas tanto com falhas de chassis quanto com quedas de site.
É claro que essa abordagem tornou redundante o RAID de hardware, do qual abrimos mão. Ao eliminar a redundância, ao mesmo tempo aumentamos a confiabilidade do sistema, simplificando a solução e removendo um dos potenciais pontos de falha. Vale lembrar que nosso armazenamento é 'feita por nós mesmos'. Tomamos essa decisão de forma muito consciente e o resultado nos deixou plenamente satisfeitos.
Data Centers nos últimos cinco anos mudamos várias vezes. Desde a redação do artigo anterior, apenas um Data Center - DataLine - não sofreu alterações, os demais precisaram ser substituídos conforme nossa infraestrutura se desenvolvia. Todas as mudanças entre os sites foram planejadas.
Há dois anos migramos dentro do MMTС-9, mudando para um local com reforma de qualidade, um bom sistema de refrigeração, fornecimento de energia estável e sem poeira, que antes se acumulava em grosas camadas em todas as superfícies e entupia abundantemente o interior do nosso equipamento. A decisão em favor da qualidade dos serviços - e da ausência de poeira! - foi a razão para nossa mudança.
Quase sempre 'uma mudança equivale a dois incêndios', mas os problemas durante a migração são sempre diferentes. Desta vez, a principal dificuldade da mudança dentro de um Data Center foi causada pelos cross connections ópticas - sua abundância entre os andares sem uma integração unificada do lado dos operadores de telecomunicações. O processo de atualização e reconfiguração das conexões (no qual fomos ajudados pelos engenheiros do MMTС-9) foi, sem dúvida, a etapa mais desafiadora da migração.
A segunda migração aconteceu há um ano, em 2019, quando nos mudamos de um datacenter não muito bom para o O2xygen. As razões para a mudança foram semelhantes às discutidas acima, mas se juntou a isso o problema da falta de atratividade do datacenter original para os operadores de telecomunicações – muitos provedores precisavam ser 'convidados' até esse ponto por nossos próprios meios.
A migração de 13 racks para uma plataforma de qualidade no MMTS-9 permitiu desenvolver essa localização não apenas como uma estrutura de operadores (dois ou três racks e 'links' de operadores), mas também utilizar como uma das principais. Isso simplificou um pouco a migração de um datacenter não muito bom – a maior parte do equipamento foi transferido para outra instalação, enquanto o O2xygen assumiu o papel de um espaço em desenvolvimento, enviando também cinco racks lá com equipamentos.
Hoje, o O2xygen já é uma verdadeira plataforma, onde os operadores que precisamos 'chegar' se conectaram e novos continuam se juntando. Para os operadores, o O2xygen também se mostrou atrativo do ponto de vista do desenvolvimento estratégico.
Realizamos a fase principal do traslado obrigatoriamente em uma única noite, e ao migrar dentro do MMTS-9 e para o O2xygen seguimos essa regra. É importante enfatizar que a regra da 'mudança em uma noite' é rigorosamente cumprida, independentemente do número de racks! Houve até um caso em que movemos 20 racks e fizemos isso também em uma única noite. A migração é um processo relativamente simples, que requer cautela e sequência, mas existem algumas manobras tanto no processo de preparação quanto na mudança e na implementação na nova localização. Estamos prontos para falar em detalhes sobre a migração, se você tiver interesse.
Resultados Gostamos de ciclos de cinco anos de desenvolvimento. Concluímos a construção de uma nova infraestrutura tolerante a falhas, distribuída em três centros de dados. Aumentamos drasticamente a densidade de entrega de tráfego – se recentemente estávamos felizes com 40-80G com 2U, agora é norma para nós entregar 100G com 1U. Agora, um terabit de tráfego é percebido como algo comum por nós. Estamos prontos para continuar desenvolvendo nossa infraestrutura, que se revelou flexível e escalável.
Pergunta: Sobre o que devemos falar nos próximos textos, prezados leitores? Por que começamos a criar sistemas de armazenamento de dados caseiros? Sobre o núcleo de rede e suas características? Sobre os truques e sutilezas da migração entre data centers? Sobre a otimização de soluções de entrega através da seleção de componentes e ajustes finos de parâmetros? Sobre a criação de soluções robustas graças ao backup múltiplo e às capacidades de escalabilidade horizontal dentro do data center, que são implementadas em uma estrutura composta por três data centers?
Autor: Petr Vinogradov — Diretor Técnico da Uma.Tech
Fonte: habr.com
