Olá, leitores do Habr. Temos uma notícia muito agradável para compartilhar. Finalmente, esperamos o lançamento em série real da nova geração dos processadores russos Elbrus 8C. O lançamento oficial em série deveria ter começado em 2016, mas, na prática, a produção em massa começou apenas em 2019 e, até o momento, já foram produzidos cerca de 4000 processadores.
Praticamente assim que a produção em série começou, esses processadores já estavam disponíveis em nossa Aerodisk, pelo que agradecemos especialmente à empresa NORSI-TRANS, que gentilmente nos forneceu sua plataforma de hardware Yakhont UVM, que suporta os processadores Elbrus 8C, para a portabilidade da parte de software do armazenamento. Esta é uma plataforma universal moderna que atende a todos os requisitos do MCST. Atualmente, a plataforma é utilizada por consumidores especiais e operadores de telecomunicações para garantir a execução das ações estabelecidas durante a condução de investigações operacionais.
Atualmente, a portabilidade foi concluída com sucesso, e já agora o sistema de armazenamento AERODISK está disponível na versão com processadores Elbrus nacionais.
Neste artigo, falaremos sobre os próprios processadores, sua história, arquitetura e, claro, sobre nossa implementação do sistema de armazenamento no Elbrus.
Histórico
A história dos processadores Elbrus começou nos tempos da União Soviética. Em 1973, no Instituto de Mecânica de Precisão e Tecnologia da Informação S.A. Lebedev (nome do mesmo Sergey Lebedev, que antes liderou o desenvolvimento do primeiro computador soviético MESH, e depois BESSM), começou o desenvolvimento de complexos de computação multiprocessados chamados 'Elbrus'. A liderança do desenvolvimento foi de Vyacheslav Sergeyevich Burtsev, e Boris Artashesovich Babayan também participou ativamente do desenvolvimento, sendo um dos assistentes do principal projetista.
Vyacheslav Sergeyevich Burtsev
Boris Artashesovich Babayan
O principal contratante do projeto foi, naturalmente, as forças armadas da URSS, e esta série de computadores acabou sendo utilizada com sucesso na criação de centros de computação de comando e sistemas de tiro de sistemas de defesa antimísseis, assim como em outros sistemas de finalidade especial.
O primeiro computador "Elbrus" foi concluído em 1978. Possuía uma arquitetura modular e podia incluir de 1 a 10 processadores baseados em circuitos de média integração. O desempenho dessa máquina atingia 15 milhões de operações por segundo. A memória RAM, que era compartilhada por todos os 10 processadores, chegava a 2 elevado a 20 palavras de máquina, ou 64 MB.
Mais tarde, descobriu-se que muitas das tecnologias utilizadas no desenvolvimento do "Elbrus" estavam sendo pesquisadas no mundo ao mesmo tempo, e eram tratadas pela International Business Machine (IBM), mas os trabalhos nesses projetos, ao contrário dos do "Elbrus", nunca foram concluídos e não resultaram na criação de um produto final.
Segundo Vsevolod Burtsev, os engenheiros soviéticos tentaram aplicar a mais avançada experiência de desenvolvedores nacionais e estrangeiros. A arquitetura dos computadores "Elbrus" foi influenciada também pelos computadores da Burroughs, pelas inovações da Hewlett-Packard, além da experiência dos desenvolvedores do BESM-6.
Contudo, muitas das inovações foram originais. O mais interessante no "Elbrus-1" era de fato sua arquitetura.
O supercomputador criado se tornou o primeiro no USSR a usar uma arquitetura superescalar. O uso em massa de processadores superescalares no exterior começou apenas na década de 1990 com a chegada ao mercado dos processadores Intel Pentium acessíveis.
Além disso, para organizar a transmissão de fluxos de dados entre dispositivos periféricos e a memória RAM, o computador poderia usar processadores de entrada e saída dedicados. Podia haver até quatro desses processadores no sistema, que operavam em paralelo com o processador central e possuíam sua própria memória dedicada.
Elbrus-2
Em 1985, o "Elbrus" recebeu sua continuidade lógica, sendo criado e enviado para produção em série o computador "Elbrus-2". Em termos de arquitetura, ele pouco diferia de seu predecessor, mas utilizava uma nova base de elementos, o que permitiu aumentar quase 10 vezes o desempenho geral - de 15 milhões de operações por segundo para 125 milhões. A memória RAM do computador aumentou para 16 milhões de palavras de 72 bits ou 144 MB. A capacidade máxima de transmissão dos canais de entrada e saída do "Elbrus-2" era de 120 MB/s.
O "Elbrus-2" foi amplamente utilizado em centros de pesquisa nuclear em Chelyabinsk-70 e em Arzamas-16 no Centro de Controle de Voo, no sistema de Defesa Aérea A-135, assim como em outras instalações militares.
A criação do "Elbrus" foi devidamente reconhecida pelos líderes da União Soviética. Muitos engenheiros foram agraciados com ordens e medalhas. O projetista principal, Vsevolod Burcev, e outros especialistas receberam prêmios estaduais. Boris Babayan foi condecorado com a Ordem da Revolução de Outubro.
Essas honras eram mais do que merecidas, Boris Babayan disse mais tarde:
"Em 1978, fizemos a primeira máquina superescalar, o Elbrus-1. Hoje, no Ocidente, eles fazem superescalares apenas com essa arquitetura. O primeiro superescalar no Ocidente surgiu em 1992, nosso foi em 1978. E o tipo de superescalar que nós fizemos é análogo ao Pentium Pro, que a Intel fez em 1995."
Essas palavras sobre a primazia histórica também são confirmadas nos EUA, onde Keith Diefendorff, desenvolvedor do Motorola 88110, um dos primeiros processadores superescalares ocidentais, escreveu:
"Em 1978, quase 15 anos antes do surgimento dos primeiros processadores superescalares ocidentais, o Elbrus-1 utilizava um processador que emitia duas instruções por ciclo, alterando a ordem de execução, renomeando registros e executando por especulação."
Elbrus-3
Era 1986, e quase imediatamente após a conclusão do trabalho no segundo "Elbrus", iniciou-se o desenvolvimento de um novo sistema, o "Elbrus-3", utilizando uma arquitetura de processador fundamentalmente nova. Esse conceito foi chamado por Boris Babayan de "pós-superescalar". Essa arquitetura, mais tarde chamada de VLIW/EPIC, seria utilizada futuramente (meados da década de 90) pelos processadores Intel Itanium (e na URSS esses desenvolvimentos começaram em 1986 e terminaram em 1991).
Neste complexo computacional, ideias de controle explícito de paralelismo de operações por meio de compiladores foram implementadas pela primeira vez.
Em 1991, foi lançado o primeiro e, infelizmente, único computador "Elbrus-3", que não pôde ser totalmente ajustado, e após a queda da União Soviética, tornou-se desnecessário, permanecendo apenas os desenvolvimentos e os planos na papelada.
Os fundamentos para a nova arquitetura
A equipe que trabalhou no ITMiVT na criação dos supercomputadores soviéticos não se desfez, mas continuou seu trabalho como uma empresa separada chamada MCST (Centro de Tecnologias SPARC de Moscovo). No início dos anos 90, começou uma colaboração ativa entre a MCST e a Sun Microsystems, onde a equipe da MCST participou no desenvolvimento do microprocessador UltraSPARC.
Foi nesse período que surgiu o projeto da arquitetura E2K, que foi inicialmente financiado pela empresa Sun. Posteriormente, o projeto tornou-se completamente independente e toda a propriedade intelectual sobre ele permaneceu com a equipe da MCST.
"Se tivéssemos continuado a trabalhar com a Sun nessa área, tudo teria pertencido à Sun. Embora 90% do trabalho tenha sido realizado antes mesmo do surgimento da Sun." (Boris Babayan)
Arquitetura E2K
Quando discutimos a arquitetura dos processadores "Elbrus", frequentemente ouvimos as seguintes afirmações de nossos colegas da indústria de TI:
"Elbrus é uma arquitetura RISC"
"Elbrus é uma arquitetura EPIC"
"Elbrus é uma arquitetura SPARC"
Na verdade, nenhuma dessas afirmações é completamente verdadeira, e se for, é apenas parcialmente.
A arquitetura E2K é uma arquitetura de processador original e distinta, com as principais qualidades da E2K sendo a eficiência energética e uma excelente escalabilidade, alcançadas através da definição do paralelismo explícito das operações. A arquitetura E2K foi desenvolvida pela equipe da MCST e tem como base uma arquitetura pós-superescalar (semelhante a EPIC), com certa influência da arquitetura SPARC (com passado RISC). A MCST teve participação direta na criação de três das quatro arquiteturas base (superescalares, pós-superescalares e SPARC). O mundo, de fato, é pequeno.
Para evitar confusão futura, desenhamos um esquema simples que, embora simplificado, mostra claramente as raízes da arquitetura E2K.
Agora, um pouco sobre o nome da arquitetura, em relação ao qual também há desentendimento.
Em diferentes fontes, você pode encontrar os seguintes nomes para essa arquitetura: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", ou seja, planejamento explícito do uso de recursos básicos). Todos esses nomes se referem à mesma arquitetura; contudo, na documentação técnica oficial e também em fóruns técnicos, é utilizado o nome E2K para designar a arquitetura. Portanto, a partir de agora, se falarmos sobre a arquitetura do processador, usaremos o termo "E2K", enquanto que para um processador específico, usaremos o nome "Elbrus".
Características técnicas da arquitetura E2K
Em arquiteturas tradicionais do tipo RISC ou CISC (x86, PowerPC, SPARC, MIPS, ARM), um fluxo de instruções é enviado ao processador, destinado à execução sequencial. O processador pode detectar operações independentes e executá-las em paralelo (superscalaridade) e até mesmo alterar sua ordem (execução fora de ordem). No entanto, a análise dinâmica de dependências e o suporte para a execução fora de ordem apresentam limitações no número de instruções que podem ser lançadas e analisadas em um único ciclo. Além disso, os blocos correspondentes dentro do processador consomem uma quantidade significativa de energia, e a implementação complexa muitas vezes resulta em problemas de estabilidade ou segurança.
Na arquitetura E2K, o compilador assume a principal responsabilidade pela análise de dependências e otimização da ordem das operações. O processador recebe o que são chamadas de instruções largas, nas quais estão codificadas as instruções para todos os dispositivos de execução do processador que devem ser ativados naquele ciclo. O processador não precisa analisar as dependências entre os operandos ou reorganizar as operações entre as instruções largas: todo esse trabalho é realizado pelo compilador, com base na análise do código fonte e na programação dos recursos do processador. Como resultado, a parte de hardware do processador pode ser mais simples e econômica.
O compilador é capaz de analisar o código fonte de maneira muito mais detalhada do que o hardware dos processadores RISC/CISC e identificar mais operações independentes. Por isso, na arquitetura E2K existem mais dispositivos de execução operando em paralelo do que nas arquiteturas tradicionais.
As capacidades atuais da arquitetura E2K:
- 6 canais de dispositivos aritmético-lógicos (ALU) funcionando em paralelo.
- Um arquivo de registros contendo 256 registradores de 84 bits.
- Suporte de hardware para ciclos, incluindo o pipeline. Aumenta a eficiência na utilização dos recursos do processador.
- Dispositivo de pré-carregamento de dados assíncrono programável com canais de leitura separados. Permite ocultar latências de acesso à memória e utilizar melhor a ALU.
- Suporte para cálculos especulativos e predicados de um bit. Permite reduzir o número de desvios e executar várias ramificações do programa em paralelo.
- Instrução ampla, capaz de realizar até 23 operações em um único ciclo em preenchimento máximo (mais de 33 operações ao empacotar operandos em comandos vetoriais).
Emulação x86
Desde a fase de design da arquitetura, os desenvolvedores compreenderam a importância de suportar software escrito para a arquitetura Intel x86. Para isso, foi implementado um sistema de tradução dinâmica (ou seja, durante a execução do programa, ou 'em tempo real') de códigos binários x86 para códigos do processador da arquitetura E2K. Este sistema pode operar tanto no modo de aplicativo (semelhante ao WINE), quanto em um modo análogo ao hipervisor (onde é possível executar um sistema operacional completo para a arquitetura x86).
Graças a vários níveis de otimização, é possível alcançar alta velocidade na execução do código traduzido. A qualidade da emulação da arquitetura x86 é confirmada pelo sucesso na execução em complexos computacionais 'Elbrus' de mais de 20 sistemas operacionais (incluindo várias versões do Windows) e centenas de aplicativos.
Modo protegido de execução de programas
Uma das ideias mais interessantes herdadas das arquiteturas Elbrus-1 e Elbrus-2 é a chamada execução protegida de programas. Seu objetivo é garantir que o programa funcione apenas com dados inicializados, verificar todas as acessos à memória quanto à conformidade com um intervalo de endereços permitido e proporcionar proteção entre módulos (por exemplo, proteger o programa chamador de erros na biblioteca). Todas essas verificações são realizadas em hardware. Para o modo protegido, existe um compilador completo e uma biblioteca de suporte em tempo de execução. É importante entender que as restrições impostas levam à impossibilidade de organização da execução, por exemplo, do código escrito em C++.
Mesmo no modo de operação "não protegido" dos processadores Elbrus, há características que aumentam a confiabilidade do sistema. Assim, a pilha de informações de ligação (cadeia de endereços de retorno em chamadas de procedimentos) é separada da pilha de dados do usuário e é inacessível a ataques utilizados em vírus, como a substituição do endereço de retorno.
As inovações criadas ao longo dos anos de desenvolvimento não apenas permitem alcançar e, no futuro, superar as arquiteturas concorrentes em termos de desempenho e escalabilidade, mas também garantem proteção contra erros que afetam x86/amd64. Problemas como Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) e similares.
A proteção moderna contra vulnerabilidades encontradas na arquitetura x86/amd64 baseia-se em patches a nível de sistemas operacionais. É por isso que a queda de desempenho nas gerações atuais e anteriores de processadores dessas arquiteturas é tão perceptível, variando de 30% a 80%. Nós, como usuários ativos de processadores x86, sabemos disso, sofremos e continuamos a "comer cacto", enquanto a presença de soluções para esses problemas na origem é, para nós (e, em última instância, para nossos clientes), uma benção indiscutível, especialmente se a solução for russa.
Especificações técnicas
Abaixo estão as especificações técnicas oficiais dos processadores Elbrus das gerações passada (4C), atual (8C), nova (8CV) e futura (16C) em comparação com processadores equivalentes da Intel x86.
Mesmo uma olhada rápida nesta tabela mostra (e isso é muito animador) que o atraso tecnológico dos processadores nacionais, que há 10 anos parecia intransponível, já parece agora bastante reduzido, e em 2021, com o lançamento do "Elbrus-16C" (que, entre outras coisas, suportará virtualização), será ainda menor.
Sistemas de Armazenamento AERODISK em processadores Elbrus 8C
Da teoria passamos à prática. No âmbito da aliança estratégica entre as empresas MCST, AERODISK, Basalt SPO (anteriormente Alt Linux) e NORSI-TRANS, foi desenvolvida e preparada para operação um sistema de armazenamento de dados que, atualmente, em parâmetros de segurança, funcionalidade, custo e desempenho, é se não o melhor, indiscutivelmente uma solução digna que pode garantir um nível adequado de independência tecnológica para nossa Pátria.
Agora, os detalhes…
Hardware
A parte de hardware do sistema de armazenamento é baseada na plataforma universal Yakhont UVM da empresa NORSI-TRANS. A plataforma Yakhont UVM recebeu o status de equipamento de telecomunicações de origem russa e foi incluída no registro único de produtos de rádio eletrônicos russos. O sistema consiste em dois controladores separados de armazenamento (2U cada), conectados entre si por interconexão Ethernet de 1G ou 10G, além de prateleiras de disco compartilhadas usando conexão SAS.
Claro, isso não é tão bonito quanto o formato "Cluster in a box" (quando os controladores e discos com um backplane comum estão instalados em um único chassi de 2U), que geralmente usamos, mas em um futuro próximo também estará disponível. O mais importante é que funcione bem, e os "laços" pensamos depois.
Sob o capô, cada controlador possui uma placa-mãe com um processador e quatro slots para memória RAM (DDR3 para o processador 8C). Além disso, cada controlador possui 4 portas de Ethernet de 1G (duas das quais são usadas pelo software AERODISK ENGINE como serviço) e três slots PCIe para adaptadores de Back-end (SAS) e Front-end (Ethernet ou FibreChannel).
Como discos de inicialização, são utilizados discos SSD SATA fabricados na Rússia pela empresa GS Nanotech, que testamos e utilizamos em projetos diversas vezes.
Na nossa primeira familiarização com a plataforma, nós a examinamos cuidadosamente. Não tivemos questões sobre a qualidade da montagem e da soldagem, tudo foi feito de forma cuidadosa e confiável.
Sistema operacional
O sistema operacional utilizado é a versão ALT OS 8СП para certificação. Em breve, planejamos criar um repositório plugável e constantemente atualizado para o ALT OS com o software de armazenamento AERODISK.
Esta versão da distribuição é baseada na versão estável atual do núcleo Linux 4.9 para E2K (ramo com suporte de longo prazo, portado pelos especialistas da MCST), complementada com patches de funcionalidade e segurança. Todos os pacotes no ALT OS foram compilados diretamente em "Elbrus" utilizando o sistema original de compilação transacional do projeto ALT Linux Team, o que permitiu reduzir o esforço no próprio porte e dedicar mais atenção à qualidade do produto.
Qualquer versão do ALT OS para Elbrus pode ser significativamente expandida em termos de funcionalidade, aproveitando o repositório disponível para ela (de cerca de 6 mil pacotes fonte para a oitava versão até cerca de 12 mil para a nona).
A escolha também foi feita porque a empresa Bazalt SP, desenvolvedora do ALT OS, trabalha ativamente com outros desenvolvedores de software e dispositivos em várias plataformas, garantindo uma interação fluida no âmbito dos complexos de hardware e software.
Software de Sistema de Armazenamento de Dados
Ao portarmos, imediatamente descartamos a ideia de usar a emulação x86 suportada em E2K e começamos a trabalhar diretamente com os processadores (ainda bem que o ALT já possui os meios necessários para isso).
Entre outras coisas, o modo nativo de execução oferece melhor segurança (os famosos três pilhas de hardware em vez de uma) e desempenho aprimorado (não há necessidade de alocar um ou dois núcleos de oito para o funcionamento do tradutor binário, e o compilador faz seu trabalho melhor do que o JIT).
Na verdade, na implementação do AERODISK ENGINE em E2K, a maior parte das funcionalidades existentes do sistema de armazenamento disponíveis em x86 é suportada. Como software de sistema de armazenamento, a versão atual do AERODISK ENGINE (versão A-CORE 2.30) está sendo utilizada.
Sem grandes problemas, as seguintes funcionalidades foram implementadas e testadas para uso em produção em E2K:
- Tolerância a falhas para dois controladores e entrada e saída multicanal (mpio)
- Acesso em bloco e por arquivos com volumes finos (pools RDG, DDP; protocolos FC, iSCSI, NFS, SMB incluindo integração com Active Directory)
- Vários níveis de RAID até tripla paridade (incluindo a opção de usar um construtor de RAID)
- Armazenamento híbrido (combinando SSD e HDD dentro de um único pool, ou seja, cache e tiering)
- Opções de economia de espaço através de deduplicação e compressão
- Snapshots ROW, clones e várias opções de replicação
- E outras pequenas, mas úteis funções, como QoS, hot spare global, VLAN, BOND, etc.
De fato, no E2K conseguimos implementar toda a nossa funcionalidade, exceto a multicontrole (mais de dois) e o planejador de I/O multinúcleo, que permite aumentar o desempenho dos pools all-flash em 20-30%.
Mas essas funcionalidades úteis, é claro, também estaremos adicionando, é uma questão de tempo.
Um pouco sobre desempenho
Após a aprovação bem-sucedida dos testes de funcionalidade básica do sistema de armazenamento, começamos, evidentemente, a realizar testes de carga.
Por exemplo, em um sistema de armazenamento de dois controladores (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), no qual o cache de RAM estava desativado, criamos dois pools DDP com um nível básico de RAID-10 e dois LUN de 500G e conectamos esses LUNs via iSCSI (10G Ethernet) a um host Linux. E realizamos um dos testes horários básicos com pequenos blocos de carga sequencial usando o programa FIO.
Os primeiros resultados foram bastante positivos.
A carga nos processadores estava, em média, em 60%, ou seja, este é o nível básico no qual o sistema de armazenamento pode operar tranquilamente.
Sim, isso está longe de ser um highload e para bancos de dados de alto desempenho de alguma cobrança isso claramente não é o suficiente, mas, como mostra nossa prática, essas características são suficientes para 80% das tarefas gerais para as quais os sistemas de armazenamento são utilizados.
Um pouco mais tarde, planejamos voltar com um relatório detalhado sobre os testes de carga do Elbrus como plataforma para sistemas de armazenamento.
Um futuro brilhante
Como mencionamos anteriormente, a produção em massa do Elbrus 8C na verdade começou recentemente – no início de 2019 e até dezembro já haviam sido produzidos cerca de 4000 processadores. Para comparação, durante todo o período de produção, apenas 5000 processadores da geração anterior Elbrus 4C foram produzidos, então o progresso é evidente.
É claro que isso é uma gota no oceano, mesmo para o mercado russo, mas o caminho será percorrido por quem caminha.
Para 2020, está previsto o lançamento de várias dezenas de milhares de processadores Elbrus 8C, um número significativo. Além disso, durante 2020, o processador Elbrus-8SV deve ser levado à produção em série pela equipe da MCST.
Esses planos de produção são uma declaração de intenção para uma parte muito significativa de todo o mercado doméstico de processadores de servidor.
Como resultado, já temos aqui e agora um bom e moderno processador russo com uma estratégia de desenvolvimento clara e, em nossa opinião, correta, sobre a qual existe um sistema de armazenamento de dados russo certificado e altamente seguro (e no futuro um sistema de virtualização baseado no Elbrus-16C). O sistema é russo na medida do fisicamente viável nas condições atuais.
Frequentemente vemos nas notícias mais um épico fracasso de empresas que orgulhosamente se chamam de fabricantes russos, mas que, na prática, apenas trocam rótulos, sem adicionar valor próprio ao produto de um fabricante estrangeiro, além de sua margem de lucro. Infelizmente, essas empresas lançam uma sombra sobre todos os verdadeiros desenvolvedores e fabricantes russos.
Com este artigo, queremos mostrar claramente que no nosso país existem, existiram e existirão empresas que realmente fabricam sistemas de TI modernos e complexos de forma qualificada e que estão se desenvolvendo ativamente; além disso, a substituição de importações na TI não é uma farsa, mas uma realidade em que todos nós vivemos. Essa realidade pode ser criticada, mas também pode ser melhorada.
A dissolução da URSS impediu a equipe criadora do Elbrus de se tornar um jogador relevante no mundo dos processadores e forçou a equipe a buscar financiamento para suas pesquisas no exterior. Esse financiamento foi encontrado, o trabalho foi realizado e a propriedade intelectual foi preservada, o que devemos a essas pessoas um enorme agradecimento!
Por enquanto é tudo, por favor, envie seus comentários, perguntas e, claro, críticas. Estamos sempre felizes.
Em nome de toda a empresa Aerodisk, quero parabenizar toda a comunidade de TI russa pelo Ano Novo e pelo Natal que se aproximam, desejando 100% de uptime – e que os backups no próximo ano não sejam necessários))).
Materiais utilizados
Artigo com uma descrição geral de tecnologias, arquiteturas e personalidades:
Uma breve história dos computadores sob o nome "Elbrus":
Artigo geral sobre a arquitetura e2k:
Artigo especificamente sobre a 4ª geração (Elbrus-8C) e 5ª geração (Elbrus-8CV, 2020):
Especificações da próxima 6ª geração de processadores (Elbrus-16CV, 2021):
Descrição oficial da arquitetura Elbrus:
Planos dos desenvolvedores da plataforma hardware-software "Elbrus" para a criação de supercomputadores de desempenho exa-flop:
Tecnologias russas "Elbrus" para computadores pessoais, servidores e supercomputadores:
Um artigo antigo de Boris Babayan, mas ainda relevante:
Um artigo antigo de Mikhail Kuzminsky:
Apresentação da MCST, informações gerais:
Informações sobre o sistema operacional Alt para a plataforma Elbrus:
Fonte: habr.com
