Olá, leitores do Habr. Gostaríamos de compartilhar notícias extremamente boas. Finalmente esperamos pela produção em série real da nova geração de processadores russos Elbrus 8C. Oficialmente, a produção em série deveria começar em 2016, mas, na verdade, a produção em massa começou apenas em 2019 e atualmente já foram produzidos cerca de 4000 processadores.
Quase imediatamente após o início da produção em massa, esses processadores apareceram em nosso Aerodisk, pelo qual gostaríamos de agradecer especialmente à empresa NORSI-TRANS, que gentilmente nos cedeu sua plataforma de hardware Yakhont UVM, que suporta processadores Elbrus 8C, para realizar a portabilidade do software do sistema de armazenamento. Esta é uma plataforma universal moderna que atende a todos os requisitos do MCST. Atualmente, a plataforma é utilizada por consumidores especiais e operadoras de telecomunicações para garantir a implementação das ações estabelecidas durante as atividades investigativas operacionais.
No momento, a portabilidade foi concluída com sucesso e o sistema de armazenamento AERODISK já está disponível em versão com processadores Elbrus domésticos.
Neste artigo falaremos sobre os próprios processadores, sua história, arquitetura e, claro, sobre nossa implementação de sistemas de armazenamento no Elbrus.
história
A história dos processadores Elbrus remonta aos tempos da União Soviética. Em 1973, no Instituto de Mecânica de Precisão e Ciência da Computação. S.A. Lebedev (em homenagem ao mesmo Sergei Lebedev que anteriormente liderou o desenvolvimento do primeiro computador soviético MESM, e mais tarde BESM) iniciou o desenvolvimento de sistemas de computação multiprocessadores chamados “Elbrus”. O desenvolvimento foi liderado por Vsevolod Sergeevich Burtsev, e Boris Artashesovich Babayan, que foi um dos vice-designers-chefes, também participou ativamente do desenvolvimento.
Vsevolod Sergeevich Burtsev
Boris Artashesovich Babayan
O principal cliente do projeto foram, obviamente, as forças armadas da URSS, e esta série de computadores acabou sendo usada com sucesso na criação de centros de comando de computadores e sistemas de disparo para sistemas de defesa antimísseis, bem como outros sistemas para fins especiais. .
O primeiro computador Elbrus foi concluído em 1978. Possuía arquitetura modular e podia incluir de 1 a 10 processadores baseados em circuitos de integração média. A velocidade desta máquina atingiu 15 milhões de operações por segundo. A quantidade de RAM, comum a todos os 10 processadores, era de até 2 elevado à 20ª potência de palavras de máquina ou 64 MB.
Mais tarde, descobriu-se que muitas das tecnologias usadas no desenvolvimento do Elbrus estavam sendo pesquisadas em todo o mundo ao mesmo tempo e gerenciadas pela International Business Machine (IBM), mas o trabalho nesses projetos, ao contrário do trabalho no Elbrus , nunca foi concluído, foi concluído e não levou à criação de um produto acabado.
De acordo com Vsevolod Burtsev, os engenheiros soviéticos tentaram aplicar a experiência mais avançada de desenvolvedores nacionais e estrangeiros. A arquitetura dos computadores Elbrus também foi influenciada pelos computadores Burroughs, pelos desenvolvimentos da Hewlett-Packard e pela experiência dos desenvolvedores do BESM-6.
Mas, ao mesmo tempo, muitos dos desenvolvimentos eram originais. O mais interessante do Elbrus-1 foi sua arquitetura.
O supercomputador criado tornou-se o primeiro computador da URSS que utilizou arquitetura superescalar. O uso generalizado de processadores superescalares no exterior começou apenas na década de 90 do século passado, com o advento dos processadores Intel Pentium acessíveis no mercado.
Além disso, processadores especiais de entrada/saída poderiam ser usados para organizar a transferência de fluxos de dados entre dispositivos periféricos e RAM no computador. Poderia haver até quatro desses processadores no sistema, eles funcionavam em paralelo com o processador central e tinham memória própria dedicada.
Elbrus-2
Em 1985, Elbrus recebeu sua continuação lógica: o computador Elbrus-2 foi criado e enviado para produção em massa. Na arquitetura, não era muito diferente de seu antecessor, mas utilizava uma nova base de elementos, o que possibilitou aumentar o desempenho geral em quase 10 vezes - de 15 milhões de operações por segundo para 125 milhões. A capacidade de RAM do computador aumentou para 16 milhões 72 palavras de bits ou 144 MB. A taxa de transferência máxima dos canais de E/S do Elbrus-2 foi de 120 MB/s.
O "Elbrus-2" foi usado ativamente nos centros de pesquisa nuclear em Chelyabinsk-70 e Arzamas-16 no MCC, no sistema de defesa antimísseis A-135, bem como em outras instalações militares.
A criação do Elbrus foi apreciada pelos líderes da União Soviética. Muitos engenheiros receberam encomendas e medalhas. O designer geral Vsevolod Burtsev e vários outros especialistas receberam prêmios estaduais. E Boris Babayan foi condecorado com a Ordem da Revolução de Outubro.
Esses prêmios são mais do que merecidos, disse Boris Babayan mais tarde:
“Em 1978, fabricamos a primeira máquina superescalar, Elbrus-1. Agora, no Ocidente, eles fazem apenas superescalares dessa arquitetura. O primeiro superescalar apareceu no Ocidente em 92, o nosso em 78. Além disso, a versão do superescalar que fizemos é semelhante ao Pentium Pro que a Intel fez em 95.”
Estas palavras sobre a primazia histórica são confirmadas nos EUA, escreveu Keith Diefendorff, desenvolvedor do Motorola 88110, um dos primeiros processadores superescalares ocidentais:
“Em 1978, quase 15 anos antes do surgimento dos primeiros processadores superescalares ocidentais, Elbrus-1 usava um processador que emitia duas instruções por ciclo de clock, alterava a ordem de execução das instruções, renomeava os registros e executava por suposição.”
Elbrus-3
Era 1986 e quase imediatamente após a conclusão dos trabalhos no segundo Elbrus, o ITMiVT começou a desenvolver o novo sistema Elbrus-3, usando uma arquitetura de processador fundamentalmente nova. Boris Babayan chamou esta abordagem de “pós-superescalar”. Foi essa arquitetura, mais tarde chamada de VLIW/EPIC, que no futuro (em meados dos anos 90) os processadores Intel Itanium começaram a usar (e na URSS esses desenvolvimentos começaram em 1986 e terminaram em 1991).
Este complexo computacional foi o primeiro a implementar a ideia de controlar explicitamente o paralelismo das operações por meio de um compilador.
Em 1991, foi lançado o primeiro e, infelizmente, único computador “Elbrus-3”, que não pôde ser totalmente ajustado e, após o colapso da União Soviética, ninguém precisava dele e os desenvolvimentos e planos permaneceram no papel.
Pré-requisitos para uma nova arquitetura
A equipe que trabalhou na ITMiVT na criação de supercomputadores soviéticos não se desintegrou, mas continuou a trabalhar como uma empresa separada sob o nome MCST (Centro de Tecnologias SPARK de Moscou). E no início dos anos 90, começou a cooperação ativa entre MCST e Sun Microsystems, onde a equipe MCST participou do desenvolvimento do microprocessador UltraSPARC.
Foi nesse período que surgiu o projeto de arquitetura E2K, inicialmente financiado pela Sun. Posteriormente, o projeto tornou-se totalmente independente e toda a propriedade intelectual permaneceu com a equipe do MCST.
“Se tivéssemos continuado a trabalhar com a Sun nesta área, tudo seria propriedade da Sun. Embora 90% do trabalho tenha sido feito antes do surgimento da Sun.” (Boris Babayan)
Arquitetura E2K
Quando discutimos a arquitetura dos processadores Elbrus, muitas vezes ouvimos as seguintes declarações de nossos colegas da indústria de TI:
“Elbrus é uma arquitetura RISC”
“Elbrus é uma arquitetura ÉPICA”
“Elbrus é uma arquitetura SPARC”
Na verdade, nenhuma destas afirmações é completamente verdadeira e, se o forem, são apenas parcialmente verdadeiras.
A arquitetura E2K é uma arquitetura de processador original separada; as principais qualidades do E2K são eficiência energética e excelente escalabilidade, alcançadas pela especificação de paralelismo explícito de operações. A arquitetura E2K foi desenvolvida pela equipe MCST e é baseada em uma arquitetura pós-superescalar (a la EPIC) com alguma influência da arquitetura SPARC (com passado RISC). Ao mesmo tempo, o MCST esteve diretamente envolvido na criação de três das quatro arquiteturas básicas (Superescalares, pós-superescalares e SPARC). O mundo é realmente um lugar pequeno.
Para evitar confusões no futuro, traçamos um diagrama simples que, embora simplificado, mostra muito claramente as raízes da arquitetura E2K.
Agora um pouco mais sobre o nome da arquitetura, sobre a qual também há mal-entendidos.
Em várias fontes você pode encontrar os seguintes nomes para esta arquitetura: “E2K”, “Elbrus”, “Elbrus 2000”, ELBRUS (“ExpLicit Basic Resources Utilization Scheduling”, ou seja, planejamento explícito do uso de recursos básicos). Todos esses nomes falam da mesma coisa - sobre arquitetura, mas na documentação técnica oficial, assim como em fóruns técnicos, o nome E2K é usado para denotar arquitetura, então no futuro, se falarmos sobre arquitetura de processador, usaremos o termo “E2K”, e se for um processador específico, usamos o nome “Elbrus”.
Características técnicas da arquitetura E2K
Em arquiteturas tradicionais como RISC ou CISC (x86, PowerPC, SPARC, MIPS, ARM), a entrada do processador recebe um fluxo de instruções projetadas para execução sequencial. O processador pode detectar operações independentes e executá-las em paralelo (superescalaridade) e até mesmo alterar sua ordem (execução fora de ordem). No entanto, a análise de dependência dinâmica e o suporte para execução fora de ordem têm suas limitações no número de comandos iniciados e analisados por ciclo de clock. Além disso, os blocos correspondentes dentro do processador consomem uma quantidade notável de energia e sua implementação complexa às vezes leva a problemas de estabilidade ou segurança.
Na arquitetura E2K, o trabalho principal de análise de dependências e otimização da ordem das operações é assumido pelo compilador. O processador recebe a chamada entrada. instruções amplas, cada uma das quais codifica instruções para todas as unidades de execução do processador que devem ser iniciadas em um determinado ciclo de clock. O processador não é obrigado a analisar dependências entre operandos ou reorganizar operações entre instruções amplas: o compilador faz tudo isso com base na análise do código-fonte e no planejamento de recursos do processador. Como resultado, o hardware do processador pode ser mais simples e mais econômico.
O compilador é capaz de analisar o código-fonte de forma muito mais completa do que o hardware do processador RISC/CISC e encontrar operações mais independentes. Portanto, a arquitetura E2K possui mais unidades de execução paralelas do que as arquiteturas tradicionais.
Capacidades atuais da arquitetura E2K:
- 6 canais de unidades lógicas aritméticas (ALU) operando em paralelo.
- Arquivo de registro de 256 registros de 84 bits.
- Suporte de hardware para loops, incluindo aqueles com pipeline. Aumenta a eficiência do uso de recursos do processador.
- Dispositivo de pré-bombeamento de dados assíncrono programável com canais de leitura separados. Permite ocultar atrasos no acesso à memória e fazer uso mais completo da ALU.
- Suporte para cálculos especulativos e predicados de bit único. Permite reduzir o número de transições e executar várias ramificações do programa em paralelo.
- Um comando amplo, capaz de especificar até 23 operações em um ciclo de clock (mais de 33 operações ao empacotar operandos em instruções vetoriais).
emulação x86
Mesmo no estágio de projeto da arquitetura, os desenvolvedores compreenderam a importância de oferecer suporte a software escrito para a arquitetura Intel x86. Para este propósito, foi implementado um sistema de tradução dinâmica (ou seja, durante a execução do programa, ou “on the fly”) de códigos binários x86 em códigos de processador de arquitetura E2K. Este sistema pode operar tanto em modo aplicativo (no estilo WINE) quanto em modo semelhante a um hipervisor (então é possível executar todo o sistema operacional convidado para a arquitetura x86).
Graças a vários níveis de otimização, é possível atingir alta velocidade do código traduzido. A qualidade da emulação da arquitetura x86 é confirmada pelo lançamento bem-sucedido de mais de 20 sistemas operacionais (incluindo várias versões do Windows) e centenas de aplicativos nos sistemas de computação Elbrus.
Modo de execução de programa protegido
Uma das ideias mais interessantes herdadas das arquiteturas Elbrus-1 e Elbrus-2 é a chamada execução segura de programas. Sua essência é garantir que o programa opere apenas com dados inicializados, verificar todos os acessos à memória para garantir que pertencem ao intervalo de endereços válido e fornecer proteção entre módulos (por exemplo, proteger o programa chamador de erros na biblioteca). Todas essas verificações são realizadas em hardware. Para o modo protegido, há um compilador completo e uma biblioteca de suporte de tempo de execução. Deve-se entender que as restrições impostas levam à impossibilidade de organizar a execução de, por exemplo, código escrito em C++.
Mesmo no modo normal de operação “desprotegido” dos processadores Elbrus, existem recursos que aumentam a confiabilidade do sistema. Assim, a pilha de informações de conexão (a cadeia de endereços de retorno para chamadas procedimentais) é separada da pilha de dados do usuário e é inacessível a ataques como a falsificação de endereço de retorno usada em vírus.
Os desenvolvimentos criados ao longo dos anos permitem não apenas acompanhar e no futuro superar as arquiteturas concorrentes em termos de desempenho e escalabilidade, mas também fornecer proteção contra erros que assolam o x86/amd64. Marcadores como Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) e similares.
A proteção moderna contra vulnerabilidades encontradas na arquitetura x86/amd64 é baseada em patches no nível do sistema operacional. É por isso que a queda de desempenho nas gerações atuais e anteriores de processadores dessas arquiteturas é tão perceptível e varia de 30% a 80%. Nós, como usuários ativos de processadores x86, sabemos disso, sofremos e continuamos a “comer o cacto”, mas ter uma solução para esses problemas na raiz é um benefício indiscutível para nós (e, em última análise, para nossos clientes), especialmente se a solução é russa.
características técnicas
Abaixo estão as características técnicas oficiais dos processadores Elbrus das gerações passadas (4C), atuais (8C), novas (8SV) e futuras (16C) em comparação com processadores Intel x86 semelhantes.
Mesmo uma rápida olhada nesta tabela mostra (e isso é muito agradável) que a lacuna tecnológica dos processadores nacionais, que há 10 anos parecia intransponível, agora parece bastante pequena, e em 2021 com o lançamento do Elbrus-16S (que, entre outros coisas, suportará virtualização) serão reduzidos a distâncias mínimas.
Sistema de armazenamento AERODISK em processadores Elbrus 8C
Passamos da teoria à prática. No âmbito da aliança estratégica das empresas MCST, Aerodisk, Basalt SPO (antiga Alt Linux) e NORSI-TRANS, foi desenvolvido e preparado para funcionamento um sistema de armazenamento de dados que neste momento em termos de segurança, funcionalidade, custo e desempenho é, senão a melhor, então, em nossa opinião, é sem dúvida uma solução válida que pode garantir o nível adequado de independência tecnológica da nossa Pátria.
Agora os detalhes...
Hardware
O hardware de armazenamento é implementado com base na plataforma universal Yakhont UVM da NORSI-TRANS. A plataforma Yakhont UVM recebeu o status de equipamento de telecomunicações de origem russa e foi incluída no registro unificado de produtos radioeletrônicos russos. O sistema consiste em dois controladores de armazenamento separados (2U cada), que são conectados entre si por uma interconexão Ethernet 1G ou 10G, bem como a prateleiras de disco comuns usando uma conexão SAS.
Claro, isso não é tão bonito quanto o formato “Cluster in a box” (quando controladores e drives com backplane comum são instalados em um chassi 2U), que costumamos usar, mas em um futuro próximo também estará disponível. O principal aqui é que funciona bem, e pensaremos nos “arcos” mais tarde.
Internamente, cada controlador possui uma placa-mãe de processador único com quatro slots para RAM (DDR3 para o processador 8C). Também a bordo de cada controlador há 4 portas Ethernet 1G (duas das quais são usadas pelo software AERODISK ENGINE como serviço) e três conectores PCIe para adaptadores Back-end (SAS) e Front-end (Ethernet ou FibreChannel).
As unidades SSD SATA russas da GS Nanotech são usadas como discos de inicialização, que testamos e usamos repetidamente em projetos.
Quando conhecemos a plataforma pela primeira vez, examinamos-a cuidadosamente. Não tivemos dúvidas sobre a qualidade da montagem e da soldagem, tudo foi feito com cuidado e confiabilidade.
Sistema operacional
A versão do sistema operacional utilizada é Alt 8SP para certificação. Em breve estamos planejando criar um repositório plug-in e constantemente atualizado para o Viola OS com software de armazenamento Aerodisk.
Esta versão da distribuição é construída na atual versão estável do kernel Linux 4.9 para E2K (o ramo com suporte de longo prazo foi portado por especialistas do MCST), complementado com patches de funcionalidade e segurança. Todos os pacotes do Alt OS são montados diretamente no Elbrus utilizando o sistema de montagem transacional original do projeto ALT Linux Team, o que possibilitou reduzir custos de mão de obra para a própria transferência e dar mais atenção à qualidade do produto.
Qualquer versão do Alt OS para Elbrus pode ser significativamente expandida em termos de funcionalidade usando o repositório disponível para ele (de aproximadamente 6 mil pacotes fonte para a oitava versão a aproximadamente 12 para a nona).
A escolha também foi feita porque a empresa Basalt SPO, desenvolvedora do Viola OS, trabalha ativamente com outros desenvolvedores de software e dispositivos em diversas plataformas, garantindo interação perfeita entre sistemas de hardware e software.
Sistemas de armazenamento de software
Ao portar, abandonamos imediatamente a ideia de usar emulação x2 suportada em E86K, e passamos a trabalhar diretamente com processadores (felizmente, Alt já possui as ferramentas necessárias para isso).
Entre outras coisas, o modo de execução nativo oferece melhor segurança (aquelas três pilhas de hardware em vez de uma) e maior desempenho (não há necessidade de alocar um ou dois núcleos de oito para executar o tradutor binário, e o compilador faz seu trabalho melhor do que JIT).
Na verdade, a implementação do AERODISK ENGINE no E2K suporta a maior parte da funcionalidade de armazenamento existente disponível em x86. O software do sistema de armazenamento usa a versão atual do AERODISK ENGINE (A-CORE versão 2.30)
Sem problemas, as seguintes funções foram instaladas no E2K e testadas para uso em produção:
- Tolerância a falhas para até dois controladores e E/S de múltiplos caminhos (mpio)
- Acesso a blocos e arquivos com volumes finos (RDG, pools DDP; protocolos FC, iSCSI, NFS, SMB, incluindo integração com Active Directory)
- Vários níveis de RAID até paridade tripla (incluindo a capacidade de usar um construtor RAID)
- Armazenamento híbrido (combinando SSD e HDD em um pool, ou seja, cache e camadas)
- Opções para economizar espaço usando desduplicação e compactação
- Instantâneos ROW, clones e diferentes opções de replicação
- E outros recursos pequenos, mas úteis, como QoS, hotspare global, VLAN, BOND, etc.
Na verdade, no E2K conseguimos implementar todas as nossas funcionalidades, exceto multi-controladores (mais de dois) e um agendador de E/S multi-threaded, que nos permite aumentar o desempenho de pools all-flash em 20-30%. .
Mas naturalmente adicionaremos também essas funções úteis, é uma questão de tempo.
Um pouco sobre desempenho
Depois de passar com sucesso nos testes da funcionalidade básica do sistema de armazenamento, é claro que começamos a realizar testes de carga.
Por exemplo, em um sistema de armazenamento com controlador duplo (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), no qual o cache RAM estava desabilitado, criamos dois pools DDP com um nível RAID-10 principal e dois 500G LUNs e conectou esses LUNs via iSCSI (Ethernet 10G) a um host Linux. E realizamos um dos testes básicos de uma hora em pequenos blocos de carga sequencial usando o programa FIO.
Os primeiros resultados foram bastante positivos.
A carga nos processadores foi em média de 60%, ou seja, Este é o nível básico no qual o sistema de armazenamento pode operar com segurança.
Sim, isso está longe de ser uma carga alta e algum tipo de cobrança claramente não é suficiente para SGBDs de alto desempenho, mas, como mostra nossa prática, essas características são suficientes para 80% das tarefas comuns para as quais os sistemas de armazenamento são usados.
Um pouco mais tarde pretendemos retornar com um relatório detalhado sobre os testes de carga do Elbrus como plataforma para sistemas de armazenamento.
Futuro Brilhante
Como escrevemos acima, a produção em massa do Elbrus 8C começou recentemente - no início de 2019, e em dezembro já haviam sido produzidos cerca de 4000 processadores. Para efeito de comparação, apenas 4 processadores da geração anterior Elbrus 5000C foram produzidos durante todo o período de sua produção, então o progresso é óbvio.
É claro que isso é uma gota no oceano, mesmo para o mercado russo, mas quem caminha pelo caminho pode superá-lo.
O lançamento de várias dezenas de milhares de processadores Elbrus 2020C está planejado para 8, e este já é um número sério. Além disso, durante 2020, o processador Elbrus-8SV deverá ser colocado em produção em massa pela equipe MCST.
Esses planos de produção são uma aplicação para uma parcela muito significativa de todo o mercado nacional de processadores para servidores.
Como resultado, aqui e agora temos um bom e moderno processador russo com uma estratégia de desenvolvimento clara e, em nossa opinião, correta, com base na qual temos o sistema de armazenamento de dados de fabricação russa mais seguro e certificado (e no futuro, um sistema de virtualização no Elbrus-16C). O sistema é russo na medida em que é fisicamente possível nas condições modernas.
Muitas vezes vemos nas notícias os últimos fracassos épicos de empresas que orgulhosamente se autodenominam fabricantes russos, mas na verdade estão empenhadas em colar novamente rótulos, sem agregar nenhum valor próprio aos produtos de um fabricante estrangeiro, exceto sua margem de lucro. Essas empresas, infelizmente, lançam uma sombra sobre todos os verdadeiros desenvolvedores e fabricantes russos.
Com este artigo queremos mostrar claramente que em nosso país existiram, existem e existirão empresas que produzem de forma real e eficiente sistemas de TI complexos e modernos e estão se desenvolvendo ativamente, e a substituição de importações em TI não é uma profanação, mas uma realidade em que nós todos vivem. Você pode não gostar dessa realidade, pode criticá-la ou pode trabalhar e torná-la melhor.
O colapso da URSS impediu que a equipe de criadores do Elbrus se tornasse um player de destaque no mundo dos processadores e obrigou a equipe a buscar financiamento para seus desenvolvimentos no exterior. Foi encontrado, a obra foi concluída e a propriedade intelectual foi preservada, pelo que gostaria de agradecer imensamente a essas pessoas!
Por enquanto é tudo, por favor escreva seus comentários, dúvidas e, claro, críticas. Estamos sempre felizes.
Além disso, em nome de toda a empresa Aerodisk, gostaria de parabenizar toda a comunidade de TI russa pelo próximo Ano Novo e Natal, desejar 100% de disponibilidade - e que os backups não sejam úteis para ninguém no ano novo))).
materiais utilizados
Um artigo com uma descrição geral de tecnologias, arquiteturas e personalidades:
Uma breve história dos computadores chamados "Elbrus":
Artigo geral sobre arquitetura e2k:
O artigo é sobre a 4ª geração (Elbrus-8S) e a 5ª geração (Elbrus-8SV, 2020):
Especificações da próxima 6ª geração de processadores (Elbrus-16SV, 2021):
Descrição oficial da arquitetura Elbrus:
Planos dos desenvolvedores da plataforma de hardware e software Elbrus para criar um supercomputador com desempenho exascale:
Tecnologias russas Elbrus para computadores pessoais, servidores e supercomputadores:
Um artigo antigo de Boris Babayan, mas ainda relevante:
Artigo antigo de Mikhail Kuzminsky:
Apresentação do MCST, informações gerais:
Informações sobre Viola OS para a plataforma Elbrus:
Fonte: habr.com