Ola, lectores de Habr. Queremos compartir unha noticia moi boa. Finalmente agardamos pola produción en serie real da nova xeración de procesadores rusos Elbrus 8C. Oficialmente, a produción en serie debía comezar en 2016, pero, de feito, a produción en masa comezou só en 2019 e actualmente xa se produciron uns 4000 procesadores.
Case inmediatamente despois do inicio da produción en masa, estes procesadores apareceron no noso Aerodisk, polo que queremos agradecer especialmente á empresa NORSI-TRANS, que amablemente nos facilitou a súa plataforma de hardware Yakhont UVM, que admite procesadores Elbrus 8C, para portar o parte de software do sistema de almacenamento. Esta é unha plataforma universal moderna que cumpre todos os requisitos de MCST. Polo momento, a plataforma é utilizada por consumidores especiais e operadores de telecomunicacións para garantir a implementación das accións establecidas durante as actividades de investigación operativas.
Polo momento, a portabilidade completouse con éxito e o sistema de almacenamento AERODISK xa está dispoñible nunha versión con procesadores domésticos Elbrus.
Neste artigo falaremos dos propios procesadores, da súa historia, arquitectura e, por suposto, da nosa implementación de sistemas de almacenamento en Elbrus.
Historia
A historia dos procesadores Elbrus remóntase aos tempos da Unión Soviética. En 1973, no Instituto de Mecánica de Precisión e Ciencias da Computación leva o nome. S.A. Lebedev (chamado así polo mesmo Sergei Lebedev que anteriormente dirixiu o desenvolvemento da primeira computadora soviética MESM, e máis tarde BESM) comezou o desenvolvemento de sistemas informáticos multiprocesadores chamados "Elbrus". O desenvolvemento foi dirixido por Vsevolod Sergeevich Burtsev, e Boris Artashesovich Babayan, que foi un dos deseñadores xefes adxuntos, tamén participou activamente no desenvolvemento.
Vsevolod Sergeevich Burtsev
Boris Artashesovich Babayan
O principal cliente do proxecto foron, por suposto, as forzas armadas da URSS, e esta serie de ordenadores finalmente utilizouse con éxito na creación de centros informáticos de mando e sistemas de disparo para sistemas de defensa antimísiles, así como outros sistemas de propósitos especiais. .
O primeiro ordenador Elbrus completouse en 1978. Tiña unha arquitectura modular e podía incluír de 1 a 10 procesadores baseados en circuítos de integración medios. A velocidade desta máquina alcanzou os 15 millóns de operacións por segundo. A cantidade de RAM, que era común aos 10 procesadores, era de ata 2 ata a 20ª potencia das palabras máquina ou 64 MB.
Máis tarde resultou que moitas das tecnoloxías utilizadas no desenvolvemento de Elbrus estaban sendo investigadas en todo o mundo ao mesmo tempo, e estaban a ser xestionadas pola International Business Machine (IBM), pero traballan nestes proxectos, a diferenza do traballo en Elbrus. , nunca se rematou. foron completados e finalmente non levou á creación dun produto acabado.
Segundo Vsevolod Burtsev, os enxeñeiros soviéticos intentaron aplicar a experiencia máis avanzada dos desenvolvedores nacionais e estranxeiros. A arquitectura dos ordenadores Elbrus tamén estivo influenciada polos ordenadores Burroughs, os desenvolvementos de Hewlett-Packard e a experiencia dos desenvolvedores de BESM-6.
Pero ao mesmo tempo, moitos dos desenvolvementos foron orixinais. O máis interesante de Elbrus-1 foi a súa arquitectura.
A supercomputadora creada converteuse na primeira computadora da URSS que utilizou arquitectura superescalar. O uso xeneralizado de procesadores superescalares no estranxeiro comezou só nos anos 90 do século pasado coa chegada de procesadores Intel Pentium asequibles no mercado.
Ademais, poderían utilizarse procesadores especiais de entrada/saída para organizar a transferencia de fluxos de datos entre dispositivos periféricos e memoria RAM do ordenador. Podería haber ata catro procesadores deste tipo no sistema; funcionaban en paralelo co procesador central e tiñan a súa propia memoria dedicada.
Elbrus-2
En 1985, Elbrus recibiu a súa continuación lóxica; o ordenador Elbrus-2 foi creado e enviado á produción en masa. En arquitectura, non era moi diferente do seu predecesor, pero utilizou unha nova base de elementos, o que permitiu aumentar o rendemento xeral case 10 veces - de 15 millóns de operacións por segundo a 125 millóns. A capacidade RAM do ordenador aumentou a 16 millóns 72 -palabras de bits ou 144 MB. O rendemento máximo das canles de E/S Elbrus-2 foi de 120 MB/s.
"Elbrus-2" utilizouse activamente nos centros de investigación nuclear en Chelyabinsk-70 e Arzamas-16 no MCC, no sistema de defensa antimísiles A-135, así como noutras instalacións militares.
A creación de Elbrus foi apreciada polos líderes da Unión Soviética. Moitos enxeñeiros recibiron órdenes e medallas. O deseñador xeral Vsevolod Burtsev e outros especialistas recibiron premios estatais. E Boris Babayan foi galardoado coa Orde da Revolución de Outubro.
Estes premios son máis que merecidos, dixo máis tarde Boris Babayan:
"En 1978, fixemos a primeira máquina superescalar, Elbrus-1. Agora en Occidente fan só superescalares desta arquitectura. O primeiro superescalar apareceu en Occidente en 92, o noso en 78. Ademais, a versión do superescalar que fixemos é semellante ao Pentium Pro que fixo Intel en 95".
Estas palabras sobre a primacía histórica confírmanse nos EUA, escribiu Keith Diefendorff, desenvolvedor do Motorola 88110, un dos primeiros procesadores superescalares occidentais:
"En 1978, case 15 anos antes de que aparecesen os primeiros procesadores superescalares occidentais, Elbrus-1 utilizaba un procesador que emitía dúas instrucións por ciclo de reloxo, cambiou a orde de execución das instrucións, renomeaba os rexistros e executábase por suposición".
Elbrus-3
Era 1986, e case inmediatamente despois da finalización do traballo no segundo Elbrus, ITMiVT comezou a desenvolver o novo sistema Elbrus-3, utilizando unha arquitectura de procesador fundamentalmente nova. Boris Babayan chamou a este enfoque "postsuperescalar". Foi esta arquitectura, máis tarde chamada VLIW/EPIC, a que no futuro (a mediados dos 90) comezaron a utilizar os procesadores Intel Itanium (e na URSS estes desenvolvementos comezaron en 1986 e remataron en 1991).
Este complexo informático foi o primeiro en implementar as ideas de controlar explícitamente o paralelismo das operacións mediante un compilador.
En 1991, lanzouse o primeiro e, desafortunadamente, único ordenador "Elbrus-3", que non se puido axustar completamente, e despois do colapso da Unión Soviética, ninguén o necesitou, e os desenvolvementos e plans quedaron no papel.
Requisitos previos para unha nova arquitectura
O equipo que traballou en ITMiVT na creación de supercomputadoras soviéticas non se desintegrou, pero continuou traballando como unha empresa separada baixo o nome de MCST (Moscow Center of SPARK Technologies). E a principios dos 90 comezou a cooperación activa entre MCST e Sun Microsystems, onde o equipo de MCST participou no desenvolvemento do microprocesador UltraSPARC.
Foi durante este período cando xurdiu o proxecto de arquitectura E2K, que inicialmente foi financiado por Sun. Máis tarde, o proxecto fíxose completamente independente e toda a propiedade intelectual del permaneceu co equipo MCST.
"Se seguimos traballando con Sun nesta área, todo sería propiedade de Sun. Aínda que o 90% do traballo fíxose antes de que apareza Sun". (Boris Babayan)
Arquitectura E2K
Cando falamos da arquitectura dos procesadores Elbrus, moitas veces escoitamos as seguintes declaracións dos nosos colegas da industria de TI:
"Elbrus é unha arquitectura RISC"
“Elbrus é unha arquitectura épica”
"Elbrus é unha arquitectura SPARC"
De feito, ningunha destas afirmacións é completamente verdadeira e, se o son, só son verdadeiras parcialmente.
A arquitectura E2K é unha arquitectura de procesador orixinal separada; as principais calidades de E2K son a eficiencia enerxética e a excelente escalabilidade, conseguida especificando un paralelismo explícito de operacións. A arquitectura E2K foi desenvolvida polo equipo MCST e está baseada nunha arquitectura post-superescalar (ao EPIC) con certa influencia da arquitectura SPARC (cun pasado RISC). Ao mesmo tempo, MCST participou directamente na creación de tres das catro arquitecturas básicas (Superescalares, Post-superescalares e SPARC). O mundo é realmente un lugar pequeno.
Para evitar confusións no futuro, debuxamos un diagrama sinxelo que, aínda que simplificado, mostra moi claramente as raíces da arquitectura E2K.
Agora un pouco máis sobre o nome da arquitectura, respecto do cal tamén hai malentendidos.
En varias fontes pódense atopar os seguintes nomes para esta arquitectura: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", é dicir, planificación explícita do uso de recursos básicos). Todos estes nomes falan do mesmo: sobre a arquitectura, pero na documentación técnica oficial, así como nos foros técnicos, o nome E2K úsase para designar a arquitectura, polo que no futuro, se falamos de arquitectura do procesador, usamos o termo "E2K", e se se trata dun procesador específico, usamos o nome "Elbrus".
Características técnicas da arquitectura E2K
En arquitecturas tradicionais como RISC ou CISC (x86, PowerPC, SPARC, MIPS, ARM), a entrada do procesador recibe un fluxo de instrucións que están deseñadas para a execución secuencial. O procesador pode detectar operacións independentes e executalas en paralelo (superescalaridade) e mesmo cambiar a súa orde (execución fóra de orde). Non obstante, a análise de dependencia dinámica e o soporte para a execución fóra de orde teñen as súas limitacións no número de comandos lanzados e analizados por ciclo de reloxo. Ademais, os correspondentes bloques no interior do procesador consomen unha cantidade notable de enerxía, e a súa complexa implementación ás veces leva a problemas de estabilidade ou seguridade.
Na arquitectura E2K, o traballo principal de análise de dependencias e optimización da orde das operacións corre a cargo do compilador. O procesador recibe a chamada entrada. instrucións amplas, cada unha das cales codifica instrucións para todas as unidades de execución do procesador que deben ser iniciadas nun ciclo de reloxo determinado. O procesador non está obrigado a analizar as dependencias entre operandos nin a reorganizar as operacións entre instrucións amplas: o compilador fai todo isto baseándose na análise do código fonte e na planificación dos recursos do procesador. Como resultado, o hardware do procesador pode ser máis sinxelo e rendible.
O compilador é capaz de analizar o código fonte moito máis a fondo que o hardware do procesador RISC/CISC e de atopar operacións máis independentes. Polo tanto, a arquitectura E2K ten máis unidades de execución paralelas que as arquitecturas tradicionais.
Capacidades actuais da arquitectura E2K:
- 6 canles de unidades aritméticas lóxicas (ALU) que funcionan en paralelo.
- Ficheiro de rexistro de 256 rexistros de 84 bits.
- Soporte de hardware para bucles, incluídos aqueles con canalización. Aumenta a eficiencia no uso dos recursos do procesador.
- Dispositivo de prebombeo de datos asíncrono programable con canles de lectura separados. Permítelle ocultar atrasos no acceso á memoria e facer un uso máis completo da ALU.
- Soporte para cálculos especulativos e predicados dun só bit. Permite reducir o número de transicións e executar varias ramas do programa en paralelo.
- Un comando amplo, capaz de especificar ata 23 operacións nun ciclo de reloxo (máis de 33 operacións ao empaquetar operandos en instrucións vectoriais).
emulación x86
Mesmo na fase de deseño da arquitectura, os desenvolvedores comprenderon a importancia de admitir o software escrito para a arquitectura Intel x86. Para este fin, implementouse un sistema de tradución dinámica (é dicir, durante a execución do programa ou "on the fly") de códigos binarios x86 en códigos de procesador de arquitectura E2K. Este sistema pode funcionar tanto en modo de aplicación (ao xeito de WINE) como nun modo similar a un hipervisor (entón é posible executar todo o SO convidado para a arquitectura x86).
Grazas a varios niveis de optimización, é posible acadar unha alta velocidade do código traducido. A calidade da emulación da arquitectura x86 está confirmada polo lanzamento exitoso de máis de 20 sistemas operativos (incluíndo varias versións de Windows) e centos de aplicacións nos sistemas informáticos Elbrus.
Modo de execución do programa protexido
Unha das ideas máis interesantes herdadas das arquitecturas Elbrus-1 e Elbrus-2 é a chamada execución segura do programa. A súa esencia é garantir que o programa funciona só con datos inicializados, comprobar todos os accesos á memoria para asegurarse de que pertencen ao intervalo de enderezos válido e proporcionar protección entre módulos (por exemplo, protexer o programa que chama contra erros na biblioteca). Todas estas comprobacións realízanse no hardware. Para o modo protexido hai un compilador completo e unha biblioteca de soporte en tempo de execución. Debe entenderse que as restricións impostas conducen á imposibilidade de organizar a execución de, por exemplo, código escrito en C++.
Incluso no modo de funcionamento normal "desprotexido" dos procesadores Elbrus, hai características que aumentan a fiabilidade do sistema. Así, a pila de información de conexión (a cadea de enderezos de retorno para as chamadas de procedemento) está separada da pila de datos de usuario e é inaccesible para ataques como a suplantación de enderezos de retorno que se usa nos virus.
Os desenvolvementos creados ao longo dos anos permiten non só poñerse ao día e superar no futuro as arquitecturas da competencia en termos de rendemento e escalabilidade, senón tamén proporcionar protección contra erros que afectan a x86/amd64. Marcadores como Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) e similares.
A protección moderna contra as vulnerabilidades atopadas na arquitectura x86/amd64 baséase en parches a nivel de sistema operativo. É por iso que a baixada de rendemento nas xeracións actuais e anteriores de procesadores destas arquitecturas é tan notable e oscila entre o 30% e o 80%. Nós, como usuarios activos de procesadores x86, sabemos disto, padecemos e seguimos "comendo o cactus", pero ter unha solución a estes problemas na raíz é un beneficio indubidable para nós (e en definitiva para os nosos clientes), especialmente se a solución é rusa.
Технические характеристики
Abaixo amósanse as características técnicas oficiais dos procesadores Elbrus das xeracións pasadas (4C), actuais (8C), novas (8SV) e futuras (16C) en comparación con procesadores Intel x86 similares.
Incluso unha rápida ollada a esta táboa mostra (e isto é moi grato) que a fenda tecnolóxica dos procesadores domésticos, que hai 10 anos parecía insuperable, agora parece bastante pequena, e en 2021 co lanzamento do Elbrus-16S (que, entre outros cousas, admitirá a virtualización) reducirase a distancias mínimas.
Sistema de almacenamento AERODISK en procesadores Elbrus 8C
Pasamos da teoría á práctica. Como parte da alianza estratéxica das empresas MCST, Aerodisk, Basalt SPO (anteriormente Alt Linux) e NORSI-TRANS, desenvolveuse e preparouse para o seu funcionamento un sistema de almacenamento de datos que nestes momentos en termos de seguridade, funcionalidade, custo e rendemento. é, se non a mellor, entón, na nosa opinión, é sen dúbida unha solución digna que pode garantir o adecuado nivel de independencia tecnolóxica da nosa Patria.
Agora os detalles...
Hardware
O hardware de almacenamento está implementado sobre a base da plataforma universal Yakhont UVM de NORSI-TRANS. A plataforma Yakhont UVM recibiu o status de equipos de telecomunicacións de orixe rusa e incluíuse no rexistro unificado de produtos radioelectrónicos rusos. O sistema consta de dous controladores de almacenamento separados (2U cada un), que están conectados entre si mediante unha interconexión Ethernet 1G ou 10G, así como a estantes de discos comúns mediante unha conexión SAS.
Por suposto, isto non é tan fermoso como o formato "Cluster in a box" (cando os controladores e as unidades cun backplane común están instalados nun chasis 2U), que normalmente usamos, pero nun futuro próximo tamén estará dispoñible. O principal aquí é que funciona ben, e máis tarde pensaremos nos "arcos".
Baixo o capó, cada controlador ten unha placa base dun só procesador con catro ranuras para RAM (DDR3 para o procesador 8C). Tamén a bordo de cada controlador hai 4 portos Ethernet 1G (dous dos cales son utilizados polo software AERODISK ENGINE como servizo) e tres conectores PCIe para adaptadores Back-end (SAS) e Front-end (Ethernet ou FibreChannel).
As unidades SSD SATA rusas de GS Nanotech utilízanse como discos de arranque, que probamos e usamos repetidamente en proxectos.
Cando nos familiarizamos coa plataforma, examinámola detidamente. Non tiñamos dúbidas sobre a calidade da montaxe e da soldadura; todo se fixo con coidado e fiabilidade.
Sistema operativo
A versión do SO utilizada é Alt 8SP para a certificación. Pronto estamos planeando crear un complemento e un repositorio actualizado constantemente para o sistema operativo Viola co software de almacenamento Aerodisk.
Esta versión da distribución está construída sobre a versión estable actual do núcleo de Linux 4.9 para E2K (a rama con soporte a longo prazo foi portada por especialistas de MCST), complementada con parches de funcionalidade e seguridade. Todos os paquetes do sistema operativo Alt ensamblan directamente en Elbrus mediante o sistema de montaxe transaccional orixinal do proxecto ALT Linux Team, o que permitiu reducir os custos laborais para a propia transferencia e prestar máis atención á calidade do produto.
Calquera versión de Alt OS para Elbrus pode ampliarse significativamente en termos de funcionalidade usando o repositorio dispoñible para el (de aproximadamente 6 mil paquetes fonte para a oitava versión a aproximadamente 12 para a novena).
A elección tamén se fixo porque a empresa Basalt SPO, a desenvolvedora do sistema operativo Viola, traballa activamente con outros desenvolvedores de software e dispositivos en varias plataformas, garantindo unha interacción perfecta nos sistemas de hardware e software.
Sistemas de almacenamento de software
Ao portar, abandonamos inmediatamente a idea de usar a emulación x2 compatible con E86K e comezamos a traballar directamente cos procesadores (afortunadamente, Alt xa ten as ferramentas necesarias para iso).
Entre outras cousas, o modo de execución nativo proporciona unha mellor seguridade (esas tres pilas de hardware en lugar dunha) e un maior rendemento (non é necesario asignar un ou dous núcleos de oito para executar o tradutor binario, e o compilador fai mellor o seu traballo). que JIT).
De feito, a implementación de AERODISK ENGINE en E2K admite a maior parte da funcionalidade de almacenamento existente que está dispoñible en x86. O software do sistema de almacenamento usa a versión actual de AERODISK ENGINE (versión A-CORE 2.30)
Sen ningún problema, instaláronse as seguintes funcións en E2K e probáronse para o seu uso en produción:
- Tolerancia a fallos para ata dous controladores e E/S multiruta (mpio)
- Bloquear e acceder a ficheiros con volumes finos (RDG, DDP pools; FC, iSCSI, NFS, protocolos SMB incluída a integración con Active Directory)
- Varios niveis de RAID ata triple paridade (incluíndo a posibilidade de usar un creador de RAID)
- Almacenamento híbrido (que combina SSD e HDD nun só grupo, é dicir, caché e nivelación)
- Opcións para aforrar espazo mediante a deduplicación e compresión
- Instantáneas ROW, clons e diferentes opcións de replicación
- E outras funcións pequenas pero útiles como QoS, hotspare global, VLAN, BOND, etc.
De feito, en E2K conseguimos implementar todas as nosas funcionalidades, agás os multicontroladores (máis de dous) e un programador de E/S multiproceso, que nos permite aumentar o rendemento dos pools all-flash nun 20-30% .
Pero, naturalmente, tamén engadiremos estas funcións útiles, é cuestión de tempo.
Un pouco sobre o rendemento
Despois de superar con éxito as probas da funcionalidade básica do sistema de almacenamento, comezamos, por suposto, a realizar probas de carga.
Por exemplo, nun sistema de almacenamento de dobre controlador (2xCPU E8C 1.3 Ghz, 32 GB de RAM + 4 SAS SSD 800 GB 3DWD), no que a caché RAM estaba desactivada, creamos dous grupos DDP cun nivel RAID-10 principal e dous 500G. LUN e conectou estes LUN mediante iSCSI (Ethernet 10G) a un host Linux. E realizamos unha das probas básicas dunha hora en pequenos bloques de carga secuencial usando o programa FIO.
Os primeiros resultados foron bastante positivos.
A carga dos procesadores foi de media do 60%, é dicir. Este é o nivel básico no que o sistema de almacenamento pode funcionar con seguridade.
Si, isto está lonxe de ser unha alta carga e algún tipo de facturación claramente non é suficiente para os DBMS de alto rendemento, pero, como mostra a nosa práctica, estas características son suficientes para o 80% das tarefas comúns para as que se utilizan sistemas de almacenamento.
Un pouco máis tarde pensamos volver cun informe detallado sobre as probas de carga de Elbrus como plataforma para sistemas de almacenamento.
Futuro brillante
Como escribimos anteriormente, a produción en masa de Elbrus 8C comezou recentemente, a principios de 2019, e en decembro xa se produciran uns 4000 procesadores. A modo de comparación, só se produciron 4 procesadores da xeración anterior Elbrus 5000C durante todo o período da súa produción, polo que o progreso é obvio.
Está claro que esta é unha gota no cubo, incluso para o mercado ruso, pero os que percorren a estrada poden superalo.
O lanzamento de varias decenas de miles de procesadores Elbrus 2020C está previsto para 8, e esta xa é unha cifra seria. Ademais, durante 2020, o equipo MCST debería levar o procesador Elbrus-8SV á produción en masa.
Estes plans de produción son unha aplicación para unha parte moi importante de todo o mercado de procesadores de servidores domésticos.
Como resultado, aquí e agora temos un procesador ruso bo e moderno cunha estratexia de desenvolvemento clara e, na nosa opinión, correcta, sobre a base do cal temos o sistema de almacenamento de datos máis seguro e certificado de fabricación rusa (e no futuro, un sistema de virtualización en Elbrus-16C). O sistema é ruso na medida en que é fisicamente posible nas condicións modernas.
Moitas veces vemos nas noticias os últimos fracasos épicos de empresas que se chaman con orgullo fabricantes rusos, pero que de feito se dedican a volver pegar as etiquetas, sen engadir o seu propio valor aos produtos dun fabricante estranxeiro, excepto o seu marcado. Desafortunadamente, tales empresas fan sombra sobre todos os desenvolvedores e fabricantes rusos reais.
Con este artigo queremos demostrar claramente que no noso país houbo, hai e haberá empresas que producen de forma efectiva e eficiente sistemas informáticos complexos modernos e están a desenvolverse activamente, e a substitución de importacións en informática non é unha profanación, senón unha realidade na que todos en directo. Podes desagradar esta realidade, podes criticala ou podes traballar e mellorala.
O colapso da URSS impediu nun tempo que o equipo de creadores de Elbrus se convertera nun actor destacado no mundo dos procesadores e obrigou ao equipo a buscar financiamento para os seus desenvolvementos no estranxeiro. Atopouse, rematouse a obra e conservouse a propiedade intelectual, polo que quero agradecer enormemente a esta xente!
Iso é todo polo momento, por favor escriba os seus comentarios, preguntas e, por suposto, críticas. Sempre estamos felices.
Ademais, en nome de toda a empresa Aerodisk, gustaríame felicitar a toda a comunidade informática rusa polo próximo Ano Novo e Nadal, desexar o 100% de tempo de actividade e que as copias de seguridade non sexan útiles para ninguén no ano novo))).
Materiais utilizados
Un artigo cunha descrición xeral de tecnoloxías, arquitecturas e personalidades:
Unha breve historia dos ordenadores baixo o nome "Elbrus":
Artigo xeral sobre a arquitectura e2k:
O artigo trata sobre a 4ª xeración (Elbrus-8S) e a 5ª xeración (Elbrus-8SV, 2020):
Especificacións da próxima 6ª xeración de procesadores (Elbrus-16SV, 2021):
Descrición oficial da arquitectura de Elbrus:
Plans dos desenvolvedores da plataforma de hardware e software Elbrus para crear un supercomputador con rendemento exascale:
Tecnoloxías rusas Elbrus para ordenadores persoais, servidores e supercomputadoras:
Un artigo antigo de Boris Babayan, pero aínda relevante:
Antigo artigo de Mikhail Kuzminsky:
Presentación do MCST, información xeral:
Información sobre Viola OS para a plataforma Elbrus:
Fonte: www.habr.com