Hola, lectores de Habr. Queremos compartir una noticia muy agradable. Finalmente, hemos esperado el lanzamiento real en serie de la nueva generación de procesadores rusos Elbrus 8C. El lanzamiento oficial en serie debía comenzar en 2016, pero en realidad, la producción en masa empezó solo en 2019 y, hasta la fecha, ya se han producido alrededor de 4000 procesadores.
Prácticamente justo después del inicio de la producción en serie, estos procesadores ya estaban disponibles en Aerodisk, por lo que queremos agradecer especialmente a la empresa NORSI-TRANS, que amablemente nos proporcionó su plataforma de hardware Yakhont UVM, que soporta los procesadores Elbrus 8C, para realizar la portación de la parte de software del sistema de almacenamiento. Esta es una plataforma moderna que cumple con todos los requisitos de MCST. Actualmente, la plataforma se utiliza por consumidores especiales y operadores de telecomunicaciones para garantizar la realización de acciones establecidas durante las actividades de investigación y rastreo.
En este momento, la portación se ha completado con éxito, y ya está disponible el sistema de almacenamiento AERODISK en una versión con procesadores rusos Elbrus.
En este artículo, hablaremos sobre los propios procesadores, su historia, arquitectura y, por supuesto, sobre nuestra implementación del sistema de almacenamiento en Elbrus.
Historia
La historia de los procesadores Elbrus comienza en la época de la Unión Soviética. En 1973, en el Instituto de Mecánica de Precisión y Tecnología de Computación S.A. Lebedev (el mismo Sergey Lebedev, que anteriormente dirigió el desarrollo de la primera computadora soviética MESM, y más tarde BESM) comenzó el desarrollo de sistemas de computación multiprocesador llamados 'Elbrus'. El desarrollo fue dirigido por Vsevolod Sergeyevich Burtsev, y Boris Artashesovich Babayan, uno de los adjuntos del diseñador jefe, también participó activamente en el desarrollo.
Vsevolod Sergeyevich Burtsev
Boris Artashesovich Babayan
El principal cliente del proyecto fueron, por supuesto, las fuerzas armadas de la URSS, y esta serie de computadoras se utilizó con éxito en la creación de centros de computación para mando y sistemas de tiro de sistemas de defensa antimisiles, así como en otros sistemas de propósito especial.
La primera computadora "Elbrus" se completó en 1978. Contaba con una arquitectura modular y podía incluir de 1 a 10 procesadores basados en circuitos de integración media. La velocidad de esta máquina alcanzaba los 15 millones de operaciones por segundo. La memoria RAM, que era compartida entre los 10 procesadores, alcanzaba hasta 2 elevado a la 20° potencia de palabras de máquina o 64 MB.
Más tarde se descubrió que muchas de las tecnologías utilizadas en el desarrollo de "Elbrus" estaban siendo investigadas en el mundo al mismo tiempo, y eran manejadas por la empresa International Business Machines (IBM), pero los trabajos en estos proyectos, a diferencia de los del "Elbrus", no fueron completados y no dieron lugar a la creación de un producto terminado.
Según Vsevolod Burtsov, los ingenieros soviéticos trataban de aplicar la experiencia más avanzada tanto de desarrolladores nacionales como extranjeros. La arquitectura de las computadoras "Elbrus" también fue influenciada por las computadoras de Burroughs, desarrollos de Hewlett-Packard, así como la experiencia de los desarrolladores del BESM-6.
Sin embargo, muchas de las desarrollos fueron originales. Lo más interesante del "Elbrus-1" era su arquitectura.
El superordenador creado se convirtió en la primera computadora en la URSS que aplicaba arquitectura superscalar. La aplicación masiva de procesadores superscalars en el extranjero comenzó solo en la década de 1990 con la llegada al mercado de procesadores Intel Pentium asequibles.
Además, para organizar la transmisión de flujos de datos entre dispositivos periféricos y la memoria RAM, se podían utilizar procesadores especiales de entrada/salida en la computadora. Podía haber hasta cuatro de estos procesadores en el sistema, que funcionaban en paralelo con el procesador central y tenían su propia memoria dedicada.
Elbrus-2
En 1985, "Elbrus" recibió su continuación lógica, se creó y se envió a producción en serie la computadora "Elbrus-2". Su arquitectura difería poco de la de su predecesor, pero utilizaba una nueva base de elementos, lo que permitió casi aumentar la productividad total en 10 veces, de 15 millones de operaciones por segundo a 125 millones. El volumen de la memoria RAM de la computadora aumentó a 16 millones de palabras de 72 bits o 144 MB. La capacidad máxima de los canales de entrada/salida de "Elbrus-2" era de 120 MB/s.
El «Elbrus-2» se utilizó activamente en centros de investigación nuclear en Cheliábinsk-70 y en Arzamas-16 en el TsUP, en el sistema de defensa antimisiles A-135, así como en otros objetos militares.
La creación del «Elbrus» fue reconocida por los líderes de la Unión Soviética. Muchos ingenieros fueron galardonados con órdenes y medallas. El diseñador general Vsevolod Burtsov y varios otros especialistas recibieron premios estatales. Boris Babayan fue condecorado con la Orden de la Revolución de Octubre.
Estos premios son más que merecidos, Boris Babayan dijo más tarde:
«En 1978, hicimos la primera máquina superescalar, Elbrus-1. Ahora en Occidente solo hacen superescalares con esta arquitectura. El primer superescalar en Occidente apareció en 1992, el nuestro en 1978. Además, la variante de superescalar que hicimos es análoga al Pentium Pro que Intel hizo en 1995».
Estas palabras sobre el liderazgo histórico también son respaldadas en Estados Unidos; Kit Difendorff, desarrollador del Motorola 88110, uno de los primeros procesadores superescalares occidentales, escribió:
«En 1978, casi 15 años antes de que aparecieran los primeros procesadores superescalares occidentales, en el Elbrus-1 se usaba un procesador que emitía dos comandos por reloj, modificando el orden de ejecución de los comandos, renombrando registros y ejecutando bajo suposiciones».
Elbrus-3
Era 1986 y casi inmediatamente después de completar el trabajo en el segundo «Elbrus», en el ITMiVT comenzaron a desarrollar un nuevo sistema «Elbrus-3», utilizando una arquitectura de procesador completamente nueva. Este enfoque fue denominado por Boris Babayan como «pos-superescalar». Precisamente esta arquitectura, luego denominada VLIW/EPIC, sería utilizada en el futuro (a mediados de los años 90) por los procesadores Intel Itanium (y en la URSS, estos desarrollos comenzaron en 1986 y finalizaron en 1991).
En este complejo computacional se implementaron por primera vez las ideas de control explícito del paralelismo de operaciones a través del compilador.
En 1991 se lanzó la primera y, desafortunadamente, única computadora «Elbrus-3», que no pudo ser completamente ajustada, y tras la disolución de la Unión Soviética se volvió innecesaria, quedando los desarrollos y planes solo en papel.
Las premisas para una nueva arquitectura
El equipo que trabajó en ITMiVT en la creación de los supercomputadores soviéticos no se disolvió, sino que continuó su labor como una empresa independiente bajo el nombre de MCST (Centro de Tecnologías SPARС de Moscú). A principios de los años 90, comenzó una activa colaboración entre MCST y Sun Microsystems, donde el equipo de MCST participó en el desarrollo del microprocesador UltraSPARC.
Fue en este período cuando surgió el proyecto de arquitectura E2K, que inicialmente fue financiado por la empresa Sun. Más tarde, el proyecto se volvió completamente independiente y toda la propiedad intelectual sobre él permaneció con el equipo de MCST.
"Si hubiéramos seguido trabajando con Sun en este ámbito, todo habría pertenecido a Sun. Aunque el 90% del trabajo se había realizado incluso antes de la llegada de Sun." (Boris Babayan)
Arquitectura E2K
Cuando discutimos la arquitectura de los procesadores 'Elbrus', a menudo escuchamos de nuestros colegas en la industria de TI las siguientes afirmaciones:
"Elbrus es una arquitectura RISC"
"Elbrus es una arquitectura EPIC"
"Elbrus es una arquitectura SPARC"
En realidad, ninguna de estas afirmaciones es completamente correcta, y si lo es, solo en parte.
La arquitectura E2K es una arquitectura de procesador original y separada, cuyas características principales son la eficiencia energética y una excelente escalabilidad, logradas mediante la especificación del paralelismo explícito de las operaciones. La arquitectura E2K fue desarrollada por el equipo de MCST y se basa en una arquitectura post-súperescalar (tipo EPIC) con cierta influencia de la arquitectura SPARC (con un pasado RISC). En la creación de tres de las cuatro arquitecturas básicas (Superescalar, post-súperescalar y SPARC), MCST participó directamente. De hecho, el mundo es realmente pequeño.
Para evitar confusiones en el futuro, hemos dibujado un esquema sencillo que, aunque simplificado, muestra de manera muy clara las raíces de la arquitectura E2K.
Ahora un poco más sobre el nombre de la arquitectura, respecto al cual también hay malentendidos.
En diferentes fuentes se pueden encontrar los siguientes nombres para esta arquitectura: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", es decir, planificación explícita del uso de recursos básicos). Todos estos nombres se refieren a lo mismo: a la arquitectura, pero en la documentación técnica oficial, así como en los foros técnicos, se utiliza el término E2K para designar la arquitectura. Por lo tanto, cuando hablamos de arquitectura de procesador, utilizaremos el término "E2K", y si nos referimos a un procesador específico, utilizaremos el nombre "Elbrus".
Características técnicas de la arquitectura E2K
En arquitecturas tradicionales tipo RISC o CISC (x86, PowerPC, SPARC, MIPS, ARM), el procesador recibe un flujo de instrucciones que están diseñadas para ser ejecutadas de manera secuencial. El procesador puede detectar operaciones independientes y ejecutarlas en paralelo (superscalaridad) e incluso cambiar su orden (ejecución fuera de orden). Sin embargo, el análisis dinámico de dependencias y el soporte de ejecución fuera de orden tienen limitaciones en la cantidad de instrucciones que pueden ser lanzadas y analizadas en un solo ciclo. Además, los bloques correspondientes dentro del procesador consumen una cantidad notable de energía, y su implementación compleja a veces conduce a problemas de estabilidad o seguridad.
En la arquitectura E2K, el análisis de dependencias y la optimización del orden de operaciones son llevados a cabo principalmente por el compilador. Al procesador le llegan las llamadas instrucciones amplias, en cada una de las cuales se codifican instrucciones para todas las unidades de ejecución del procesador que deben lanzarse en ese ciclo. No se requiere que el procesador analice las dependencias entre los operandos o reorganice las operaciones entre las instrucciones amplias: todo esto lo realiza el compilador, basado en el análisis del código fuente y la planificación de los recursos del procesador. Como resultado, la parte hardware del procesador puede ser más simple y económica.
El compilador es capaz de analizar el código fuente con mucha más minuciosidad que el hardware del procesador RISC/CISC y encontrar más operaciones independientes. Por lo tanto, en la arquitectura E2K hay más unidades de ejecución que trabajan en paralelo que en las arquitecturas tradicionales.
Las capacidades actuales de la arquitectura E2K:
- 6 canales de dispositivos aritmético-lógicos (ALU) que operan en paralelo.
- Archivo de registros compuesto por 256 registros de 84 bits.
- Soporte de hardware para ciclos, incluido con canalización. Aumenta la eficiencia en el uso de los recursos del procesador.
- Dispositivo de precarga de datos programable y asíncrono con canales de lectura separados. Permite ocultar las latencias del acceso a la memoria y aprovechar mejor la ALU.
- Soporte para cálculos especulativos y predicados de un solo bit. Permite reducir el número de saltos y ejecutar paralelamente varias ramas de un programa.
- Amplia instrucción capaz de especificar hasta 23 operaciones en un ciclo de reloj bajo carga máxima (más de 33 operaciones al empaquetar operandos en instrucciones vectoriales).
Emulación x86
Desde la etapa inicial de diseño de la arquitectura, los desarrolladores comprendieron la importancia de soportar el software escrito para la arquitectura Intel x86. Para ello, se implementó un sistema de traducción dinámica (es decir, en tiempo de ejecución, o "sobre la marcha") de códigos binarios x86 a los códigos del procesador de arquitectura E2K. Este sistema puede operar tanto en modo aplicación (al estilo de WINE) como en un modo similar a un hipervisor (en este caso, se puede lanzar un sistema operativo invitado completo para la arquitectura x86).
Gracias a varios niveles de optimización, se puede alcanzar una alta velocidad en la ejecución del código traducido. La calidad de la emulación de la arquitectura x86 se confirma con el exitoso arranque en los complejos de computación "Elbrus" de más de 20 sistemas operativos (incluidas varias versiones de Windows) y cientos de aplicaciones.
Modo protegido de ejecución de programas
Una de las ideas más interesantes heredadas de las arquitecturas Elbrus-1 y Elbrus-2 es la llamada ejecución protegida de programas. Su esencia radica en garantizar que el programa funcione solo con datos inicializados, verificar todas las solicitudes de memoria para que pertenezcan a un rango de direcciones permitido y proporcionar protección entre módulos (por ejemplo, proteger el programa que llama de errores en la biblioteca). Todas estas verificaciones se realizan de manera hardware. Para el modo protegido, hay un compilador completo y una biblioteca de soporte en tiempo de ejecución. Sin embargo, es importante entender que las restricciones impuestas impiden la ejecución de, por ejemplo, código escrito en C++.
Incluso en el modo de operación «no protegido» de los procesadores Elbrus, existen características que aumentan la fiabilidad del sistema. Así, la pila de información vinculante (la cadena de direcciones de retorno en las llamadas a procedimientos) está separada de la pila de datos del usuario y es inaccesible para ataques utilizados en virus, como la falsificación de la dirección de retorno.
Los desarrollos realizados durante años no solo permiten alcanzar y, en el futuro, superar a las arquitecturas competidoras en términos de rendimiento y escalabilidad, sino también garantizar protección contra los errores que afectan a los x86/amd64. Vulnerabilidades como Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) y similares.
La protección moderna contra las vulnerabilidades encontradas en la arquitectura x86/amd64 se basa en parches a nivel de sistemas operativos. Por esta razón, la caída en el rendimiento en las generaciones actuales y previas de procesadores de estas arquitecturas es tan notable y varía del 30% al 80%. Como usuarios activos de procesadores x86 somos conscientes de esto, sufrimos y seguimos «comiendo cactus», pero la existencia de una solución a estos problemas en la raíz es un indudable beneficio para nosotros (y, en última instancia, para nuestros clientes), especialmente si la solución es rusa.
Especificaciones técnicas
A continuación se presentan las especificaciones técnicas oficiales de los procesadores Elbrus de generaciones pasadas (4C), actuales (8C), nuevas (8CV) y futuras (16C) en comparación con procesadores Intel x86 similares.
Incluso una mirada rápida a esta tabla muestra (y eso es muy alentador) que la desventaja tecnológica de los procesadores nacionales, que hace 10 años parecía insuperable, ahora parece bastante pequeña, y en 2021, con el lanzamiento de «Elbrus-16C» (que, además, admitirá virtualización), se reducirá a distancias mínimas.
Almacenamiento de datos AERODISK en procesadores Elbrus 8C
Pasamos de la teoría a la práctica. En el marco de la alianza estratégica entre las empresas MCST, AERODISK, Basalt SPO (anteriormente Alt Linux) y Norsi-Trans, se ha desarrollado y preparado para su explotación un sistema de almacenamiento de datos que, en este momento, por sus parámetros de seguridad, funcionalidad, costo y rendimiento, es, si no el mejor, sin duda una solución digna que puede garantizar un nivel adecuado de independencia tecnológica para nuestra patria.
Ahora los detalles…
Parte de hardware
La parte de hardware del sistema de almacenamiento de datos se basa en la plataforma universal Yakhont UVM de la empresa Norsi-Trans. La plataforma Yakhont UVM ha recibido el estatus de equipo de telecomunicaciones de origen ruso y está incluida en el registro único de productos electrónicos de radio rusos. El sistema consiste en dos controladores separados de almacenamiento de datos (de 2U cada uno), que están conectados entre sí mediante interconectores de 1G o 10G Ethernet, así como con estantes de disco compartidos, utilizando conexión SAS.
Por supuesto, no es tan elegante como el formato «Cluster in a box» (cuando los controladores y los discos con un backplane compartido están instalados en un chasis de 2U), que solemos utilizar, pero estará disponible en un futuro cercano. Lo importante es que funcione bien, y nos ocuparemos de los 'ornamentos' después.
Bajo el capó, cada controlador cuenta con una placa base de un solo procesador con cuatro ranuras para memoria RAM (DDR3 para el procesador 8C). Además, cada controlador tiene 4 puertos de 1G Ethernet (dos de los cuales son utilizados por el software AERODISK ENGINE como servicios) y tres ranuras PCIe para adaptadores de Back-end (SAS) y Front-end (Ethernet o FibreChannel).
Como discos de arranque se utilizan discos SSD SATA de la empresa rusa GS Nanotech, que hemos probado y utilizado en varios proyectos.
Al conocer la plataforma por primera vez, la examinamos detenidamente. No tuvimos dudas sobre la calidad del ensamblaje y la soldadura, todo está hecho con cuidado y fiabilidad.
Sistema operativo
Se utiliza la versión del sistema operativo Alt 8SP para la certificación. Pronto planeamos crear un repositorio conectable y actualizado constantemente para el sistema operativo Alt con el software de almacenamiento AERODISK.
Esta versión de la distribución se basa en la versión estable actual del núcleo Linux 4.9 para E2K (la rama de soporte a largo plazo ha sido portada por los especialistas de MCST), complementada con parches de funcionalidad y seguridad. Todos los paquetes en el sistema operativo Alt están construidos directamente en 'Elbrus' utilizando el sistema de construcción transaccional original del proyecto ALT Linux Team, lo que ha permitido reducir los costos de traslado y dedicar más atención a la calidad del producto.
Cualquier lanzamiento del sistema operativo Alt para Elbrus puede expandirse significativamente en términos de funcionalidad, aprovechando el repositorio disponible (desde aproximadamente 6,000 paquetes fuente para la versión ocho hasta aproximadamente 12,000 para la novena).
La elección también se hizo porque la empresa Bazalt SPO, desarrolladora del sistema operativo Alt, trabaja activamente con otros desarrolladores de software y dispositivos en diversas plataformas, asegurando una interacción fluida en el marco de los sistemas de hardware y software.
Software del sistema de almacenamiento de datos
Al portar, inmediatamente descartamos la idea de utilizar la emulación x86 soportada en E2K, y comenzamos a trabajar directamente con los procesadores (afortunadamente, Alt ya cuenta con las herramientas necesarias para ello).
Entre otras cosas, el modo nativo de ejecución ofrece una mejor seguridad (esos tres stacks de hardware en lugar de uno) y un mejor rendimiento (no hay necesidad de asignar uno o dos núcleos de ocho para el funcionamiento del traductor binario, y el compilador hace su trabajo mejor que JIT).
De hecho, en la implementación de AERODISK ENGINE en E2K se admite la mayor parte de la funcionalidad existente del sistema de almacenamiento que se encuentra en x86. Como software de sistema de almacenamiento se utiliza la versión actual de AERODISK ENGINE (versión A-CORE 2.30).
Sin problemas, se activaron y probaron en E2K las siguientes funciones para su uso en producción:
- Tolerancia a fallos de hasta dos controladores y entrada/salida multipath (mpio).
- Acceso de bloques y archivos con volúmenes delgados (pools RDG, DDP; protocolos FC, iSCSI, NFS, SMB incluyendo integración con Active Directory)
- Diversos niveles de RAID hasta triple paridad (incluyendo la posibilidad de usar un constructor de RAID)
- Almacenamiento híbrido (combinación de SSD y HDD dentro de un mismo pool, es decir, caché y tiering)
- Opciones de ahorro de espacio mediante deduplicación y compresión
- Snapshots ROW, clones y diferentes opciones de replicación
- Y otras pequeñas pero útiles funciones, como QoS, hotspare global, VLAN, BOND, etc.
De hecho, en E2K pudimos implementar toda nuestra funcionalidad, excepto la multi-controladora (más de dos) y el programador de entrada/salida multihilo, que permite aumentar el rendimiento de los pools all-flash en un 20-30%.
Pero, por supuesto, también añadiremos estas útiles funciones, es solo cuestión de tiempo.
Un poco sobre el rendimiento
Después de realizar con éxito las pruebas de funcionalidad básica del sistema de almacenamiento, comenzamos a realizar pruebas de carga.
Por ejemplo, en un sistema de almacenamiento de dos controladores (2xCPU E8C 1.3 Ghz, 32 GB de RAM + 4 SSD SAS de 800GB 3DWD), donde se desactivó la caché de RAM, creamos dos pools DDP con un nivel de RAID-10 principal y dos LUN de 500G, conectando estos LUN a un host Linux por iSCSI (10G Ethernet). Y llevamos a cabo una de las pruebas horarias básicas con una carga secuencial de bloques pequeños utilizando el programa FIO.
Los primeros resultados fueron bastante positivos.
La carga en los procesadores estuvo, en promedio, en un nivel del 60%, es decir, es un nivel básico en el que el sistema de almacenamiento puede funcionar sin problemas.
Sí, esto está lejos de ser alta carga y para bases de datos de alto rendimiento de algún sistema de facturación esto claramente no será suficiente, pero, como muestra nuestra experiencia, estas características son suficientes para el 80% de las tareas generales para las que se utilizan los sistemas de almacenamiento.
Más adelante planeamos volver con un informe detallado sobre las pruebas de carga de Elbrus como plataforma para sistemas de almacenamiento.
Un futuro brillante
Como mencionamos anteriormente, la producción en masa del Elbrus 8C realmente comenzó hace poco, a principios de 2019, y para diciembre ya se habían producido alrededor de 4000 procesadores. Para comparación, durante todo el periodo de producción de procesadores de la generación anterior Elbrus 4C, solo se produjeron 5000, así que el progreso es evidente.
Es obvio que esto es una gota en el océano, incluso para el mercado ruso, pero el camino lo hace el que avanza.
Para el año 2020, se planea la producción de varias decenas de miles de procesadores Elbrus 8S, lo cual ya es una cifra considerable. Además, durante 2020, el procesador Elbrus-8SV debería ser llevado a producción en serie por el equipo de MCST.
Tales planes de producción son una apuesta por una parte muy significativa de todo el mercado nacional de procesadores de servidores.
Como resultado, aquí y ahora ya contamos con un buen y moderno procesador ruso con una estrategia de desarrollo clara y, en nuestra opinión, acertada, sobre la cual hay un sistema de almacenamiento de datos de producción rusa, completamente protegido y certificado (y en el futuro, un sistema de virtualización en Elbrus-16S). El sistema es ruso en la medida en que esto es físicamente posible en las condiciones actuales.
A menudo vemos en las noticias los repetidos fracasos épicos de empresas que se autodenominan fabricantes rusos, pero que en realidad se dedican a cambiar etiquetas sin aportar ningún valor propio a los productos de un fabricante extranjero, excepto su margen de beneficio. Estas empresas, desafortunadamente, hacen sombra a todos los verdaderos desarrolladores y productores rusos.
Con este artículo queremos mostrar claramente que en nuestro país han existido, existen y existirán empresas que realmente y de manera cualitativa crean sistemas de TI modernos y complejos y que se desarrollan activamente, y que la sustitución de importaciones en TI no es una farsa, sino una realidad en la que todos vivimos. Esta realidad se puede no querer, se puede criticar, o se puede trabajar para mejorarla.
La desintegración de la URSS, en su momento, impidió que el equipo de creadores de Elbrus se convirtiera en un actor notable en el mundo de los procesadores, y obligó al equipo a buscar financiamiento para sus desarrollos en el extranjero. Se encontró, el trabajo se realizó y la propiedad intelectual se preservó, por lo que queremos darles las gracias a estas personas.
Por ahora, eso es todo, por favor, envíen sus comentarios, preguntas y, por supuesto, críticas. Siempre estamos dispuestos.
También, en nombre de toda la compañía Aerodisk, quiero felicitar a toda la comunidad de TI rusa con el próximo Año Nuevo y Navidad, desear un 100% de tiempo de actividad, y que las copias de seguridad en el nuevo año no sean necesarias por nadie))).
Materiales utilizados
Artículo con una descripción general de tecnologías, arquitecturas y personalidades:
Una breve historia de los ordenadores con el nombre «Elbrus»:
Artículo general sobre la arquitectura e2k:
Artículo específicamente sobre la cuarta generación (Elbrus-8C) y la quinta generación (Elbrus-8SV, 2020):
Especificaciones de la siguiente sexta generación de procesadores (Elbrus-16SV, 2021):
Descripción oficial de la arquitectura Elbrus:
Planes de los desarrolladores de la plataforma de hardware y software «Elbrus» para crear un superordenador de rendimiento exaflops:
Tecnologías rusas «Elbrus» para ordenadores personales, servidores y superordenadores:
Un viejo artículo de Boris Babayan, pero sigue siendo relevante:
Un viejo artículo de Mikhail Kuzminsky:
Presentación de MCST, información general:
Información sobre el sistema operativo Alt para la plataforma Elbrus:
Fuente: habr.com
