Hola lectores de Habr. Nos gustaría compartir una muy buena noticia. Finalmente esperamos la producción en serie real de una nueva generación de procesadores rusos Elbrus 8C. Oficialmente, se suponía que la producción en serie comenzaría en 2016, pero, de hecho, la producción en masa comenzó solo en 2019 y ya se lanzaron alrededor de 4000 procesadores.
Casi inmediatamente después del inicio de la producción en masa, estos procesadores aparecieron en nuestro Aerodisk, por lo que nos gustaría agradecer a NORSI-TRANS, que amablemente nos proporcionó su plataforma de hardware Yakhont UVM, que admite procesadores Elbrus 8C, por portar la parte de software de el sistema de almacenamiento Esta es una plataforma universal moderna que cumple con todos los requisitos del MCST. Actualmente, la plataforma es utilizada por consumidores especiales y operadores de telecomunicaciones para garantizar la implementación de acciones establecidas durante las actividades de búsqueda operativa.
Por el momento, la migración se ha completado con éxito, y ahora el sistema de almacenamiento AERODISK está disponible en la versión con procesadores domésticos Elbrus.
En este artículo, hablaremos sobre los procesadores en sí, su historia, arquitectura y, por supuesto, nuestra implementación de sistemas de almacenamiento en Elbrus.
historia
La historia de los procesadores Elbrus se remonta a los tiempos de la Unión Soviética. En 1973, en el Instituto de Mecánica Fina e Ingeniería Informática que lleva el nombre de SA Lebedev (llamado así por el mismo Sergei Lebedev, quien anteriormente dirigió el desarrollo de la primera computadora soviética MESM, y más tarde BESM), comenzó el desarrollo de sistemas informáticos multiprocesador llamados Elbrus. Vsevolod Sergeevich Burtsev supervisó el desarrollo y Boris Artashesovich Babayan, uno de los subjefes de diseño, también participó activamente en el desarrollo.
Vsevolod Sergeevich Burtsev
Boris Artashesovich Babayan
El principal cliente del proyecto fue, por supuesto, las fuerzas armadas de la URSS, y esta serie de computadoras finalmente se utilizó con éxito en la creación de centros informáticos de comando y sistemas de disparo para sistemas de defensa antimisiles, así como otros sistemas de propósito especial. .
La primera computadora Elbrus se completó en 1978. Tenía una arquitectura modular y podía incluir de 1 a 10 procesadores basados en esquemas de integración media. La velocidad de esta máquina alcanzó los 15 millones de operaciones por segundo. La cantidad de RAM, que era común a los 10 procesadores, era de hasta 2 a la 20 potencia de las palabras de máquina o 64 MB.
Más tarde resultó que muchas de las tecnologías utilizadas en el desarrollo de Elbrus se estudiaron en el mundo al mismo tiempo, y International Business Machine (IBM) participó en ellas, pero el trabajo en estos proyectos, a diferencia del trabajo en Elbrus, no lo hizo. se completaron y finalmente no condujeron a la creación de un producto terminado.
Según Vsevolod Burtsev, los ingenieros soviéticos intentaron aplicar la experiencia más avanzada de los desarrolladores nacionales y extranjeros. La arquitectura de las computadoras Elbrus también estuvo influenciada por las computadoras Burroughs, los desarrollos de Hewlett-Packard, así como la experiencia de los desarrolladores de BESM-6.
Pero al mismo tiempo, muchos desarrollos fueron originales. Lo más interesante de Elbrus-1 fue su arquitectura.
La supercomputadora creada se convirtió en la primera computadora en la URSS que utilizó una arquitectura superescalar. El uso masivo de procesadores superescalares en el extranjero comenzó solo en los años 90 del siglo pasado con la aparición en el mercado de procesadores Intel Pentium asequibles.
Además, se podrían usar procesadores de entrada y salida especiales para organizar la transferencia de flujos de datos entre los dispositivos periféricos y la memoria RAM en una computadora. Podría haber hasta cuatro procesadores de este tipo en el sistema, trabajaban en paralelo con el procesador central y tenían su propia memoria dedicada.
Elbrus-2
En 1985, Elbrus recibió su continuación lógica, se creó la computadora Elbrus-2 y se envió a la producción en masa. En términos de arquitectura, no difería mucho de su predecesor, pero usaba una nueva base de elementos, lo que hizo posible aumentar el rendimiento general casi 10 veces, de 15 millones de operaciones por segundo a 125 millones. aumentó a 16 millones de palabras de 72 bits o 144 MB. El ancho de banda máximo de los canales de E/S de Elbrus-2 era de 120 MB/s.
"Elbrus-2" se utilizó activamente en los centros de investigación nuclear en Chelyabinsk-70 y en Arzamas-16 en el MCC, en el sistema de defensa antimisiles A-135, así como en otras instalaciones militares.
La creación de Elbrus fue debidamente apreciada por los líderes de la Unión Soviética. Muchos ingenieros recibieron órdenes y medallas. El diseñador general Vsevolod Burtsev y varios otros especialistas recibieron premios estatales. Y Boris Babayan recibió la Orden de la Revolución de Octubre.
Estos premios son más que merecidos, dijo Boris Babayan más tarde:
“En 1978, fabricamos la primera máquina superescalar, Elbrus-1. Ahora en Occidente hacen superescalares de esta arquitectura solamente. El primer superescalar apareció en Occidente en 92, el nuestro en 78. Además, la versión del superescalar que hicimos es similar al Pentium Pro que Intel hizo en 95”.
Estas palabras sobre la superioridad histórica también se confirman en los EE. UU., Keith Diefendorff, el desarrollador del Motorola 88110, uno de los primeros procesadores superescalares occidentales, escribió:
“En 1978, casi 15 años antes de que aparecieran los primeros procesadores superescalares occidentales, Elbrus-1 utilizó un procesador, con la emisión de dos instrucciones en un ciclo, cambiando el orden de ejecución de las instrucciones, renombrando registros y ejecutando por suposición”.
Elbrus-3
Era 1986, y casi inmediatamente después de completar el trabajo en el segundo Elbrus, ITMiVT comenzó a desarrollar un nuevo sistema Elbrus-3 usando una arquitectura de procesador fundamentalmente nueva. Boris Babayan llamó a este enfoque "post-superescalar". Fue esta arquitectura, más tarde llamada VLIW / EPIC, la que en el futuro (a mediados de los 90) comenzaron a usar los procesadores Intel Itanium (y en la URSS estos desarrollos comenzaron en 1986 y terminaron en 1991).
En este complejo informático se implementaron por primera vez las ideas de control explícito del paralelismo de operaciones con la ayuda de un compilador.
En 1991, se lanzó la primera y, desafortunadamente, la única computadora Elbrus-3, que no se pudo ajustar por completo, y después del colapso de la Unión Soviética, nadie la necesitó, y los desarrollos y planes quedaron en papel.
Antecedentes de la nueva arquitectura
El equipo que trabajó en ITMiVT en la creación de las supercomputadoras soviéticas no se disolvió, sino que continuó trabajando como una empresa separada bajo el nombre MCST (Centro de Tecnologías SPARK de Moscú). Y a principios de los 90, comenzó la cooperación activa entre MCST y Sun Microsystems, donde el equipo de MCST participó en el desarrollo del microprocesador UltraSPARC.
Fue durante este período que surgió el proyecto de arquitectura E2K, que originalmente fue financiado por Sun. Más tarde, el proyecto se volvió completamente independiente y toda la propiedad intelectual permaneció en el equipo de MCST.
“Si continuáramos trabajando con Sun en esta área, entonces todo pertenecería a Sun. Aunque el 90% del trabajo se hizo antes de que apareciera Sun”. (Boris Babayan)
arquitectura E2K
Cuando discutimos la arquitectura de los procesadores Elbrus, muy a menudo escuchamos las siguientes declaraciones de nuestros colegas en la industria de TI:
"Elbrus es una arquitectura RISC"
"Elbrus es arquitectura ÉPICA"
"Elbrus es arquitectura SPARC"
De hecho, ninguna de estas afirmaciones es del todo cierta, o si lo es, es sólo parcialmente cierta.
La arquitectura E2K es una arquitectura de procesador original separada, las principales cualidades de E2K son la eficiencia energética y la excelente escalabilidad, logradas especificando el paralelismo explícito de las operaciones. La arquitectura E2K fue desarrollada por el equipo MCST y se basa en una arquitectura post-superescalar (a la EPIC) con cierta influencia de la arquitectura SPARC (con un pasado RISC). Al mismo tiempo, MCST participó directamente en la creación de tres de las cuatro arquitecturas básicas (Superscalars, Post-Superscalars y SPARC). El mundo es realmente pequeño.
Para evitar confusiones en el futuro, hemos dibujado un diagrama simple que, aunque simplificado, muestra muy claramente las raíces de la arquitectura E2K.
Ahora un poco más sobre el nombre de la arquitectura, en relación a la cual también hay un malentendido.
En varias fuentes, puede encontrar los siguientes nombres para esta arquitectura: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", es decir, planificación explícita para el uso de recursos básicos). Todos estos nombres hablan de lo mismo: de la arquitectura, pero en la documentación técnica oficial, así como en los foros técnicos, el nombre E2K se usa para designar la arquitectura, por lo que en el futuro, si hablamos de la arquitectura del procesador, usamos el término "E2K", y si se trata de un procesador específico, usamos el nombre "Elbrus".
Características técnicas de la arquitectura E2K
En arquitecturas tradicionales como RISC o CISC (x86, PowerPC, SPARC, MIPS, ARM), el procesador recibe un flujo de instrucciones diseñadas para ejecución secuencial. El procesador puede detectar operaciones independientes y ejecutarlas en paralelo (superescalar) e incluso cambiar su orden (fuera de orden). Sin embargo, el análisis de dependencia dinámica y el soporte para la ejecución desordenada tienen sus limitaciones en cuanto a la cantidad de comandos ejecutados y analizados por ciclo. Además, los bloques correspondientes dentro del procesador consumen una cantidad significativa de energía y su implementación más compleja a veces conduce a problemas de estabilidad o seguridad.
En la arquitectura E2K, el trabajo principal de analizar las dependencias y optimizar el orden de las operaciones lo realiza el compilador. El procesador recibe el llamado. instrucciones amplias, cada una de las cuales codifica instrucciones para todos los dispositivos ejecutivos del procesador que deben iniciarse en un ciclo de reloj determinado. No se requiere que el procesador analice las dependencias entre operandos u operaciones de intercambio entre instrucciones amplias: el compilador hace todo esto en función del análisis del código fuente y la planificación de recursos del procesador. Como resultado, el hardware del procesador puede ser más simple y económico.
El compilador puede analizar el código fuente mucho más a fondo que el hardware RISC/CISC del procesador y encontrar operaciones más independientes. Por tanto, la arquitectura E2K tiene más unidades de ejecución en paralelo que las arquitecturas tradicionales.
Características actuales de la arquitectura E2K:
- 6 canales de unidades aritméticas lógicas (ALU) operando en paralelo.
- Archivo de registro de 256 registros de 84 bits.
- Soporte de hardware para ciclos, incluidos aquellos con canalización. Aumenta la eficiencia del uso de recursos del procesador.
- Prebomba de datos asíncrona programable con canales de lectura separados. Le permite ocultar retrasos en el acceso a la memoria y hacer un uso más completo de la ALU.
- Soporte para cálculos especulativos y predicados de un bit. Le permite reducir el número de transiciones y ejecutar varias ramas del programa en paralelo.
- Un amplio comando capaz de especificar hasta 23 operaciones en un ciclo de reloj con llenado máximo (más de 33 operaciones cuando se empaquetan operandos en instrucciones vectoriales).
Emulación x86
Incluso en la etapa de diseño de la arquitectura, los desarrolladores entendieron la importancia de respaldar el software escrito para la arquitectura Intel x86. Para ello, se implementó un sistema de traducción dinámica (es decir, durante la ejecución del programa, o “sobre la marcha”) de códigos binarios x86 a códigos de procesador de arquitectura E2K. Este sistema puede funcionar tanto en modo de aplicación (a la manera de WINE) como en un modo similar a un hipervisor (entonces es posible ejecutar todo el sistema operativo invitado para la arquitectura x86).
Gracias a varios niveles de optimización, es posible lograr una alta velocidad del código traducido. La calidad de la emulación de la arquitectura x86 se confirma con el lanzamiento exitoso de más de 20 sistemas operativos (incluidas varias versiones de Windows) y cientos de aplicaciones en los sistemas informáticos Elbrus.
Modo de ejecución de programa protegido
Una de las ideas más interesantes heredadas de las arquitecturas Elbrus-1 y Elbrus-2 es la denominada ejecución segura de programas. Su esencia es garantizar que el programa funcione solo con datos inicializados, verificar que todos los accesos a la memoria pertenezcan a un rango de direcciones válido, brindar protección entre módulos (por ejemplo, para proteger el programa que llama de un error en la biblioteca). Todas estas comprobaciones se realizan en hardware. Para el modo protegido, hay un compilador completo y una biblioteca de soporte de tiempo de ejecución. Al mismo tiempo, debe entenderse que las restricciones impuestas conducen a la imposibilidad de organizar la ejecución, por ejemplo, del código escrito en C ++.
Incluso en el modo de funcionamiento "desprotegido" habitual de los procesadores Elbrus, hay funciones que aumentan la fiabilidad del sistema. Por lo tanto, la pila de información vinculante (la cadena de direcciones de retorno para las llamadas a procedimientos) está separada de la pila de datos del usuario y es inaccesible a los ataques que se utilizan en los virus como la suplantación de direcciones de retorno.
Diseñado a lo largo de los años, no solo se pone al día y supera a las arquitecturas de la competencia en términos de rendimiento y escalabilidad en el futuro, sino que también brinda protección contra los errores que plagan x86/amd64. Marcadores como Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) y similares.
La protección moderna contra las vulnerabilidades encontradas en la arquitectura x86/amd64 se basa en parches a nivel del sistema operativo. Es por eso que la caída en el rendimiento de las generaciones actuales y anteriores de procesadores de estas arquitecturas es tan notable y oscila entre el 30% y el 80%. Nosotros, como usuarios activos de procesadores x86, lo sabemos, sufrimos y seguimos “comiéndonos un cactus”, pero la presencia de una solución a estos problemas de raíz para nosotros (y, en consecuencia, para nuestros clientes) es un beneficio indudable, especialmente si la solución es rusa.
características técnicas
A continuación se muestran las características técnicas oficiales de los procesadores Elbrus de las generaciones pasadas (4C), actuales (8C), nuevas (8CB) y futuras (16C) en comparación con procesadores Intel x86 similares.
Incluso una mirada superficial a esta tabla muestra (y esto es muy agradable) que la acumulación tecnológica de los procesadores domésticos, que parecía insuperable hace 10 años, ahora parece bastante pequeña, y en 2021 con el lanzamiento de Elbrus-16C (que, entre otras cosas, admitirá la virtualización) se reducirá a las distancias mínimas.
SHD AERODISK en procesadores Elbrus 8C
Pasamos de la teoría a la práctica. Como parte de la alianza estratégica de MCST, Aerodisk, Basalt SPO (antes Alt Linux) y NORSI-TRANS, se desarrolló y puso en operación un sistema de almacenamiento de datos, que al momento es si no el mejor en cuanto a seguridad, funcionalidad, costo y rendimiento , en nuestra opinión, una solución innegablemente digna que puede garantizar el nivel adecuado de independencia tecnológica de nuestra Patria.
Ahora los detalles...
Hardware
La parte de hardware del sistema de almacenamiento se implementa sobre la base de la plataforma universal Yakhont UVM de la empresa NORSI-TRANS. La plataforma Yakhont UVM recibió el estatus de equipo de telecomunicaciones de origen ruso y está incluida en el registro unificado de productos radioelectrónicos rusos. El sistema consta de dos controladores de almacenamiento separados (2U cada uno), que están interconectados mediante una interconexión Ethernet de 1G o 10G, así como con estantes de discos compartidos mediante una conexión SAS.
Por supuesto, esto no es tan hermoso como el formato de "Cluster en una caja" (cuando los controladores y discos con un backplane común se instalan en un chasis 2U) que usamos generalmente, pero en un futuro cercano también estará disponible. Lo principal aquí es que funciona bien, pero luego pensaremos en los "arcos".
Debajo del capó, cada controlador tiene una placa base de un solo procesador con cuatro ranuras de RAM (DDR3 para un procesador 8C). Además, en la placa de cada controlador hay 4 puertos Ethernet 1G (dos de los cuales son utilizados por el software AERODISK ENGINE como servicio) y tres ranuras PCIe para adaptadores Back-end (SAS) y Front-end (Ethernet o FibreChannel).
Como unidades de arranque, utilizamos unidades SSD SATA rusas de GS Nanotech, que hemos probado y utilizado repetidamente en proyectos.
Cuando conocimos la plataforma por primera vez, la examinamos cuidadosamente. No tuvimos dudas sobre la calidad del montaje y la soldadura, todo se hizo de forma ordenada y fiable.
Sistema operativo
Como sistema operativo se utiliza la versión de OS Alt 8SP para la certificación. En un futuro cercano, planeamos crear un repositorio conectable y constantemente actualizado para Alt OS con el software de almacenamiento Aerodisk.
Esta versión de la distribución se basa en la versión estable actual del kernel de Linux 4.9 para E2K (una rama con soporte a largo plazo portado por especialistas de MCST), complementada con parches de funcionalidad y seguridad. Todos los paquetes en Alt OS se construyen directamente en Elbrus utilizando el sistema de construcción transaccional original del proyecto ALT Linux Team, lo que hizo posible reducir los costos de mano de obra para la transferencia en sí y prestar más atención a la calidad del producto.
Cualquier versión de Alt OS para Elbrus se puede expandir significativamente en términos de funcionalidad utilizando el repositorio disponible para ello (desde alrededor de 6 mil paquetes fuente para la octava versión hasta alrededor de 12 para la novena).
La elección también se hizo porque Basalt SPO, el desarrollador de Alt OS, está trabajando activamente con otros desarrolladores de software y dispositivos en varias plataformas, lo que garantiza una interacción perfecta dentro de los sistemas de hardware y software.
Sistemas de almacenamiento de software
Al portar, abandonamos inmediatamente la idea de usar la emulación x2 soportada en E86K, y comenzamos a trabajar con procesadores directamente (afortunadamente, Alt ya cuenta con las herramientas necesarias para ello).
Entre otras cosas, el modo de ejecución nativo brinda mejor seguridad (las mismas tres pilas de hardware en lugar de una) y mayor rendimiento (no es necesario asignar uno o dos núcleos de ocho para que funcione el traductor binario, y el compilador hace su trabajo). trabajo mejor que JIT).
De hecho, la implementación E2K de AERODISK ENGINE es compatible con la mayoría de las funciones de almacenamiento existentes que se encuentran en x86. La versión actual de AERODISK ENGINE (A-CORE versión 2.30) se utiliza como software del sistema de almacenamiento
Sin ningún problema en E2K, se introdujeron y probaron las siguientes funciones para su uso en el producto:
- Tolerancia a fallos para hasta dos controladores y E/S multirruta (mpio)
- Acceso a bloques y archivos con volúmenes delgados (grupos RDG, DDP; protocolos FC, iSCSI, NFS, SMB, incluida la integración con Active Directory)
- Varios niveles de RAID hasta triple paridad (incluida la capacidad de utilizar el constructor de RAID)
- Almacenamiento híbrido (que combina SSD y HDD dentro del mismo grupo, es decir, caché y organización en niveles)
- Opciones de ahorro de espacio con deduplicación y compresión
- Instantáneas de ROW, clones y varias opciones de replicación
- Y otras características pequeñas pero útiles como QoS, repuesto dinámico global, VLAN, BOND, etc.
De hecho, en E2K logramos obtener toda nuestra funcionalidad, excepto los controladores múltiples (más de dos) y el programador de E / S de subprocesos múltiples, que nos permite aumentar el rendimiento de los grupos all-flash en un 20-30% .
Pero nosotros, por supuesto, también añadiremos estas útiles funciones, cuestión de tiempo.
Un poco sobre el rendimiento
Después de pasar con éxito las pruebas de la funcionalidad básica del sistema de almacenamiento, por supuesto, comenzamos a realizar pruebas de carga.
Por ejemplo, en un sistema de almacenamiento de doble controlador (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), en el que la memoria caché RAM estaba deshabilitada, creamos dos grupos DDP con el nivel principal RAID-10 y dos 500G LUN y conectó estos LUN a través de iSCSI (Ethernet 10G) a un host Linux. E hizo una de las pruebas básicas por hora en pequeños bloques de carga secuencial usando el programa FIO.
Los primeros resultados fueron bastante positivos.
La carga en los procesadores estaba en promedio en el nivel del 60%, es decir. este es el nivel base en el que el almacenamiento puede funcionar de forma segura.
Sí, esto está lejos de ser una carga elevada y claramente no es suficiente para los DBMS de alto rendimiento, pero, como muestra nuestra práctica, estas características son suficientes para el 80 % de las tareas generales para las que se utilizan los sistemas de almacenamiento.
Un poco más adelante, tenemos previsto volver con un informe detallado sobre las pruebas de carga de Elbrus como plataforma de almacenamiento.
Futuro brillante
Como escribimos anteriormente, la producción en masa de Elbrus 8C en realidad comenzó recientemente: a principios de 2019 y en diciembre ya se habían lanzado alrededor de 4000 procesadores. A modo de comparación, solo se produjeron 4 procesadores de la generación anterior Elbrus 5000C durante todo el período de su producción, por lo que hay progreso.
Está claro que esto es una gota en el océano, incluso para el mercado ruso, pero el camino será dominado por el que camina.
El lanzamiento de varias decenas de miles de procesadores Elbrus 2020C está previsto para 8, y ya es una cifra seria. Además, durante 2020, el equipo de MCST debería llevar el procesador Elbrus-8SV a la producción en masa.
Dichos planes de producción son una aplicación para una parte muy importante de todo el mercado de procesadores de servidores domésticos.
Como resultado, aquí y ahora tenemos un buen y moderno procesador ruso con una estrategia de desarrollo clara y, en nuestra opinión, correcta, sobre la base de la cual existe el sistema de almacenamiento de datos de fabricación rusa más seguro y certificado (y en el futuro, un sistema de virtualización en Elbrus-16C). El sistema ruso está tan lejos como ahora es físicamente posible en las condiciones modernas.
A menudo vemos en las noticias los próximos fracasos épicos de empresas que orgullosamente se hacen llamar fabricantes rusos, pero que en realidad se dedican a volver a pegar etiquetas sin agregar ningún valor propio a los productos de un fabricante extranjero, excepto por su margen de beneficio. Lamentablemente, estas empresas ensombrecen a todos los desarrolladores y fabricantes rusos reales.
Con este artículo queremos dejar claro que en nuestro país hubo, hay y habrá empresas que real y eficientemente fabrican modernos sistemas TI complejos y se están desarrollando activamente, y la sustitución de importaciones en TI no es una blasfemia, sino una realidad en la que Todos vivimos. No puedes amar esta realidad, puedes criticarla, o puedes trabajar y mejorarla.
El colapso de la URSS en un momento impidió que el equipo de creadores de Elbrus se convirtiera en un actor destacado en el mundo de los procesadores y obligó al equipo a buscar financiación para sus desarrollos en el extranjero. Se encontró, se hizo el trabajo y se salvó la propiedad intelectual, ¡por lo que me gustaría dar las gracias a estas personas!
Eso es todo por ahora, por favor escribe tus comentarios, preguntas y, por supuesto, críticas. Siempre estamos felices.
Además, en nombre de toda la compañía Aerodisk, quiero felicitar a toda la comunidad de TI rusa por el próximo Año Nuevo y Navidad, desear un 100% de tiempo de actividad, y que las copias de seguridad no sean útiles para nadie en el nuevo año))).
materiales utilizados
Un artículo con una descripción general de tecnologías, arquitecturas y personalidades:
Una breve historia de las computadoras bajo el nombre de "Elbrus":
Artículo general sobre la arquitectura e2k:
El artículo trata sobre la 4.ª generación (Elbrus-8S) y la 5.ª generación (Elbrus-8SV, 2020):
Especificaciones de la próxima sexta generación de procesadores (Elbrus-6SV, 16):
La descripción oficial de la arquitectura de Elbrus:
Los planes de los desarrolladores de la plataforma de hardware y software "Elbrus" para crear una supercomputadora con rendimiento a exaescala:
Tecnologías rusas Elbrus para computadoras personales, servidores y supercomputadoras:
Un artículo antiguo de Boris Babayan, pero aún relevante:
Antiguo artículo de Mikhail Kuzminsky:
Presentación MCST, información general:
Información sobre Alt OS para la plataforma Elbrus:
Fuente: habr.com