Hej, læsere af Habr. Vi vil gerne dele en meget behagelig nyhed. Vi har endelig fået det faktiske serieudgave af den nye generation af russiske processorer, Elbrus 8C. Den officielle serieproduktion skulle starte allerede i 2016, men i praksis begyndte masseproduktionen først i 2019, og indtil nu er der blevet udgivet omkring 4000 processorer.
Næsten umiddelbart efter starten af serieproduktionen dukkede disse processorer også op hos os i AERODISK, og vi vil gerne takke NORSI-TRANS for venligst at have stillet os deres hardwareplatform Yakhont UVM til rådighed, som understøtter Elbrus 8C-processorerne, for at udføre porteringen af softwaredelen af SAN. Dette er en moderne, alsidig platform, der opfylder alle krav fra MCST. I øjeblikket anvendes platformen af specielle forbrugere og kommunikationsoperatører til at sikre, at de fastlagte handlinger udføres i forbindelse med operationel efterforskning.
I øjeblikket er porteringen afsluttet, og allerede nu er SAN AERODISK tilgængelig med indfødte Elbrus-processorer.
I denne artikel vil vi fortælle om selve processorerne, deres historie, arkitektur og naturligvis om vores implementering af SAN på Elbrus.
Historik
Historien om Elbrus-processorerne går tilbage til Sovjetunionens tid. I 1973 startede udviklingen af multiprocessorberegningskomplekser med navnet "Elbrus" ved S.A. Lebedev Instituttet for præcisionsmekanik og computert teknik (det samme institut, hvor Sergey Lebedev tidligere ledede udviklingen af den første sovjetiske computer MESM og senere BESM). Udviklingen blev ledet af Vsevolod Sergeyevich Burtsev, og Boris Artashesovich Babayan, som var en af de to副head konstruktører, spillede også en aktiv rolle i udviklingen.
Vsevolod Sergeyevich Burtsev
Boris Artashesovich Babayan
Den primære bestiller af projektet var selvfølgelig de væbnede styrker i USSR, og denne computerserie blev i sidste ende brugt med succes til at skabe kommando-beregningscentre og skydevåben kompleks systemer til missilforsvar samt andre systemer til specialformål.
Den første computer "Elbrus" blev færdiggjort i 1978. Den havde en modulær arkitektur og kunne inkludere mellem 1 og 10 processorer baseret på standardintegrationskredsløb. Ydelsen på denne maskine nåede op på 15 millioner operationer i sekundet. Mængden af hukommelse, der var fælles for alle 10 processorer, var op til 2 til 20. potens maskinord eller 64 MB.
Senere viste det sig, at mange af de teknologier, der blev brugt under udviklingen af "Elbrus", også blev undersøgt internationalt på samme tid, og at International Business Machine (IBM) arbejdede med dem, men arbejdet med disse projekter, i modsætning til arbejdet med "Elbrus", blev aldrig afsluttet og førte ikke til skabelsen af et færdigt produkt.
Ifølge Sevorod Burtsov, gjorde de sovjetiske ingeniører en indsats for at anvende den mest avancerede erfaring fra både indenlandske og udenlandske udviklere. Arkitekturen af "Elbrus"-computerne blev også påvirket af Burroughs-computere, Hewlett-Packard's udviklinger samt erfaringen fra udviklerne af BЭСМ-6.
Men samtidig var mange af udviklingerne originale. Det mest interessante ved "Elbrus-1" var netop dens arkitektur.
Den skabte supercomputer blev den første EVM i USSR, der anvendte super-skalar arkitektur. Den masseudbredte brug af super-skalære processorer i udlandet begyndte først i 1990'erne med introduktionen af de tilgængelige Intel Pentium-processorer på markedet.
Derudover kunne der anvendes specielle input-output processorer til at organisere overførslen af datastreams mellem perifere enheder og brugerens hukommelse. Der kunne være op til fire sådanne processorer i systemet, de arbejdede parallelt med centralprocessoren og havde deres egen dedikerede hukommelse.
Elbrus-2
I 1985 fik "Elbrus" sin logiske fortsættelse, og computeren "Elbrus-2" blev udviklet og sendt til seriøs produktion. Arkitekturen adskilte sig ikke meget fra sin forgænger, men en ny komponentbasis blev anvendt, hvilket gjorde det muligt at øge den samlede ydeevne næsten 10 gange – fra 15 millioner operationer i sekundet til 125 millioner. Mængden af hukommelse i computeren blev øget til 16 millioner 72-bit ord eller 144 MB. Den maksimale båndbredde for input-output kanalerne i "Elbrus-2" var 120 MB/s.
«Elbrus-2» blev aktivt anvendt i kerneforskingscentre i Chelyabinsk-70 og i Arzamas-16 i kontrolcentret, i A-135's missileforsvarssystem, samt på andre militære lokationer.
Oprettelsen af «Elbrus» blev anerkendt af lederne i Sovjetunionen. Mange ingeniører blev tildelt ordener og medaljer. Hovedkonstrukøren Vyacheslav Burtsov og flere andre specialister modtog statslige priser. Boris Babayan blev tildelt Oktoberrevolutionens Orden.
Disse priser er mere end velfortjente, Boris Babayan sagde senere:
«I 1978 lavede vi den første super-skalar maskine, Elbrus-1. Nu laver de i Vesten kun super-skalarer af en sådan arkitektur. Den første super-skalar i Vesten dukkede op i 1992, vores i 1978. Desuden er den version af super-skalar, som vi lavede, analog med Pentium Pro, der blev produceret af Intel i 1995.»
Disse ord om historisk førerskab bekræftes også i USA, hvor Keith Diefendorff, udvikler af Motorola 88110, en af de første vestlige super-skalar processorer, skrev:
«I 1978, næsten 15 år før de første vestlige super-skalar processorer dukkede op, blev der i Elbrus-1 anvendt en processor, der kunne udgive to kommandoer pr. taktslag, ændre rækkefølgen af kommandoer, omdøbe registre og eksekvere baseret på antagelser.»
Elbrus-3
Året var 1986, og næsten straks efter afslutningen af arbejdet med den anden «Elbrus» begyndte udviklingen af det nye system «Elbrus-3» i ITMiVT, ved at bruge en grundlæggende ny processorarkitektur. Denne tilgang blev af Boris Babayan kaldt «post-super-skalar». Det var netop denne arkitektur, der senere blev kendt som VLIW/EPIC, som i fremtiden (i midten af 90'erne) blev brugt af Intel Itanium-processorer (og i USSR startede disse udviklinger i 1986 og blev afsluttet i 1991).
I dette beregningskompleks blev idéerne om eksplicit styring af parallelle operationer ved hjælp af en compiler for første gang realiseret.
I 1991 blev den første og desværre eneste computer «Elbrus-3» udgivet, som ikke kunne færdiggøres, og efter Sovjetunionens sammenbrud blev den ikke længere nødvendig, og udviklingen og planerne forblev blot på papir.
Forudsætningerne for den nye arkitektur
Holdet, der arbejdede i ITMiVT med at skabe sovjetiske supercomputere, blev ikke opløst, men fortsatte arbejdet som et selvstændigt firma under navnet MCST (Moskva Center for SPARC-teknologier). I begyndelsen af 90'erne startede et aktivt samarbejde mellem MCST og Sun Microsystems, hvor MCSTs medarbejdere deltog i udviklingen af mikroprocessoren UltraSPARC.
Netop i denne periode opstod projektet for E2K-arkitekturen, som oprindeligt blev finansieret af Sun. Senere blev projektet helt uafhængigt, og al intellektuel ejendomsret til det forblev hos MCST-holdet.
"Hvis vi fortsatte med at arbejde med Sun inden for dette område, ville alt tilhøre Sun. Selvom 90% af arbejdet blev udført allerede før Suns ankomst." (Boris Babayan)
E2K-arkitekturen
Når vi diskuterer processorerne "Elbrus"-arkitekturen, hører vi meget ofte følgende udtalelser fra vores kolleger i it-branchen:
"Elbrus er jo en RISC-arkitektur"
"Elbrus er jo en EPIC-arkitektur"
"Elbrus er jo en SPARC-arkitektur"
Faktisk er ingen af disse påstande helt korrekte, og hvis de er, er det kun delvist.
E2K-arkitekturen er en original processorarkitektur, hovedtræk ved E2K er energieffektivitet og fremragende skalerbarhed, opnået ved at pålægge eksplicit parallelisme af operationer. E2K-arkitekturen er udviklet af MCST-holdet, og dens grundlag ligger i post-super-skalararkitekturen (a la EPIC) med en vis indflydelse fra SPARC-arkitekturen (med RISC-fortid). MCST spillede desuden en direkte rolle i udviklingen af tre ud af fire grundlæggende arkitekturer (super-skalarer, post-super-skalarer og SPARC). Verden er virkelig lille.
For at undgå forvirring i fremtiden har vi tegnet et simpelt diagram, der, selvom det er forenklet, meget klart viser rødderne til E2K-arkitekturen.
Nu lidt om navnet på arkitekturen, som også har givet anledning til misforståelser.
I forskellige kilder kan man støde på følgende navne for denne arkitektur: «E2K», «Elbrus», «Elbrus 2000», ELBRUS («ExpLicit Basic Resources Utilization Scheduling», dvs. eksplicit planlægning af brugen af grundlæggende ressourcer). Alle disse navne henviser til det samme – til arkitekturen, men i den officielle tekniske dokumentation samt på tekniske fora bruges betegnelsen E2K til at angive arkitekturen, så fremover, hvis vi taler om processorarkitekturen, bruger vi termen «E2K», og hvis vi taler om en specifik processor, bruger vi navnet «Elbrus».
Tekniske egenskaber ved E2K-arkitekturen
I traditionelle arkitekturer som RISC eller CISC (x86, PowerPC, SPARC, MIPS, ARM) modtager processoren en strøm af instruktioner, der er beregnet til sekventiel udførelse. Processoren kan opdage uafhængige operationer og køre dem parallelt (superskalærhed) og endda ændre rækkefølgen (uden for rækkefølge udførelse). Imidlertid har den dynamiske analyse af afhængigheder og understøttelse af uden for rækkefølge udførelse sine begrænsninger i antallet af operationer, der kan startes og analyseres pr. takt. Derudover forbruger de relevante blokke inden i processoren en betydelig mængde energi, og deres komplekse implementering kan nogle gange føre til stabilitets- eller sikkerhedsproblemer.
I E2K-arkitekturen påtager compileren sig det primære arbejde med at analysere afhængigheder og optimere rækkefølgen af operationer. Processoren modtager såkaldte brede instruktioner, hvor hver enkelt kode indeholder instruktioner for alle udførelsesdelene i processoren, der skal køres på denne takt. Processoren er ikke forpligtet til at analysere afhængigheder mellem operander eller omarrangere operationer mellem de brede instruktioner: alt dette udføres af compileren baseret på analysen af kildekoden og ressourcestyringen af processoren. Som et resultat kan den hardwaremæssige del af processoren være enklere og mere økonomisk.
Compileren er i stand til at analysere kildekoden meget grundigere end RISC/CISC-processoren og finde flere uafhængige operationer. Derfor er der i E2K-arkitekturen flere parallelt fungerende udførelsesenheder end i traditionelle arkitekturer.
Nuværende muligheder i E2K-arkitekturen:
- 6 kanaler af aritmetisk-logiske enheder (ALU), der arbejder parallelt.
- Registerfil med 256 84-bits registre.
- Hardwareunderstøttelse af løkker, herunder med pipelining. Øger effektiviteten af processorressourcerne.
- Programmerbart asynkront dataskydebuffersystem med separate læsekanaler. Gør det muligt at skjule latenser ved hukommelsesadgang og udnytte ALU bedre.
- Understøttelse af spekulative beregninger og en-bits betingelser. Reducerer antallet af overgange og muliggør samtidig eksekvering af flere programgrene.
- Bred kommando, der under maksimal fyldning kan angive op til 23 operationer i én cyklus (mere end 33 operationer ved at pakke operander i vektorkommandoer).
Emulering af x86
Allerede under designfasen af arkitekturen havde udviklerne en forståelse for vigtigheden af at understøtte software skrevet til Intel x86-arkitekturen. For dette blev der implementeret et system til dynamisk (dvs. under udførelsen af programmet, eller 'on-the-fly') oversættelse af x86-binarykoder til processorens E2K-koder. Dette system kan fungere både i applikationsmode (analogt til WINE) og i en mode, der ligner en hypervisor (hvor det er muligt at køre et helt gæste-OS for x86-arkitekturen).
Takket være flere optimeringsniveauer kan der opnås høj hastighed for det oversatte kode. Kvaliteten af emuleringen af x86-arkitekturen bekræftes ved den vellykkede drift på Elbrus-beregningskomplekser med mere end 20 operativsystemer (herunder flere versioner af Windows) og hundreder af applikationer.
Beskyttet tilstand for udførelse af programmer
En af de mest interessante ideer, der er arvet fra arkitekturerne Elbrus-1 og Elbrus-2, er det såkaldte sikre udførelse af programmer. Dets essens består i at sikre, at programmet kun arbejder med initialiserede data, kontrollere alle hukommelsesadgang for tilhør til et tilladt adresseområde, og sikre modulbeskyttelse (for eksempel at beskytte det kaldende program mod fejl i biblioteket). Alle disse kontroller udføres hardwaremæssigt. Der findes en fuldkomment compiler og et runtime-supportbibliotek til den sikre tilstand. Det skal forstås, at de pålagte begrænsninger fører til, at det ikke er muligt at organisere udførelsen af for eksempel C++-kode.
Selv i den almindelige, "usikrede" driftsmode for Elbrus-processorer er der særlige funktioner, der øger systemets pålidelighed. Stacken af forbindelsesinformation (kæden af returadresser ved procedureopkald) er adskilt fra stacken af brugerdata og er ikke tilgængelig for sådanne angreb, der findes i vira, som f.eks. at ændre returadressen.
De systemer, der er skabt gennem årene, gør det muligt ikke kun at indhente, men også i fremtiden overvinde konkurrerende arkitekturer med hensyn til ydeevne og skalerbarhed, men også at sikre beskyttelse mod fejl, som x86/amd64 lider af. Sårbarheder som Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) og lignende.
Moderne beskyttelse mod de sårbarheder, der er konstateret i x86/amd64-arkitekturen, er baseret på patches på operativsystemsniveau. Det er derfor, at ydelsesfaldet på de nuværende og tidligere generationer af processorer fra disse arkitekturer er så mærkbart og ligger mellem 30% og 80%. Vi, som aktive brugere af x86-processorer, ved det, lider under det og fortsætter med at "spise kaktus", men det faktum, at løsningen på disse problemer ligger for os (og dermed for vores kunder), er uden tvivl en velsignelse, især hvis løsningen er russisk.
Tekniske specifikationer
Nedenfor er de officielle tekniske specifikationer for "Elbrus"-processorerne fra de tidligere (4C), nuværende (8C), nye (8CV) og kommende (16C) generationer i sammenligning med tilsvarende Intel x86-processorer.
Selv et kort blik på denne tabel viser (og det er virkelig opmuntrende), at den teknologiske efterslæb for hjemmelavede processorer, som for 10 år siden syntes uovervindelig, nu synes ret lille, og i 2021, med lanceringen af «Elbrus-16C» (som desuden vil understøtte virtualisering), vil det blive reduceret til minimale afstande.
AERODISK Lagringssystemer baseret på Elbrus 8C processorer
Fra teori til praksis. Som en del af det strategiske partnerskab mellem MCST, Aerodisk, Basalt SPU (tidligere Alt Linux) og NORSI-TRANS er der udviklet og forberedt et lagringssystem til drift, som i øjeblikket med hensyn til sikkerhed, funktionalitet, pris og ydelse er, hvis ikke den bedste, så efter vores mening, uden tvivl en værdig løsning, der kan sikre det nødvendige niveau af teknologisk uafhængighed for vores fædreland.
Nu til detaljerne…
Hardware
Hardwaren til lagringssystemet er baseret på den universelle platform Yakhont UVM fra NORSI-TRANS. Yakhont UVM-platformen har fået status som telekommunikationsudstyr af russisk oprindelse og er inkluderet i den fælles register over russisk radioelektronisk produktion. Systemet består af to separate kontrolere (hver 2U), der er forbundet med et 1G eller 10G Ethernet interconnect, samt fælles diskhylder ved brug af SAS-forbindelse.
Selvfølgelig ser det ikke så pænt ud som formatet «Cluster in a box» (hvor kontrolere og diske med fælles backplane er installeret i et enkelt 2U chassis), som vi normalt bruger, men det vil også være tilgængeligt i den nærmeste fremtid. Det vigtigste er, at det fungerer godt, vi kan tænke på «sløjferne» senere.
Under kølerhjelmen har hver kontroler et enkeltprocessor bundkort med fire slots til RAM (DDR3 til 8C processoren). Hver kontroler har også 4 porte 1G Ethernet (hvoraf to bruges af AERODISK ENGINE som serviceporte) og tre PCIe slots til Back-end (SAS) og Front-end (Ethernet eller FibreChannel) adaptere.
Som boot-disk bruges russiske SATA SSD-diske fra GS Nanotech, som vi gentagne gange har testet og brugt i projekter.
Ved første bekendtskab med platformen undersøgte vi den grundigt. Vi havde ingen spørgsmål til kvaliteten af sammensætningen og lodningen; alt er lavet omhyggeligt og pålideligt.
Operativsystem
Som operativsystem bruges versionen OS Alt 8SP til certificering. Vi planlægger snarest at oprette et tilslutningsbart og løbende opdateret repository for OS Alt med software til datalagring AERODISK.
Denne version af distributionen er bygget på den nuværende stabile version af Linux-kernen 4.9 til E2K (den langsigtede supportgren er porteret af specialister fra MCST), suppleret med patches til funktionalitet og sikkerhed. Alle pakker i OS Alt er samlet direkte på "Elbrus" med brug af det originale transaktionelle bygningssystem fra projektet ALT Linux Team, hvilket har reduceret arbejdsomkostningerne ved selve overførslen og givet mulighed for at fokusere mere på kvaliteten af produktet.
Enhver udgave af OS Alt til Elbrus kan voldsomt udvides med hensyn til funktionalitet ved at udnytte det tilgængelige repository (fra cirka 6.000 kildepakker til den ottende version til cirka 12.000 til den niende).
Valget blev også truffet, fordi virksomheden Bazalt SPO, udvikleren af OS Alt, aktivt arbejder sammen med andre software- og enhedsudviklere på forskellige platforme for at sikre problemfri interaktion inden for hardware-software komplekser.
Software til datalagringssystemer
Ved porteringen opgav vi straks ideen om at bruge understøttet x86-emulering i E2K, og begyndte i stedet at arbejde direkte med processorerne (heldigvis har Alt allerede de nødvendige værktøjer til dette).
Blandt andet giver det native udførelsesmodus bedre sikkerhed (de tre hardware-stakke i stedet for én) og øget ydeevne (der er ikke behov for at afsætte et eller to kerner ud af otte til at køre binære oversættere, mens compileren udfører sit arbejde bedre end JIT).
Faktisk understøtter implementeringen af AERODISK ENGINE på E2K størstedelen af den eksisterende funktionalitet i datalagringssystemene, som er tilgængelig i x86. Den nuværende version af AERODISK ENGINE (A-CORE version 2.30) anvendes som software til datalagringssystemet.
Uden store problemer blev de følgende funktioner oprettet og testet til brug i produktionen på E2K:
- Failover med op til to controllere og multipath input-output (mpio)
- Blok- og filadgang med tynde volumener (RDG, DDP puljer; FC, iSCSI, NFS, SMB protokoller inklusive integration med Active Directory)
- Forskellige RAID-niveauer op til tredobbelt paritet (inklusive mulighed for RAID-bygger)
- Hybridlagring (kombination af SSD og HDD inden for en pulje, dvs. caching og tiering)
- Pladsbesparende muligheder med deduplicering og kompression
- ROW snapshots, kloner og forskellige replikeringsmuligheder
- Og andre små, men nyttige funktioner såsom QoS, global hotspare, VLAN, BOND osv.
Faktisk har vi på E2K fået alle vores funktioner op at køre, undtagen multikontroller (mere end to) og planlæggeren for multitrådede I/O, som gør det muligt at øge ydeevnen af all-flash puljer med 20-30%.
Disse nyttige funktioner vil vi naturligvis også implementere, det er blot et spørgsmål om tid.
Lidt om ydeevne
Efter vellykket bestået test af de grundlæggende funktioner i SAN-systemet begyndte vi naturligvis at udføre belastningstest.
For eksempel, på et to-kontroller SAN (2xCPU E8C 1.3 GHz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), hvor RAM-caching blev deaktiveret, oprettede vi to DDP-puljer med et grundlæggende RAID-10-niveau og to LUNs på 500G og tilsluttede disse LUNs via iSCSI (10G Ethernet) til en Linux-vært. Og vi udførte en af de grundlæggende timer tests med små blokke af sekventiel belastning ved hjælp af FIO-programmet.
De første resultater viste sig at være ganske positive.
Belastningen på processorerne var gennemsnitligt på 60%, dvs. dette er et basisniveau, hvor SAN-systemet kan fungere uden problemer.
Ja, det er langt fra highload, og til højtydende databaser i noget faktureringssystem vil dette tydeligvis ikke være tilstrækkeligt, men som vores erfaring viser, er disse specifikationer tilstrækkelige til 80% af de almindelige opgaver, som SAN-systemer bruges til.
Senere planlægger vi at vende tilbage med en detaljeret rapport om belastningstestene af Elbrus som platform for SAN-systemet.
En lys fremtid
Som nævnt tidligere startede masseproduktionen af Elbrus 8S faktisk for nylig – i begyndelsen af 2019, og inden december var der allerede blevet produceret omkring 4000 processorer. Til sammenligning blev der i hele produktionsperioden af den tidligere generation Elbrus 4S kun produceret 5000 processorer, så fremskrittene er tydelige.
Det er klart, at dette er en dråbe i havet, selv for det russiske marked, men vejen bliver til, mens man går.
I 2020 er der planlagt udgivelse af flere titusinde Elbrus 8C-processorer, og det er allerede et seriøst tal. Desuden skal Elbrus-8SV-processoren i løbet af 2020 føres til masseproduktion af teamet fra MCST.
Sådanne produktionsplaner er et bud på en meget betydelig del af det samlede indenlandske marked for serverprocessorer.
Resultatet er, at vi allerede nu har en god og moderne russisk processor med en forståelig og efter vores mening rigtig udviklingsstrategi, baseret på et maksimalt beskyttet og certificeret datalagringssystem produceret i Rusland (og i fremtiden et virtualiseringssystem på Elbrus-16C). Systemet er russisk, så vidt det fysisk er muligt under de nuværende forhold.
Vi ser ofte nyheder om de episk fiaskoer fra virksomheder, der stolt kalder sig russiske producenter, men i virkeligheden blot skifter etiketter og ikke tilføjer nogen egen værdi til produkter fra udenlandske producenter, bortset fra deres egen fortjeneste. Disse virksomheder kaster desværre skygge på alle reelle russiske udviklere og producenter.
Med denne artikel ønsker vi tydeligt at vise, at der i vores land har været, er, og vil være virksomheder, der virkelig og kvalitetsbevidst skaber moderne komplekse IT-systemer og aktivt udvikler sig, og at importsubstitution inden for IT ikke er en illusorisk idé, men en realitet, som vi alle lever i. Man kan kritisere denne realitet eller ikke bryde sig om den, men man kan også arbejde og gøre den bedre.
Sammenbruddet af Sovjetunionen forhindrede dengang skabere af Elbrus i at blive en markant spiller i verden af processorer og tvang teamet til at søge finansiering af deres udviklinger i udlandet. Det blev fundet, arbejdet blev udført, og den intellektuelle ejendom blev bevaret, for hvilket vi vil sige tusind tak til disse mennesker!
Det er alt for nu, skriv venligst dine kommentarer, spørgsmål, og selvfølgelig kritik. Vi er altid glade for det.
Også på vegne af hele Aerodisk ønsker vi at gratulere hele det russiske IT-samfund med det kommende nye år og jul, og ønsker 100% oppetid – og at sikkerhedskopier i det nye år ikke bliver nødvendige)))
Brugte materialer
Artiklen med en generel beskrivelse af teknologier, arkitekturer og personligheder:
En kort historie om computere under navnet «Elbrus»:
En generel artikel om e2k-arkitekturen:
Denne artikel handler specifikt om 4. generation (Elbrus-8C) og 5. generation (Elbrus-8CV, 2020):
Specifikationer for den kommende 6. generation af processorer (Elbrus-16CV, 2021):
Officiel beskrivelse af Elbrus-arkitekturen:
Udviklernes planer for den hardware-software platform «Elbrus» til at skabe en supercomputer med eksaflop ydeevne:
Russiske teknologier «Elbrus» til personlige computere, servere og supercomputere:
En gammel artikel af Boris Babayan, men stadig relevant:
En gammel artikel af Mikhail Kuzminsky:
Præsentation fra MCST, generel information:
Information om operativsystemet Alt til Elbrus-platformen:
Kilde: habr.com
