Hej Habr læsere. Vi vil gerne dele nogle meget gode nyheder. Vi ventede endelig på den rigtige serieproduktion af en ny generation af russiske Elbrus 8C-processorer. Officielt skulle serieproduktionen starte allerede i 2016, men faktisk var det masseproduktion, der først begyndte i 2019, og omkring 4000 processorer er allerede blevet frigivet.
Næsten umiddelbart efter starten af masseproduktionen dukkede disse processorer op på vores Aerodisk, hvilket vi gerne vil takke NORSI-TRANS for, som venligt forsynede os med sin hardwareplatform Yakhont UVM, som understøtter Elbrus 8C-processorer, for portering af softwaredelen af lagersystemet. Dette er en moderne universel platform, der opfylder alle kravene i MCST. I øjeblikket bruges platformen af særlige forbrugere og teleoperatører til at sikre implementeringen af etablerede handlinger under operationelle søgeaktiviteter.
I øjeblikket er porteringen blevet gennemført med succes, og nu er AERODISK-lagringssystemet tilgængeligt i versionen med indenlandske Elbrus-processorer.
I denne artikel vil vi tale om selve processorerne, deres historie, arkitektur og selvfølgelig vores implementering af lagersystemer på Elbrus.
Story
Historien om Elbrus-processorer går tilbage til Sovjetunionens tid. I 1973 på Institut for Finmekanik og Computerteknik opkaldt efter S.A. Lebedev (opkaldt efter den samme Sergei Lebedev, som tidligere ledede udviklingen af den første sovjetiske computer MESM, og senere BESM), startede udviklingen af multiprocessor-computersystemer kaldet Elbrus. Vsevolod Sergeevich Burtsev overvågede udviklingen, og Boris Artashesovich Babayan, som var en af de stedfortrædende chefdesignere, deltog også aktivt i udviklingen.
Vsevolod Sergeevich Burtsev
Boris Artashesovich Babayan
Hovedkunden af projektet var naturligvis de væbnede styrker i USSR, og denne serie af computere blev til sidst med succes brugt til at skabe kommandocomputercentre og affyringssystemer til missilforsvarssystemer såvel som andre specielle systemer .
Den første Elbrus-computer stod færdig i 1978. Den havde en modulær arkitektur og kunne omfatte fra 1 til 10 processorer baseret på medium integrationsskemaer. Hastigheden af denne maskine nåede 15 millioner operationer i sekundet. Mængden af RAM, som var fælles for alle 10 processorer, var op til 2 til 20. potens af maskinord eller 64 MB.
Senere viste det sig, at mange af de teknologier, der blev brugt i udviklingen af Elbrus, blev undersøgt i verden på samme tid, og International Business Machine (IBM) var engageret i dem, men arbejdet med disse projekter, i modsætning til arbejdet med Elbrus, gjorde det ikke blev afsluttet og førte ikke til sidst til skabelsen af et færdigt produkt.
Ifølge Vsevolod Burtsev forsøgte sovjetiske ingeniører at anvende den mest avancerede erfaring fra både indenlandske og udenlandske udviklere. Arkitekturen af Elbrus-computere var også påvirket af Burroughs-computere, Hewlett-Packard-udviklinger samt erfaringerne fra BESM-6-udviklerne.
Men samtidig var mange udviklinger originale. Det mest interessante ved Elbrus-1 var dens arkitektur.
Den skabte supercomputer blev den første computer i USSR, der brugte superskalararkitektur. Massebrugen af superscalar-processorer i udlandet begyndte først i 90'erne af det sidste århundrede med fremkomsten på markedet af overkommelige Intel Pentium-processorer.
Derudover kan specielle input-output-processorer bruges til at organisere overførslen af datastrømme mellem perifere enheder og RAM i en computer. Der kunne være op til fire sådanne processorer i systemet, de arbejdede parallelt med den centrale processor og havde deres egen dedikerede hukommelse.
Elbrus-2
I 1985 modtog Elbrus sin logiske fortsættelse, Elbrus-2-computeren blev skabt og sendt til masseproduktion. Arkitekturmæssigt adskilte den sig ikke meget fra sin forgænger, men brugte en ny elementbase, som gjorde det muligt at øge den samlede ydeevne med næsten 10 gange - fra 15 millioner operationer i sekundet til 125 millioner Mængden af computer-RAM øget til 16 millioner 72-bit ord eller 144 MB. Den maksimale båndbredde for Elbrus-2 I/O-kanalerne var 120 MB/s.
"Elbrus-2" blev aktivt brugt i nukleare forskningscentre i Chelyabinsk-70 og i Arzamas-16 i MCC, i A-135 missilforsvarssystemet såvel som ved andre militære faciliteter.
Skabelsen af Elbrus blev behørigt værdsat af lederne af Sovjetunionen. Mange ingeniører blev tildelt ordrer og medaljer. Generel designer Vsevolod Burtsev og en række andre specialister modtog statspriser. Og Boris Babayan blev tildelt Oktoberrevolutionens orden.
Disse priser er mere end velfortjente, sagde Boris Babayan senere:
"I 1978 lavede vi den første superskalarmaskine, Elbrus-1. Nu i Vesten laver de kun superskalarer af denne arkitektur. Den første superskalar dukkede op i Vesten i 92, vores i 78. Desuden ligner den version af superskalaren, vi lavede, den Pentium Pro, som Intel lavede i 95."
Disse ord om den historiske overlegenhed er også bekræftet i USA, Keith Diefendorff, udvikleren af Motorola 88110, en af de første vestlige superskalarprocessorer, skrev:
"I 1978, næsten 15 år før de første vestlige superskalarprocessorer dukkede op, brugte Elbrus-1 en processor, med udsendelse af to instruktioner i én cyklus, ændrede ordreudførelsesrækkefølgen, omdøbte registre og udførte ved antagelse."
Elbrus-3
Det var 1986, og næsten umiddelbart efter afslutningen af arbejdet på den anden Elbrus begyndte ITMiVT at udvikle et nyt Elbrus-3-system ved hjælp af en fundamentalt ny processorarkitektur. Boris Babayan kaldte denne tilgang "post-superscalar". Det var denne arkitektur, senere kaldet VLIW / EPIC, som i fremtiden (i midten af 90'erne) Intel Itanium-processorer begyndte at bruge (og i USSR startede disse udviklinger i 1986 og sluttede i 1991).
I dette computerkompleks blev ideerne om eksplicit kontrol af operationernes parallelitet ved hjælp af en compiler først implementeret.
I 1991 blev den første og desværre den eneste Elbrus-3-computer udgivet, som ikke kunne justeres fuldt ud, og efter Sovjetunionens sammenbrud havde ingen brug for den, og udviklingen og planerne forblev på papiret.
Baggrund for den nye arkitektur
Holdet, der arbejdede på ITMiVT på skabelsen af sovjetiske supercomputere, brød ikke op, men fortsatte med at arbejde som et separat firma under navnet MCST (Moscow Center for SPARK-Technologies). Og i begyndelsen af 90'erne begyndte et aktivt samarbejde mellem MCST og Sun Microsystems, hvor MCST-teamet deltog i udviklingen af UltraSPARC-mikroprocessoren.
Det var i denne periode, at E2K-arkitekturprojektet opstod, som oprindeligt var finansieret af Sun. Senere blev projektet fuldstændig uafhængigt, og al intellektuel ejendom for det forblev hos MCST-teamet.
"Hvis vi fortsatte med at arbejde med Sun på dette område, så ville alt tilhøre Sun. Selvom 90 % af arbejdet var udført, før Sun kom." (Boris Babayan)
E2K arkitektur
Når vi diskuterer arkitekturen af Elbrus-processorer, hører vi meget ofte følgende udtalelser fra vores kolleger i it-branchen:
"Elbrus er en RISC-arkitektur"
"Elbrus er EPISK arkitektur"
"Elbrus er SPARC-arkitektur"
Faktisk er ingen af disse udsagn helt sande, eller hvis det er, er det kun delvist sandt.
E2K-arkitekturen er en separat original processorarkitektur, hovedegenskaberne ved E2K er energieffektivitet og fremragende skalerbarhed, opnået ved at specificere eksplicit parallelitet af operationer. E2K-arkitekturen blev udviklet af MCST-teamet og er baseret på en post-superskalær arkitektur (a la EPIC) med en vis indflydelse fra SPARC-arkitekturen (med en RISC-fortid). Samtidig var MCST direkte involveret i skabelsen af tre af de fire grundlæggende arkitekturer (Superscalars, Post-Superscalars og SPARC). Verden er virkelig lille.
For at undgå forvirring i fremtiden har vi tegnet et simpelt diagram, der, selvom det er forenklet, men meget tydeligt viser rødderne til E2K-arkitekturen.
Nu lidt mere om navnet på arkitekturen, i forhold til hvilket der også er en misforståelse.
I forskellige kilder kan du finde følgende navne for denne arkitektur: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", dvs. eksplicit planlægning for brugen af basale ressourcer). Alle disse navne taler om det samme - om arkitekturen, men i den officielle tekniske dokumentation, såvel som på tekniske fora, bruges navnet E2K til at betegne arkitekturen, så i fremtiden, hvis vi taler om processorarkitektur, vi bruger udtrykket "E2K", og hvis der er tale om en specifik processor, så bruger vi navnet "Elbrus".
Tekniske træk ved E2K-arkitekturen
I traditionelle arkitekturer som RISC eller CISC (x86, PowerPC, SPARC, MIPS, ARM) modtager processoren en strøm af instruktioner, der er designet til sekventiel udførelse. Processoren kan registrere uafhængige operationer og køre dem parallelt (superskalar) og endda ændre deres rækkefølge (ude af drift). Dynamisk afhængighedsanalyse og understøttelse af udelukket udførelse har dog sine begrænsninger i forhold til antallet af kommandoer, der lanceres og analyseres pr. cyklus. Derudover bruger de tilsvarende blokke inde i processoren en betydelig mængde energi, og deres mest komplekse implementering fører nogle gange til stabilitets- eller sikkerhedsproblemer.
I E2K-arkitekturen varetages hovedopgaven med at analysere afhængigheder og optimere rækkefølgen af operationer af compileren. Processoren modtager den såkaldte. brede instruktioner, som hver koder instruktioner for alle processorudøvende enheder, der skal startes ved en given clock-cyklus. Processoren er ikke forpligtet til at analysere afhængigheder mellem operander eller bytte operationer mellem brede instruktioner: compileren gør alt dette baseret på kildekodeanalyse og processorressourceplanlægning. Som et resultat kan processorhardwaren være enklere og mere økonomisk.
Compileren er i stand til at parse kildekoden meget mere grundigt end processorens RISC/CISC-hardware og finde mere uafhængige operationer. Derfor har E2K-arkitekturen flere parallelle udførelsesenheder end traditionelle arkitekturer.
Aktuelle funktioner i E2K-arkitekturen:
- 6 kanaler med aritmetiske logiske enheder (ALU), der arbejder parallelt.
- Registerfil med 256 84-bit registre.
- Hardwareunderstøttelse til cykler, inklusive dem med pipelining. Øger effektiviteten af processorressourceforbrug.
- Programmerbar asynkron dataforpumpe med separate udlæsningskanaler. Giver dig mulighed for at skjule forsinkelser fra hukommelsesadgang og gøre mere brug af ALU'en.
- Understøttelse af spekulative beregninger og en-bit prædikater. Giver dig mulighed for at reducere antallet af overgange og udføre flere grene af programmet parallelt.
- En bred kommando, der er i stand til at specificere op til 23 operationer i en clock-cyklus med maksimal fyldning (mere end 33 operationer ved pakning af operander i vektorinstruktioner).
Emulering x86
Selv på arkitekturdesignstadiet forstod udviklerne vigtigheden af at understøtte software skrevet til Intel x86-arkitekturen. Til dette blev et system implementeret til dynamisk (dvs. under programafvikling eller "on the fly") oversættelse af x86 binære koder til E2K arkitektur processorkoder. Dette system kan fungere både i applikationstilstand (på samme måde som WINE), og i en tilstand, der ligner en hypervisor (så er det muligt at køre hele gæsteoperativsystemet til x86-arkitekturen).
Takket være flere niveauer af optimering er det muligt at opnå høj hastighed af den oversatte kode. Kvaliteten af x86 arkitekturemulering bekræftes af den vellykkede lancering af mere end 20 operativsystemer (inklusive flere versioner af Windows) og hundredvis af applikationer på Elbrus computersystemer.
Beskyttet programafviklingstilstand
En af de mest interessante ideer, der er arvet fra Elbrus-1 og Elbrus-2 arkitekturerne, er den såkaldte sikker programudførelse. Dens essens er at sikre, at programmet kun fungerer med initialiserede data, at kontrollere alle hukommelsesadgange for at tilhøre et gyldigt adresseområde, at give inter-modul beskyttelse (for eksempel for at beskytte det kaldende program mod en fejl i biblioteket). Alle disse kontroller udføres i hardware. Til beskyttet tilstand er der et fuldgyldigt compiler- og runtime-understøttelsesbibliotek. Samtidig skal det forstås, at de pålagte begrænsninger fører til umuligheden af at organisere eksekvering, for eksempel kode skrevet i C++.
Selv i den sædvanlige, "ubeskyttede" driftstilstand for Elbrus-processorerne er der funktioner, der øger systemets pålidelighed. Den bindende informationsstack (kæden af returadresser for procedurekald) er således adskilt fra brugerdatastakken og er utilgængelig for sådanne angreb, der bruges i vira som returadressespoofing.
Designet gennem årene, indhenter den ikke kun og udkonkurrerer konkurrerende arkitekturer med hensyn til ydeevne og skalerbarhed i fremtiden, men giver også beskyttelse mod fejl, der plager x86/amd64. Bogmærker som Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) og lignende.
Moderne beskyttelse mod fundne sårbarheder i x86/amd64-arkitekturen er baseret på patches på operativsystemniveau. Det er grunden til, at ydeevnefaldet på nuværende og tidligere generationer af processorer af disse arkitekturer er så mærkbart og varierer fra 30% til 80%. Vi, som aktive brugere af x86-processorer, kender til dette, lider og fortsætter med at "spise en kaktus", men tilstedeværelsen af en løsning på disse problemer i opløbet for os (og som følge heraf for vores kunder) er en utvivlsomt fordel, især hvis løsningen er russisk.
Технические характеристики
Nedenfor er de officielle tekniske karakteristika for Elbrus-processorerne fra tidligere (4C), nuværende (8C), nye (8CB) og fremtidige (16C) generationer i sammenligning med lignende Intel x86-processorer.
Selv et overfladisk blik på denne tabel viser (og det er meget glædeligt), at det teknologiske efterslæb hos indenlandske processorer, som syntes uoverkommeligt for 10 år siden, allerede nu virker ret lille, og i 2021 med lanceringen af Elbrus-16C (som bl.a. andre ting, vil understøtte virtualisering) vil blive reduceret til minimumsafstandene.
SHD AERODISK på Elbrus 8C-processorer
Vi går fra teori til praksis. Som en del af den strategiske alliance mellem MCST, Aerodisk, Basalt SPO (tidligere Alt Linux) og NORSI-TRANS blev der udviklet og sat i drift et datalagringssystem, som i øjeblikket er hvis ikke det bedste i forhold til sikkerhed, funktionalitet, omkostninger og ydeevne, efter vores mening, en unægtelig værdig løsning, der kan sikre det rette niveau af teknologisk uafhængighed af vores fædreland.
Nu er detaljerne...
Hardwaren del
Hardwaredelen af lagersystemet er implementeret på basis af den universelle platform Yakhont UVM fra NORSI-TRANS-virksomheden. Yakhont UVM-platformen modtog status som telekommunikationsudstyr af russisk oprindelse og er inkluderet i det forenede register over russiske radioelektroniske produkter. Systemet består af to separate lagercontrollere (2U hver), som er forbundet med en 1G eller 10G Ethernet-forbindelse, samt med delte diskhylder ved hjælp af en SAS-forbindelse.
Dette er selvfølgelig ikke så smukt som formatet "Cluster in a box" (når controllere og diske med fælles backplane er installeret i ét 2U chassis), som vi normalt bruger, men i den nærmeste fremtid vil det også være tilgængeligt. Det vigtigste her er, at det fungerer godt, men vi vil tænke på "buerne" senere.
Under hætten har hver controller et bundkort med én processor med fire RAM-slots (DDR3 for en 8C-processor). Ombord på hver controller er der også 4 1G Ethernet-porte (hvoraf to bruges af AERODISK ENGINE-software som service) og tre PCIe-slots til Back-end (SAS) og Front-end (Ethernet eller FibreChannel) adaptere.
Som boot-diske bruger vi russiske SATA SSD-diske fra GS Nanotech, som vi gentagne gange har testet og brugt i projekter.
Da vi første gang mødte platformen, undersøgte vi den omhyggeligt. Vi havde ingen spørgsmål om kvaliteten af montering og lodning, alt blev udført pænt og pålideligt.
Operativsystem
Versionen af OS Alt 8SP til certificering bruges som OS. I den nærmeste fremtid planlægger vi at skabe et pluggbart og konstant opdateret lager til Alt OS med Aerodisk-lagringssoftware.
Denne version af distributionen er bygget på den nuværende stabile version af Linux 4.9-kernen til E2K (en filial med langsigtet support porteret af MCST-specialister), suppleret med patches for funktionalitet og sikkerhed. Alle pakker i Alt OS er bygget direkte på Elbrus ved hjælp af det originale transaktionsbyggesystem fra ALT Linux Team-projektet, hvilket gjorde det muligt at reducere lønomkostningerne til selve overførslen og være mere opmærksomme på produktkvaliteten.
Enhver udgivelse af Alt OS til Elbrus kan udvides betydeligt med hensyn til funktionalitet ved at bruge det tilgængelige lager for det (fra omkring 6 tusinde kildepakker til den ottende version til omkring 12 for den niende).
Valget blev også truffet, fordi Basalt SPO, udvikleren af Alt OS, aktivt arbejder med andre software- og enhedsudviklere på forskellige platforme, hvilket sikrer problemfri interaktion inden for hardware- og softwaresystemer.
Softwarelagringssystemer
Ved portering opgav vi straks ideen om at bruge x2-emuleringen understøttet i E86K og begyndte at arbejde med processorer direkte (heldigvis har Alt allerede de nødvendige værktøjer til dette).
Blandt andet giver den native eksekveringstilstand bedre sikkerhed (de samme tre hardwarestakke i stedet for én) og øget ydeevne (der er ingen grund til at allokere en eller to kerner ud af otte for at den binære oversætter kan fungere, og compileren gør sit job bedre end JIT).
Faktisk understøtter E2K-implementeringen af AERODISK ENGINE det meste af den eksisterende lagringsfunktionalitet, der findes i x86. Den aktuelle version af AERODISK ENGINE (A-CORE version 2.30) bruges som lagringssystemsoftwaren
Uden problemer på E2K blev følgende funktioner introduceret og testet til brug i produktet:
- Fejltolerance for op til to controllere og multipath I/O (mpio)
- Bloker og filadgang med tynde volumener (RDG, DDP-puljer; FC, iSCSI, NFS, SMB-protokoller inklusive Active Directory-integration)
- Forskellige RAID-niveauer op til tredobbelt paritet (inklusive muligheden for at bruge RAID-konstruktøren)
- Hybrid lagring (som kombinerer SSD og HDD i den samme pulje, dvs. cache og niveaudeling)
- Pladsbesparende muligheder med deduplikering og komprimering
- ROW snapshots, kloner og forskellige replikeringsmuligheder
- Og andre små, men nyttige funktioner såsom QoS, global hotspare, VLAN, BOND osv.
Faktisk lykkedes det os på E2K at få al vores funktionalitet, bortset fra multi-controllere (mere end to) og den multi-threaded I/O-planlægger, som giver os mulighed for at øge ydeevnen af all-flash-puljer med 20-30 % .
Men vi vil selvfølgelig også tilføje disse nyttige funktioner, et spørgsmål om tid.
Lidt om ydeevne
Efter at have bestået testene af lagersystemets grundlæggende funktionalitet, begyndte vi selvfølgelig at udføre belastningstest.
For eksempel, på et lagersystem med to kontroller (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800 GB 3DWD), hvor RAM-cachen var deaktiveret, oprettede vi to DDP-puljer med det primære RAID-10-niveau og to 500G LUN'er og tilsluttede disse LUN'er over iSCSI (10G Ethernet) til en Linux-vært. Og lavede en af de grundlæggende timetest på små sekventielle belastningsblokke ved hjælp af FIO-programmet.
De første resultater var ret positive.
Belastningen på processorerne lå i gennemsnit på niveauet 60 %, dvs. dette er basisniveauet, hvor opbevaring sikkert kan arbejde.
Ja, dette er langt fra højbelastning, og dette er tydeligvis ikke nok til højtydende DBMS'er, men som vores praksis viser, er disse egenskaber tilstrækkelige til 80% af de generelle opgaver, som storagesystemer bruges til.
Lidt senere planlægger vi at vende tilbage med en detaljeret rapport om belastningstesten af Elbrus som lagerplatform.
Bright Future
Som vi skrev ovenfor, startede masseproduktionen af Elbrus 8C faktisk for nylig - i begyndelsen af 2019 og i december var omkring 4000 processorer allerede blevet frigivet. Til sammenligning blev der kun produceret 4 processorer af den tidligere generation Elbrus 5000C i hele produktionsperioden, så der er fremskridt.
Det er klart, at dette er en dråbe i havet, selv for det russiske marked, men vejen vil blive mestret af den gående.
Frigivelsen af flere titusindvis af Elbrus 2020C-processorer er planlagt til 8, og dette er allerede et alvorligt tal. Derudover bør Elbrus-2020SV-processoren i løbet af 8 bringes af MCST-teamet til masseproduktion.
Sådanne produktionsplaner er en applikation for en meget betydelig andel af hele det indenlandske serverprocessormarked.
Som følge heraf har vi her og nu en god og moderne russisk processor med en klar og efter vores mening korrekt udviklingsstrategi, på grundlag af hvilken der findes det mest sikre og certificerede russisk-producerede datalagringssystem (og i future, et virtualiseringssystem på Elbrus-16C). Det russiske system er så vidt det nu er fysisk muligt under moderne forhold.
Vi ser ofte i nyhederne de næste episke fejl hos virksomheder, der stolt kalder sig russiske producenter, men som faktisk er involveret i at lime etiketter igen uden at tilføje deres egen værdi til en udenlandsk producents produkter, bortset fra deres opmærkning. Sådanne virksomheder kaster desværre en skygge over alle rigtige russiske udviklere og producenter.
Med denne artikel ønsker vi tydeligt at vise, at der i vores land var, er og vil være virksomheder, der virkelig og effektivt laver moderne komplekse it-systemer og aktivt udvikler, og importsubstitution i it er ikke et bandeord, men en realitet, hvor vi lever alle sammen. Du kan ikke elske denne virkelighed, du kan kritisere den, eller du kan arbejde og gøre den bedre.
Sovjetunionens sammenbrud forhindrede på et tidspunkt holdet af Elbrus-skabere i at blive en fremtrædende spiller i processorverdenen og tvang holdet til at søge finansiering til deres udvikling i udlandet. Det blev fundet, arbejdet blev gjort, og den intellektuelle ejendom blev reddet, hvilket jeg gerne vil sige en kæmpe tak til disse mennesker for!
Det var alt for nu, skriv venligst dine kommentarer, spørgsmål og selvfølgelig kritik. Vi er altid glade.
På vegne af hele Aerodisk-virksomheden vil jeg også lykønske hele det russiske IT-fællesskab med det kommende nytår og jul, ønske 100% oppetid - og at sikkerhedskopier ikke vil være nyttige for nogen i det nye år))).
Anvendte materialer
En artikel med en generel beskrivelse af teknologier, arkitekturer og personligheder:
En kort historie om computere under navnet "Elbrus":
Generel artikel om e2k-arkitektur:
Artiklen handler om 4. generation (Elbrus-8S) og 5. generation (Elbrus-8SV, 2020):
Specifikationer for den næste 6. generation af processorer (Elbrus-16SV, 2021):
Den officielle beskrivelse af Elbrus arkitektur:
Planerne fra udviklerne af hardware- og softwareplatformen "Elbrus" for at skabe en supercomputer med exascale ydeevne:
Russiske Elbrus-teknologier til personlige computere, servere og supercomputere:
En gammel artikel af Boris Babayan, men stadig relevant:
Gammel artikel af Mikhail Kuzminsky:
MCST-præsentation, generel information:
Information om Alt OS til Elbrus-platformen:
Kilde: www.habr.com