Hej Habr läsare. Vi skulle vilja dela med oss av några mycket goda nyheter. Vi väntade äntligen på den riktiga serieproduktionen av en ny generation ryska Elbrus 8C-processorer. Officiellt var det meningen att serieproduktion skulle starta redan 2016, men i själva verket var det massproduktion som började först 2019 och cirka 4000 XNUMX processorer har redan släppts.
Nästan omedelbart efter starten av massproduktionen dök dessa processorer upp på vår Aerodisk, vilket vi skulle vilja tacka NORSI-TRANS för, som vänligt försåg oss med sin hårdvaruplattform Yakhont UVM, som stöder Elbrus 8C-processorer, för portering av mjukvarudelen av lagringssystemet. Detta är en modern universell plattform som uppfyller alla krav från MCST. För tillfället används plattformen av speciella konsumenter och telekomoperatörer för att säkerställa genomförandet av etablerade åtgärder under operativa sökaktiviteter.
För tillfället har porteringen slutförts framgångsrikt, och nu finns AERODISK-lagringssystemet tillgängligt i versionen med inhemska Elbrus-processorer.
I den här artikeln kommer vi att prata om själva processorerna, deras historia, arkitektur och, naturligtvis, vår implementering av lagringssystem på Elbrus.
Story
Historien om Elbrus-processorer går tillbaka till Sovjetunionens tid. 1973 vid Institutet för finmekanik och datateknik uppkallad efter S.A. Lebedev (uppkallad efter samme Sergei Lebedev, som tidigare ledde utvecklingen av den första sovjetiska datorn MESM, och senare BESM), började utvecklingen av multiprocessordatorsystem kallade Elbrus. Vsevolod Sergeevich Burtsev övervakade utvecklingen, och Boris Artashesovich Babayan, som var en av de biträdande chefsdesignerna, deltog också aktivt i utvecklingen.
Vsevolod Sergeevich Burtsev
Boris Artashesovich Babayan
Projektets huvudkund var naturligtvis Sovjetunionens väpnade styrkor, och denna serie datorer användes så småningom framgångsrikt i skapandet av kommandocentraler och avfyrningssystem för missilförsvarssystem, såväl som andra specialsystem. .
Den första Elbrus-datorn färdigställdes 1978. Den hade en modulär arkitektur och kunde inkludera från 1 till 10 processorer baserade på medelstora integrationsscheman. Hastigheten på denna maskin nådde 15 miljoner operationer per sekund. Mängden RAM, som var gemensam för alla 10 processorer, var upp till 2 till 20:e potensen av maskinord eller 64 MB.
Senare visade det sig att många av de teknologier som användes i utvecklingen av Elbrus studerades i världen samtidigt, och International Business Machine (IBM) var engagerad i dem, men arbetet med dessa projekt, till skillnad från arbetet med Elbrus, gjorde det inte slutfördes och ledde till slut inte till skapandet av en färdig produkt.
Enligt Vsevolod Burtsev försökte sovjetiska ingenjörer tillämpa den mest avancerade erfarenheten från både inhemska och utländska utvecklare. Arkitekturen hos Elbrus-datorer påverkades också av Burroughs-datorer, Hewlett-Packards utvecklingar samt erfarenheterna från BESM-6-utvecklarna.
Men samtidigt var många utvecklingar originella. Det mest intressanta med Elbrus-1 var dess arkitektur.
Den skapade superdatorn blev den första datorn i Sovjetunionen som använde superskalär arkitektur. Massanvändningen av superskalära processorer utomlands började först på 90-talet av förra seklet med uppkomsten på marknaden av prisvärda Intel Pentium-processorer.
Dessutom kan speciella input-output-processorer användas för att organisera överföringen av dataströmmar mellan kringutrustning och RAM i en dator. Det kunde finnas upp till fyra sådana processorer i systemet, de arbetade parallellt med centralprocessorn och hade ett eget dedikerat minne.
Elbrus-2
1985 fick Elbrus sin logiska fortsättning, Elbrus-2-datorn skapades och skickades till massproduktion. När det gäller arkitektur skilde den sig inte mycket från sin föregångare, utan använde en ny elementbas, vilket gjorde det möjligt att öka den totala prestandan med nästan 10 gånger - från 15 miljoner operationer per sekund till 125 miljoner. Mängden dator-RAM ökat till 16 miljoner 72-bitars ord eller 144 MB. Den maximala bandbredden för Elbrus-2 I/O-kanalerna var 120 MB/s.
"Elbrus-2" användes aktivt i kärnforskningscentra i Chelyabinsk-70 och i Arzamas-16 i MCC, i A-135 missilförsvarssystem, såväl som vid andra militära anläggningar.
Skapandet av Elbrus uppskattades vederbörligen av Sovjetunionens ledare. Många ingenjörer tilldelades order och medaljer. General Designer Vsevolod Burtsev och ett antal andra specialister fick statliga utmärkelser. Och Boris Babayan tilldelades Oktoberrevolutionens orden.
Dessa utmärkelser är mer än välförtjänta, sa Boris Babayan senare:
"1978 gjorde vi den första superskalärmaskinen, Elbrus-1. Nu i väst gör de bara superskalärer av denna arkitektur. Den första superskalaren dök upp i väst 92, vår 78. Dessutom liknar versionen av superskalaren som vi gjorde Pentium Pro som Intel gjorde 95.”
Dessa ord om den historiska överlägsenheten bekräftas också i USA, Keith Diefendorff, utvecklaren av Motorola 88110, en av de första västerländska superskalära processorerna, skrev:
"1978, nästan 15 år innan de första västerländska superskalära processorerna dök upp, använde Elbrus-1 en processor, med utfärdande av två instruktioner i en cykel, ändrade ordningen för instruktionsexekvering, döpte om register och exekverade genom antagande."
Elbrus-3
Det var 1986, och nästan omedelbart efter att arbetet med den andra Elbrus slutförts, började ITMiVT utveckla ett nytt Elbrus-3-system med en helt ny processorarkitektur. Boris Babayan kallade detta tillvägagångssätt "post-superskalär". Det var denna arkitektur, senare kallad VLIW / EPIC, som i framtiden (i mitten av 90-talet) började använda Intel Itanium-processorer (och i Sovjetunionen startade denna utveckling 1986 och slutade 1991).
I detta datorkomplex implementerades först idéerna om explicit kontroll av operationernas parallellitet med hjälp av en kompilator.
1991 släpptes den första och, tyvärr, den enda Elbrus-3-datorn, som inte kunde justeras helt, och efter Sovjetunionens kollaps behövde ingen den, och utvecklingen och planerna låg kvar på papper.
Bakgrund till den nya arkitekturen
Teamet som arbetade på ITMiVT med skapandet av sovjetiska superdatorer bröts inte upp, utan fortsatte att arbeta som ett separat företag under namnet MCST (Moscow Center for SPARK-Technologies). Och i början av 90-talet började ett aktivt samarbete mellan MCST och Sun Microsystems, där MCST-teamet deltog i utvecklingen av UltraSPARC-mikroprocessorn.
Det var under denna period som E2K-arkitekturprojektet uppstod, som ursprungligen finansierades av Sun. Senare blev projektet helt oberoende och all immateriell egendom för det förblev hos MCST-teamet.
"Om vi fortsatte att arbeta med Sun på det här området skulle allt tillhöra Sun. Även om 90 % av arbetet gjordes innan Sun kom.” (Boris Babayan)
E2K-arkitektur
När vi diskuterar arkitekturen hos Elbrus-processorer hör vi väldigt ofta följande uttalanden från våra kollegor inom IT-branschen:
"Elbrus är en RISC-arkitektur"
"Elbrus är EPISK arkitektur"
"Elbrus är SPARC-arkitektur"
Faktum är att inget av dessa påståenden är helt sant, eller om det är så är det bara delvis sant.
E2K-arkitekturen är en separat original processorarkitektur, huvudegenskaperna hos E2K är energieffektivitet och utmärkt skalbarhet, uppnådd genom att specificera explicit parallellitet mellan operationer. E2K-arkitekturen utvecklades av MCST-teamet och är baserad på en post-superskalär arkitektur (a la EPIC) med visst inflytande från SPARC-arkitekturen (med ett RISC-förflutet). Samtidigt var MCST direkt involverad i skapandet av tre av de fyra grundläggande arkitekturerna (Superscalars, Post-Superscalars och SPARC). Världen är verkligen liten.
För att undvika förvirring i framtiden har vi ritat ett enkelt diagram som, även om det är förenklat, men mycket tydligt visar rötterna till E2K-arkitekturen.
Nu lite mer om namnet på arkitekturen, i förhållande till vilket det också finns ett missförstånd.
I olika källor kan du hitta följande namn för denna arkitektur: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", dvs explicit planering för användning av basresurser). Alla dessa namn talar om samma sak - om arkitekturen, men i den officiella tekniska dokumentationen, såväl som på tekniska forum, används namnet E2K för att beteckna arkitekturen, så i framtiden, om vi pratar om processorarkitektur, vi använder termen "E2K", och om det handlar om en specifik processor, så använder vi namnet "Elbrus".
Tekniska egenskaper hos E2K-arkitekturen
I traditionella arkitekturer som RISC eller CISC (x86, PowerPC, SPARC, MIPS, ARM) får processorn en ström av instruktioner som är designade för sekventiell exekvering. Processorn kan upptäcka oberoende operationer och köra dem parallellt (superskalär) och till och med ändra deras ordning (ur funktion). Dynamisk beroendeanalys och stöd för exekvering i oordning har dock sina begränsningar när det gäller antalet kommandon som lanseras och analyseras per cykel. Dessutom förbrukar motsvarande block inuti processorn en betydande mängd energi, och deras mest komplexa implementering leder ibland till stabilitets- eller säkerhetsproblem.
I E2K-arkitekturen tar kompilatorn huvudjobbet med att analysera beroenden och optimera operationsordningen. Processorn tar emot den sk. breda instruktioner, som var och en kodar instruktioner för alla processorverkställande enheter som måste startas vid en given klockcykel. Processorn behöver inte analysera beroenden mellan operander eller byta operationer mellan breda instruktioner: kompilatorn gör allt detta baserat på källkodsanalys och processorresursplanering. Som ett resultat kan processorns hårdvara vara enklare och mer ekonomisk.
Kompilatorn kan analysera källkoden mycket mer noggrant än processorns RISC/CISC-hårdvara och hitta mer oberoende operationer. Därför har E2K-arkitekturen fler parallella exekveringsenheter än traditionella arkitekturer.
Aktuella funktioner i E2K-arkitekturen:
- 6 kanaler med aritmetiska logiska enheter (ALU) som arbetar parallellt.
- Registerfil med 256 84-bitars register.
- Hårdvarustöd för cykler, inklusive de med pipelining. Ökar effektiviteten i processorresursanvändningen.
- Programmerbar asynkron dataförpump med separata avläsningskanaler. Låter dig dölja fördröjningar från minnesåtkomst och utnyttja ALU bättre.
- Stöd för spekulativa beräkningar och enbitspredikat. Låter dig minska antalet övergångar och köra flera grenar av programmet parallellt.
- Ett brett kommando som kan specificera upp till 23 operationer i en klockcykel med maximal fyllning (mer än 33 operationer vid packning av operander i vektorinstruktioner).
Emulering x86
Redan på arkitekturdesignstadiet förstod utvecklarna vikten av att stödja programvara skriven för Intel x86-arkitekturen. För detta implementerades ett system för dynamisk (dvs under programexekvering, eller "i farten") översättning av binära x86-koder till E2K-arkitekturprocessorkoder. Detta system kan fungera både i applikationsläge (på samma sätt som WINE), och i ett läge som liknar en hypervisor (då är det möjligt att köra hela gästoperativsystemet för x86-arkitekturen).
Tack vare flera nivåer av optimering är det möjligt att uppnå hög hastighet på den översatta koden. Kvaliteten på emulering av x86-arkitektur bekräftas av den framgångsrika lanseringen av mer än 20 operativsystem (inklusive flera versioner av Windows) och hundratals applikationer på Elbrus datorsystem.
Läget för skyddat programkörning
En av de mest intressanta idéerna som ärvts från Elbrus-1- och Elbrus-2-arkitekturen är den så kallade säkra programexekveringen. Dess kärna är att säkerställa att programmet endast fungerar med initierade data, att kontrollera alla minnesåtkomster för att tillhöra ett giltigt adressområde, att tillhandahålla intermodulskydd (till exempel för att skydda det anropande programmet från ett fel i biblioteket). Alla dessa kontroller görs i hårdvara. För skyddat läge finns det ett fullfjädrat kompilator- och runtime-stödbibliotek. Samtidigt bör det förstås att de pålagda begränsningarna leder till omöjligheten att organisera exekvering, till exempel kod skriven i C ++.
Även i det vanliga, "oskyddade" driftläget för Elbrus-processorerna finns det funktioner som ökar systemets tillförlitlighet. Således är den bindande informationsstacken (kedjan av returadresser för proceduranrop) separat från användardatastacken och är otillgänglig för sådana attacker som används i virus som returadressförfalskning.
Designad genom åren, den kommer inte bara ikapp och överträffar konkurrerande arkitekturer när det gäller prestanda och skalbarhet i framtiden, utan ger också skydd mot buggar som plågar x86/amd64. Bokmärken som Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) och liknande.
Modernt skydd mot hittade sårbarheter i x86/amd64-arkitekturen är baserat på patchar på operativsystemnivå. Det är därför prestandafallet på nuvarande och tidigare generationer av processorer av dessa arkitekturer är så märkbart och varierar från 30 % till 80 %. Vi, som aktiva användare av x86-processorer, vet om detta, lider och fortsätter att "äta en kaktus", men närvaron av en lösning på dessa problem i sin linda för oss (och som ett resultat för våra kunder) är en otvivelaktigt fördel, särskilt om lösningen är rysk.
Технические характеристики
Nedan är de officiella tekniska egenskaperna för Elbrus-processorerna från tidigare (4C), nuvarande (8C), nya (8CB) och framtida (16C) generationer i jämförelse med liknande Intel x86-processorer.
Även en översiktlig blick på denna tabell visar (och det är mycket glädjande) att den tekniska eftersläpningen för inhemska processorer, som verkade oöverstiglig för 10 år sedan, redan nu verkar ganska liten, och 2021 med lanseringen av Elbrus-16C (som bl.a. andra saker, kommer att stödja virtualisering) kommer att reduceras till minimiavstånden.
SHD AERODISK på Elbrus 8C-processorer
Vi går från teori till praktik. Som en del av den strategiska alliansen mellan MCST, Aerodisk, Basalt SPO (tidigare Alt Linux) och NORSI-TRANS utvecklades och togs i drift ett datalagringssystem som för tillfället är om inte det bästa vad gäller säkerhet, funktionalitet, kostnad och prestanda, enligt vår mening, en onekligen värdig lösning som kan säkerställa den rätta nivån av tekniskt oberoende för vårt fosterland.
Nu detaljerna...
Hårdvaran delen
Hårdvarudelen av lagringssystemet implementeras på basis av den universella plattformen Yakhont UVM från NORSI-TRANS-företaget. Yakhont UVM-plattformen fick status som telekommunikationsutrustning av ryskt ursprung och ingår i det enhetliga registret över ryska radioelektroniska produkter. Systemet består av två separata lagringskontroller (2U vardera), som är sammankopplade med en 1G eller 10G Ethernet-interconnect, samt med delade diskhyllor med hjälp av en SAS-anslutning.
Naturligtvis är detta inte lika vackert som formatet "Cluster in a box" (när kontroller och diskar med ett gemensamt bakplan är installerade i ett 2U-chassi) som vi brukar använda, men inom en snar framtid kommer det också att finnas tillgängligt. Huvudsaken här är att det fungerar bra, men vi kommer att tänka på "bågarna" senare.
Under huven har varje styrenhet ett moderkort med en processor med fyra RAM-platser (DDR3 för en 8C-processor). Också ombord på varje styrenhet finns det 4 1G Ethernet-portar (varav två används av AERODISK ENGINE-programvaran som tjänst) och tre PCIe-platser för Back-end (SAS) och Front-end (Ethernet eller FibreChannel) adaptrar.
Som startdiskar använder vi ryska SATA SSD-diskar från GS Nanotech, som vi upprepade gånger har testat och använt i projekt.
När vi först träffade plattformen undersökte vi den noggrant. Vi hade inga frågor om kvaliteten på montering och lödning, allt gjordes snyggt och tillförlitligt.
Operativsystem
Versionen av OS Alt 8SP för certifiering används som OS. Inom en snar framtid planerar vi att skapa ett pluggbart och ständigt uppdaterat arkiv för Alt OS med Aerodisk-lagringsprogramvara.
Denna version av distributionen är byggd på den nuvarande stabila versionen av Linux 4.9-kärnan för E2K (en gren med långsiktigt stöd portad av MCST-specialister), kompletterad med patchar för funktionalitet och säkerhet. Alla paket i Alt OS är byggda direkt på Elbrus med det ursprungliga transaktionsbyggandet av ALT Linux Team-projektet, vilket gjorde det möjligt att minska arbetskostnaderna för själva överföringen och ägna mer uppmärksamhet åt produktkvaliteten.
Alla versioner av Alt OS för Elbrus kan utökas avsevärt vad gäller funktionalitet med hjälp av det tillgängliga förrådet (från cirka 6 tusen källkodspaket för den åttonde versionen till cirka 12 för den nionde).
Valet gjordes också för att Basalt SPO, utvecklaren av Alt OS, aktivt arbetar med andra mjukvaru- och enhetsutvecklare på olika plattformar, vilket säkerställer sömlös interaktion inom hård- och mjukvarusystem.
Programvarulagringssystem
Vid portering övergav vi omedelbart idén att använda x2-emuleringen som stöds i E86K och började arbeta med processorer direkt (lyckligtvis har Alt redan de nödvändiga verktygen för detta).
Bland annat ger det ursprungliga exekveringsläget bättre säkerhet (samma tre hårdvarustackar istället för en) och ökad prestanda (det finns inget behov av att allokera en eller två kärnor av åtta för att den binära översättaren ska fungera, och kompilatorn gör sitt jobb bättre än JIT).
Faktum är att E2K-implementeringen av AERODISK ENGINE stöder de flesta av de befintliga lagringsfunktionerna som finns i x86. Den nuvarande versionen av AERODISK ENGINE (A-CORE version 2.30) används som programvara för lagringssystem
Utan några problem på E2K introducerades och testades följande funktioner för användning i produkten:
- Feltolerans för upp till två styrenheter och flervägs I/O (mpio)
- Blockera och filåtkomst med tunna volymer (RDG, DDP-pooler; FC, iSCSI, NFS, SMB-protokoll inklusive Active Directory-integration)
- Olika RAID-nivåer upp till trippelparitet (inklusive möjligheten att använda RAID-konstruktorn)
- Hybridlagring (som kombinerar SSD och hårddisk inom samma pool, d.v.s. cache och nivå)
- Platssparande alternativ med deduplicering och komprimering
- ROW ögonblicksbilder, kloner och olika replikeringsalternativ
- Och andra små men användbara funktioner som QoS, global hotspare, VLAN, BOND, etc.
Faktum är att vi på E2K lyckades få all vår funktionalitet, förutom multikontroller (fler än två) och den flertrådiga I/O-schemaläggaren, som gör att vi kan öka prestandan för all-flash-pooler med 20-30 % .
Men vi kommer naturligtvis också att lägga till dessa användbara funktioner, en tidsfråga.
Lite om prestanda
Efter att ha klarat testerna av lagringssystemets grundläggande funktionalitet började vi naturligtvis utföra belastningstester.
Till exempel, på ett lagringssystem med dubbla kontroller (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), där RAM-cachen var inaktiverad, skapade vi två DDP-pooler med huvudnivån RAID-10 och två 500G LUN:er och kopplade dessa LUN:er över iSCSI (10G Ethernet) till en Linux-värd. Och gjorde ett av de grundläggande timtesterna på små sekventiella belastningsblock med FIO-programmet.
De första resultaten var ganska positiva.
Belastningen på processorerna låg i genomsnitt på nivån 60 %, d.v.s. detta är grundnivån där förvaring kan fungera säkert.
Ja, detta är långt ifrån hög belastning, och detta räcker helt klart inte för högpresterande DBMS, men som vår praxis visar är dessa egenskaper tillräckliga för 80 % av de allmänna uppgifterna för vilka lagringssystem används.
Lite senare planerar vi att återkomma med en detaljerad rapport om belastningstesterna av Elbrus som lagringsplattform.
Bright Future
Som vi skrev ovan började massproduktionen av Elbrus 8C faktiskt alldeles nyligen - i början av 2019 och i december hade ungefär 4000 4 processorer redan släppts. Som jämförelse producerades endast 5000 processorer av den tidigare generationen Elbrus XNUMXC under hela produktionsperioden, så det finns framsteg.
Det är klart att detta är en droppe i havet, även för den ryska marknaden, men vägen kommer att bemästras av den gående.
Släppningen av flera tiotusentals Elbrus 2020C-processorer är planerad till 8, och detta är redan en allvarlig siffra. Dessutom, under 2020, bör Elbrus-8SV-processorn tas med av MCST-teamet till massproduktion.
Sådana produktionsplaner är en applikation för en mycket betydande del av hela den inhemska serverprocessormarknaden.
Som ett resultat har vi här och nu en bra och modern rysk processor med en tydlig och, enligt vår mening, korrekt utvecklingsstrategi, på grundval av vilken det finns det säkraste och certifierade rysktillverkade datalagringssystemet (och i future, ett virtualiseringssystem på Elbrus-16C). Det ryska systemet är så långt det nu är fysiskt möjligt under moderna förhållanden.
Vi ser ofta i nyheterna nästa episka misslyckanden hos företag som stolt kallar sig ryska tillverkare, men som faktiskt är engagerade i att limma om etiketter utan att tillföra något eget värde till en utländsk tillverkares produkter, förutom deras uppmärkning. Sådana företag kastar tyvärr en skugga över alla riktiga ryska utvecklare och tillverkare.
Med den här artikeln vill vi tydligt visa att det i vårt land fanns, finns och kommer att finnas företag som verkligen och effektivt tillverkar moderna komplexa IT-system och aktivt utvecklar, och importsubstitution inom IT är inte ett svordomar, utan en verklighet där vi lever alla. Du kan inte älska denna verklighet, du kan kritisera den, eller så kan du arbeta och göra den bättre.
Sovjetunionens kollaps hindrade en gång laget av Elbrus-skapare från att bli en framstående aktör i processorvärlden och tvingade laget att söka finansiering för sin utveckling utomlands. Den hittades, arbetet gjordes och den immateriella egendomen räddades, vilket jag skulle vilja rikta ett stort tack till dessa människor för!
Det var allt för nu, skriv dina kommentarer, frågor och, naturligtvis, kritik. Vi är alltid glada.
Jag vill också, å hela Aerodisks vägnar, gratulera hela det ryska IT-communityt till det kommande nyåret och julen, önska 100 % drifttid - och att säkerhetskopior inte kommer att vara användbara för någon på det nya året))).
Material som används
En artikel med en allmän beskrivning av teknologier, arkitekturer och personligheter:
En kort historik över datorer under namnet "Elbrus":
Allmän artikel om e2k-arkitektur:
Artikeln handlar om 4:e generationen (Elbrus-8S) och 5:e generationen (Elbrus-8SV, 2020):
Specifikationer för nästa sjätte generationens processorer (Elbrus-6SV, 16):
Den officiella beskrivningen av Elbrus arkitektur:
Planerna för utvecklarna av hård- och mjukvaruplattformen "Elbrus" för att skapa en superdator med exascale prestanda:
Ryska Elbrus-teknologier för persondatorer, servrar och superdatorer:
En gammal artikel av Boris Babayan, men fortfarande relevant:
Gammal artikel av Mikhail Kuzminsky:
MCST-presentation, allmän information:
Information om Alt OS för Elbrus-plattformen:
Källa: will.com