🥇AERODISK lagringssystem på innenlandske Elbrus 8C-prosessorer

Hei, Habr-lesere. Vi vil gjerne dele ekstremt gode nyheter. Vi har endelig ventet på den virkelige serieproduksjonen av den nye generasjonen russiske Elbrus 8C-prosessorer. Offisielt skulle serieproduksjonen starte i 2016, men faktisk begynte masseproduksjonen først i 2019, og for tiden er rundt 4000 prosessorer allerede produsert.

Nesten umiddelbart etter oppstart av masseproduksjon dukket disse prosessorene opp på vår Aerodisk, noe vi spesielt vil takke NORSI-TRANS-selskapet for, som vennligst ga oss sin Yakhont UVM-maskinvareplattform, som støtter Elbrus 8C-prosessorer, for å portere programvaredelen av lagringssystemet. Dette er en moderne universalplattform som oppfyller alle kravene til MCST. For øyeblikket brukes plattformen av spesielle forbrukere og teleoperatører for å sikre gjennomføringen av etablerte handlinger under operative etterforskningsaktiviteter.

For øyeblikket er porteringen fullført, og AERODISK-lagringssystemet er allerede tilgjengelig i en versjon med innenlandske Elbrus-prosessorer.

I denne artikkelen vil vi snakke om selve prosessorene, deres historie, arkitektur og selvfølgelig om implementeringen av lagringssystemer på Elbrus.

Story

Historien til Elbrus-prosessorer går tilbake til Sovjetunionens tid. I 1973, ved Institute of Precision Mechanics and Computer Science oppkalt etter. S.A. Lebedev (oppkalt etter den samme Sergei Lebedev som tidligere ledet utviklingen av den første sovjetiske datamaskinen MESM, og senere BESM) begynte utviklingen av multiprosessor datasystemer kalt "Elbrus". Utviklingen ble ledet av Vsevolod Sergeevich Burtsev, og Boris Artashesovich Babayan, som var en av visesjefdesignerne, deltok også aktivt i utviklingen.

Vsevolod Sergeevich Burtsev

Boris Artashesovich Babayan

Hovedkunden til prosjektet var selvfølgelig de væpnede styrkene i USSR, og denne serien av datamaskiner ble til slutt brukt med suksess i opprettelsen av kommandodatasentre og skytesystemer for missilforsvarssystemer, samt andre spesialsystemer. .

Den første Elbrus-datamaskinen ble ferdigstilt i 1978. Den hadde en modulær arkitektur og kunne inkludere fra 1 til 10 prosessorer basert på medium integrasjonskretser. Hastigheten til denne maskinen nådde 15 millioner operasjoner per sekund. Mengden RAM, som var felles for alle 10 prosessorene, var opptil 2 til 20. potens av maskinord eller 64 MB.

Senere viste det seg at mange av teknologiene som ble brukt i utviklingen av Elbrus ble forsket på rundt om i verden på samme tid, og de ble håndtert av International Business Machine (IBM), men jobber med disse prosjektene, i motsetning til arbeidet med Elbrus , ble aldri fullført. ble fullført og førte til slutt ikke til opprettelsen av et ferdig produkt.

I følge Vsevolod Burtsev prøvde sovjetiske ingeniører å bruke den mest avanserte erfaringen til både innenlandske og utenlandske utviklere. Arkitekturen til Elbrus-datamaskiner ble også påvirket av Burroughs-datamaskiner, Hewlett-Packard-utviklinger og erfaringene til BESM-6-utviklere.

Men samtidig var mange av utviklingene originale. Det mest interessante med Elbrus-1 var arkitekturen.

Den opprettede superdatamaskinen ble den første datamaskinen i USSR som brukte superskalararkitektur. Den utbredte bruken av superskalare prosessorer i utlandet begynte først på 90-tallet av forrige århundre med ankomsten av rimelige Intel Pentium-prosessorer på markedet.

I tillegg kan spesielle input/output-prosessorer brukes til å organisere overføringen av datastrømmer mellom perifere enheter og RAM i datamaskinen. Det kunne være opptil fire slike prosessorer i systemet, de jobbet parallelt med sentralprosessoren og hadde sitt eget dedikerte minne.

Elbrus-2

I 1985 fikk Elbrus sin logiske fortsettelse; Elbrus-2-datamaskinen ble opprettet og sendt til masseproduksjon. Innen arkitektur var den ikke mye forskjellig fra forgjengeren, men brukte en ny elementbase, som gjorde det mulig å øke den totale ytelsen nesten 10 ganger – fra 15 millioner operasjoner per sekund til 125 millioner Datamaskinens RAM-kapasitet økte til 16 millioner 72 -bit ord eller 144 MB. Maksimal gjennomstrømning av Elbrus-2 I/O-kanaler var 120 MB/s.

"Elbrus-2" ble aktivt brukt i kjernefysiske forskningssentre i Chelyabinsk-70 og Arzamas-16 i MCC, i A-135 missilforsvarssystemet, så vel som ved andre militære anlegg.

Opprettelsen av Elbrus ble verdsatt av lederne av Sovjetunionen. Mange ingeniører ble tildelt ordrer og medaljer. Generell designer Vsevolod Burtsev og en rekke andre spesialister mottok statlige priser. Og Boris Babayan ble tildelt Oktoberrevolusjonens orden.

Disse prisene er mer enn fortjent, sa Boris Babayan senere:

«I 1978 laget vi den første superskalarmaskinen, Elbrus-1. Nå i Vesten lager de bare superskalarer av denne arkitekturen. Den første superskalaren dukket opp i Vesten i 92, vår i 78. Dessuten ligner versjonen av superskalaren vi laget på Pentium Pro som Intel laget i 95.»

Disse ordene om historisk forrang er bekreftet i USA, skrev Keith Diefendorff, utvikler av Motorola 88110, en av de første vestlige superskalarprosessorene:

"I 1978, nesten 15 år før de første vestlige superskalarprosessorene dukket opp, brukte Elbrus-1 en prosessor som ga to instruksjoner per klokkesyklus, endret rekkefølgen for utførelse av instruksjoner, omdøpte registre og utførte ved antagelse."

Elbrus-3

Det var 1986, og nesten umiddelbart etter at arbeidet med den andre Elbrus var fullført, begynte ITMiVT å utvikle det nye Elbrus-3-systemet ved å bruke en fundamentalt ny prosessorarkitektur. Boris Babayan kalte denne tilnærmingen "post-superskalar." Det var denne arkitekturen, senere kalt VLIW/EPIC, som i fremtiden (på midten av 90-tallet) begynte å bruke Intel Itanium-prosessorer (og i USSR startet denne utviklingen i 1986 og endte i 1991).

Dette datakomplekset var det første som implementerte ideene om eksplisitt å kontrollere parallelliteten til operasjoner ved å bruke en kompilator.

I 1991 ble den første og dessverre eneste datamaskinen "Elbrus-3" utgitt, som ikke kunne justeres fullt ut, og etter Sovjetunionens sammenbrudd trengte ingen den, og utviklingen og planene forble på papiret.

Forutsetninger for ny arkitektur

Teamet som jobbet ved ITMiVT med å lage sovjetiske superdatamaskiner gikk ikke i oppløsning, men fortsatte å jobbe som et eget selskap under navnet MCST (Moscow Center of SPARK Technologies). Og på begynnelsen av 90-tallet startet et aktivt samarbeid mellom MCST og Sun Microsystems, hvor MCST-teamet deltok i utviklingen av UltraSPARC-mikroprosessoren.

Det var i denne perioden at E2K-arkitekturprosjektet dukket opp, som opprinnelig ble finansiert av Sun. Senere ble prosjektet helt uavhengig og all intellektuell eiendom på det forble hos MCST-teamet.

«Hvis vi hadde fortsatt å jobbe med Sun på dette området, ville alt vært eid av Sun. Selv om 90 % av arbeidet ble gjort før Sun kom." (Boris Babayan)

E2K-arkitektur

Når vi diskuterer arkitekturen til Elbrus-prosessorer, hører vi ofte følgende uttalelser fra våre kolleger i IT-bransjen:

“Elbrus er en RISC-arkitektur”
“Elbrus er en EPISK arkitektur”
“Elbrus er en SPARC-arkitektur”

Faktisk er ingen av disse utsagnene helt sanne, og hvis de er det, er de bare delvis sanne.

E2K-arkitekturen er en egen original prosessorarkitektur; hovedegenskapene til E2K er energieffektivitet og utmerket skalerbarhet, oppnådd ved å spesifisere eksplisitt parallellitet av operasjoner. E2K-arkitekturen ble utviklet av MCST-teamet og er basert på en post-superskalararkitektur (a la EPIC) med en viss innflytelse fra SPARC-arkitekturen (med en RISC-fortid). Samtidig var MCST direkte involvert i opprettelsen av tre av de fire grunnleggende arkitekturene (Superscalars, post-superscalars og SPARC). Verden er virkelig et lite sted.

For å unngå forvirring i fremtiden har vi tegnet et enkelt diagram som, selv om det er forenklet, veldig tydelig viser røttene til E2K-arkitekturen.

Nå litt mer om navnet på arkitektur, som det også er misforståelse om.

I ulike kilder kan du finne følgende navn for denne arkitekturen: «E2K», «Elbrus», «Elbrus 2000», ELBRUS («ExpLicit Basic Resources Utilization Scheduling», dvs. eksplisitt planlegging av bruken av grunnleggende ressurser). Alle disse navnene snakker om det samme - om arkitekturen, men i offisiell teknisk dokumentasjon, så vel som på tekniske fora, brukes navnet E2K for å betegne arkitekturen, så i fremtiden, hvis vi snakker om prosessorarkitektur, bruker vi begrepet "E2K", og hvis det handler om en spesifikk prosessor, bruker vi navnet "Elbrus".

Tekniske egenskaper ved E2K-arkitekturen

I tradisjonelle arkitekturer som RISC eller CISC (x86, PowerPC, SPARC, MIPS, ARM), mottar prosessorinngangen en strøm av instruksjoner som er designet for sekvensiell kjøring. Prosessoren kan oppdage uavhengige operasjoner og kjøre dem parallelt (superskalaritet) og til og med endre rekkefølgen deres (utførelse av drift). Dynamisk avhengighetsanalyse og støtte for kjøring uten drift har imidlertid sine begrensninger i antall kommandoer som lanseres og analyseres per klokkesyklus. I tillegg bruker de tilsvarende blokkene inne i prosessoren en merkbar mengde energi, og deres komplekse implementering fører noen ganger til stabilitets- eller sikkerhetsproblemer.

I E2K-arkitekturen tas hovedarbeidet med å analysere avhengigheter og optimalisere rekkefølgen på operasjoner av kompilatoren. Prosessoren mottar den såkalte input. brede instruksjoner, som hver koder for instruksjoner for alle prosessorutførelsesenheter som må startes ved en gitt klokkesyklus. Prosessoren er ikke pålagt å analysere avhengigheter mellom operander eller omorganisere operasjoner mellom brede instruksjoner: kompilatoren gjør alt dette basert på kildekodeanalyse og prosessorressursplanlegging. Som et resultat kan prosessorens maskinvare bli enklere og mer kostnadseffektiv.

Kompilatoren er i stand til å analysere kildekoden mye mer grundig enn RISC/CISC-prosessormaskinvaren og finne mer uavhengige operasjoner. Derfor har E2K-arkitekturen flere parallelle utførelsesenheter enn tradisjonelle arkitekturer.

Nåværende muligheter til E2K-arkitekturen:

6 kanaler med aritmetiske logiske enheter (ALU) som opererer parallelt.
Registerfil med 256 84-bits registre.
Maskinvarestøtte for løkker, inkludert de med pipelining. Øker effektiviteten av prosessorressursbruk.
Programmerbar asynkron dataforpumpeenhet med separate lesekanaler. Lar deg skjule forsinkelser fra minnetilgang og gjøre fullere bruk av ALU.
Støtte for spekulative beregninger og enkeltbitspredikater. Lar deg redusere antall overganger og utføre flere programgrener parallelt.
En bred kommando som kan spesifisere opptil 23 operasjoner i en klokkesyklus (mer enn 33 operasjoner når operander pakkes inn i vektorinstruksjoner).

x86-emulering

Selv på arkitekturdesignstadiet forsto utviklerne viktigheten av å støtte programvare skrevet for Intel x86-arkitekturen. For dette formålet ble et system med dynamisk (dvs. under programkjøring, eller "on the fly") oversettelse av x86-binære koder til E2K-arkitekturprosessorkoder implementert. Dette systemet kan fungere både i applikasjonsmodus (på samme måte som WINE) og i en modus som ligner på en hypervisor (da er det mulig å kjøre hele gjeste-OSet for x86-arkitekturen).

Takket være flere nivåer av optimalisering er det mulig å oppnå høy hastighet på den oversatte koden. Kvaliteten på x86-arkitekturemulering bekreftes av den vellykkede lanseringen av mer enn 20 operativsystemer (inkludert flere versjoner av Windows) og hundrevis av applikasjoner på Elbrus datasystemer.

Beskyttet programkjøringsmodus

En av de mest interessante ideene som er arvet fra Elbrus-1- og Elbrus-2-arkitekturene, er den såkalte sikre programkjøringen. Essensen er å sikre at programmet bare fungerer med initialiserte data, kontrollere alle minnetilganger for å sikre at de tilhører det gyldige adresseområdet, og gi intermodulbeskyttelse (for eksempel beskytte det anropende programmet mot feil i biblioteket). Alle disse kontrollene utføres i maskinvare. For beskyttet modus er det et fullverdig kompilator- og kjøretidsstøttebibliotek. Det skal forstås at de pålagte restriksjonene fører til umuligheten av å organisere utførelsen av for eksempel kode skrevet i C++.

Selv i den normale, "ubeskyttede" driftsmodusen til Elbrus-prosessorer, er det funksjoner som øker påliteligheten til systemet. Dermed er stabelen med koblingsinformasjon (kjeden av returadresser for prosedyreanrop) atskilt fra stabelen med brukerdata og er utilgjengelig for angrep som forfalskning av returadresser som brukes i virus.

Utviklinger skapt gjennom årene gjør det mulig ikke bare å ta igjen og i fremtiden overgå konkurrerende arkitekturer når det gjelder ytelse og skalerbarhet, men også å gi beskyttelse mot feil som plager x86/amd64. Bokmerker som Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) og lignende.

Moderne beskyttelse mot sårbarheter som finnes i x86/amd64-arkitekturen er basert på patcher på operativsystemnivå. Dette er grunnen til at ytelsesfallet på nåværende og tidligere generasjoner av prosessorer av disse arkitekturene er så merkbart og varierer fra 30 % til 80 %. Vi, som aktive brukere av x86-prosessorer, vet om dette, vi lider og fortsetter å "spise kaktusen", men å ha en løsning på disse problemene ved roten er en utvilsom fordel for oss (og til syvende og sist for kundene våre), spesielt hvis løsningen er russisk.

Технические характеристики

Nedenfor er de offisielle tekniske egenskapene til Elbrus-prosessorer fra tidligere (4C), nåværende (8C), nye (8SV) og fremtidige (16C) generasjoner sammenlignet med lignende Intel x86-prosessorer.

Selv et raskt blikk på denne tabellen viser (og dette er veldig gledelig) at det teknologiske gapet til innenlandske prosessorer, som for 10 år siden virket uoverkommelig, nå virker ganske lite, og i 2021 med lanseringen av Elbrus-16S (som bl.a. ting, vil støtte virtualisering) vil bli redusert til minimale avstander.

AERODISK lagringssystem på Elbrus 8C-prosessorer

Vi går fra teori til praksis. Som en del av den strategiske alliansen mellom selskapene MCST, Aerodisk, Basalt SPO (tidligere Alt Linux) og NORSI-TRANS ble det utviklet og klargjort et datalagringssystem som for øyeblikket når det gjelder sikkerhet, funksjonalitet, kostnad og ytelse er, om ikke den beste, så er , etter vår mening, utvilsomt en verdig løsning som kan sikre riktig nivå av teknologisk uavhengighet til vårt moderland.
Nå detaljene...

maskinvare

Lagringsmaskinvaren er implementert på grunnlag av den universelle Yakhont UVM-plattformen fra NORSI-TRANS. Yakhont UVM-plattformen fikk status som telekommunikasjonsutstyr av russisk opprinnelse og ble inkludert i det enhetlige registeret over russiske radioelektroniske produkter. Systemet består av to separate lagringskontrollere (2U hver), som er koblet til hverandre med en 1G eller 10G Ethernet-forbindelse, samt til felles diskhyller ved hjelp av en SAS-tilkobling.

Dette er selvfølgelig ikke like vakkert som "Cluster in a box"-formatet (når kontroller og stasjoner med felles bakplan er installert i ett 2U-chassis), som vi vanligvis bruker, men i nær fremtid vil det også være tilgjengelig. Hovedsaken her er at det fungerer bra, og vi vil tenke på "buene" senere.

Under panseret har hver kontroller et hovedkort med én prosessor med fire spor for RAM (DDR3 for 8C-prosessoren). Ombord på hver kontroller er det også 4 1G Ethernet-porter (hvorav to brukes av AERODISK ENGINE-programvare som service) og tre PCIe-kontakter for Back-end (SAS) og Front-end (Ethernet eller FibreChannel) adaptere.

Russiske SATA SSD-stasjoner fra GS Nanotech brukes som oppstartsdisker, som vi gjentatte ganger har testet og brukt i prosjekter.

Da vi først ble kjent med plattformen, undersøkte vi den nøye. Vi hadde ingen spørsmål om kvaliteten på montering og lodding, alt ble utført nøye og pålitelig.

Operativsystem

OS-versjonen som brukes er Alt 8SP for sertifisering. Vi planlegger snart å lage en plug-in og stadig oppdatert repository for Viola OS med Aerodisk lagringsprogramvare.

Denne versjonen av distribusjonen er bygget på den nåværende stabile versjonen av Linux-kjernen 4.9 for E2K (grenen med langsiktig støtte ble overført av MCST-spesialister), supplert med patcher for funksjonalitet og sikkerhet. Alle pakkene i Alt OS er satt sammen direkte på Elbrus ved å bruke det originale transaksjonsmonteringssystemet til ALT Linux Team-prosjektet, som gjorde det mulig å redusere arbeidskostnadene for selve overføringen og ta mer hensyn til kvaliteten på produktet.

Enhver utgivelse av Alt OS for Elbrus kan utvides betydelig når det gjelder funksjonalitet ved å bruke depotet som er tilgjengelig for det (fra omtrent 6 tusen kildepakker for den åttende versjonen til omtrent 12 for den niende).

Valget ble også tatt fordi Basalt SPO-selskapet, utvikleren av Viola OS, jobber aktivt med andre programvare- og enhetsutviklere på ulike plattformer, og sikrer sømløs interaksjon innen maskinvare- og programvaresystemer.

Programvarelagringssystemer

Ved portering forlot vi umiddelbart ideen om å bruke x2-emulering støttet i E86K, og begynte å jobbe med prosessorer direkte (heldigvis har Alt allerede de nødvendige verktøyene for dette).

Blant annet gir den opprinnelige utførelsesmodusen bedre sikkerhet (de tre maskinvarestablene i stedet for én) og økt ytelse (det er ikke nødvendig å tildele én eller to kjerner av åtte for å kjøre den binære oversetteren, og kompilatoren gjør jobben sin bedre enn JIT).

Faktisk støtter implementeringen av AERODISK ENGINE på E2K det meste av den eksisterende lagringsfunksjonaliteten som er tilgjengelig i x86. Lagringssystemprogramvaren bruker gjeldende versjon av AERODISK ENGINE (A-CORE versjon 2.30)

Uten problemer ble følgende funksjoner installert på E2K og testet for bruk i produksjon:

Feiltoleranse for opptil to kontrollere og flerveis I/O (mpio)
Blokker og filtilgang med tynne volumer (RDG, DDP-pooler; FC, iSCSI, NFS, SMB-protokoller inkludert integrasjon med Active Directory)
Ulike RAID-nivåer opp til trippel paritet (inkludert muligheten til å bruke en RAID-bygger)
Hybrid lagring (som kombinerer SSD og HDD i ett basseng, dvs. cache og lagdeling)
Alternativer for å spare plass ved å bruke deduplisering og komprimering
ROW øyeblikksbilder, kloner og forskjellige replikeringsalternativer
Og andre små, men nyttige funksjoner som QoS, global hotspare, VLAN, BOND, etc.

Faktisk, på E2K klarte vi å implementere all funksjonaliteten vår, bortsett fra multikontrollere (mer enn to) og en flertråds I/O-planlegger, som lar oss øke ytelsen til all-flash-bassenger med 20-30 % .

Men vi vil naturligvis legge til disse nyttige funksjonene også, det er et spørsmål om tid.

Litt om ytelse

Etter å ha bestått testene av den grunnleggende funksjonaliteten til lagringssystemet, begynte vi selvfølgelig å utføre belastningstester.

For eksempel, på et lagringssystem med to kontroller (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), der RAM-cachen var deaktivert, opprettet vi to DDP-bassenger med et hoved RAID-10-nivå og to 500G LUN-er og koblet disse LUN-ene via iSCSI (10G Ethernet) til en Linux-vert. Og vi utførte en av de grunnleggende timelange testene på små blokker med sekvensiell belastning ved å bruke FIO-programmet.

De første resultatene var ganske positive.

Belastningen på prosessorer var i gjennomsnitt på 60 %, dvs. Dette er det grunnleggende nivået der lagringssystemet kan fungere trygt.

Ja, dette er langt fra høy belastning, og en eller annen form for fakturering er tydeligvis ikke nok for DBMS-er med høy ytelse, men som vår praksis viser, er disse egenskapene tilstrekkelige for 80 % av de vanlige oppgavene som lagringssystemene brukes til.

Litt senere planlegger vi å komme tilbake med en detaljert rapport om belastningstester av Elbrus som plattform for lagringssystemer.

Bright Future

Som vi skrev ovenfor, startet masseproduksjonen av Elbrus 8C faktisk nylig - i begynnelsen av 2019, og i desember var rundt 4000 prosessorer allerede produsert. Til sammenligning ble bare 4 prosessorer av forrige generasjon Elbrus 5000C produsert over hele produksjonsperioden, så fremgangen er åpenbar.

Det er klart at dette er en dråpe i bøtta, selv for det russiske markedet, men de som går veien kan overvinne det.
Utgivelsen av flere titusenvis av Elbrus 2020C-prosessorer er planlagt i 8, og dette er allerede et alvorlig tall. I tillegg, i løpet av 2020, bør Elbrus-8SV-prosessoren bringes til masseproduksjon av MCST-teamet.

Slike produksjonsplaner er en applikasjon for en svært betydelig andel av hele det innenlandske serverprosessormarkedet.

Som et resultat har vi her og nå en god og moderne russisk prosessor med en klar og etter vår mening riktig utviklingsstrategi, på grunnlag av hvilken vi har det sikreste og mest sertifiserte russiskproduserte datalagringssystemet (og i future, et virtualiseringssystem på Elbrus-16C). Systemet er russisk i den grad det er fysisk mulig under moderne forhold.

Vi ser ofte i nyhetene de siste episke feilene til selskaper som stolt kaller seg russiske produsenter, men som faktisk er engasjert i å feste etiketter på nytt, uten å tilføre noe av sin egen verdi til produktene til en utenlandsk produsent, bortsett fra deres markering. Slike selskaper kaster dessverre en skygge over alle ekte russiske utviklere og produsenter.

Med denne artikkelen ønsker vi å tydelig vise at det i vårt land var, er og vil være selskaper som faktisk og effektivt produserer moderne komplekse IT-systemer og aktivt utvikler, og importsubstitusjon i IT er ikke en profanering, men en realitet der vi alle lever. Du kan mislike denne virkeligheten, du kan kritisere den, eller du kan jobbe og gjøre den bedre.

Sammenbruddet av Sovjetunionen forhindret en gang teamet med Elbrus-skapere fra å bli en fremtredende aktør i prosessorverdenen og tvang teamet til å søke finansiering for utviklingen deres i utlandet. Den ble funnet, arbeidet ble fullført, og den immaterielle eiendommen ble bevart, noe jeg vil rette en stor takk til disse menneskene for!

Det var alt for nå, vennligst skriv dine kommentarer, spørsmål og, selvfølgelig, kritikk. Vi er alltid glade.

På vegne av hele Aerodisk-selskapet vil jeg også gratulere hele det russiske IT-miljøet med det kommende nyttåret og julen, ønske 100 % oppetid - og at sikkerhetskopier ikke vil være nyttig for noen på det nye året))).