🥇SHD AERODISK na domácích procesorech Elbrus 8C

Ahoj čtenáři Habr. Rádi bychom se podělili o velmi dobrou zprávu. Konečně jsme se dočkali skutečné sériové výroby nové generace ruských procesorů Elbrus 8C. Oficiálně měla sériová výroba začít již v roce 2016, ale ve skutečnosti se jednalo o masovou výrobu, která začala až v roce 2019 a již bylo vydáno asi 4000 procesorů.

Téměř okamžitě po zahájení sériové výroby se tyto procesory objevily v našem Aerodisku, za což bychom rádi poděkovali společnosti NORSI-TRANS, která nám laskavě poskytla svou hardwarovou platformu Yakhont UVM podporující procesory Elbrus 8C za portování softwarové části úložný systém. Jedná se o moderní univerzální platformu, která splňuje všechny požadavky MCST. V současné době je platforma využívána speciálními spotřebiteli a telekomunikačními operátory k zajištění realizace zavedených akcí při operativně-pátrání.

V tuto chvíli je portování úspěšně dokončeno a nyní je úložný systém AERODISK dostupný ve verzi s domácími procesory Elbrus.

V tomto článku si povíme něco o samotných procesorech, jejich historii, architektuře a samozřejmě o naší implementaci úložných systémů na Elbrusu.

Příběh

Historie procesorů Elbrus sahá až do dob Sovětského svazu. V roce 1973 na Ústavu jemné mechaniky a výpočetní techniky pojmenované po S.A. Lebedev (pojmenovaný po stejném Sergeji Lebedevovi, který dříve vedl vývoj prvního sovětského počítače MESM a později BESM), začal vývoj víceprocesorových výpočetních systémů s názvem Elbrus. Na vývoj dohlížel Vsevolod Sergejevič Burcev a na vývoji se aktivně podílel i Boris Artashesovich Babayan, který byl jedním ze zástupců hlavního konstruktéra.

Vsevolod Sergejevič Burcev

Boris Artashesovič Babayan

Hlavním zákazníkem projektu byly samozřejmě ozbrojené síly SSSR a tato řada počítačů byla nakonec úspěšně použita při vytváření velitelských výpočetních center a palebných systémů pro systémy protiraketové obrany, ale i dalších účelových systémů. .

První počítač Elbrus byl dokončen v roce 1978. Měl modulární architekturu a mohl zahrnovat 1 až 10 procesorů založených na středních integračních schématech. Rychlost tohoto stroje dosáhla 15 milionů operací za sekundu. Velikost paměti RAM, která byla společná pro všech 10 procesorů, byla až 2 až 20 mocnin strojových slov nebo 64 MB.

Později se ukázalo, že mnoho technologií používaných při vývoji Elbrusu bylo ve světě studováno ve stejnou dobu a angažoval se v nich International Business Machine (IBM), ale práce na těchto projektech, na rozdíl od práce na Elbrusu, nebyla byly dokončeny a nakonec nevedly k vytvoření hotového výrobku.

Podle Vsevoloda Burceva se sovětští inženýři snažili uplatnit nejpokročilejší zkušenosti domácích i zahraničních vývojářů. Architektura počítačů Elbrus byla také ovlivněna počítači Burroughs, vývojem společnosti Hewlett-Packard a také zkušenostmi vývojářů BESM-6.

Ale zároveň bylo mnoho vývojů originálních. Nejzajímavější na Elbrusu-1 byla jeho architektura.

Vytvořený superpočítač se stal prvním počítačem v SSSR, který používal superskalární architekturu. Masové používání superskalárních procesorů v zahraničí začalo až v 90. letech minulého století, kdy se na trhu objevily cenově dostupné procesory Intel Pentium.

Kromě toho by bylo možné použít speciální vstupně-výstupní procesory pro organizaci přenosu datových toků mezi periferními zařízeními a RAM v počítači. Takové procesory mohly být v systému až čtyři, pracovaly paralelně s centrálním procesorem a měly vlastní dedikovanou paměť.

Elbrus-2

V roce 1985 se Elbrus dočkal svého logického pokračování, byl vytvořen počítač Elbrus-2 a odeslán do sériové výroby. Z hlediska architektury se od svého předchůdce příliš nelišil, ale používal novou základnu prvků, která umožnila zvýšit celkový výkon téměř 10krát - z 15 milionů operací za sekundu na 125 milionů. zvýšen na 16 milionů 72bitových slov nebo 144 MB. Maximální šířka pásma I/O kanálů Elbrus-2 byla 120 MB/s.

"Elbrus-2" byl aktivně používán v centrech jaderného výzkumu v Čeljabinsku-70 a v Arzamas-16 v MCC, v systému protiraketové obrany A-135, jakož i v dalších vojenských zařízeních.

Vytvoření Elbrusu bylo vůdci Sovětského svazu náležitě oceněno. Mnoho inženýrů bylo oceněno řády a medailemi. Generální designér Vsevolod Burtsev a řada dalších specialistů obdrželi státní vyznamenání. A Boris Babayan byl vyznamenán Řádem říjnové revoluce.

Tato ocenění jsou více než zasloužená, Boris Babayan později řekl:

„V roce 1978 jsme vyrobili první superskalární stroj Elbrus-1. Nyní na Západě dělají superskaláry pouze z této architektury. První superskalar se objevil na Západě v roce 92, náš v roce 78. Navíc verze superskalaru, kterou jsme vyrobili, je podobná Pentiu Pro, které Intel vyrobil v roce 95.“

Tato slova o historické převaze potvrzují i v USA, napsal Keith Diefendorff, vývojář Motoroly 88110, jednoho z prvních západních superskalárních procesorů:

"V roce 1978, téměř 15 let předtím, než se objevily první západní superskalární procesory, Elbrus-1 používal procesor s vydáním dvou instrukcí v jednom cyklu, změnou pořadí provádění instrukcí, přejmenováním registrů a prováděním podle předpokladu."

Elbrus-3

Psal se rok 1986 a téměř okamžitě po dokončení prací na druhém Elbrusu začal ITMiVT vyvíjet nový systém Elbrus-3 využívající zásadně novou architekturu procesoru. Boris Babayan nazval tento přístup „post-superskalární“. Právě tuto architekturu, později nazvanou VLIW / EPIC, začaly v budoucnu (v polovině 90. let) využívat procesory Intel Itanium (a v SSSR tento vývoj začal v roce 1986 a skončil v roce 1991).

V tomto výpočetním komplexu byly poprvé implementovány myšlenky explicitního řízení paralelismu operací pomocí kompilátoru.

V roce 1991 vyšel první a bohužel jediný počítač Elbrus-3, který nešlo plně seřídit a po rozpadu Sovětského svazu ho nikdo nepotřeboval a vývoj a plány zůstaly na papíře.

Pozadí nové architektury

Tým, který v ITMiVT pracoval na tvorbě sovětských superpočítačů, se nerozpadl, ale nadále fungoval jako samostatná společnost pod názvem MCST (Moskva Center for SPARK-Technologies). A na počátku 90. let začala aktivní spolupráce mezi MCST a Sun Microsystems, kde se tým MCST podílel na vývoji mikroprocesoru UltraSPARC.

Právě v tomto období vznikl projekt architektury E2K, který původně financovala společnost Sun. Později se projekt zcela osamostatnil a veškeré duševní vlastnictví k němu zůstalo týmu MCST.

„Pokud bychom v této oblasti pokračovali ve spolupráci se Sunem, vše by patřilo Sunu. I když 90 % práce bylo hotovo předtím, než přišel Sun.“ (Boris Babayan)

Architektura E2K

Když diskutujeme o architektuře procesorů Elbrus, velmi často slýcháme od našich kolegů z IT branže následující prohlášení:

"Elbrus je architektura RISC"
"Elbrus je EPIC architektura"
"Elbrus je architektura SPARC"

Ve skutečnosti žádné z těchto tvrzení není zcela pravdivé, nebo pokud ano, je pravdivé pouze částečně.

Architektura E2K je samostatná původní architektura procesoru, hlavními kvalitami E2K jsou energetická účinnost a vynikající škálovatelnost, dosažená specifikací explicitního paralelismu operací. Architektura E2K byla vyvinuta týmem MCST a je založena na post-superskalární architektuře (a la EPIC) s určitým vlivem architektury SPARC (s minulostí RISC). MCST se přitom přímo podílela na tvorbě tří ze čtyř základních architektur (Superscalars, Post-Superscalars a SPARC). Svět je opravdu malý.

Abychom předešli zmatkům v budoucnu, nakreslili jsme jednoduché schéma, které je sice zjednodušené, ale velmi jasně ukazuje kořeny architektury E2K.

Nyní trochu více o názvu architektury, ve vztahu k němuž také dochází k nedorozumění.

V různých zdrojích můžete pro tuto architekturu najít následující názvy: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", tj. explicitní plánování využití základních zdrojů). Všechny tyto názvy hovoří o tom samém – o architektuře, ale v oficiální technické dokumentaci i na technických fórech se pro označení architektury používá název E2K, takže do budoucna, pokud se bavíme o architektuře procesorů, používáme termín „E2K“, a pokud jde o konkrétní procesor, pak používáme název „Elbrus“.

Technické vlastnosti architektury E2K

V tradičních architekturách jako RISC nebo CISC (x86, PowerPC, SPARC, MIPS, ARM) přijímá procesor proud instrukcí, které jsou navrženy pro sekvenční provádění. Procesor dokáže detekovat nezávislé operace a spouštět je paralelně (superskalárně) a dokonce měnit jejich pořadí (mimo provoz). Dynamická analýza závislostí a podpora spouštění mimo pořadí má však svá omezení, pokud jde o počet spuštěných a analyzovaných příkazů za cyklus. Odpovídající bloky uvnitř procesoru navíc spotřebovávají značné množství energie a jejich nejsložitější implementace někdy vede k problémům se stabilitou nebo bezpečností.

V architektuře E2K je hlavní úlohou analýzy závislostí a optimalizace pořadí operací překladač. Procesor obdrží tzv. široké instrukce, z nichž každá kóduje instrukce pro všechna výkonná zařízení procesoru, která musí být spuštěna v daném hodinovém cyklu. Od procesoru se nevyžaduje, aby analyzoval závislosti mezi operandy nebo swapovací operace mezi širokými instrukcemi: to vše dělá kompilátor na základě analýzy zdrojového kódu a plánování zdrojů procesoru. Díky tomu může být hardware procesoru jednodušší a ekonomičtější.

Kompilátor je schopen analyzovat zdrojový kód mnohem důkladněji než hardware RISC/CISC procesoru a najít nezávislejší operace. Proto má architektura E2K více paralelních prováděcích jednotek než tradiční architektury.

Současné vlastnosti architektury E2K:

6 paralelně pracujících kanálů aritmetických logických jednotek (ALU).
Registrační soubor 256 84bitových registrů.
Hardwarová podpora pro cykly, včetně těch s pipeliningem. Zvyšuje efektivitu využití procesorových zdrojů.
Programovatelné asynchronní datové předčerpadlo se samostatnými čtecími kanály. Umožňuje skrýt zpoždění před přístupem do paměti a plně využít ALU.
Podpora spekulativních výpočtů a jednobitových predikátů. Umožňuje snížit počet přechodů a provádět několik větví programu paralelně.
Široký příkaz schopný specifikovat až 23 operací v jednom hodinovém cyklu s maximálním plněním (více než 33 operací při sbalení operandů do vektorových instrukcí).

Emulace x86

Již ve fázi návrhu architektury vývojáři pochopili důležitost podpory softwaru napsaného pro architekturu Intel x86. Za tímto účelem byl implementován systém pro dynamický (tj. během provádění programu nebo „za běhu“) překlad x86 binárních kódů do kódů procesorů architektury E2K. Tento systém může pracovat jak v aplikačním režimu (na způsob WINE), tak v režimu podobném hypervizoru (pak je možné provozovat celý hostující OS pro architekturu x86).

Díky několika úrovním optimalizace je možné dosáhnout vysoké rychlosti přeloženého kódu. Kvalitu emulace architektury x86 potvrzuje úspěšné uvedení více než 20 operačních systémů (včetně několika verzí Windows) a stovek aplikací na výpočetních systémech Elbrus.

Režim chráněného spuštění programu

Jedním z nejzajímavějších nápadů zděděných z architektur Elbrus-1 a Elbrus-2 je takzvané bezpečné spouštění programu. Jeho podstatou je zajistit, aby program pracoval pouze s inicializovanými daty, kontrolovat všechny přístupy do paměti na příslušnost k platnému adresnímu rozsahu, zajistit mezimodulovou ochranu (například ochránit volající program před chybou v knihovně). Všechny tyto kontroly se provádějí v hardwaru. Pro chráněný režim je k dispozici plnohodnotný kompilátor a knihovna pro podporu běhu. Zároveň je třeba chápat, že uložená omezení vedou k nemožnosti organizovat provádění, například kód napsaný v C ++.

I v obvyklém, „nechráněném“ režimu provozu procesorů Elbrus existují funkce, které zvyšují spolehlivost systému. Zásobník informací o vazbě (řetězec návratových adres pro volání procedur) je tedy oddělený od zásobníku uživatelských dat a je nepřístupný takovým útokům používaným ve virech, jako je falšování návratových adres.

Byl navržen v průběhu let a nejen že dohání a překonává konkurenční architektury z hlediska výkonu a škálovatelnosti v budoucnu, ale také poskytuje ochranu proti chybám, které sužují x86/amd64. Záložky jako Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) a podobně.

Moderní ochrana proti nalezeným zranitelnostem v architektuře x86/amd64 je založena na záplatách na úrovni operačního systému. Proto je pokles výkonu u současných a předchozích generací procesorů těchto architektur tak znatelný a pohybuje se od 30 % do 80 %. My, jako aktivní uživatelé x86 procesorů, o tom víme, trpíme a nadále „jíme kaktus“, ale přítomnost řešení těchto problémů v zárodku pro nás (a v důsledku toho i pro naše zákazníky) je nepochybný přínos, zvláště pokud je řešením ruské.

Технические характеристики

Níže jsou uvedeny oficiální technické charakteristiky procesorů Elbrus minulé (4C), současné (8C), nové (8CB) a budoucí (16C) generace ve srovnání s podobnými procesory Intel x86.

I letmý pohled na tuto tabulku ukazuje (a to je velmi potěšující), že technologický backlog tuzemských procesorů, který se před 10 lety zdál nepřekonatelný, se již nyní zdá docela malý a v roce 2021 s uvedením Elbrus-16C (který mezi další věci, bude podporovat virtualizaci) budou omezeny na minimální vzdálenosti.

SHD AERODISK na procesorech Elbrus 8C

Přecházíme od teorie k praxi. V rámci strategické aliance MCST, Aerodisk, Basalt SPO (dříve Alt Linux) a NORSI-TRANS byl vyvinut a zprovozněn systém ukládání dat, který je v současnosti ne-li nejlepší z hlediska bezpečnosti, funkčnosti, náklady a výkon , podle našeho názoru nepopiratelně hodnotné řešení, které může zajistit správnou úroveň technologické nezávislosti naší vlasti.
Nyní detaily...

Hardware

Hardwarová část úložného systému je implementována na bázi univerzální platformy Yakhont UVM společnosti NORSI-TRANS. Platforma Yakhont UVM získala status telekomunikačního zařízení ruského původu a je zařazena do jednotného registru ruských radioelektronických produktů. Systém se skládá ze dvou samostatných řadičů úložiště (každý 2U), které jsou propojeny ethernetovým propojením 1G nebo 10G a také sdílenými diskovými policemi pomocí připojení SAS.

Samozřejmě to není tak krásné jako formát „Cluster in a box“ (kdy jsou řadiče a disky se společnou backplane instalovány v jednom 2U šasi), který běžně používáme, ale v blízké budoucnosti bude také dostupný. Hlavní věc je, že to funguje dobře, ale o „lukách“ budeme přemýšlet později.

Každý řadič má pod kapotou jednoprocesorovou základní desku se čtyřmi sloty RAM (DDR3 pro procesor 8C). Na palubě každého řadiče jsou také 4 1G ethernetové porty (z nichž dva využívá software AERODISK ENGINE jako službu) a tři PCIe sloty pro Back-end (SAS) a Front-end (Ethernet nebo FibreChannel) adaptéry.

Jako bootovací disky používáme ruské SATA SSD disky od GS Nanotech, které jsme opakovaně testovali a používali v projektech.

Když jsme se poprvé setkali s plošinou, pečlivě jsme ji prozkoumali. Na kvalitu montáže a pájení jsme neměli žádné dotazy, vše proběhlo úhledně a spolehlivě.

Operační systém

Jako OS se používá verze OS Alt 8SP pro certifikaci. V blízké budoucnosti plánujeme vytvořit připojitelné a neustále aktualizované úložiště pro Alt OS s úložným softwarem Aerodisk.

Tato verze distribuce je postavena na aktuální stabilní verzi linuxového jádra 4.9 pro E2K (větev s dlouhodobou podporou portovanou specialisty MCST), doplněnou o záplaty pro funkčnost a bezpečnost. Všechny balíčky v Alt OS jsou postaveny přímo na Elbrusu pomocí původního transakčního build systému projektu ALT Linux Team, což umožnilo snížit mzdové náklady na samotný přenos a více dbát na kvalitu produktu.

Libovolné vydání Alt OS pro Elbrus lze výrazně funkčně rozšířit pomocí pro něj dostupného úložiště (z cca 6 tisíc zdrojových balíčků pro osmou verzi na cca 12 pro devátou).

Volba byla učiněna také proto, že společnost Basalt SPO, vývojář Alt OS, aktivně spolupracuje s dalšími vývojáři softwaru a zařízení na různých platformách a zajišťuje bezproblémovou interakci v rámci hardwarových a softwarových systémů.

Softwarové úložné systémy

Při portování jsme okamžitě opustili myšlenku používat emulaci x2 podporovanou v E86K a začali pracovat přímo s procesory (naštěstí k tomu již Alt má potřebné nástroje).

Nativní režim provádění mimo jiné poskytuje lepší zabezpečení (stejné tři hardwarové zásobníky místo jednoho) a zvýšený výkon (není potřeba alokovat jedno nebo dvě jádra z osmi, aby fungoval binární překladač a kompilátor se postará o to, práce lepší než JIT).

Implementace E2K AERODISK ENGINE ve skutečnosti podporuje většinu stávajících funkcí úložiště, které se nacházejí v x86. Jako software úložného systému se používá aktuální verze AERODISK ENGINE (A-CORE verze 2.30).

Bez problémů na E2K byly zavedeny a testovány následující funkce pro použití v produktu:

Odolnost proti chybám až pro dva řadiče a vícecestné I/O (mpio)
Blokový a souborový přístup pomocí tenkých svazků (RDG, DDP pools; FC, iSCSI, NFS, SMB protokoly včetně integrace Active Directory)
Různé úrovně RAID až po trojitou paritu (včetně možnosti použít konstruktor RAID)
Hybridní úložiště (kombinující SSD a HDD ve stejném fondu, tj. mezipaměť a vrstvení)
Možnosti úspory místa s deduplikací a kompresí
ROW snímky, klony a různé možnosti replikace
A další malé, ale užitečné funkce, jako je QoS, globální hotspare, VLAN, BOND atd.

Ve skutečnosti se nám na E2K podařilo získat všechny naše funkce, kromě multi-kontrolérů (více než dvou) a vícevláknového I/O plánovače, což nám umožňuje zvýšit výkon all-flash poolů o 20-30% .

Ale samozřejmě přidáme i tyto užitečné funkce, otázka času.

Něco málo o výkonu

Po úspěšném absolvování testů základní funkčnosti úložného systému jsme samozřejmě začali provádět zátěžové testy.

Například na dvouřadičovém úložném systému (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800 GB 3DWD), ve kterém byla zakázána mezipaměť RAM, jsme vytvořili dva fondy DDP s hlavní úrovní RAID-10 a dva 500G LUN a připojil tyto LUN přes iSCSI (10G Ethernet) k hostiteli Linux. A provedl jeden ze základních hodinových testů na malých sekvenčních zátěžových blocích pomocí programu FIO.

První výsledky byly vcelku pozitivní.

Zatížení procesorů bylo v průměru na úrovni 60 %, tzn. toto je základní úroveň, na které může úložiště bezpečně fungovat.

Ano, toto je daleko od vysokého zatížení a to zjevně nestačí pro vysoce výkonné DBMS, ale jak ukazuje naše praxe, tyto vlastnosti jsou dostatečné pro 80% obecných úkolů, pro které se úložné systémy používají.

O něco později se plánujeme vrátit s podrobnou zprávou o zátěžových testech Elbrusu jako úložné platformy.

Jasná budoucnost

Jak jsme psali výše, sériová výroba Elbrusu 8C vlastně začala teprve nedávno – na začátku roku 2019 a do prosince již bylo vydáno asi 4000 procesorů. Pro srovnání předchozí generace Elbrus 4C bylo vyrobeno pouze 5000 procesorů za celou dobu jejich výroby, takže pokrok je tu.

Je jasné, že je to kapka v moři i pro ruský trh, ale cestu zvládne ta pěší.
Vydání několika desítek tisíc procesorů Elbrus 2020C je plánováno na rok 8, a to už je vážné číslo. Navíc během roku 2020 by měl být procesor Elbrus-8SV doveden týmem MCST do sériové výroby.

Takové výrobní plány jsou aplikací pro velmi významný podíl celého tuzemského trhu serverových procesorů.

Výsledkem je, že tady a teď máme dobrého a moderního ruského zpracovatele s jasnou a podle našeho názoru správnou strategií rozvoje, na jejímž základě existuje nejbezpečnější a nejcertifikovanější systém ukládání dat ruské výroby (a v budoucnost, virtualizační systém na Elbrus-16C). Ruský systém je tak daleko, jak je to nyní v moderních podmínkách fyzicky možné.

Ve zprávách často vidíme další epické neúspěchy společností, které se hrdě nazývají ruskými výrobci, ale ve skutečnosti se zabývají přelepováním štítků, aniž by přidávaly jakoukoli vlastní hodnotu výrobkům zahraničního výrobce, s výjimkou jejich označení. Takové společnosti bohužel vrhají stín na všechny skutečné ruské vývojáře a výrobce.

Tímto článkem chceme jasně ukázat, že v naší zemi byly, jsou a budou firmy, které skutečně a efektivně dělají moderní komplexní IT systémy a aktivně se rozvíjejí a nahrazování importu v IT není sprostá, ale realita, ve které všichni žijeme. Tuto realitu nemůžete milovat, můžete ji kritizovat nebo můžete pracovat a zlepšovat ji.

Rozpad SSSR svého času zabránil týmu tvůrců Elbrus stát se prominentním hráčem ve světě procesorů a donutil tým hledat finance na svůj vývoj v zahraničí. Našlo se, práce byla odvedena a duševní vlastnictví bylo zachráněno, za což bych chtěl těmto lidem velmi poděkovat!

To je prozatím vše, pište prosím své komentáře, dotazy a samozřejmě kritiku. Jsme vždy šťastní.

Také chci jménem celé společnosti Aerodisk poblahopřát celé ruské IT komunitě k nadcházejícímu Novému roku a Vánocům, popřát 100% provozuschopnosti - a aby se zálohy v novém roce nikomu nehodily))).