🥇Úložný systém AERODISK na domácich procesoroch Elbrus 8C

Dobrý deň, čitatelia Habr. Radi by sme sa podelili o mimoriadne dobré správy. Konečne sme sa dočkali skutočnej sériovej výroby novej generácie ruských procesorov Elbrus 8C. Oficiálne sa mala sériová výroba spustiť v roku 2016, no v skutočnosti sa masová výroba začala až v roku 2019 a v súčasnosti je vyrobených už asi 4000 procesorov.

Takmer okamžite po spustení sériovej výroby sa tieto procesory objavili v našom Aerodisku, za čo by sme sa chceli poďakovať najmä firme NORSI-TRANS, ktorá nám láskavo poskytla svoju hardvérovú platformu Yakhont UVM s podporou procesorov Elbrus 8C na portovanie softvérová časť úložného systému. Ide o modernú univerzálnu platformu, ktorá spĺňa všetky požiadavky MCST. V súčasnosti platformu využívajú špeciálni spotrebitelia a telekomunikační operátori na zabezpečenie vykonávania zavedených akcií počas operatívnej vyšetrovacej činnosti.

Momentálne je portovanie úspešne ukončené a úložný systém AERODISK je už dostupný aj vo verzii s domácimi procesormi Elbrus.

V tomto článku si povieme niečo o samotných procesoroch, ich histórii, architektúre a samozrejme o našej implementácii úložných systémov na Elbrus.

Príbeh

História procesorov Elbrus siaha až do čias Sovietskeho zväzu. V roku 1973 na Ústave presnej mechaniky a informatiky pomenovanej po. S.A. Lebedev (pomenovaný po tom istom Sergejovi Lebedevovi, ktorý predtým viedol vývoj prvého sovietskeho počítača MESM a neskôr BESM) začal s vývojom viacprocesorových výpočtových systémov s názvom „Elbrus“. Vývoj viedol Vsevolod Sergejevič Burcev a na vývoji sa aktívne podieľal aj Boris Artashesovich Babayan, ktorý bol jedným zo zástupcov hlavného konštruktéra.

Vsevolod Sergejevič Burcev

Boris Artashesovič Babayan

Hlavným odberateľom projektu boli samozrejme ozbrojené sily ZSSR a táto séria počítačov bola nakoniec úspešne použitá pri vytváraní veliteľských výpočtových stredísk a palebných systémov pre systémy protiraketovej obrany, ako aj iných účelových systémov. .

Prvý počítač Elbrus bol dokončený v roku 1978. Mal modulárnu architektúru a mohol obsahovať 1 až 10 procesorov založených na stredných integračných obvodoch. Rýchlosť tohto stroja dosiahla 15 miliónov operácií za sekundu. Veľkosť pamäte RAM, ktorá bola spoločná pre všetkých 10 procesorov, bola až 2 až 20 mocnina strojových slov alebo 64 MB.

Neskôr sa ukázalo, že mnoho technológií použitých pri vývoji Elbrusu sa súčasne skúmalo po celom svete a spracovával ich International Business Machine (IBM), ale práca na týchto projektoch, na rozdiel od práce na Elbrus , neboli nikdy dokončené, boli dokončené a v konečnom dôsledku neviedli k vytvoreniu hotového produktu.

Podľa Vsevoloda Burceva sa sovietski inžinieri snažili uplatniť najpokročilejšie skúsenosti domácich aj zahraničných vývojárov. Architektúru počítačov Elbrus ovplyvnili aj počítače Burroughs, vývoj Hewlett-Packard a skúsenosti vývojárov BESM-6.

Zároveň však mnohé z vývoja boli originálne. Najzaujímavejšia vec na Elbrus-1 bola jeho architektúra.

Vytvorený superpočítač sa stal prvým počítačom v ZSSR, ktorý využíval superskalárnu architektúru. Široké používanie superskalárnych procesorov v zahraničí sa začalo až v 90. rokoch minulého storočia s príchodom cenovo dostupných procesorov Intel Pentium na trh.

Okrem toho je možné použiť špeciálne vstupno/výstupné procesory na organizáciu prenosu dátových tokov medzi periférnymi zariadeniami a RAM v počítači. Takéto procesory mohli byť v systéme až štyri, pracovali paralelne s centrálnym procesorom a mali vlastnú vyhradenú pamäť.

Elbrus-2

V roku 1985 dostal Elbrus svoje logické pokračovanie, bol vytvorený počítač Elbrus-2, ktorý bol odoslaný do sériovej výroby. V architektúre sa veľmi nelíšil od svojho predchodcu, no využíval novú základňu prvkov, ktorá umožnila zvýšiť celkový výkon takmer 10-krát – z 15 miliónov operácií za sekundu na 125 miliónov Kapacita RAM počítača vzrástla na 16 miliónov 72 -bitové slová alebo 144 MB. Maximálna priepustnosť I/O kanálov Elbrus-2 bola 120 MB/s.

"Elbrus-2" sa aktívne používal v centrách jadrového výskumu v Čeľabinsku-70 a Arzamas-16 v MCC, v systéme protiraketovej obrany A-135, ako aj v iných vojenských zariadeniach.

Vytvorenie Elbrusu ocenili vodcovia Sovietskeho zväzu. Mnoho inžinierov bolo ocenených rozkazmi a medailami. Generálny dizajnér Vsevolod Burtsev a množstvo ďalších odborníkov získali štátne ocenenia. A Boris Babayan bol vyznamenaný Rádom októbrovej revolúcie.

Tieto ocenenia sú viac ako zaslúžené, Boris Babayan neskôr povedal:

„V roku 1978 sme vyrobili prvý superskalárny stroj Elbrus-1. Teraz na Západe robia z tejto architektúry len superskaláry. Prvý superskalár sa objavil na Západe v roku 92, náš v roku 78. Navyše, verzia superskaláru, ktorú sme vyrobili, je podobná Pentiu Pro, ktoré Intel vyrobil v roku 95.“

Tieto slová o historickom prvenstve sú potvrdené v USA, napísal Keith Diefendorff, vývojár Motoroly 88110, jedného z prvých západných superskalárnych procesorov:

"V roku 1978, takmer 15 rokov predtým, ako sa objavili prvé západné superskalárne procesory, Elbrus-1 používal procesor, ktorý vydával dve inštrukcie za cyklus hodín, menil poradie vykonávania pokynov, premenoval registre a vykonával podľa predpokladov."

Elbrus-3

Písal sa rok 1986 a takmer okamžite po dokončení prác na druhom Elbruse začal ITMiVT s vývojom nového systému Elbrus-3, využívajúci zásadne novú architektúru procesora. Boris Babayan nazval tento prístup „post-superskalárnym“. Práve túto architektúru, neskôr nazvanú VLIW/EPIC, začali v budúcnosti (v polovici 90. rokov) využívať procesory Intel Itanium (a v ZSSR sa tento vývoj začal v roku 1986 a skončil v roku 1991).

Tento výpočtový komplex ako prvý implementoval myšlienky explicitného riadenia paralelizmu operácií pomocou kompilátora.

V roku 1991 bol vydaný prvý a, žiaľ, jediný počítač „Elbrus-3“, ktorý nebolo možné úplne nastaviť a po rozpade Sovietskeho zväzu ho nikto nepotreboval a vývoj a plány zostali na papieri.

Predpoklady pre novú architektúru

Tím, ktorý v ITMiVT pracoval na tvorbe sovietskych superpočítačov, sa nerozpadol, ale ďalej pracoval ako samostatná spoločnosť pod názvom MCST (Moskva centrum SPARK Technologies). A začiatkom 90. rokov sa začala aktívna spolupráca medzi MCST a Sun Microsystems, kde sa tím MCST podieľal na vývoji mikroprocesora UltraSPARC.

Práve v tomto období sa objavil projekt architektúry E2K, ktorý pôvodne financovala spoločnosť Sun. Neskôr sa projekt úplne osamostatnil a všetko duševné vlastníctvo na ňom zostalo tímu MCST.

„Ak by sme v tejto oblasti pokračovali v spolupráci so spoločnosťou Sun, všetko by vlastnila spoločnosť Sun. Hoci 90 % práce bolo urobených pred príchodom Slnka.“ (Boris Babayan)

Architektúra E2K

Keď hovoríme o architektúre procesorov Elbrus, veľmi často počujeme od našich kolegov z IT priemyslu tieto vyjadrenia:

„Elbrus je architektúra RISC“
„Elbrus je architektúra EPIC“
„Elbrus je architektúra SPARC“

V skutočnosti žiadne z týchto tvrdení nie je úplne pravdivé, a ak áno, je pravdivé len čiastočne.

Architektúra E2K je samostatná originálna architektúra procesora; hlavnými kvalitami E2K sú energetická účinnosť a vynikajúca škálovateľnosť, dosiahnutá špecifikovaním explicitného paralelizmu operácií. Architektúra E2K bola vyvinutá tímom MCST a je založená na post-superskalárnej architektúre (a la EPIC) s určitým vplyvom architektúry SPARC (s minulosťou RISC). MCST sa zároveň priamo podieľala na tvorbe troch zo štyroch základných architektúr (Superscalars, post-superscalars a SPARC). Svet je skutočne malé miesto.

Aby sme sa v budúcnosti vyhli nejasnostiam, nakreslili sme jednoduchý diagram, ktorý aj keď je zjednodušený, veľmi jasne ukazuje korene architektúry E2K.

Teraz trochu viac o názve architektúry, o ktorej tiež existuje nedorozumenie.

V rôznych zdrojoch môžete nájsť tieto názvy pre túto architektúru: „E2K“, „Elbrus“, „Elbrus 2000“, ELBRUS („Explicitné plánovanie využívania základných zdrojov“, t. j. explicitné plánovanie využitia základných zdrojov). Všetky tieto názvy hovoria o tom istom - o architektúre, ale v oficiálnej technickej dokumentácii, ako aj na technických fórach sa na označenie architektúry používa názov E2K, takže v budúcnosti, ak hovoríme o architektúre procesora, budeme používať výraz „E2K“ a ak ide o konkrétny procesor, používame názov „Elbrus“.

Technické vlastnosti architektúry E2K

V tradičných architektúrach ako RISC alebo CISC (x86, PowerPC, SPARC, MIPS, ARM) prijíma vstup procesora prúd inštrukcií, ktoré sú určené na sekvenčné vykonávanie. Procesor dokáže detekovať nezávislé operácie a spúšťať ich paralelne (superskalarita) a dokonca meniť ich poradie (vykonávanie mimo poradia). Dynamická analýza závislostí a podpora vykonávania mimo poradia však majú svoje obmedzenia v počte spustených a analyzovaných príkazov za cyklus hodín. Zodpovedajúce bloky vo vnútri procesora navyše spotrebúvajú značné množstvo energie a ich zložitá implementácia niekedy vedie k problémom so stabilitou alebo bezpečnosťou.

V architektúre E2K hlavnú prácu analýzy závislostí a optimalizáciu poradia operácií preberá kompilátor. Procesor dostáva vstup tzv. široké inštrukcie, z ktorých každá kóduje inštrukcie pre všetky jednotky vykonávania procesora, ktoré musia byť spustené v danom taktovacom cykle. Od procesora sa nevyžaduje, aby analyzoval závislosti medzi operandmi alebo preusporiadal operácie medzi širokými inštrukciami: kompilátor to všetko robí na základe analýzy zdrojového kódu a plánovania zdrojov procesora. Vďaka tomu môže byť hardvér procesora jednoduchší a cenovo výhodnejší.

Kompilátor je schopný analyzovať zdrojový kód oveľa dôkladnejšie ako hardvér procesora RISC/CISC a nájsť nezávislejšie operácie. Preto má architektúra E2K viac paralelných vykonávacích jednotiek ako tradičné architektúry.

Aktuálne možnosti architektúry E2K:

6 paralelne pracujúcich kanálov aritmetických logických jednotiek (ALU).
Registračný súbor 256 84-bitových registrov.
Hardvérová podpora pre slučky, vrátane tých s potrubím. Zvyšuje efektivitu využívania zdrojov procesora.
Programovateľné asynchrónne zariadenie na predčerpanie dát so samostatnými čítacími kanálmi. Umožňuje skryť oneskorenia pred prístupom do pamäte a plne využiť ALU.
Podpora pre špekulatívne výpočty a jednobitové predikáty. Umožňuje znížiť počet prechodov a paralelne spustiť niekoľko programových vetiev.
Široký príkaz, schopný špecifikovať až 23 operácií v jednom hodinovom cykle (viac ako 33 operácií pri zbalení operandov do vektorových inštrukcií).

x86 emulácia

Už vo fáze návrhu architektúry vývojári pochopili dôležitosť podpory softvéru napísaného pre architektúru Intel x86. Na tento účel bol implementovaný systém dynamického (t. j. počas vykonávania programu alebo „za behu“) prekladu x86 binárnych kódov do kódov procesorov architektúry E2K. Tento systém môže fungovať ako v aplikačnom režime (na spôsob WINE), tak aj v režime podobnom hypervízoru (vtedy je možné spustiť celý hosťujúci OS pre architektúru x86).

Vďaka niekoľkým úrovniam optimalizácie je možné dosiahnuť vysokú rýchlosť prekladu kódu. Kvalitu emulácie architektúry x86 potvrdzuje úspešné spustenie viac ako 20 operačných systémov (vrátane niekoľkých verzií Windows) a stoviek aplikácií na výpočtových systémoch Elbrus.

Chránený režim vykonávania programu

Jednou z najzaujímavejších myšlienok zdedených z architektúr Elbrus-1 a Elbrus-2 je takzvané bezpečné vykonávanie programu. Jeho podstatou je zabezpečiť, aby program pracoval len s inicializovanými dátami, kontrolovať všetky prístupy do pamäte, či patria do platného rozsahu adries a zabezpečiť medzimodulovú ochranu (napríklad chrániť volajúci program pred chybami v knižnici). Všetky tieto kontroly sa vykonávajú v hardvéri. Pre chránený režim je k dispozícii plnohodnotný kompilátor a knižnica na podporu runtime. Malo by byť zrejmé, že uložené obmedzenia vedú k nemožnosti zorganizovať vykonávanie napríklad kódu napísaného v C++.

Dokonca aj v normálnom, „nechránenom“ režime prevádzky procesorov Elbrus existujú funkcie, ktoré zvyšujú spoľahlivosť systému. Zásobník spojovacích informácií (reťazec návratových adries pre procedurálne volania) je teda oddelený od zásobníka používateľských údajov a je neprístupný útokom, ako je spoofing návratových adries používaný vo vírusoch.

Vývoj vytvorený v priebehu rokov umožňuje nielen dobehnúť a v budúcnosti prekonať konkurenčné architektúry z hľadiska výkonu a škálovateľnosti, ale aj poskytnúť ochranu proti chybám, ktoré trápia x86/amd64. Záložky ako Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) a podobne.

Moderná ochrana proti zraniteľnosti, ktorá sa nachádza v architektúre x86/amd64, je založená na záplatách na úrovni operačného systému. To je dôvod, prečo je pokles výkonu na súčasných a predchádzajúcich generáciách procesorov týchto architektúr taký citeľný a pohybuje sa od 30 % do 80 %. My, ako aktívni používatelia x86 procesorov, o tom vieme, trpíme a naďalej „žerieme kaktus“, ale mať riešenie týchto problémov v koreni je pre nás (a v konečnom dôsledku pre našich zákazníkov) nepochybnou výhodou, najmä ak riešenie je ruské.

Технические характеристики

Nižšie sú uvedené oficiálne technické charakteristiky procesorov Elbrus minulých (4C), súčasných (8C), nových (8SV) a budúcich (16C) generácií v porovnaní s podobnými procesormi Intel x86.

Už letmý pohľad na túto tabuľku ukazuje (a to je veľmi potešujúce), že technologická priepasť domácich procesorov, ktorá sa pred 10 rokmi zdala neprekonateľná, sa teraz zdá byť dosť malá a v roku 2021 s uvedením Elbrus-16S (ktorý okrem iného vecí, bude podporovať virtualizáciu) sa skráti na minimálne vzdialenosti.

Úložný systém AERODISK na procesoroch Elbrus 8C

Prechádzame od teórie k praxi. V rámci strategickej aliancie spoločností MCST, Aerodisk, Basalt SPO (predtým Alt Linux) a NORSI-TRANS bol vyvinutý a pripravený na prevádzku systém ukladania dát, ktorý v súčasnosti z hľadiska bezpečnosti, funkčnosti, ceny a výkonu je, ak nie najlepší, potom je podľa nášho názoru nepochybne hodnotným riešením, ktoré môže zabezpečiť náležitú úroveň technologickej nezávislosti našej vlasti.
Teraz detaily...

hardvérová časť

Úložný hardvér je implementovaný na báze univerzálnej platformy Yakhont UVM od NORSI-TRANS. Platforma Yakhont UVM získala štatút telekomunikačného zariadenia ruského pôvodu a bola zaradená do jednotného registra ruských rádioelektronických produktov. Systém pozostáva z dvoch samostatných úložných radičov (každý 2U), ktoré sú navzájom prepojené ethernetovým prepojením 1G alebo 10G, ako aj s bežnými diskovými policami pomocou pripojenia SAS.

Samozrejme, nie je to také krásne ako formát „Cluster in a box“ (keď sú radiče a disky so spoločnou backplane inštalované v jednom 2U šasi), ktorý bežne používame, ale v blízkej budúcnosti bude tiež dostupný. Hlavná vec je, že to funguje dobre a o „lukách“ budeme premýšľať neskôr.

Každý radič má pod kapotou jednoprocesorovú základnú dosku so štyrmi slotmi pre RAM (DDR3 pre procesor 8C). Na palube každého radiča sú tiež 4 1G ethernetové porty (z ktorých dva využíva softvér AERODISK ENGINE ako službu) a tri PCIe konektory pre Back-end (SAS) a Front-end (Ethernet alebo FibreChannel) adaptéry.

Ako bootovacie disky sa používajú ruské SATA SSD disky od GS Nanotech, ktoré sme opakovane testovali a používali v projektoch.

Keď sme sa prvýkrát zoznámili s platformou, dôkladne sme ju preskúmali. O kvalite montáže a spájkovania sme nemali žiadne otázky, všetko bolo urobené starostlivo a spoľahlivo.

Operačný systém

Použitá verzia OS je Alt 8SP na certifikáciu. Čoskoro plánujeme vytvoriť zásuvný modul a neustále aktualizované úložisko pre operačný systém Viola s úložným softvérom Aerodisk.

Táto verzia distribúcie je postavená na aktuálnej stabilnej verzii linuxového jadra 4.9 pre E2K (vetvu s dlhodobou podporou portovali špecialisti MCST), doplnenú o záplaty pre funkčnosť a bezpečnosť. Všetky balíky v OS Alt sú zostavené priamo na Elbrus pomocou originálneho systému transakčnej montáže projektu ALT Linux Team, čo umožnilo znížiť mzdové náklady na samotný prenos a viac dbať na kvalitu produktu.

Akékoľvek vydanie Alt OS pre Elbrus je možné výrazne rozšíriť z hľadiska funkčnosti pomocou úložiska, ktoré je preň dostupné (z približne 6 tisíc zdrojových balíkov pre ôsmu verziu po približne 12 pre deviatu verziu).

Voľba bola urobená aj preto, že spoločnosť Basalt SPO, vývojár operačného systému Viola, aktívne spolupracuje s ďalšími vývojármi softvéru a zariadení na rôznych platformách, čím zabezpečuje bezproblémovú interakciu v rámci hardvérových a softvérových systémov.

Softvérové úložné systémy

Pri portovaní sme okamžite opustili myšlienku používať emuláciu x2 podporovanú v E86K a začali pracovať priamo s procesormi (našťastie, Alt už na to má potrebné nástroje).

Natívny režim vykonávania okrem iného poskytuje lepšiu bezpečnosť (tie tri hardvérové zásobníky namiesto jedného) a zvýšený výkon (na spustenie binárneho prekladača nie je potrebné prideľovať jedno alebo dve jadrá z ôsmich a kompilátor robí svoju prácu lepšie. ako JIT).

V skutočnosti implementácia AERODISK ENGINE na E2K podporuje väčšinu existujúcich úložných funkcií, ktoré sú dostupné v x86. Softvér úložného systému používa aktuálnu verziu AERODISK ENGINE (A-CORE verzia 2.30)

Bez problémov boli na E2K nainštalované a testované nasledujúce funkcie na použitie vo výrobe:

Odolnosť voči chybám až pre dva ovládače a viaccestné I/O (mpio)
Blokovanie a prístup k súborom s tenkými zväzkami (RDG, DDP pools; FC, iSCSI, NFS, SMB protokoly vrátane integrácie s Active Directory)
Rôzne úrovne RAID až po trojitú paritu (vrátane možnosti použiť RAID builder)
Hybridné úložisko (kombinácia SSD a HDD v rámci jedného fondu, t. j. vyrovnávacia pamäť a vrstvenie)
Možnosti šetrenia miesta pomocou deduplikácie a kompresie
ROW snímky, klony a rôzne možnosti replikácie
A ďalšie malé, ale užitočné funkcie ako QoS, globálny hotspare, VLAN, BOND atď.

V skutočnosti sa nám na E2K podarilo implementovať všetky naše funkcie, okrem multi-kontrolérov (viac ako dvoch) a viacvláknového I/O plánovača, čo nám umožňuje zvýšiť výkon all-flash poolov o 20-30% .

Prirodzene však pridáme aj tieto užitočné funkcie, je to otázka času.

Trochu o výkone

Po úspešnom absolvovaní testov základnej funkčnosti úložného systému sme samozrejme začali vykonávať záťažové testy.

Napríklad na úložnom systéme s dvoma radičmi (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800 GB 3DWD), v ktorom bola zakázaná vyrovnávacia pamäť RAM, sme vytvorili dva fondy DDP s hlavnou úrovňou RAID-10 a dvoma 500G LUN a pripojil tieto LUN cez iSCSI (10G Ethernet) k hostiteľovi Linux. A jeden zo základných hodinových testov sme vykonali na malých blokoch sekvenčného zaťaženia pomocou programu FIO.

Prvé výsledky boli celkom pozitívne.

Zaťaženie procesorov bolo v priemere na 60 %, t.j. Toto je základná úroveň, na ktorej môže úložný systém bezpečne fungovať.

Áno, toto je ďaleko od vysokého zaťaženia a nejaký druh účtovania zjavne nestačí pre vysokovýkonné DBMS, ale ako ukazuje naša prax, tieto vlastnosti postačujú na 80% bežných úloh, na ktoré sa používajú úložné systémy.

O niečo neskôr sa plánujeme vrátiť s podrobnou správou o záťažových testoch Elbrusu ako platformy pre úložné systémy.

Jasná budúcnosť

Ako sme písali vyššie, masová výroba Elbrusu 8C sa vlastne začala len nedávno – začiatkom roka 2019 a do decembra už bolo vyrobených približne 4000 4 procesorov. Pre porovnanie, procesorov predchádzajúcej generácie Elbrus 5000C bolo za celú dobu ich výroby vyrobených len XNUMX kusov, takže pokrok je zrejmý.

Je jasné, že je to kvapka vo vedre, dokonca aj pre ruský trh, ale tí, ktorí idú po ceste, to dokážu prekonať.
Na rok 2020 je naplánované vydanie niekoľkých desiatok tisíc procesorov Elbrus 8C a to už je vážne číslo. Navyše v priebehu roku 2020 by mal byť procesor Elbrus-8SV privedený do sériovej výroby tímom MCST.

Takéto výrobné plány sú aplikáciou pre veľmi významný podiel na celom domácom trhu serverových procesorov.

Výsledkom je, že tu a teraz máme dobrého a moderného ruského procesora s jasnou a podľa nášho názoru správnou stratégiou rozvoja, na základe ktorej máme najbezpečnejší a najcertifikovanejší systém na ukladanie údajov ruskej výroby (a v budúcnosti, virtualizačný systém na Elbrus-16C). Systém je ruský do tej miery, do akej je to v moderných podmienkach fyzicky možné.

V správach často vidíme najnovšie epické zlyhania spoločností, ktoré sa hrdo nazývajú ruskými výrobcami, ale v skutočnosti sa zaoberajú prelepovaním štítkov bez toho, aby pridali akúkoľvek vlastnú hodnotu k výrobkom zahraničného výrobcu, s výnimkou ich značiek. Takéto spoločnosti, bohužiaľ, vrhajú tieň na všetkých skutočných ruských vývojárov a výrobcov.

Týmto článkom chceme jasne ukázať, že v našej krajine boli, sú a budú firmy, ktoré skutočne a efektívne vyrábajú moderné komplexné IT systémy a aktívne sa rozvíjajú a substitúcia importu v IT nie je profanáciou, ale realitou, v ktorej všetky naživo. Táto realita sa vám môže nepáčiť, môžete ju kritizovať alebo môžete pracovať a zlepšovať ju.

Rozpad ZSSR svojho času zabránil tímu tvorcov Elbrus stať sa prominentným hráčom vo svete procesorov a prinútil tím hľadať financie na svoj vývoj v zahraničí. Našlo sa, dielo sa dokončilo a duševné vlastníctvo sa zachovalo, za čo týmto ľuďom chcem veľmi pekne poďakovať!

To je nateraz všetko, píšte svoje pripomienky, otázky a samozrejme kritiku. Sme vždy šťastní.

Tiež by som chcel v mene celej spoločnosti Aerodisk zablahoželať celej ruskej IT komunite k nadchádzajúcemu novému roku a Vianociam, zaželať 100% dostupnosť - a aby zálohy v novom roku nikomu nepomohli))).