SHD AERODISK на домашни процесори Elbrus 8C

Здравейте читатели на Хабр. Бихме искали да споделим някои много добри новини. Най-накрая дочакахме реалното серийно производство на ново поколение руски процесори Elbrus 8C. Официално серийното производство трябваше да започне още през 2016 г., но всъщност масовото производство започна едва през 2019 г. и вече бяха пуснати около 4000 процесора.

Почти веднага след началото на масовото производство тези процесори се появиха в нашия Aerodisk, за което благодарим на NORSI-TRANS, която любезно ни предостави своята хардуерна платформа Yakhont UVM, която поддържа процесори Elbrus 8C, за пренасяне на софтуерната част на системата за съхранение. Това е модерна универсална платформа, която отговаря на всички изисквания на MCST. В момента платформата се използва от специални потребители и телекомуникационни оператори за осигуряване на изпълнението на установени действия по време на оперативно-издирвателни дейности.

В момента пренасянето е успешно завършено и сега системата за съхранение AERODISK се предлага във версия с домашни процесори Elbrus.

В тази статия ще говорим за самите процесори, тяхната история, архитектура и, разбира се, нашата реализация на системи за съхранение на Елбрус.

История

Историята на процесорите Elbrus датира от времето на Съветския съюз. През 1973 г. в Института за фина механика и компютърна техника на името на S.A. Лебедев (на името на същия Сергей Лебедев, който преди това е ръководил разработването на първия съветски компютър MESM, а по-късно BESM), започва разработването на многопроцесорни изчислителни системи, наречени Elbrus. Всеволод Сергеевич Бурцев ръководи разработката, а Борис Арташесович Бабаян, който беше един от заместник-главните дизайнери, също взе активно участие в разработката.

Всеволод Сергеевич Бурцев

Борис Арташесович Бабаян

Основният клиент на проекта бяха, разбира се, въоръжените сили на СССР и тази серия компютри в крайна сметка беше успешно използвана при създаването на командни изчислителни центрове и системи за стрелба за системи за противоракетна отбрана, както и други системи със специално предназначение .

Първият компютър Elbrus е завършен през 1978 г. Той имаше модулна архитектура и можеше да включва от 1 до 10 процесора, базирани на средни интеграционни схеми. Скоростта на тази машина достигна 15 милиона операции в секунда. Количеството RAM, което беше общо за всичките 10 процесора, беше до 2 на 20-та степен на машинните думи или 64 MB.

По-късно се оказа, че много от технологиите, използвани при разработването на Елбрус, са били изучавани в света по едно и също време и с тях се е занимавала International Business Machine (IBM), но работата по тези проекти, за разлика от работата по Елбрус, не бяха завършени и в крайна сметка не доведоха до създаването на завършен продукт.

Според Всеволод Бурцев съветските инженери са се опитали да приложат най-модерния опит както на местни, така и на чуждестранни разработчици. Архитектурата на компютрите Elbrus също беше повлияна от компютрите Burroughs, разработките на Hewlett-Packard, както и от опита на разработчиците на BESM-6.

Но в същото време много разработки бяха оригинални. Най-интересното нещо за Елбрус-1 беше неговата архитектура.

Създаденият суперкомпютър стана първият компютър в СССР, използващ суперскаларна архитектура. Масовото използване на суперскаларни процесори в чужбина започва едва през 90-те години на миналия век с появата на пазара на достъпни процесори Intel Pentium.

В допълнение, специални входно-изходни процесори могат да се използват за организиране на преноса на потоци от данни между периферни устройства и RAM в компютъра. В системата можеше да има до четири такива процесора, те работеха паралелно с централния процесор и имаха собствена специална памет.

Елбрус-2

През 1985 г. Елбрус получава своето логично продължение, компютърът Елбрус-2 е създаден и изпратен в масово производство. По отношение на архитектурата, той не се различава много от своя предшественик, но използва нова елементна база, която позволява да се увеличи общата производителност почти 10 пъти - от 15 милиона операции в секунда до 125 милиона. увеличен до 16 милиона 72-битови думи или 144 MB. Максималната честотна лента на I / O каналите Elbrus-2 беше 120 MB / s.

„Елбрус-2“ се използва активно в центровете за ядрени изследвания в Челябинск-70 и в Арзамас-16 в ЦКК, в системата за противоракетна отбрана А-135, както и в други военни съоръжения.

Създаването на Елбрус беше подобаващо оценено от лидерите на Съветския съюз. Много инженери са наградени с ордени и медали. Генералният конструктор Всеволод Бурцев и редица други специалисти получиха държавни награди. А Борис Бабаян е награден с Ордена на Октомврийската революция.

Тези награди са повече от заслужени, каза по-късно Борис Бабаян:

„През 1978 г. направихме първата суперскаларна машина Елбрус-1. Сега на запад правят суперскалари само на тази архитектура. Първият суперскалар се появи на Запад през 92 г., нашият през 78 г. Освен това версията на суперскалара, която направихме, е подобна на Pentium Pro, който Intel направи през 95 г.

Тези думи за историческото превъзходство се потвърждават и в САЩ, пише Кийт Дифендорф, разработчикът на Motorola 88110, един от първите западни суперскаларни процесори:

„През 1978 г., почти 15 години преди появата на първите западни суперскаларни процесори, Елбрус-1 използва процесор с издаване на две инструкции в един цикъл, промяна на реда на изпълнение на инструкциите, преименуване на регистри и изпълнение по предположение.“

Елбрус-3

Беше 1986 г. и почти веднага след приключването на работата по втория Елбрус ITMiVT започна разработването на нова система Elbrus-3, използваща принципно нова процесорна архитектура. Борис Бабаян нарече този подход „постсуперскаларен“. Именно тази архитектура, по-късно наречена VLIW / EPIC, в бъдеще (в средата на 90-те) започнаха да използват процесорите Intel Itanium (а в СССР тези разработки започнаха през 1986 г. и приключиха през 1991 г.).

В този изчислителен комплекс за първи път бяха реализирани идеите за изричен контрол на паралелността на операциите с помощта на компилатор.

През 1991 г. беше пуснат първият и, за съжаление, единствен компютър Елбрус-3, който не можа да бъде напълно настроен и след разпадането на Съветския съюз никой не се нуждаеше от него, а разработките и плановете останаха на хартия.

Предистория на новата архитектура

Екипът, който работи в ITMiVT по създаването на съветски суперкомпютри, не се разпадна, а продължи да работи като отделна компания под името MCST (Московски център за SPARK-технологии). И в началото на 90-те години започва активно сътрудничество между MCST и Sun Microsystems, където екипът на MCST участва в разработването на микропроцесора UltraSPARC.

През този период възниква проектът за архитектура E2K, който първоначално е финансиран от Sun. По-късно проектът става напълно самостоятелен и цялата интелектуална собственост за него остава в екипа на MCST.

„Ако продължихме да работим със Sun в тази област, тогава всичко щеше да принадлежи на Sun. Въпреки че 90% от работата беше свършена преди Sun да се появи.” (Борис Бабаян)

E2K архитектура

Когато обсъждаме архитектурата на процесорите Elbrus, много често чуваме следните твърдения от нашите колеги в ИТ индустрията:

„Елбрус е RISC архитектура“
„Елбрус е EPIC архитектура“
"Елбрус е SPARC-архитектура"

Всъщност нито едно от тези твърдения не е напълно вярно или ако е така, то е само частично вярно.

Архитектурата E2K е отделна оригинална процесорна архитектура, основните качества на E2K са енергийна ефективност и отлична мащабируемост, постигнати чрез посочване на явен паралелизъм на операциите. Архитектурата E2K е разработена от екипа на MCST и се основава на пост-суперскаларна архитектура (a la EPIC) с известно влияние от SPARC архитектурата (с RISC минало). В същото време MCST участва пряко в създаването на три от четирите основни архитектури (Superscalars, Post-Superscalars и SPARC). Светът наистина е малък.

За да избегнем объркване в бъдеще, начертахме проста диаграма, която макар и опростена, но много ясно показва корените на E2K архитектурата.

Сега малко повече за името на архитектурата, по отношение на която също има недоразумение.

В различни източници можете да намерите следните имена за тази архитектура: "E2K", "Елбрус", "Елбрус 2000", ЕЛБРУС ("ExpLicit Basic Resources Utilization Scheduling", т.е. изрично планиране на използването на основни ресурси). Всички тези имена говорят за едно и също нещо - за архитектурата, но в официалната техническа документация, както и в техническите форуми името E2K се използва за обозначаване на архитектурата, така че в бъдеще, ако говорим за процесорна архитектура, използваме термина "E2K", а ако се отнася за конкретен процесор, тогава използваме името "Elbrus".

Технически характеристики на E2K архитектурата

В традиционните архитектури като RISC или CISC (x86, PowerPC, SPARC, MIPS, ARM), процесорът получава поток от инструкции, които са проектирани за последователно изпълнение. Процесорът може да открива независими операции и да ги изпълнява паралелно (суперскаларно) и дори да променя реда им (извън ред). Въпреки това, динамичният анализ на зависимостите и поддръжката за изпълнение извън реда имат своите ограничения по отношение на броя команди, стартирани и анализирани на цикъл. В допълнение, съответните блокове вътре в процесора консумират значително количество енергия и най-сложната им реализация понякога води до проблеми със стабилността или сигурността.

В E2K архитектурата основната работа по анализиране на зависимостите и оптимизиране на реда на операциите се поема от компилатора. Процесорът получава т.нар. широки инструкции, всяка от които кодира инструкции за всички изпълнителни устройства на процесора, които трябва да бъдат стартирани на даден тактов цикъл. От процесора не се изисква да анализира зависимостите между операндите или операциите за размяна между широките инструкции: компилаторът прави всичко това въз основа на анализ на изходния код и планиране на ресурсите на процесора. В резултат на това хардуерът на процесора може да бъде по-прост и по-икономичен.

Компилаторът е в състояние да анализира изходния код много по-задълбочено от RISC/CISC хардуера на процесора и да намери по-независими операции. Следователно, E2K архитектурата има повече паралелни изпълнителни единици от традиционните архитектури.

Текущи характеристики на E2K архитектурата:

• 6 паралелно работещи канала от аритметично логически устройства (ALU).
• Регистър файл от 256 84-битови регистъра.
• Хардуерна поддръжка за цикли, включително тези с конвейер. Повишава ефективността на използването на ресурсите на процесора.
• Програмируема асинхронна предварителна помпа за данни с отделни канали за четене. Позволява ви да скриете забавянията при достъп до паметта и да използвате по-пълно ALU.
• Поддръжка за спекулативни изчисления и еднобитови предикати. Позволява ви да намалите броя на преходите и да изпълните няколко разклонения на програмата паралелно.
• Широка команда, способна да указва до 23 операции в един тактов цикъл с максимално запълване (повече от 33 операции при пакетиране на операнди във векторни инструкции).

Емулация x86

Още на етапа на проектиране на архитектурата разработчиците разбраха важността на поддръжката на софтуер, написан за архитектурата Intel x86. За тази цел беше внедрена система за динамичен (т.е. по време на изпълнение на програмата или „в движение“) превод на x86 двоични кодове в процесорни кодове на E2K архитектура. Тази система може да работи както в режим на приложение (по начина на WINE), така и в режим, подобен на хипервайзор (тогава е възможно да се стартира цялата гост OS за x86 архитектура).

Благодарение на няколко нива на оптимизация е възможно да се постигне висока производителност на транслирания код. Качеството на емулацията на x86 архитектурата се потвърждава от успешното стартиране на повече от 20 операционни системи (включително няколко версии) на изчислителни системи Elbrus. Windows) и стотици приложения.

Защитен режим на изпълнение на програмата

Една от най-интересните идеи, наследени от архитектурите Елбрус-1 и Елбрус-2, е така нареченото сигурно изпълнение на програмата. Същността му е да гарантира, че програмата работи само с инициализирани данни, да проверява всички достъпи до паметта за принадлежност към валиден диапазон от адреси, да осигурява междумодулна защита (например, за да защити извикващата програма от грешка в библиотеката). Всички тези проверки се извършват хардуерно. За защитения режим има пълноправен компилатор и библиотека за поддръжка по време на изпълнение. В същото време трябва да се разбере, че наложените ограничения водят до невъзможност за организиране на изпълнение, например, код, написан на C ++.

Дори в обичайния, "незащитен" режим на работа на процесорите Elbrus има функции, които повишават надеждността на системата. По този начин обвързващият информационен стек (веригата от адреси за връщане за извиквания на процедури) е отделен от стека с потребителски данни и е недостъпен за такива атаки, използвани във вируси като подправяне на адрес за връщане.

Проектиран през годините, той не само догонва и превъзхожда конкурентните архитектури по отношение на производителност и скалируемост в бъдеще, но също така осигурява защита срещу грешки, които засягат x86/amd64. Отметки като Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) и други подобни.

Съвременната защита срещу открити уязвимости в архитектурата x86/amd64 се базира на кръпки на ниво операционна система. Ето защо спадът в производителността на настоящите и предишни поколения процесори на тези архитектури е толкова осезаем и варира от 30% до 80%. Ние, като активни потребители на x86 процесори, знаем за това, страдаме и продължаваме да „ядем кактус“, но наличието на решение на тези проблеми в зародиш за нас (и в резултат на това за нашите клиенти) е несъмнена полза, особено ако решението е руско.

Технические характеристики

По-долу са официалните технически характеристики на процесорите Elbrus от миналото (4C), настоящите (8C), новите (8CB) и бъдещите (16C) поколения в сравнение с подобни процесори Intel x86.

Дори бегъл поглед към тази таблица показва (и това е много приятно), че технологичното изоставане на местните процесори, което изглеждаше непреодолимо преди 10 години, вече изглежда доста малко, а през 2021 г. с пускането на Elbrus-16C (който сред други неща, ще поддържат виртуализация) ще бъдат намалени до минималните разстояния.

SHD AERODISK на процесори Elbrus 8C

Преминаваме от теория към практика. Като част от стратегическия съюз на MCST, Aerodisk, Basalt SPO (бивш Alt Linux) и NORSI-TRANS беше разработена и пусната в експлоатация система за съхранение на данни, която в момента е, ако не и най-добрата по отношение на сигурност, функционалност, цена и производителност , по наше мнение, безспорно достойно решение, което може да осигури правилното ниво на технологична независимост на нашата родина.
Сега подробностите...

Хардуерна част

Хардуерната част на системата за съхранение е реализирана на базата на универсалната платформа Yakhont UVM на фирма NORSI-TRANS. Платформата Yakhont UVM получи статут на телекомуникационно оборудване с руски произход и е включена в единния регистър на руската радиоелектронна продукция. Системата се състои от два отделни контролера за съхранение (2U всеки), които са свързани помежду си чрез 1G или 10G Ethernet интерконект, както и със споделени дискови рафтове, използващи SAS връзка.

Разбира се, това не е толкова красиво, колкото формата „Клъстер в кутия“ (когато контролери и дискове с обща задна платка са инсталирани в едно 2U шаси), който обикновено използваме, но в близко бъдеще той също ще бъде наличен. Основното тук е, че работи добре, но ще помислим за „лъковете“ по-късно.

Под капака всеки контролер има еднопроцесорна дънна платка с четири RAM слота (DDR3 за 8C процесор). Освен това на борда на всеки контролер има 4 1G Ethernet порта (два от които се използват от софтуера AERODISK ENGINE като услуга) и три PCIe слота за Back-end (SAS) и Front-end (Ethernet или FibreChannel) адаптери.

Като зареждащи дискове използваме руски SATA SSD дискове от GS Nanotech, които многократно сме тествали и използвали в проекти.

Когато за първи път се запознахме с платформата, внимателно я разгледахме. Нямахме въпроси относно качеството на монтажа и запояването, всичко беше направено спретнато и надеждно.

Операционна система

Като операционна система се използва версията на OS Alt 8SP за сертифициране. В близко бъдеще планираме да създадем сменяемо и постоянно актуализирано хранилище за Alt OS със софтуер за съхранение Aerodisk.

Тази версия на дистрибуцията е изградена върху текущата стабилна версия на ядрото. Linux 4.9 за E2K (клонът за дългосрочна поддръжка, портиран от специалисти на MCST), допълнен с функционални и защитни корекции. Всички пакети на Alt OS са изградени директно на устройства Elbrus, използвайки оригиналната система за транзакционно изграждане на проекта ALT. Linux Екип, което ни позволи да намалим разходите за труд за самия трансфер и да се съсредоточим повече върху качеството на продукта.

Всяко издание на Alt OS за Elbrus може да бъде значително разширено по отношение на функционалността, като се използва наличното за него хранилище (от около 6 хиляди изходни пакета за осмата версия до около 12 за деветата).

Изборът беше направен и защото Basalt SPO, разработчикът на Alt OS, работи активно с други разработчици на софтуер и устройства на различни платформи, осигурявайки безпроблемно взаимодействие в рамките на хардуерни и софтуерни системи.

Системи за съхранение на софтуер

При пренасянето веднага се отказахме от идеята да използваме x2 емулация, поддържана в E86K, и започнахме да работим директно с процесори (за щастие, Alt вече има необходимите инструменти за това).

Наред с други неща, естественият режим на изпълнение осигурява по-добра сигурност (същите три хардуерни стека вместо един) и повишена производителност (няма нужда да се разпределят едно или две ядра от осем, за да работи двоичният преводач, а компилаторът прави това работа по-добра от JIT).

Всъщност изпълнението на E2K на AERODISK ENGINE поддържа повечето от съществуващите функционалности за съхранение, намерени в x86. Текущата версия на AERODISK ENGINE (A-CORE версия 2.30) се използва като софтуер на системата за съхранение

Без никакви проблеми на E2K, следните функции бяха въведени и тествани за използване в продукта:

• Толерантност към грешки за до два контролера и многопътен I/O (mpio)
• Блокиране и достъп до файлове с тънки томове (RDG, DDP пулове; FC, iSCSI, NFS, SMB протоколи, включително интеграция на Active Directory)
• Различни RAID нива до троен паритет (включително възможност за използване на RAID конструктора)
• Хибридно съхранение (комбиниране на SSD и HDD в рамките на един и същ пул, т.е. кеш и подреждане)
• Опции за спестяване на място с дедупликация и компресия
• ROW снимки, клонинги и различни опции за репликация
• И други малки, но полезни функции като QoS, глобален hotspare, VLAN, BOND и др.

Всъщност на E2K успяхме да получим цялата си функционалност, с изключение на мултиконтролери (повече от два) и многонишков I / O планировчик, което ни позволява да увеличим производителността на всички флаш пулове с 20-30% .

Но ние, разбира се, ще добавим и тези полезни функции, въпрос на време.

Малко за изпълнението

След успешно преминаване на тестовете на основната функционалност на системата за съхранение, ние, разбира се, започнахме да извършваме тестове за натоварване.

Например, на система за съхранение с два контролера (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), в която кешът на RAM беше деактивиран, създадохме два DDP пула с основно ниво RAID-10 и два 500G LUN-а и свързахме тези LUN-ове чрез iSCSI (10G Ethernet) към Linux-към хоста. И извършихме един от основните едночасови тестове върху малки блокове с последователно зареждане, използвайки програмата FIO.

Първите резултати бяха доста положителни.

Натоварването на процесорите беше средно на ниво 60%, т.е. това е базовото ниво, на което съхранението може да работи безопасно.

Да, това далеч не е високо натоварване и това очевидно не е достатъчно за високопроизводителни СУБД, но, както показва нашата практика, тези характеристики са достатъчни за 80% от общите задачи, за които се използват системи за съхранение.

Малко по-късно планираме да се върнем с подробен доклад за тестовете за натоварване на Elbrus като платформа за съхранение.

Светло бъдеще

Както писахме по-горе, масовото производство на Elbrus 8C всъщност започна съвсем наскоро - в началото на 2019 г. и до декември вече бяха пуснати около 4000 процесора. За сравнение, само 4 процесора от предишното поколение Elbrus 5000C са произведени за целия период на тяхното производство, така че има напредък.

Ясно е, че това е капка в морето, дори и за руския пазар, но пътят ще бъде овладян от ходещия.
Пускането на няколко десетки хиляди процесори Elbrus 2020C е планирано за 8 г. и това вече е сериозна цифра. В допълнение, през 2020 г. процесорът Elbrus-8SV трябва да бъде доведен от екипа на MCST до масово производство.

Подобни производствени планове са заявка за много значителен дял от целия пазар на местни сървърни процесори.

В резултат на това тук и сега имаме добър и модерен руски процесор с ясна и според нас правилна стратегия за развитие, на базата на която има най-сигурната и сертифицирана руска система за съхранение на данни (и в бъдеще, система за виртуализация на Elbrus-16C). Руската система е доколкото сега е физически възможна в съвременни условия.

Често виждаме в новините поредните епични провали на компании, които гордо се наричат ​​руски производители, но всъщност се занимават с повторно залепване на етикети, без да добавят никаква собствена стойност към продуктите на чужд производител, с изключение на тяхната надценка. Такива компании, за съжаление, хвърлят сянка върху всички истински руски разработчици и производители.

С тази статия искаме ясно да покажем, че у нас е имало, има и ще има компании, които реално и ефективно правят модерни сложни ИТ системи и активно се развиват, а импортозаместването в ИТ не е ругатня, а реалност, в която ние всички живеем. Можете да не обичате тази реалност, можете да я критикувате или можете да работите и да я правите по-добра.

Разпадането на СССР навремето попречи на екипа от създатели на Elbrus да стане виден играч в света на процесорите и принуди екипа да търси финансиране за своите разработки в чужбина. Беше намерено, работата беше свършена и интелектуалната собственост беше спасена, за което искам да кажа огромно благодаря на тези хора!

Това е всичко за сега, моля, напишете вашите коментари, въпроси и, разбира се, критики. Винаги сме щастливи.

Също така, от името на цялата компания Aerodisk, искам да поздравя цялата руска ИТ общност за предстоящата Нова година и Коледа, пожелавам 100% ъптайм - и резервните копия да не бъдат полезни на никого през новата година))).

Използвани материали

Статия с общо описание на технологии, архитектури и личности:
https://www.ixbt.com/cpu/e2k-spec.html

Кратка история на компютрите под името "Елбрус":
https://topwar.ru/34409-istoriya-kompyuterov-elbrus.html

Обща статия за e2k архитектурата:
https://ru.wikipedia.org/wiki/%D0%AD%D0%BB%D1%8C%D0%B1%D1%80%D1%83%D1%81_2000

Статията е за 4-то поколение (Елбрус-8С) и 5-то поколение (Елбрус-8СВ, 2020):
https://ru.wikipedia.org/wiki/%D0%AD%D0%BB%D1%8C%D0%B1%D1%80%D1%83%D1%81-8%D0%A1

Спецификации на следващото 6-то поколение процесори (Elbrus-16SV, 2021):
https://ru.wikipedia.org/wiki/%D0%AD%D0%BB%D1%8C%D0%B1%D1%80%D1%83%D1%81-16%D0%A1

Официалното описание на архитектурата на Елбрус:
http://www.elbrus.ru/elbrus_arch

Плановете на разработчиците на хардуерно-софтуерната платформа "Елбрус" да създадат суперкомпютър с екзаскална производителност:
http://www.mcst.ru/files/5a9eb2/a10cd8/501810/000003/kim_a._k._perekatov_v._i._feldman_v._m._na_puti_k_rossiyskoy_ekzasisteme_plany_razrabotchikov.pdf

Руски Елбрус технологии за персонални компютри, сървъри и суперкомпютри:
http://www.mcst.ru/files/5472ef/770cd8/50ea05/000001/rossiyskietehnologiielbrus-it-edu9-201410l.pdf

Една стара статия от Борис Бабаян, но все още актуална:
http://www.mcst.ru/e2k_arch.shtml

Стара статия от Михаил Кузмински:
https://www.osp.ru/os/1999/05-06/179819

Презентация на MCST, обща информация:
https://yadi.sk/i/HDj7d31jTDlDgA

Информация за Alt OS за платформата Elbrus:
https://altlinux.org/эльбрус

https://sdelanounas.ru/blog/shigorin/

Източник: www.habr.com