Здравейте, читатели на Хабра. Искаме да споделим изключително приятна новина. Ние, най-накрая, доживяхме до реалното серийно производство на новото поколение руски процесори Елбрус 8С. Официално серийната продукция трябваше да започне още през 2016 година, но на практика масовото производство стартира едва през 2019 година и към момента са произведени вече около 4000 процесора.
Почти веднага след старта на серийното производство тези процесори се появиха и при нас в Аэродиске, за което искаме специално да благодарим на компания НОРСИ-ТРАНС, която любезно ни предостави своя хардуерна платформа Яхонт УВМ, поддържаща процесорите Елбрус 8С, за извършване на портироването на софтуерната част на СХД. Това е съвременна платформа, отговаряща на всички изисквания на МЦСТ. В момента платформата се използва от специализираните потребители и операторите на свързване за осигуряване на изпълнението на установените действия при провеждането на оперативно-издирвателни мероприятия.
Към момента портироването е успешно завършено и вече СХД AERODISK е налична с отечествени процесори Елбрус.
В тази статия ще разкажем за самите процесори, за тяхната история, архитектура и, разбира се, за нашата реализация на СХД на Елбрус.
История
Историята на процесорите Елбрус започва по времето на Съветския съюз. През 1973 година в Института по прецизна механика и изчислителна техника на името на С.А. Лебедев (името на самия Сергей Лебедев, който по-рано е ръководил разработката на първия съветски компютър МЭСМ, а по-късно и БЭСМ) стартира разработката на многопроцесорни изчислителни комплекси с името „Елбрус“. Разработката е ръководена от Всеволод Сергеевич Бурцев, а активно участие в разработката е взел и Борис Арташесович Бабаян, който е бил един от заместниците на главния конструктор.
Всеволод Сергеевич Бурцев
Борис Арташесович Бабаян
Главният поръчител на проекта беше, разбира се, въоръжените сили на СССР, и тази серия компютри в крайна сметка успешно се използваше при създаването на командни изчислителни центрове и стрълецки комплекси на системите за противоракетна отбрана, а също и в други системи с специално назначение.
Първият компютър «Елбрус» е завършен през 1978 година. Той притежава модулна архитектура и може да включва от 1 до 10 процесора на база схеми със средна интеграция. Скоростта на работа на тази машина достига 15 милиона операции в секунда. Обемът на оперативната памет, която е обща за всички 10 процесора, е равен на 2 на 20-та степен машинни думи или 64 Мб.
По-късно се установи, че много от технологиите, използвани при разработката на «Елбрус», по същото време се изследват в света и са били обект на внимание от компанията International Business Machines (IBM), но работата по тези проекти, за разлика от работата по «Елбрус», никога не е била завършена и не е дала окончателен продукт.
Според Всеволод Бурцев, съветските инженери се опитвали да прилагат най-съвременния опит както на местни, така и на чуждестранни разработчици. На архитектурата на компютрите «Елбрус» са повлияли също компютрите на компанията Burroughs, разработки на Hewlett-Packard, както и опитът на разработчиците на БЭСМ-6.
Но много от разработките били оригинални. Най-интересното в «Елбрус-1» беше именно неговата архитектура.
Създаденият суперкомпютър стана първият в СССР компютър, който прилага суперскалярна архитектура. Масовото приложение на суперскалярни процесори в чужбина започна едва през 90-те години на миналия век с появата на пазара на достъпни процесори Intel Pentium.
Освен това, за организиране на предаването на потоци данни между периферните устройства и оперативната памет в компютъра можеха да се използват специални процесори за въвеждане-извеждане. Такива процесори в системата можеха да бъдат до четири и работеха паралелно с главния процесор, като разполагали със собствена отделна памет.
Елбрус-2
През 1985 година «Елбрус» получи своето логическо продължение, създаден и пуснат в серийно производство компютърът «Елбрус-2». По архитектура той почти не се различаваше от своя предшественик, но прилага нова елементна база, което позволи почти десетократно увеличение на общата производителност – от 15 млн. операции в секунда до 125 млн. Обемът на оперативната памет на компютъра се увеличи до 16 млн. 72-битови думи или 144 МБ. Максималната пропускателна способност на каналите за въвеждане-извеждане на «Елбрус-2» е 120 МБ/с.
«Елбрус-2» активно се използваше в ядрените изследователски центрове в Челябинск-70 и в Арзамас-16 в ЦУП, в системата ПРО А-135, както и на други военни обекти.
Създаването на «Елбрус» бе оценено по достойнство от ръководството на Съветския съюз. Много инженери бяха наградени с ордени и медали. Главният конструктор Всеволод Бурцев и редица други специалисти получиха държавни награди. А Борис Бабаян бе удостоен с Ордена на Октомврийската революция.
Тези награди са повече от заслужени, Борис Бабаян по-късно каза:
«През 1978 година създадохме първата суперскаларна машина, Елбрус-1. Сега на Запад правят суперскалари само с такава архитектура. Първият суперскалар на Запад се появи през 1992 година, нашият – през 1978. И то вариантът на суперскалара, който ние направихме, е аналогичен на Pentium Pro, който Intel направи през 1995 година».
Тези думи за историческото първенство потвърдиха и в САЩ, Кид Дифендорф, разработчик на Motorola 88110, един от първите западни суперскаларни процесори, пишеше:
«През 1978 година, почти 15 години преди да се появят първите западни суперскаларни процесори, в Елбрус-1 се използваше процесор, който извеждаше две команди на един такт, с пренареждане на изпълнението на командите, пренареждане на регистрите и изпълнение по предположение».
Елбрус-3
Беше 1986 година и почти веднага след завършването на работата по втория «Елбрус» в ИТМиВТ започна разработката на новата система «Елбрус-3», използвайки принципно нова архитектура на процесора. Този подход Борис Бабаян нарече «постсуперскаларен». Именно тази архитектура, наречена по-късно VLIW/EPIC, впоследствие (в средата на 90-те години) стана стандарт за процесорите Intel Itanium (а в СССР тези разработки започнаха през 1986 и завършиха през 1991).
В този изчислителен комплекс за първи път бяха реализирани идеите за явното управление на паралелизма на операциите чрез компилатор.
През 1991 година беше издаден първият и, за съжаление, единствен компютър «Елбрус-3», който не успяха да настроят до края, а след разпада на Съветския съюз стана ненужен, и разработки и планове останаха само на хартия.
Предпосилките за новата архитектура
Колективът, който работи в ИТМиВТ по създаването на съветски суперкомпютри, не се разпадна, а продължи работа като отделна компания под името МЦСТ (Москва Център за СПАРК технологии). И в началото на 90-те години стартира активно сътрудничество между МЦСТ и Sun Microsystems, където екипът на МЦСТ участва в разработването на микропроцесора UltraSPARC.
Точно в този период възниква проектът за архитектура E2K, който първоначално е финансиран от компанията Sun. По-късно проектът стана напълно независим и всяка интелектуална собственост върху него остана у екипа на МЦСТ.
„Ако продължавахме да работим с Sun в тази област, всичко щеше да принадлежи на Sun. Въпреки че 90% от работата беше свършена още преди появата на Sun“. (Борис Бабаян)
Архитектура E2K
Когато обсъждаме архитектурата на процесорите „Елбрус“, много често от нашите колеги в ИТ индустрията чуваме следните изказвания:
„Елбрус е RISC архитектура“
„Елбрус е EPIC архитектура“
„Елбрус е SPARC архитектура“
Всъщност, нито едно от тези изказвания не е напълно вярно, а ако е, то едва ли е изцяло точно.
Архитектура E2K е отделна оригинална архитектура на процесора, основните качества на E2K са енергоефективност и отлична мащабируемост, постигнати чрез задаване на явен паралелизъм на операциите. Архитектура E2K е разработена от екипа на МЦСТ и основата й включва постсуперскалярна архитектура (подобна на EPIC) с известно влияние от архитектурата SPARC (с RISC минало). При това, в създаването на три от четирите основни архитектури (Суперскалярни, постсуперскалярни и SPARC) МЦСТ е имал пряко участие. Светът наистина е тесен.
За да избегнем бъдеща объркване, нарисувахме проста схема, която, макар и опростена, много ясно показва корените на архитектура E2K.
Сега още малко за името на архитектурата, относно което също има недоразумение.
В различни източници може да срещнете следните наименования за тази архитектура: «E2K», «Елбрус», «Елбрус 2000», ELBRUS («ExpLicit Basic Resources Utilization Scheduling», т.е. явно планиране на използването на основни ресурси). Всички тези наименования говорят за едно и също – за архитектурата, но в официалната техническа документация, както и на техническите форуми, за обозначаване на архитектурата се използва наименованието E2K, затова по-нататък, когато говорим за процесорна архитектура, ще използваме термина «E2K», а ако става въпрос за конкретен процесор, ще използваме името «Елбрус».
Технически характеристики на архитектурата E2K
В традиционните архитектури тип RISC или CISC (x86, PowerPC, SPARC, MIPS, ARM) на входа на процесора постъпва поток от инструкции, предназначени за последователно изпълнение. Процесорът може да открива независими операции и да ги стартира паралелно (суперскалярност) и дори да променя тяхната последователност (извънредно изпълнение). Въпреки това, динамичният анализ на зависимостите и поддръжката на извънредно изпълнение имат свои ограничения по отношение на броя на стартиране и анализ на команди за един такт. Освен това, съответните блокове в процесора консумират значително количество енергия и сложната им реализация понякога води до проблеми с стабилността или сигурността.
В архитектурата E2K основната задача по анализ на зависимостите и оптимизация на реда на операциите поема компилаторът. На процесора на входа постъпват т.н. широки команди, в които са закодирани инструкции за всички изпълнителни устройства на процесора, които трябва да бъдат стартирани в този такт. Процесорът не е длъжен да анализира зависимостите между операндите или да разместват операциите между широките команди: всичко това прави компилаторът, базирайки се на анализа на изходния код и планирането на ресурсите на процесора. В резултат на това хардуерната част на процесора може да бъде по-проста и икономична.
Компилаторът е способен да анализира изходния код много по-внимателно, отколкото хардуерът на RISC/CISC процесора, и да открива повече независими операции. Затова в архитектурата E2K има повече паралелно работещи изпълнителни устройства, отколкото в традиционните архитектури.
Текущи възможности на архитектурата E2K:
- 6 канала на аритметично-логически устройства (АЛУ), които работят паралелно.
- Регистров файл от 256 84-битови регистри.
- Хардуерна поддръжка на цикли, включително с конвейерна работа. Увеличава ефективността на използването на ресурсите на процесора.
- Програмируемо асинхронно устройство за предварително зареждане на данни с отделни канали за четене. Позволява скриване на закъсненията от достъпа до паметта и пълноценно използване на АЛУ.
- Поддръжка на спекулативни изчисления и еднобитни предикати. Позволява намаляване на броя на преходите и паралелно изпълнение на няколко клонове на програмата.
- Широка команда, способна при максимално запълване да задава до 23 операции в един такт (над 33 операции при опаковане на операнди в векторни команди).
Емулатор х86
Още в етапа на проектиране на архитектурата разработчиците осъзнаваха важността на поддръжката на софтуер, написан за архитектура Intel х86. За това бе реализирана система за динамична (т.е. по време на изпълнение на програмата, или „на лето”) транслация на двоични кодове х86 в кодове на процесора архитектура E2K. Тази система може да работи както в режим на приложение (по подобие на WINE), така и в режим, подобен на хипервизор (в този случай е възможно да се стартира целия гостуващ ОС за архитектура х86).
Благодарение на няколко нива на оптимизация, успяваме да постигнем висока скорост на работа на транспилирания код. Качеството на емулацията на архитектура х86 се потвърдена от успешното стартиране на изчислителни комплекси „Елбрус“ на повече от 20 операционни системи (включително няколко версии на Windows) и стотици приложения.
Защитен режим за изпълнение на програми
Една от най-интересните идеи, наследени от архитектурите Ельбрус-1 и Ельбрус-2, е така нареченото защитено изпълнение на програмите. Неговата същност се състои в гарантиране на работата на програмата само с инициализирани данни, проверка на всички обаждания в паметта за принадлежност към допустим диапазон от адреси и осигуряване на междумодулна защита (например, защита на извикващата програма от грешка в библиотеката). Всички тези проверки се извършват хардуерно. За защитен режим съществува пълен компилатор и библиотека за runtime поддръжка. При това е важно да се разбере, че наложените ограничения водят до невъзможността за организиране на изпълнението на, например, написан код на C++.
Дори в обикновения, "незащитен" режим на работа на процесорите Ельбрус съществуват особености, които увеличават надеждността на системата. Така че стекът на свързващата информация (веригата от адреси на възвръщане при процедурни извиквания) е отделен от стека на потребителски данни и не е достъпен за атаки, използвани в вируси, като подмяна на адреса на възвръщане.
Създадените през годините разработки позволяват не само да настигнат и в бъдеще да надминат конкурентни архитектури по отношение на производителност и мащабируемост, но и да осигурят защита от грешки, от които страдат x86/amd64. Уязвимости като Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) и подобни.
Съвременната защита от откритите уязвимости в архитектурата х86/amd64 се основава на пачове на ниво операционни системи. Именно затова спадът в производителността на текущите и предишните поколения процесори от тези архитектури е толкова забележим и варира от 30% до 80%. Ние като активни потребители на x86 процесори знаем за това, страдаме и продължаваме да "яме кактус", а наличието на решение на тези проблеми в корена е неоспоримо благо за нас (и в крайна сметка за нашите клиенти), особено ако решението е руско.
Технически характеристики
По-долу са представени официалните технически характеристики на процесорите Ельбрус от предишното (4С), актуалното (8С), новото (8СВ) и бъдещото (16С) поколение в сравнение с аналогични процесори Intel x86.
Дори бързият поглед към тази таблица показва (и това радва), че технологичното изоставане на нашите процесори, което преди 10 години изглеждаше непреодолимо, сега изглежда съвсем малко, а през 2021 година с пускането на „Елбрус-16С“ (който освен всичко друго, ще поддържа виртуализация) ще се сведе до минимални разстояния.
СХД AERODISK на процесорите Елбрус 8С
От теория преминаваме към практика. В рамките на стратегически алианс между компаниите МЦСТ, Аеродиск, Базальт СПО (преди Алт Линукс) и НОРСИ-ТРАНС беше разработена и подготвена за експлоатация система за съхранение на данни, която в момента по параметри на сигурността, функционалността, цената и производителността е, ако не най-доброто, то, на нашето мнение, безспорно достоен вариант, който може да осигури необходимото ниво на технологична независимост на нашата Родина.
Сега детайлите…
Хардуерната част
Хардуерната част на СХД е реализирана на базата на универсалната платформа Яхонт УВМ на компания НОРСИ-ТРАНС. Платформата Яхонт УВМ е получила статус на телекомуникационно оборудване от руско произход и е включена в единния регистър на руската радиоелектронна продукция. Системата се състои от два отделни контролера на СХД (по 2U всеки), които са свързани помежду си чрез интерконект 1G или 10G Ethernet, както и с общи дискови шкафове, използващи SAS-свързване.
Разбира се, не е толкова красиво, колкото форматът „Cluster in a box“ (когато контролерите и дисковете с общ бэкплейн са инсталирани в едно шаси 2U), който използваме обикновено, но съвсем скоро ще бъде наличен и той. Тук основното е да работи добре, а за „панделките“ ще помислим по-късно.
Под капака всеки контролер има еднопроцесорна материнска платка с четири слота за оперативна памет (DDR3 за процесора 8С). Освен това всеки контролер разполага с 4 порта 1G Ethernet (два от които се използват от софтуера AERODISK ENGINE като служебни) и три PCIe слота за Back-end (SAS) и Front-end (Ethernet или FibreChannel) адаптери.
Като стартиращи дискове се използват руски SATA SSD дискове на компания GS Nanotech, които многократно сме тествали и използвали в проекти.
При първото запознаване с платформата я разгледахме внимателно. Нямаме въпроси относно качеството на сглобяване и запояване, всичко е направено акуратно и надеждно.
Операционна система
Като ОС се използва версия на ОС Алт 8СП за сертификация. Скоро планираме създаването на свързващ и постоянно обновяван репозиторий за ОС Алт с ПО СХД Аеродиск.
Тази версия на дистрибутива е изграждана на настоящата стабилна версия на ядрото Linux 4.9 за Е2К (клон с дългосрочна поддръжка, пренесен от специалистите на МЦСТ), допълнена с пачове за функционалност и сигурност. Всички пакети в ОС Алт са събрани непосредствено на "Елбрусите" с използване на оригиналната транзакционна система на проекта ALT Linux Team, което е позволило да се намалят разходите за преноса и да се обърне повече внимание на качеството на продукта.
Всеки нов релийз на ОС Алт за Елбрус може значително да бъде разширен по отношение на функционалността, използвайки наличния за него репозиторий (от около 6 хиляди изходни пакета за осмата версия до около 12 – за деветата).
Изборът беше направен също така, защото компанията Базалт СПО, разработчик на ОС Алт – активно работи с други разработчици на ПО и устройства на различни платформи, осигурявайки безпроблемна интеграция в рамките на хардуерно-софтуерни комплекси.
ПО Системи за съхранение на данни
При портинга веднага се отказахме от идеята да използваме поддържаната в E2K емулация на x86, а започнахме да работим директно с процесорите (благо Алт вече има необходимите средства за това).
Среди другите неща, нативният режим на изпълнение предлага по-добра сигурност (тези три хардуерни стека вместо един) и повишена производителност (няма нужда да се отделят едно-две ядра от осем за работа на бинарен транслатор, а компилаторът върши работата си по-добре от JIT).
Фактически в реализирането на AERODISK ENGINE на Е2К се поддържа голяма част от съществуващата функционалност на СХД, която има на x86. Като ПО за системата за съхранение се използва актуалната към този момент версия на AERODISK ENGINE (A-CORE версия 2.30)
Без особени проблеми на Е2К бяха заведения и тествани за използване в продуктивна среда следните функции:
- Отказоустойчивост до два контролера и многопътен вход-изход (mpio)
- Блочен и файлов достъп с тънки томове (пулове RDG, DDP; протоколи FC, iSCSI, NFS, SMB, включително интеграция с Active Directory)
- Различни нива на RAID до тройна надеждност (включително възможност за използване на RAID конструктор)
- Хибридно хранилище (съчетание на SSD и HDD в рамките на един пул, т.е. кеш и тиринг)
- Опции за икономия на пространство чрез дедупликация и компресия
- ROW-снапшоти, клонове и различни опции за репликация
- И други малки, но полезни функции, като QoS, глобален hotspare, VLAN, BOND и т.н.
На E2K успяхме да внедрим всичките си функции, с изключение на многоконтролерност (повече от два) и планировчик на многопоточни входно-изходни операции, който позволява увеличаване на производителността на all-flash пулове с 20-30%.
Но тези полезни функции, естествено, също ще добавим, въпрос на време.
Няколко думи за производителността
След успешното провеждане на тестовете на базовата функционалност на СХД, ние естествено започнахме да извършваме натоварващи тестове.
Например, на дву контролерна СХД (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), в която беше изключен RAM кеш, създадохме два DDP пула с основно ниво RAID-10 и два LUN по 500G и свързахме тези LUN-ове по iSCSI (10G Ethernet) към Linux хост. И извършихме един от основните часови тестове на малки блокове последователно натоварване с помощта на програмата FIO.
Първите резултати се оказаха доста положителни.
Натоварването на процесорите в средно ниво беше около 60%, т.е. това е базово ниво, на което СХД може спокойно да функционира.
Да, това не е близо до highload и недостатъчно за високо производителни СУБД за какого да е биллинг, но как показва нашият опит, тези характеристики са достатъчни за 80% от общите задачи, за които се използват СХД.
По-късно планираме да се върнем с подробен отчет за натоварващите тестове на Елбрус като платформа за СХД.
Светло бъдеще
Както споменахме по-горе, масовото производство на ЕЛБРУС 8С всъщност стартира съвсем наскоро – в началото на 2019 година и до декември вече бяха произведени около 4000 процесора. За сравнение, процесорите от предишното поколение Елбрус 4С през целия период на производството им бяха произведени само 5000, така че напредъкът е налице.
Ясно е, че това е капка в морето, дори за руския пазар, но пътят се осилва от идущия.
През 2020 г. е планирано издаването на няколко десетки хиляди процесора Елбрус 8С, което вече е сериозна цифра. Освен това, през 2020 г. процесорът Елбрус-8СВ трябва да бъде доведен от екипа на МЦСТ до серийно производство.
Тези производствени планове са заявка за много значителен дял от целия вътрешен пазар на сървърни процесори.
В резултат на това вече тук и сега имаме страхотен и модерен руски процесор с ясна и, по наше мнение, правилна стратегия за развитие, на базата на който съществува максимално защитена и сертифицирана система за съхранение на данни с руско производство (а в бъдеще и система за виртуализация на Елбрус-16С). Системата е руска, колкото е физически възможно в съвременните условия.
Често наблюдаваме в новините поредните епични провали на компании, които гордо се наричат руски производители, но всъщност се занимават с преопаковане на етикети, без да добавят никаква собствена стойност към продукцията на чуждестранния производител, освен собствената си надценка. За съжаление, такива компании хвърлят сянка върху всички истински руски разработчици и производители.
С тази статия искаме да покажем нагледно, че в нашата страна са имали, имат и ще имат компании, които действително и качествено произвеждат съвременни сложни ИТ системи и активно се развиват, а импортозамяната в ИТ не е профанация, а реалност, в която всички ние живеем. Тази реалност може да не се обича, да се критикува, но може и да се работи, за да я направим по-добра.
Разпадането на СССР в свое време попречи на екипа създатели на Елбрус да стане видим играч в света на процесорите и принуди екипа да търси финансиране за разработките си в чужбина. То бе намерено, работата бе свършена, а интелектуалната собственост бе запазена, за което искаме да кажем на тези хора огромно благодаря!
Дотук сега, моля, напишете вашите коментари, въпроси и, разбира се, критика. Винаги сме рады.
Също от името на цялата компания Аеродиск искам да поздравя всички руско ИТ общество с настъпващата Нова година и Рождество, да пожелая 100% аптайм – и да не се налага на никого да се нуждае от бекъпи през новата година))).
Използвани материали
Статия с общо описание на технологии, архитектури и личности:
Кратка история на компютрите с името „Елбрус“:
Обща статия за архитектурата e2k:
Статия за 4-то поколение (Елбрус-8С) и 5-то поколение (Елбрус-8СВ, 2020 година):
Спецификации на следващото 6-то поколение процесори (Елбрус-16СВ, 2021 година):
Официален опис на архитектурата Елбрус:
Плановете на разработчиците на апаратно-програмната платформа „Елбрус“ за създаване на суперкомпютър с екзафлопсна производителност:
Руски технологии „Елбрус“ за персонални компютри, сървъри и суперкомпютри:
Стара статия на Борис Бабаян, но все още актуална:
Стара статия на Михаил Кузмински:
Презентация на МЦСТ, обща информация:
Информация за ОС Алт за платформата Елбрус:
Източник: habr.com
