Здравейте, читатели на Хабра. Искаме да споделим изключително приятна новина. Ние, най-накрая, доживяхме до реалното серийно производство на новото поколение руски процесори Елбрус 8С. Официално серийното производство трябваше да стартира още през 2016 година, но по факта, именно масовото производство започна едва през 2019 година и към момента вече са произведени около 4000 процесора.
Почти веднага след старта на серийното производство, тези процесори се появиха и при нас в Аеродиска, за което искаме специално да благодарим на компания НОРСИ-ТРАНС, която любезно ни предостави своя хардуерна платформа Яхонтов УВМ, поддържаща процесори Елбрус 8С, за извършване на портирование на софтуерната част на СХД. Това е съвременна, отговаряща на всички изисквания на МЦСТ универсална платформа. В момента платформата се използва от специализирани потребители и оператори на свързани услуги за осигуряване на изпълнението на установените действия при провеждането на оперативно-издирвателни мероприятия.
Към момента портироването е успешно завършено и вече сега СХД AERODISK е достъпна в вариант с родни процесори Елбрус.
В тази статия ще разкажем за самите процесори, за тяхната история, архитектура и, разбира се, за нашата реализация на СХД на Елбрус.
История
Историята на процесорите Елбрус започва през времето на Съветския съюз. През 1973 година в Института по точна механика и изчислителна техника „С.А. Лебедев“ (името на същия Сергей Лебедев, който по-рано ръководил разработката на първия съветски компютър МЭСМ, а по-късно БЭСМ) стартира разработката на многопроцесорни изчислителни комплекси под името „Елбрус“. Ръководил разработката Всеволод Сергеевич Бурцев, а активно участие в разработката е взел и Борис Арташесович Бабаян, който е бил един от заместниците на главния конструктор.
Всеволод Сергеевич Бурцев
Борис Арташесович Бабаян
Главният поръчител на проекта са били, разбира се, въоръжените сили на СССР, а тази серия компютри в крайна сметка успешно се използва при създаването на командни изчислителни центрове и системи за стрелба на системи за противоракетна отбрана, както и други системи от специално назначение.
Първият компютър "Елбрус" беше завършен през 1978 година. Той имаше модулна архитектура и можеше да включва от 1 до 10 процесора на базата на схеми с средна интеграция. Скоростта на тази машина достигаше 15 милиона операции в секунда. Обемът на оперативната памет, която беше обща за всичките 10 процесора, беше до 2 на 20-та степен машинни думи или 64 Мб.
По-късно стана ясно, че много от технологиите, използвани при разработката на "Елбрус", по същото време се изследваха по света от компанията International Business Machines (IBM), но работата по тези проекти, за разлика от работата по "Елбрус", не беше завършена и не доведе до създаването на завършен продукт.
Според Всеволод Бурцев, съветските инженери се стремели да прилагат най-напредничавия опит както от отечествени, така и от чуждестранни разработчици. Архитектурата на компютрите "Елбрус" също така е повлияна от компютрите на компания Burroughs, разработки на Hewlett-Packard, както и опитите на разработчиците на БЕСМ-6.
Но в същото време многобройните разработки са оригинални. Най-интересното в "Елбрус-1" бе именно архитектурата му.
Създаденият суперкомпютър стана първият в СССР, който прилагаше суперскаларна архитектура. Масовото приложение на суперскаларни процесори в чужбина започна едва през 90-те години на миналия век с появата на достъпни процесори Intel Pentium на пазара.
Освен това, за организиране на предаване на потоци данни между периферни устройства и оперативна памет в компютъра можеха да се използват специални процесори за вход-изход. Такива процесори в системата можеха да бъдат до четири, те работеха успоредно с централния процесор и притежаваха собствена отделна памет.
Елбрус-2
През 1985 година "Елбрус" получи своето логично продължение, създаден и въведен в серийно производство бе компютърът "Елбрус-2". Архитектурата му не се различаваше много от предшественика си, но новата елементна база позволи почти десеткратно увеличаване на общата производителност – от 15 млн. операции в секунда до 125 млн. Обемът на оперативната памет на компютъра се увеличи до 16 млн. 72-битови думи или 144 МБ. Максималната пропускна способност на каналите за вход-изход на "Елбрус-2" беше 120 МБ/с.
«Елбрус-2» активно се използва в ядрени изследователски центрове в Челябинск-70 и в Арзамас-16 в ЦУП, в системата ПРО А-135, както и в други военни обекти.
Създаването на «Елбрус» беше високо оценено от ръководителите на Съветския съюз. Много инженери бяха наградени с ордени и медали. Генералният конструктор Всеволод Бурцев и редица други специалисти получиха държавни награди. А Борис Бабаян беше награден с Орден на Октомврийската революция.
Тези награди са напълно заслужени, Борис Бабаян по-късно спомена:
«През 1978 година направихме първата суперкалярна машина, Елбрус-1. Сега на Запад произвеждат суперкалярни машини само с такава архитектура. Първият суперкаляр на Запад се появи през 92-ра година, нашият беше през 78-ма. Всъщност, този вариант на суперкаляр, който направихме, е аналогичен на Pentium Pro, който Intel направи през 95-та година.»
Тези думи за историческото първенство потвърдиха и в САЩ, Кит Диферендорф, разработчик на Motorola 88110, един от първите западни суперкалярни процесори, пише:
«През 1978 година, почти 15 години преди да се появят първите западни суперкалярни процесори, в Елбрус-1 се използваше процесор, който издаваше две команди на такт, с пренареждане на изпълнението на командите, преименуване на регистри и предсказване при изпълнението.»
Елбрус-3
1986 година, и почти веднага след завършването на работата по втория «Елбрус», в ИТМиВТ започнаха разработката на новата система «Елбрус-3», използвайки принципно нова архитектурна структура на процесора. Този подход Борис Бабаян нарече «постсуперкалярен». Именно тази архитектура, наречена след това VLIW/EPIC, в бъдеще (в средата на 90-те години) започнаха да използват процесорите Intel Itanium (а в СССР тези разработки стартираха през 1986, а завършиха през 1991).
В този изчислителен комплекс за първи път бяха реализирани идеи за явно управление на паралелизма на операциите чрез компилатор.
През 1991 година беше пуснат първият и, за съжаление, единствен компютър «Елбрус-3», който не успяха да настройкат до край, а след разпадането на Съветския съюз той стана ненужен, и разработки и планове останаха само на хартия.
Предпосилките за новата архитектура
Колективът, който работеше в ИТМиВТ по създаването на съветски суперкомпютри, не се разпадна, а продължи работа като отделна компания под името МЦСТ (Москва Център за СПАРК-Технологии). И в началото на 90-те години започна активно сътрудничество на МЦСТ с Sun Microsystems, където колективът на МЦСТ участва в разработването на микропроцесора UltraSPARC.
Точно в този период възникна проектът за архитектурата E2K, който първоначално се финансираше от компанията Sun. По-късно проектът стана напълно независим и цялата интелектуална собственост върху него остана при колектива на МЦСТ.
«Ако бяхме продължили да работим с Sun в тази област, всичко щеше да принадлежи на Sun. Въпреки че 90% от работата беше свършена още преди появата на Sun». (Борис Бабаян)
Архитектура E2K
Когато обсъждаме архитектурата на процесорите «Елбрус», много често от нашите колеги от ИТ индустрията чуваме следните твърдения:
«Елбрус – това е RISC архитектура»
«Елбрус – това е EPIC архитектура»
«Елбрус – това е SPARC архитектура»
Наистина, нито едно от тези твърдения не е напълно вярно, а ако е, то само частично.
Архитектурата E2K е отделна оригинална архитектура на процесорите, основните качества на E2K са енергоефективност и отлично мащабиране, постигнати чрез задаване на явен паралелизъм на операциите. Архитектура E2K е разработена от колектива на МЦСТ и в основата й лежи постсуперскалярна архитектура (по подобие на EPIC) с известно влияние от архитектурата SPARC (с RISC минало). При това в създаването на трите от четирите основни архитектури (Суперскалярна, постсуперскалярна и SPARC) МЦСТ е имал пряко участие. Светът наистина е тесен.
За да избегнем объркване в бъдеще, нарисувахме проста схема, която, макар и опростена, много ясно показва корените на архитектурата E2K.
Сега още малко за името на архитектурата, относно което също има недоразумения.
В различни източници може да се срещнат следните наименования на тази архитектура: «E2K», «Елбрус», «Елбрус 2000», ELBRUS («ExpLicit Basic Resources Utilization Scheduling», т.е. явен график за използване на основните ресурси). Всички тези имена говорят за едно и също – за архитектурата, но в официалната техническа документация и на техническите форуми за обозначаване на архитектурата се използва наименованието E2K, затова в бъдеще, когато говорим за процесорна архитектура, ще използваме термина «E2K», а когато става дума за конкретен процесор, ще използваме названието «Елбрус».
Технически характеристики на архитектурата E2K
В традиционните архитектури тип RISC или CISC (x86, PowerPC, SPARC, MIPS, ARM) на входа на процесора постъпва поток от инструкции, които са предназначени за последователно изпълнение. Процесорът може да открива независими операции и да ги стартира паралелно (суперскалярност) и дори да променя реда им (извънредно изпълнение). Въпреки това динамичният анализ на зависимостите и поддръжката на извънредно изпълнение имат свои ограничения в количеството на стартиране и анализиране на команди за един такт. Освен това съответните блокове в процесора консумират значително количество енергия, и сложната им реализация понякога води до проблеми със стабилността или сигурността.
В архитектурата E2K основната работа по анализа на зависимостите и оптимизацията на реда на операциите поема компилаторът. На входа на процесора постъпват т.н. широки команди, в които са кодирани инструкции за всички изпълнителни устройства на процесора, които трябва да бъдат стартирани в този такт. От процесора не се изисква да анализира зависимостите между операндите или да пренарежда операциите между широките команди: всичко това прави компилаторът, на базата на анализа на изходния код и планирането на ресурсите на процесора. В резултат хардуерната част на процесора може да бъде по-проста и икономична.
Компилаторът е способен да анализира изходния код много по-внимателно, отколкото хардуерът на RISC/CISC процесора, и да намира повече независими операции. Затова в архитектурата E2K има повече паралелно работещи изпълнителни устройства, отколкото в традиционните архитектури.
Настоящи възможности на архитектурата E2K:
- 6 канала на аритметично-логически устройства (АЛУ), работещи паралелно.
- Регистров файл от 256 84-битови регистра.
- Хардуерна поддръжка на цикли, включително с пейплайнване. Увеличава ефективността на използване на ресурсите на процесора.
- Програмируемо асинхронно устройство за предварително подкачване на данни с отделни канали за четене. Позволява да се скрият забавянията при достъпа до паметта и да се използва по-пълноценно АЛУ.
- Поддръжка на спекулативни изчисления и еднобитови предикати. Позволява да се намали броят на преминаванията и паралелно да се изпълняват няколко клона на програмата.
- Широка команда, способна при максимално запълване да зададе в един такт до 23 операции (повече от 33 операции при опаковане на операндите в векторни команди).
Емуляция x86
Още на етапа на проектиране на архитектурата разработчиците осъзнаха важността на поддръжката на софтуер, написан за архитектурата Intel x86. За целта бе реализирана система за динамично (т.е. по време на изпълнение на програмата, или «на лето») преобразуване на бинарни кодове x86 в кодове на процесора на архитектурата E2K. Тази система може да работи както в режим на приложение (по подобие на WINE), така и в режим, подобен на хипервизор (тогава е възможно да се стартира цяла гост-ОС за архитектурата x86).
Благодарение на няколко нива на оптимизация се постига висока скорост на работа на трансформирания код. Качеството на емулатора на архитектура x86 се потвърджава от успешното стартиране на компютърни комплекси 'Елбрус' на повече от 20 операционни системи (включително няколко версии на Windows) и стотици приложения.
Защитен режим на изпълнение на програми
Една от най-интересните идеи, наследени от архитектурите Елбрус-1 и Елбрус-2, е т.нар. защитено изпълнение на програми. Същността му е да гарантира работата на програмата само с инициализирани данни, да проверява всички запитвания към паметта за принадлежност към допустимия диапазон от адреси, да осигурява междудоменно защита (например, да защитава извикващата програма от грешки в библиотеката). Всички тези проверки се извършват апаратно. За защитения режим има пълен компилатор и библиотека за runtime поддръжка. Важно е да се разбере, че наложените ограничения водят до невъзможност за организиране на изпълнението на код, написан например на C++.
Дори в обикновения, "незащитен" режим на работа на процесорите "Елбрус", съществуват особености, които повишават надеждността на системата. Така, стекът на свързващата информация (верига от адреси за връщане при процедурални извиквания) е отделен от стека на потребителските данни и е недостъпен за атаки, използвани от вируси, като подмяна на адреса за връщане.
Създадените през годините разработки позволяват не само да наваксат, но и в бъдеще да надминат конкуриращите архитектури по отношение на производителност и мащабируемост, но също така и да осигурят защита от грешки, от които страдат x86/amd64. Закладки като Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) и подобни.
Съвременната защита срещу откритите уязвимости в архитектурата x86/amd64 е основана на пачовете на ниво операционни системи. Именно затова спадането на производителността на текущите и предишните поколения процесори от тези архитектури е толкова забележимо и варира от 30% до 80%. Ние, като активни потребители на x86 процесори, знаем за това, страдаме и продължаваме "да ядем кактус", но наличието на решение на тези проблеми е безспорно благоприятно за нас (и в крайна сметка за нашите клиенти), особено ако решението е руско.
Технически характеристики
По-долу са представени официалните технически характеристики на процесорите "Елбрус" от миналото (4С), настоящото (8С), новото (8СВ) и бъдещото (16С) поколение в сравнение с аналогични процесори на Intel x86.
Дори един поглед на тази таблица показва (и това е много радостно), че технологичното изоставане на местните процесори, което преди 10 години изглеждаше непреодолимо, сега изглежда съвсем малко, а през 2021 година с пускането на "Елбрус-16С" (който, наред с другото, ще поддържа виртуализация) ще се сведе до минимални разстояния.
СХД AERODISK на процесори Елбрус 8С
От теорията преминаваме към практиката. В рамките на стратегическия алианс на компаниите МЦСТ, Аеродиск, Базалт СПО (по-рано Алт Линукс) и НОРСИ-ТРАНС беше разработена и подготвена за експлоатация система за съхранение на данни, която в момента по параметри на безопасността, функционалността, цената и производителността е, ако не най-доброто, то, по наше мнение, безспорно достойно решение, което може да осигури необходимото ниво на технологична независимост на нашата Родина.
Сега подробности…
Хардуерна част
Хардуерната част на СХД е реализирана на базата на универсалната платформа Яхонта УВМ на компанията НОРСИ-ТРАНС. Платформата Яхонта УВМ получи статус на телекомуникационно оборудване с руски произход и е включена в единния регистър на руската радиоелектронна продукция. Системата представлява два отделни контролера СХД (по 2U всеки), които са свързани помежду си с интерконект 1G или 10G Ethernet, както и с общи дискови комплекти, използвайки SAS свързване.
Разбира се, това не е толкова красиво, колкото форматът "Cluster in a box" (когато контролерите и дисковете с общ бекплейн са инсталирани в едно шаси 2U), който обикновено използваме, но скоро той също ще бъде достъпен. Основното е да работи добре, а за "панделките" ще помислим по-късно.
Под капака всеки контролер има еднопроцесорна дънна платка с четири слота за оперативна памет (DDR3 за процесора 8С). Освен това на борда на всеки контролер има по 4 порта 1G Ethernet (двата от които се използват от ПО AERODISK ENGINE като служебни) и по три PCIe слота за Back-end (SAS) и Front-end (Ethernet или FibreChannel) адаптери.
Като стартиращи дискове се използват руски SATA SSD дискове от компанията GS Nanotech, които многократно сме тествали и използвали в проекти.
При първото запознаване с платформата, внимателно я прегледахме. Нямаме въпроси относно качеството на монтажа и запояването, всичко е направено старателно и надеждно.
Операционна система
Като операционна система се използва версията на ОС Алт 8СП за сертификация. В скоро време планираме създаване на включваща се и постоянно обновяваща се репозитория за ОС Алт с ПО СХД Аеродиск.
Тази версия на дистрибутива е изградена на текущата стабилна версия на ядро Linux 4.9 за Е2К (клон с дългосрочна поддръжка, портирван от специалисти на МЦСТ), допълнена с пачове за функционалност и сигурност. Всички пакети в ОС Алт са събрани непосредствено на „Елбрусите“ с използване на оригиналната транзакционна система за изграждане на проекта ALT Linux Team, което е позволило да се намалят трудозатратата при самия пренос и да се обърне повече внимание на качеството на продукта.
Всеки релиз на ОС Алт за Елбрус може значително да бъде разширен по отношение на функционалността, използвайки наличния за него репозитория (от около 6000 изходни пакета за осмата версия до около 12 за деветата).
Изборът беше направен и защото компанията Базалт СПО, разработчик на ОС Алт — активно работи с други разработчици на софтуер и устройства на различни платформи, осигурявайки безпроблемно взаимодействие в рамките на хардуерно-програмни комплекси.
ПО Системи за съхранение на данни
При портированието веднага се отказахме от идеята да използваме поддържаната в E2K емуляция x86 и започнахме да работим директно с процесорите (късмет е, че Алт вече разполага с необходимите за това средства).
Сред другото, нативният режим на изпълнение предлага по-добра сигурност (тези три хардуерни стека вместо един) и повишена производителност (няма нужда да се отделят едно-две ядра от осем за работа на бинарния транслационен инструмент, а компилаторът върши работата по-добре от JIT).
Всъщност в реализацията AERODISK ENGINE на E2K се поддържа голяма част от съществуващата функционалност на СХД, която е налична в x86. Като софтуер на системата за съхранение се използва актуалната в момента версия AERODISK ENGINE (A-CORE версия 2.30)
Без особени проблеми на E2K бяха внедрени и тествани за използване в продукция следните функции:
- Отказоустойчивост до два контролера и многопътен вход-изход (mpio)
- Блочен и файлов достъп с тънки томове (пули RDG, DDP; протоколи FC, iSCSI, NFS, SMB, включително интеграция с Active Directory)
- Различни нива на RAID до триплна паритетност (включително опция за използване на RAID конструктора)
- Хибридно съхранение (съчетание на SSD и HDD в рамките на един пул, т.е. кеш и тиринг)
- Варианти за икономия на пространство чрез дедупликация и компресия
- ROW-снапшотове, клони и различни варианти на репликация
- И други малки, но полезни функции, като QoS, global hotspare, VLAN, BOND и др.
В действителност на E2K успяхме да внедрим всичките ни функционалности, освен мултиконтролерността (повече от два) и планировчика за многопоточни операции, който позволява да увеличим производителността на all-flash пуловете с 20-30%.
Но тези полезни функции, естествено, ще добавим, въпрос на време.
Няколко думи за производителността
След успешното преминаване на тестовете на основната функционалност на СХД, разбира се, започнахме да извършваме натоварващи тестове.
Например, на двуконтролерна СХД (2xCPU E8C 1.3 GHz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), при която RAM кешът беше изключен, създадохме два DDP пула с основно ниво RAID-10 и две LUN с по 500G, свързвайки тези LUN по iSCSI (10G Ethernet) с Linux хост. И проведохме един от основните часови тестове на малки блокове последователно натоварване със софтуера FIO.
Първите резултати се оказаха доста позитивни.
Натоварването на процесорите средно беше на ниво 60%, т.е. това е базово ниво, на което СХД може спокойно да работи.
Да, това далеч не е highload и не е достатъчно за високопроизводителни СУБД за някакво биллинг, но, както показва нашата практика, тези характеристики са достатъчни за 80% от общите задачи, за които се използват СХД.
Няколко по-късно планираме да се върнем с подробен отчет за натоварващите тестове на Ельбрус като платформа за СХД.
Светло бъдеще
Както споменахме по-рано, масовото производство на Ельбрус 8С фактически стартира буквално наскоро - в началото на 2019 година и до декември вече бяха произведени около 4000 процесора. За сравнение, процесорите от предишното поколение Ельбрус 4С са произведени общо 5000 за целия период на производство, така че напредъкът е налице.
Ясно е, че това е капка в морето, дори за руския пазар, но пътят осилва идущият.
За 2020 година е планирано производство на няколко десетки хиляди процесора Елбрус 8С, което е сериозна цифра. Освен това през 2020 година, процесорът Елбрус-8СВ трябва да бъде доведен от екипа на МЦСТ до серийно производство.
Тези производствени планове представляват заявка за много значителен дял от целия отечествен пазар на сървърни процесори.
В резултат вече тук и сега имаме добър и съвременен руски процесор с ясна и, според нас, правилна стратегия за развитие, на базата на който има максимално защитена и сертифицирана система за съхранение на данни от руски произход (а в бъдеще и система за виртуализация на Елбрус-16С). Системата е руска толкова, колкото е физически възможно в съвременни условия.
Често наблюдаваме в новините поредните епични провали на компании, които гордо се наричат руски производители, а всъщност се занимават с прелепяне на етикети, без да добавят никаква собствена стойност към продукцията на чуждестранния производител освен собствената си надценка. Тези компании, за съжаление, хвърлят сянка върху всички реални руски разработчици и производители.
С тази статия искаме на нагледен начин да покажем, че в нашата страна е имало, има и ще има компании, които наистина и качествено произвеждат съвременни сложни ИТ системи и активно се развиват, а импортозамещаването в ИТ не е профанация, а реалност, в която всички ние живеем. Тази реалност може да не се харесва, може да се критикува, но може и да работим и да я направим по-добра.
Разпадът на СССР в свое време попречи на екипа, създал Елбрус, да стане забележим играч в света на процесорите и накара екипа да търси финансиране за своите разработки в чужбина. Финансовите средства бяха намерени, работата беше свършена, а интелектуалната собственост беше запазена, за което искрено благодарим на тези хора!
Засега това е всичко, моля пишете вашите коментари, въпроси и, разбира се, критики. Винаги сме на разположение.
Също така от името на цялата компания Аеродиск искам да поздравя цялото руско ИТ общество с настъпващата Нова година и Коледа, да пожелая 100% работно време – и за да не са необходими резервни копия през новата година))).
Използвани материали
Статия с общо описание на технологии, архитектури и личности:
Кратка история на компютрите с името „Елбрус“:
Обща статия за архитектурата e2k:
Статия за четвърто поколение (Елбрус-8С) и пето поколение (Елбрус-8СВ, 2020 година):
Спецификации на следващото шесто поколение процесори (Елбрус-16СВ, 2021 година):
Официално описание на архитектурата Елбрус:
Плановете на разработчиците на хардуерно-програмната платформа „Елбрус“ за създаване на суперкомпютър с екзафлопсна производителност:
Руски технологии „Елбрус“ за лични компютри, сървъри и суперкомпютри:
Стара статия на Борис Бабаян, но все още актуална:
Стара статия на Михаил Кузмински:
Презентация на МЦСТ, обща информация:
Информация за ОС Алт за платформата Елбрус:
Източник: habr.com
