Здраво читатели на Хабр. Би сакале да споделиме една многу добра вест. Конечно го дочекавме вистинското сериско производство на новата генерација руски процесори Elbrus 8C. Официјално, сериското производство требаше да започне уште во 2016 година, но, всушност, масовното производство започна дури во 2019 година и веќе се објавени околу 4000 процесори.
Речиси веднаш по почетокот на масовното производство, овие процесори се појавија во нашиот Aerodisk, за што сакаме да им се заблагодариме на NORSI-TRANS, која љубезно ни ја обезбеди својата хардверска платформа Yakhont UVM, која ги поддржува процесорите Elbrus 8C, за пренесување на софтверскиот дел од системот за складирање. Ова е модерна универзална платформа која ги исполнува сите барања на MCST. Во моментов, платформата се користи од страна на специјални потрошувачи и телекомуникациски оператори за да се обезбеди спроведување на воспоставените активности за време на оперативно-пребарувачките активности.
Во моментов, пренесувањето е успешно завршено, а сега системот за складирање AERODISK е достапен во верзијата со домашни процесори Elbrus.
Во оваа статија ќе зборуваме за самите процесори, нивната историја, архитектура и, се разбира, нашата имплементација на системи за складирање на Елбрус.
Приказна
Историјата на процесорите Елбрус датира од времето на Советскиот Сојуз. Во 1973 година, на Институтот за ликовна механика и компјутерско инженерство именуван по С.А. Лебедев (именуван по истиот Сергеј Лебедев, кој претходно го водеше развојот на првиот советски компјутер MESM, а подоцна и BESM), започна развојот на мултипроцесорски компјутерски системи наречени Елбрус. Всеволод Сергеевич Бурцев го надгледуваше развојот, а Борис Арташесович Бабајан, кој беше еден од замениците-главни дизајнери, исто така зеде активно учество во развојот.
Всеволод Сергеевич Бурцев
Борис Арташесович Бабајан
Главниот клиент на проектот беа, се разбира, вооружените сили на СССР, а оваа серија на компјутери на крајот беше успешно искористена во создавањето на командни компјутерски центри и системи за отпуштање за ракетни одбранбени системи, како и други системи за специјална намена. .
Првиот Елбрус компјутер беше завршен во 1978 година. Имаше модуларна архитектура и можеше да вклучува од 1 до 10 процесори базирани на средни шеми за интеграција. Брзината на оваа машина достигна 15 милиони операции во секунда. Количината на RAM меморија, која беше заедничка за сите 10 процесори, беше до 2 до 20-та моќност на машинските зборови или 64 MB.
Подоцна се покажа дека многу од технологиите користени во развојот на Елбрус биле изучувани во светот во исто време, а во нив била ангажирана и International Business Machine (IBM), но работата на овие проекти, за разлика од работата на Елбрус, не беа завршени и на крајот не доведоа до создавање на готов производ.
Според Всеволод Бурцев, советските инженери се обиделе да го применат најнапредното искуство и на домашните и на странските програмери. Архитектурата на компјутерите Елбрус исто така беше под влијание на компјутерите Бароуз, развојот на Хјулит-Пакард, како и искуството на развивачите на BESM-6.
Но, во исто време, многу случувања беа оригинални. Најинтересното нешто за Елбрус-1 беше неговата архитектура.
Создадениот суперкомпјутер стана првиот компјутер во СССР кој користеше суперскаларна архитектура. Масовната употреба на суперскаларните процесори во странство започна дури во 90-тите години на минатиот век со појавувањето на пазарот на прифатливи процесори Intel Pentium.
Дополнително, специјалните влезно-излезни процесори може да се користат за организирање на преносот на потоци на податоци помеѓу периферните уреди и RAM меморијата во компјутерот. Може да има до четири такви процесори во системот, тие работеа паралелно со централниот процесор и имаа своја посветена меморија.
Елбрус-2
Во 1985 година, Елбрус го доби своето логично продолжение, компјутерот Елбрус-2 беше создаден и испратен во масовно производство. Во однос на архитектурата, тој не се разликуваше многу од неговиот претходник, но користеше нова база на елементи, што овозможи да се зголемат вкупните перформанси за речиси 10 пати - од 15 милиони операции во секунда на 125 милиони Количина на компјутерска RAM меморија се зголеми на 16 милиони 72-битни зборови или 144 MB. Максималниот пропусен опсег на I/O каналите Elbrus-2 беше 120 MB / s.
„Елбрус-2“ активно се користеше во центрите за нуклеарни истражувања во Чељабинск-70 и во Арзамас-16 во МКЦ, во системот за противракетна одбрана А-135, како и во други воени објекти.
Создавањето на Елбрус беше соодветно ценето од лидерите на Советскиот Сојуз. На многу инженери им беа доделени ордени и медали. Генералниот дизајнер Всеволод Бурцев и голем број други специјалисти добија државни награди. И Борис Бабајан беше награден со Орден на Октомвриската револуција.
Овие награди се повеќе од заслужени, изјави подоцна Борис Бабајан:
„Во 1978 година ја направивме првата суперскаларна машина, Елбрус-1. Сега на Запад прават суперскалари само од оваа архитектура. Првиот суперскалар се појави на Запад во 92 година, нашиот во 78 година. Покрај тоа, верзијата на суперскаларот што го направивме е слична на Pentium Pro што Интел го направи во 95 година.
Овие зборови за историската супериорност се потврдени и во САД, напиша Кит Дифендорф, развивачот на Motorola 88110, еден од првите западни суперскаларни процесори:
„Во 1978 година, речиси 15 години пред да се појават првите западни суперскаларни процесори, Елбрус-1 користел процесор, со издавање на две инструкции во еден циклус, менување на редоследот на извршување на инструкциите, преименување на регистрите и извршување според претпоставка.
Елбрус-3
Беше 1986 година и речиси веднаш по завршувањето на работата на вториот Елбрус, ITMiVT започна да развива нов систем Елбрус-3 користејќи фундаментално нова процесорска архитектура. Борис Бабајан го нарече овој пристап „постсуперскаларен“. Токму оваа архитектура, подоцна наречена VLIW / EPIC, во иднина (во средината на 90-тите) почнаа да се користат процесорите Intel Itanium (а во СССР овие случувања започнаа во 1986 година и завршија во 1991 година).
Во овој компјутерски комплекс прво беа имплементирани идеите за експлицитна контрола на паралелизмот на операциите со помош на компајлер.
Во 1991 година излезе првиот и, за жал, единствениот компјутер Елбрус-3, кој не можеше целосно да се прилагоди, а по распадот на Советскиот Сојуз никому не му требаше, а случувањата и плановите останаа на хартија.
Позадина на новата архитектура
Тимот што работеше во ITMiVT на создавање советски суперкомпјутери не се распадна, туку продолжи да работи како посебна компанија под името MCST (Московски центар за SPARK-Technologies). И во раните 90-ти, започна активна соработка помеѓу MCST и Sun Microsystems, каде што тимот на MCST учествуваше во развојот на микропроцесорот UltraSPARC.
Во овој период се појави проектот за архитектура E2K, кој првично беше финансиран од Sun. Подоцна, проектот стана целосно независен и целата интелектуална сопственост за него остана кај тимот на MCST.
„Ако продолжиме да работиме со Sun во оваа област, тогаш сè ќе му припадне на Sun. Иако 90% од работата беше завршена пред да дојде Сонцето“. (Борис Бабајан)
E2K архитектура
Кога разговараме за архитектурата на процесорите Елбрус, многу често ги слушаме следните изјави од нашите колеги во ИТ индустријата:
„Елбрус е RISC архитектура“
„Елбрус е епска архитектура“
„Елбрус е SPARC-архитектура“
Всушност, ниту една од овие изјави не е целосно вистинита, или ако е, тоа е само делумно точно.
Архитектурата E2K е посебна оригинална архитектура на процесорот, главните квалитети на E2K се енергетската ефикасност и одличната приспособливост, постигнати со специфицирање на експлицитен паралелизам на операциите. Архитектурата E2K беше развиена од тимот на MCST и се заснова на пост-суперскаларна архитектура (a la EPIC) со одредено влијание од архитектурата SPARC (со минато RISC). Во исто време, MCST беше директно вклучен во создавањето на три од четирите основни архитектури (Superscalars, Post-Superscalars и SPARC). Светот е навистина мал.
За да избегнеме забуни во иднина, нацртавме едноставен дијаграм кој иако е поедноставен, но многу јасно ги покажува корените на архитектурата E2K.
Сега малку повеќе за името на архитектурата, во однос на која има и недоразбирање.
Во различни извори, можете да ги најдете следните имиња за оваа архитектура: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Schedulation", т.е. експлицитно планирање за користење на основните ресурси). Сите овие имиња зборуваат за истото - за архитектурата, но во официјалната техничка документација, како и на техничките форуми, името E2K се користи за означување на архитектурата, така што во иднина, ако зборуваме за архитектура на процесорот, го користиме терминот „E2K“, а ако се работи за специфичен процесор, тогаш го користиме името „Елбрус“.
Технички карактеристики на архитектурата E2K
Во традиционалните архитектури како што се RISC или CISC (x86, PowerPC, SPARC, MIPS, ARM), процесорот добива проток на инструкции кои се дизајнирани за секвенцијално извршување. Процесорот може да детектира независни операции и да ги извршува паралелно (суперскаларно), па дури и да го менува нивниот редослед (не е во ред). Сепак, динамичната анализа на зависност и поддршката за извршување без редослед има свои ограничувања во однос на бројот на команди кои се лансираат и анализираат по циклус. Дополнително, соодветните блокови внатре во процесорот трошат значително количество енергија, а нивната најсложена имплементација понекогаш доведува до проблеми со стабилноста или безбедноста.
Во архитектурата E2K, главната работа за анализа на зависностите и оптимизирање на редоследот на операциите ја презема компајлерот. Процесорот добива т.н. широки инструкции, од кои секоја шифрира инструкции за сите извршни уреди на процесорот што мора да се стартуваат во даден такт. Од процесорот не се бара да ги анализира зависностите помеѓу операнди или операциите за замена помеѓу широки инструкции: компајлерот го прави сето тоа врз основа на анализа на изворниот код и планирањето на ресурсите на процесорот. Како резултат на тоа, хардверот на процесорот може да биде поедноставен и поекономичен.
Компајлерот може да го анализира изворниот код многу потемелно од хардверот RISC/CISC на процесорот и да најде повеќе независни операции. Затоа, архитектурата E2K има повеќе паралелни единици за извршување отколку традиционалните архитектури.
Тековни карактеристики на архитектурата E2K:
- 6 канали на аритметички логички единици (ALU) кои работат паралелно.
- Регистерска датотека на 256 84-битни регистри.
- Хардверска поддршка за циклуси, вклучувајќи ги и оние со цевковод. Ја зголемува ефикасноста на користењето на ресурсите на процесорот.
- Програмабилна асинхрона препумпа за податоци со посебни канали за читање. Ви овозможува да ги скриете одложувањата од пристапот до меморијата и да ја искористите поцелосна ALU.
- Поддршка за шпекулативни пресметки и еднобитни предикати. Ви овозможува да го намалите бројот на транзиции и паралелно да извршите неколку гранки на програмата.
- Широка команда способна да специфицира до 23 операции во еден такт циклус со максимално полнење (повеќе од 33 операции при пакување на операнди во векторски инструкции).
Емулација x86
Дури и во фазата на дизајнирање на архитектурата, програмерите ја разбраа важноста на поддршката на софтверот напишан за архитектурата Intel x86. За ова, беше имплементиран систем за динамично (т.е., за време на извршувањето на програмата, или „во лет“) превод на x86 бинарни кодови во кодови на процесорската архитектура E2K. Овој систем може да работи и во режим на апликација (на начин на WINE), и во режим сличен на хипервизор (тогаш е можно да се изврши целиот оперативен систем за гости за архитектурата x86).
Благодарение на неколку нивоа на оптимизација, можно е да се постигне голема брзина на преведениот код. Квалитетот на емулацијата на архитектурата x86 е потврден со успешното лансирање на повеќе од 20 оперативни системи (вклучувајќи неколку верзии на Windows) и стотици апликации на компјутерските системи Елбрус.
Режим за извршување на заштитена програма
Една од најинтересните идеи наследена од архитектурите Елбрус-1 и Елбрус-2 е таканареченото безбедно извршување на програмата. Нејзината суштина е да се осигура дека програмата работи само со иницијализирани податоци, да ги провери сите пристапи во меморијата за припадност на валиден опсег на адреси, да обезбеди заштита меѓу модулите (на пример, да ја заштити програмата што повикува од грешка во библиотеката). Сите овие проверки се вршат во хардвер. За заштитен режим, постои полноправна библиотека за поддршка на компајлер и траење. Во исто време, треба да се разбере дека наметнатите ограничувања доведуваат до неможност за организирање на извршување, на пример, код напишан во C ++.
Дури и во вообичаениот, „незаштитен“ режим на работа на процесорите Elbrus, постојат карактеристики кои ја зголемуваат доверливоста на системот. Така, обврзувачкиот оџак на информации (синџирот на повратни адреси за повици на процедурата) е одделен од стекот на кориснички податоци и е недостапен за такви напади што се користат во вируси како измама на повратни адреси.
Дизајниран со текот на годините, не само што ги достигнува и ги надминува конкурентските архитектури во однос на перформансите и приспособливоста во иднина, туку и обезбедува заштита од грешки што ги мачат x86/amd64. Обележувачи како Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018), ZombieLoad (CVE-12127-2019) и слично.
Модерната заштита од пронајдените пропусти во архитектурата x86/amd64 се заснова на закрпи на ниво на оперативен систем. Затоа падот на перформансите на сегашните и претходните генерации на процесори од овие архитектури е толку забележлив и се движи од 30% до 80%. Ние, како активни корисници на x86 процесори, знаеме за ова, страдаме и продолжуваме да „јадеме кактус“, но присуството на решение за овие проблеми во пупка за нас (и, како резултат на тоа, за нашите клиенти) е несомнена корист, особено ако решението е руско.
Технические характеристики
Подолу се дадени официјалните технички карактеристики на процесорите Elbrus од минатите (4C), сегашните (8C), новите (8CB) и идните (16C) генерации во споредба со слични процесори Intel x86.
Дури и еден површен поглед на оваа табела покажува (и тоа е многу пријатно) дека технолошкиот заостаток на домашни процесори, кој се чинеше несовладлив пред 10 години, веќе сега изгледа прилично мал, а во 2021 година со лансирањето на Elbrus-16C (кој, меѓу други работи, ќе поддржува виртуелизација) ќе се сведе на минимални растојанија.
SHD AERODISK на процесорите Elbrus 8C
Преминуваме од теорија во пракса. Како дел од стратешкиот сојуз на MCST, Aerodisk, Basalt SPO (поранешен Alt Linux) и NORSI-TRANS, развиен е и пуштен во употреба систем за складирање податоци, кој во моментов е ако не и најдобар во однос на безбедноста, функционалноста, цена и перформанси, според наше мислење, несомнено достојно решение кое може да обезбеди соодветно ниво на технолошка независност на нашата татковина.
Сега деталите...
Хардвер
Хардверскиот дел од системот за складирање е имплементиран врз основа на универзалната платформа Yakhont UVM на компанијата NORSI-TRANS. Платформата Yakhont UVM доби статус на телекомуникациска опрема од руско потекло и е вклучена во унифицираниот регистар на руски радио-електронски производи. Системот се состои од два посебни контролери за складирање (по 2U), кои се меѓусебно поврзани со 1G или 10G етернет интерконекција, како и со заеднички полици на дискови со помош на SAS врска.
Се разбира, ова не е толку убаво како форматот „Кластер во кутија“ (кога контролори и дискови со заедничка задна рамнина се инсталирани во една шасија од 2U) што вообичаено го користиме, но во блиска иднина ќе биде достапен. Главната работа овде е што работи добро, но подоцна ќе размислиме за „лакови“.
Под хаубата, секој контролер има матична плоча со еден процесор со четири слотови за RAM (DDR3 за процесор 8C). Исто така, на секој контролер има 4 1G етернет порти (од кои две се користат од софтверот AERODISK ENGINE како сервис) и три слота PCIe за адаптери за Back-end (SAS) и Front-end (Ethernet или FibreChannel).
Како дискови за подигање, ние користиме руски SATA SSD дискови од GS Nanotech, кои постојано сме ги тестирале и користеле во проекти.
Кога првпат ја сретнавме платформата, внимателно ја испитавме. Немавме прашања за квалитетот на склопувањето и лемењето, сè беше направено уредно и сигурно.
Оперативен систем
Верзијата на OS Alt 8SP за сертификација се користи како ОС. Во блиска иднина, планираме да создадеме приклучно и постојано ажурирано складиште за Alt OS со софтвер за складирање Aerodisk.
Оваа верзија на дистрибуцијата е изградена на тековната стабилна верзија на кернелот Linux 4.9 за E2K (гранка со долгорочна поддршка пренесена од специјалисти за MCST), дополнета со закрпи за функционалност и безбедност. Сите пакети во Alt OS се изградени директно на Elbrus користејќи го оригиналниот систем за трансакциска градба на проектот ALT Linux Team, што овозможи да се намалат трошоците за работна сила за самиот трансфер и да се посвети поголемо внимание на квалитетот на производот.
Секое издание на Alt OS за Elbrus може значително да се прошири во однос на функционалноста со користење на складиштето достапно за него (од околу 6 илјади изворни пакети за осмата верзија до околу 12 за деветтата).
Изборот беше направен и затоа што Basalt SPO, развивачот на Alt OS, активно работи со други развивачи на софтвер и уреди на различни платформи, обезбедувајќи беспрекорна интеракција во рамките на хардверските и софтверските системи.
Системи за складирање на софтвер
При пренесувањето, веднаш ја напуштивме идејата за користење на емулацијата x2 поддржана во E86K и почнавме да работиме директно со процесорите (за среќа, Alt веќе ги има потребните алатки за ова).
Меѓу другото, мајчиниот режим на извршување обезбедува подобра безбедност (истите три хардверски стекови наместо еден) и зголемени перформанси (нема потреба да се доделуваат едно или две јадра од осум за да работи бинарниот преведувач, а компајлерот го прави своето работа подобра од JIT).
Всушност, имплементацијата на E2K на AERODISK ENGINE ги поддржува повеќето од постојните функционалности за складирање што се наоѓаат во x86. Тековната верзија на AERODISK ENGINE (A-CORE верзија 2.30) се користи како софтвер за системот за складирање
Без никакви проблеми на E2K, следните функции беа воведени и тестирани за употреба во производот:
- Толеранција на дефекти до два контролери и повеќепати I/O (mpio)
- Блокирај пристап и пристап до датотеки со тенки томови (RDG, DDP базени; FC, iSCSI, NFS, протоколи SMB вклучувајќи интеграција на Active Directory)
- Различни нивоа на RAID до троен паритет (вклучувајќи ја и можноста за користење на RAID конструкторот)
- Хибридно складирање (комбинирање на SSD и HDD во ист базен, т.е. кеш и нивоа)
- Опции за заштеда на простор со дедупликација и компресија
- Слики од ROW, клонови и различни опции за репликација
- И други мали, но корисни функции, како што се QoS, глобална топла простор, VLAN, BOND итн.
Всушност, на E2K успеавме да ја добиеме целата наша функционалност, освен мулти-контролерите (повеќе од два) и распоредувачот со повеќе нишки I/O, што ни овозможува да ги зголемиме перформансите на базените со целосно блиц за 20-30% .
Но, ние, се разбира, ќе ги додадеме и овие корисни функции, прашање на време.
Малку за перформансите
Откако успешно ги поминавме тестовите за основната функционалност на системот за складирање, ние, се разбира, почнавме да вршиме тестови за оптоварување.
На пример, на систем за складирање со двоен контролер (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), во кој кешот на RAM меморијата беше оневозможен, создадовме два базени DDP со главно ниво RAID-10 и два 500G LUN и ги поврза овие LUN преку iSCSI (10G Ethernet) со домаќин на Linux. И направи еден од основните часовни тестови на мали секвенцијални блокови на оптоварување користејќи ја програмата FIO.
Првите резултати беа доста позитивни.
Оптоварувањето на процесорите беше во просек на ниво од 60%, т.е. ова е основното ниво на кое складирањето може безбедно да работи.
Да, ова е далеку од оптоварување и ова очигледно не е доволно за DBMS со високи перформанси, но, како што покажува нашата практика, овие карактеристики се доволни за 80% од општите задачи за кои се користат системи за складирање.
Малку подоцна, планираме да се вратиме со детален извештај за тестовите за оптоварување на Елбрус како платформа за складирање.
Светла иднина
Како што напишавме погоре, масовното производство на Elbrus 8C всушност започна неодамна - на почетокот на 2019 година и до декември веќе беа објавени околу 4000 процесори. За споредба, произведени се само 4 процесори од претходната генерација Elbrus 5000C за целиот период на нивното производство, така што има напредок.
Јасно е дека ова е капка во морето, дури и за рускиот пазар, но патот ќе го совлада оној што оди.
Објавувањето на неколку десетици илјади процесори Elbrus 2020C е планирано за 8 година, а ова е веќе сериозна бројка. Дополнително, во текот на 2020 година, процесорот Elbrus-8SV треба да го донесе тимот на MCST во масовно производство.
Ваквите планови за производство се апликација за многу значаен дел од целиот домашен пазар на серверски процесори.
Како резултат на тоа, овде и сега имаме добар и модерен руски процесор со јасна и, според нас, правилна развојна стратегија, врз основа на која постои најбезбедниот и сертифициран систем за складирање податоци од руско производство (и во иднина, систем за виртуелизација на Elbrus-16C). Рускиот систем е онолку колку што е сега физички возможен во современи услови.
Често во вестите ги гледаме следните епски неуспеси на компании кои гордо се нарекуваат руски производители, но всушност се занимаваат со повторно лепење на етикети без да додаваат никаква сопствена вредност на производите на странски производител, освен нивната ознака. Таквите компании, за жал, фрлаат сенка на сите вистински руски програмери и производители.
Со овој напис сакаме јасно да покажеме дека кај нас имало, има и ќе има компании кои навистина и ефикасно прават современи сложени ИТ системи и активно се развиваат, а замената на увозот во ИТ не е вулгарност, туку реалност во која сите живееме. Не можете да ја сакате оваа реалност, можете да ја критикувате или можете да работите и да ја подобрите.
Колапсот на СССР во еден момент го спречи тимот на креатори на Елбрус да стане истакнат играч во светот на процесорите и го принуди тимот да бара средства за нивниот развој во странство. Пронајдено е, завршена работа, спасена е интелектуалната сопственост, за што сакам да им упатам огромна благодарност на овие луѓе!
Тоа е сè за сега, пишете ги вашите коментари, прашања и, се разбира, критики. Ние сме секогаш среќни.
Исто така, во име на целата компанија Аеродиск, сакам да и честитам на целата руска ИТ заедница за претстојните Нова Година и Божиќ, да посакам 100% работно време - и дека резервните копии нема да бидат корисни за никого во новата година))).
Користени материјали
Статија со општ опис на технологии, архитектури и личности:
Кратка историја на компјутерите под името „Елбрус“:
Општа статија за архитектурата e2k:
Статијата е за 4-та генерација (Elbrus-8S) и 5-та генерација (Elbrus-8SV, 2020):
Спецификации на следната 6-та генерација на процесори (Elbrus-16SV, 2021):
Официјален опис на архитектурата на Елбрус:
Плановите на развивачите на хардверската и софтверската платформа „Елбрус“ да создадат суперкомпјутер со егзаскали перформанси:
Руски Елбрус технологии за персонални компјутери, сервери и суперкомпјутери:
Стара статија на Борис Бабајан, но сепак релевантна:
Стара статија на Михаил Кузмински:
MCST презентација, општи информации:
Информации за Alt OS за платформата Елбрус:
Извор: www.habr.com