Привіт читачі Хабра. Хочемо поділитися вкрай приємною новиною. Ми нарешті дочекалися реального серійного випуску нового покоління російських процесорів Ельбрус 8С. Офіційно серійний випуск мав стартувати аж у 2016 році, але, за фактом, саме масове виробництво розпочалося лише у 2019 році та на даний момент випущено вже близько 4000 процесорів.
Практично відразу після старту серійного виробництва дані процесори з'явилися і у нас в Аеродиську, за що хочемо окремо подякувати компанії НОРСІ-ТРАНС, яка люб'язно надала нам свою апаратну платформу Яхонт УВМ, що підтримує процесори Ельбрус 8С, для виконання портування програмної частини СГД. Це сучасна універсальна платформа, що відповідає всім вимогам МЦСТ. На даний момент платформа використовується спеціальними споживачами та операторами зв'язку для забезпечення виконання встановлених дій при проведенні оперативно-розшукових заходів.
На даний момент портування успішно завершено, і вже зараз СГД AERODISK доступна у варіанті з вітчизняними процесорами Ельбрус.
У цій статті ми розповімо про самих процесорів, про їхню історію, архітектуру і, звичайно ж, про нашу реалізацію СГД на Ельбрусі.
Історія
Історія процесорів Ельбрус бере свій початок за часів Радянського Союзу. 1973 року в Інституті точної механіки та обчислювальної техніки ім. С.А. Лебедєва (імені того самого Сергія Лебедєва, який раніше керував розробкою першого радянського комп'ютера МЕСМ, а пізніше БЕСМ), стартувала розробка багатопроцесорних обчислювальних комплексів під назвою «Ельбрус». Керував розробкою Всеволод Сергійович Бурцев, також активну участь у розробці брав Борис Арташесович Бабаян, який був одним із заступників головного конструктора.
Всеволод Сергійович Бурцев
Борис Арташесович Бабаян
Головним замовником проекту були, само собою, збройні сили СРСР, і ця серія комп'ютерів у результаті успішно застосовувалася при створенні командних обчислювальних центрів та стрільбових комплексів систем протиракетної оборони, а також інших систем спеціального призначення.
Перший комп'ютер «Ельбрус» було завершено 1978 року. Він мав модульну архітектуру і міг включати від 1 до 10 процесорів на базі схем середньої інтеграції. Швидкодія цієї машини досягала 15 мільйонів операцій на секунду. Обсяг оперативної пам'яті, яка була загальною для всіх 10 процесорів, становив до 2-20 ступеня машинних слів або 64 Мб.
Пізніше з'ясувалося, що багато технологій, що використовуються при розробці «Ельбрусу», в цей же час досліджувалися у світі, і ними займалася компанія International Business Machine (IBM), але роботи за даними проектами, на відміну від робіт з «Ельбрусу», так і не були завершені і призвели у результаті створення закінченого товару.
За словами Всеволода Бурцева, радянські інженери намагалися застосовувати найпередовіший досвід як вітчизняних, і зарубіжних розробників. На архітектуру комп'ютерів Ельбрус вплинули також комп'ютери компанії Burroughs, розробки Hewlett-Packard, а також досвід розробників БЕСМ-6.
Але при цьому багато розробок були оригінальними. Найцікавішим в «Ельбрус-1» була саме його архітектура.
Створений суперкомп'ютер став першим у СРСР ЕОМ, яка застосовувала суперскалярну архітектуру. Масове застосування суперскалярних процесорів за кордоном почалося лише у 90-х роках минулого століття з появою на ринку доступних процесорів Intel Pentium.
Крім цього, для організації передачі потоків даних між периферійними пристроями та оперативною пам'яттю в комп'ютері могли застосовуватися спеціальні процесори вводу-виводу. Таких процесорів у складі системи могло бути до чотирьох штук, вони працювали паралельно з центральним процесором і мали свою власну виділену пам'ять.
Ельбрус-2
У 1985 році «Ельбрус» отримав своє логічне продовження, був створений та відправлений у серійне виробництво комп'ютер «Ельбрус-2». По архітектурі він мало чим відрізнявся від свого попередника, але застосовував нову елементну базу, що дозволило майже в 10 разів збільшити загальну продуктивність - з 15 млн операцій в секунду до 125 млн. Обсяг оперативної пам'яті комп'ютера збільшився до 16 млн 72-розрядних слів чи 144 МБ. Максимальна пропускна здатність каналів введення-виведення «Ельбруса-2» складала 120 МБ/с.
«Ельбрус-2» активно застосовувався в ядерних дослідницьких центрах у Челябінську-70 та в Арзамасі-16 у ЦУПі, у системі ПРО А-135, а також на інших військових об'єктах.
Створення «Ельбрусу» було гідно оцінено керівниками Радянського Союзу. Багато інженерів було нагороджено орденами та медалями. Генеральний конструктор Всеволод Бурцев та низка інших фахівців здобули державну премію. А Бориса Бабаяна було нагороджено Орденом Жовтневої революції.
Ці нагороди більш ніж заслужені, Борис Бабаян пізніше говорив:
«1978-го року ми зробили першу суперскалярну машину, Ельбрус-1. Нині на Заході роблять суперскаляри лише такої архітектури. Перший суперскаляр на Заході з'явився 92-го року, наш 78-го. Причому той варіант суперскаляра, який зробили ми, аналогічний Pentium Pro, який Intel зробив 95-го року».
Ці слова про історичну першість підтверджують і в США, Кіт Діфендорфф, розробник Motorola 88110, одного з перших західних суперскалярних процесорів.
"У 1978 році, майже на 15 років раніше, ніж з'явилися перші західні суперскалярні процесори, в Ельбрус-1 використовувався процесор, з видачею двох команд за один такт, зміною порядку виконання команд, перейменуванням регістрів і виконанням за припущенням".
Ельбрус-3
Йшов 1986, і майже відразу після завершення робіт над другим «Ельбрусом» в ІТМіВТ почали розробку нової системи «Ельбрус-3», використовуючи принципово нову процесорну архітектуру. Цей підхід Борис Бабаян назвав "постсуперскалярним". Саме цю архітектуру, названу згодом VLIW/EPIC, у майбутньому (у середині 90-х років) почали використовувати процесори Intel Itanium (а СРСР ці розробки стартували в 1986, а завершилися в 1991).
У цьому обчислювальному комплексі вперше було втілено в життя ідеї явного управління паралелізмом операцій за допомогою компілятора.
У 1991 році був випущений перший і, на жаль, єдиний комп'ютер «Ельбрус-3», який не змогли налагодити до кінця, а після розвалу Радянського Союзу він став нікому не потрібним, і розробки та плани так і залишились на папері.
Передумови нової архітектури
Колектив, який працював у ІТМіВТ над створенням радянських суперкомп'ютерів, не розпався, а продовжив роботу як окрема компанія під ім'ям МЦСТ (Московський Центр СПАРК-технологій). І на початку 90-х років стартувала активна співпраця МЦСТ із Sun Microsystems, де колектив МЦСТ брав участь у розробці мікропроцесора UltraSPARC.
Саме в цей період з'явився проект архітектури E2K, який спочатку фінансувався компанією Sun. Пізніше проект став повністю незалежним і вся інтелектуальна власність нею залишилася у колективу МЦСТ.
«Якби ми й надалі працювали з Sun у цій галузі, то все належало б Sun. Хоча 90% роботи було виконано ще до появи Sun». (Борис Бабаян)
Архітектура E2K
Коли ми обговорюємо архітектуру процесорів «Ельбрус», дуже часто від наших колег з ІТ-індустрії ми чуємо такі заяви:
"Ельбрус - це ж RISC-архітектура"
«Ельбрус – це EPIC-архітектура»
"Ельбрус - це ж SPARC-архітектура"
Насправді жодна з цих заяв не є цілком вірною, а якщо і є, то лише частково.
Архітектура E2K – це окрема оригінальна процесорна архітектура, основні якості E2K – це енергоефективність та чудова масштабованість, що досягаються за допомогою завдання явного паралелізму операцій. Архітектура E2K розроблена колективом МЦСТ та її основі лежать постсуперскалярная архітектура (а-ля EPIC) з деяким впливом SPARC-архітектури (c RISC-минулим). При цьому у створенні трьох із чотирьох базових архітектур (Суперскаляри, постсуперскаляри та SPARC) МЦСТ брав безпосередню участь. Світ справді тісний.
Щоб надалі уникати плутанини, ми намалювали просту схему, яка хоч спрощено, але дуже зрозуміло показує коріння архітектури E2K.
Тепер ще трохи про назву архітектури, щодо якої теж є нерозуміння.
У різних джерелах можна зустріти такі назви даної архітектури: "E2K", "Ельбрус", "Ельбрус 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", тобто явне планування використання основних ресурсів). Всі ці назви говорять про те саме – про архітектуру, але в офіційній технічній документації, а також на технічних форумах для позначення архітектури використовується назва E2K, тому в подальшому якщо ми говоримо про процесорну архітектуру, ми використовуємо термін «E2K», а якщо про конкретний процесор, використовуємо назву «Ельбрус».
Технічні особливості архітектури E2K
У традиційних архітектурах типу RISC або CISC (х86, PowerPC, SPARC, MIPS, ARM) на вхід процесора надходить потік інструкцій, які розраховані на послідовне виконання. Процесор може виявляти незалежні операції та запускати їх паралельно (суперскалярність) і навіть змінювати їхній порядок (позачергове виконання). Однак динамічний аналіз залежностей та підтримка позачергового виконання має свої обмеження у кількості запуску та аналізу команд за один такт. Крім того, відповідні блоки всередині процесора споживають помітну кількість енергії, і найскладніша їх реалізація часом призводить до проблем стабільності чи безпеки.
В архітектурі E2K основну роботу з аналізу залежностей та оптимізації порядку операцій перебирає компілятор. Процесору на вхід надходять т.зв. широкі команди, у кожному з яких закодовані інструкції всім виконавчих пристроїв процесора, які мають бути запущені цьому такті. p align="justify"> Від процесора не потрібно аналізувати залежності між операндами або переставляти операції між широкими командами: все це робить компілятор, виходячи з аналізу вихідного коду і планування ресурсів процесора. В результаті апаратна складова процесора може бути простішою та економічнішою.
Компілятор здатний аналізувати вихідний код набагато ретельніше, ніж апаратура RISC/CISC процесора, і знаходити більше незалежних операцій. Тому в архітектурі E2K більше виконавчих пристроїв, що працюють паралельно, ніж у традиційних архітектурах.
Поточні можливості архітектури E2K:
- 6 каналів арифметико-логічних пристроїв (АЛП), що працюють паралельно.
- Реєстровий файл із 256 84-розрядних регістрів.
- Апаратна підтримка циклів, зокрема з конвеєризацією. Підвищує ефективність використання ресурсів процесора.
- Програмований асинхронний пристрій попереднього підкачування даних з окремими каналами зчитування. Дозволяє приховати затримки від доступу до пам'яті та повніше використовувати АЛУ.
- Підтримка спекулятивних обчислень та однобітових предикатів. Дозволяє зменшити кількість переходів та паралельно виконувати кілька гілок програми.
- Широка команда здатна при максимальному заповненні задати в одному такті до 23 операцій (більше 33 операцій при упаковці операндів у векторні команди).
Емуляція х86
Ще на етапі проектування архітектури розробники мали розуміння важливості підтримки програмного забезпечення, написаного для архітектури Intel х86. Для цього була реалізована система динамічної (тобто в процесі виконання програми, або «на льоту») трансляції двійкових кодів х86 коди процесора архітектури E2K. Ця система може працювати як в режимі програми (на зразок WINE), так і в режимі, аналогічному гіпервізору (тоді можливо запустити гостьову ОС для архітектури х86).
Завдяки кільком рівням оптимізації вдається досягти високої швидкості роботи відтрансльованого коду. Якість емуляції архітектури х86 підтверджується успішним запуском на обчислювальних комплексах «Ельбрус» понад 20 операційних систем (зокрема кілька версій Windows) та сотень додатків.
Захищений режим виконання програм
Одна з найцікавіших ідей, успадкованих від архітектури Ельбрус-1 та Ельбрус-2 – це так зване захищене виконання програм. Його суть полягає в тому, щоб гарантувати роботу програми тільки з ініціалізованими даними, перевіряти всі звернення на згадку про приналежність до допустимого діапазону адрес, забезпечувати міжмодульний захист (наприклад, захищати програму, що викликає, від помилки в бібліотеці). Усі ці перевірки здійснюються апаратно. Для захищеного режиму є повноцінний компілятор та бібліотека runtime-підтримки. При цьому треба розуміти, що обмеження, що накладаються, призводять до неможливості організації виконання, наприклад, написаного на C++ коду.
Навіть у звичайному, "незахищеному" режимі роботи процесорів "Ельбрус" є особливості, що підвищують надійність системи. Так, стек сполучної інформації (ланцюжок адрес повернення при процедурних викликах) відокремлений від стека даних і недоступний для таких застосовуваних у вірусах атак, як заміна адреси повернення.
Створені за роки розробки дозволяють не тільки наздогнати і в майбутньому перевершити конкуруючі архітектури в плані продуктивності та масштабованості, а й забезпечити захист від помилок, на які страждають x86/amd64. Закладок типу Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018 ZombieLoad (CVE-12127-2019) та їм подібних.
Сучасний захист від знайдених уразливостей в архітектурі х86/amd64 базується на латках на рівні операційних систем. Саме тому падіння продуктивності на поточних та попередніх поколіннях процесорів даних архітектур настільки помітне і становить від 30% до 80%. Ми як активні користувачі x86-процесорів про це знаємо, страждаємо і продовжуємо «єсть кактус», а ось наявність вирішення цих проблем на корені для нас (і в результаті для наших замовників) безперечне благо, тим більше якщо рішення російське.
Технічні характеристики
Нижче наведено офіційні технічні характеристики процесорів «Ельбрус» минулого (4С), актуального (8С), нового (8СВ) та майбутнього (16С) поколінь порівняно з аналогічними процесорами Intel x86.
Навіть побіжний погляд на цю таблицю показує (і це дуже тішить), що технологічне відставання вітчизняних процесорів, яке 10 років тому здавалося непереборним, вже зараз здається зовсім невеликим, а 2021 з запуском «Ельбрус-16С» (який, до всього іншого, підтримуватиме віртуалізацію) скоротиться до мінімальних дистанцій.
СХД AERODISK на процесорах Ельбрус 8С
Від теорії переходимо до практики. У рамках стратегічного альянсу компаній МЦСТ, Аеродиск, Базальт СПО (раніше Альт Лінукс) та НОРСІ-ТРАНС була розроблена та підготовлена до експлуатації система зберігання даних, яка на даний момент за параметрами безпеки, функціональності, вартості та продуктивності є якщо не кращою, то , на наш погляд, безперечно гідним рішенням, яке може забезпечити належний рівень технологічної незалежності нашої з вами Батьківщини.
Тепер деталі…
апаратна частина
Апаратну частину СГД реалізовано на базі універсальної платформи Яхонт УВМ компанії НОРСІ-ТРАНС. Платформа Яхонт УВМ отримала статус телекомунікаційного обладнання російського походження та включена до єдиного реєстру російської радіоелектронної продукції. Система являє собою два окремих контролери СГД (по 2U кожен), які з'єднані між собою інтерконнектом 1G або 10G Ethernet, а також із загальними дисковими полицями, використовуючи SAS-підключення.
Звичайно, це не так красиво, як формат Cluster in a box (коли контролери та диски із загальним бекплейном встановлені в одному шасі 2U), який ми використовуємо зазвичай, але вже в найближчому майбутньому він також буде доступний. Тут головне, щоб працювало добре, а про «бантики» подумаємо пізніше.
Під капотом кожен контролер має однопроцесорну материнську плату з чотирма гніздами для оперативної пам'яті (DDR3 для процесора 8С). Також на борту кожного контролера є по 4 порти 1G Ethernet (два з яких використовуються AERODISK ENGINE як службові) і по три PCIe-роз'єми для Back-end (SAS) і Front-end (Ethernet або FibreChannel) адаптерів.
Як завантажувальні диски використовуються російські SATA SSD диски компанії GS Nanotech, які ми неодноразово тестували та використовували в проектах.
При першому знайомстві із платформою ми уважно її обстежили. До якості складання та паяння питань у нас не виникло, все зроблено акуратно та надійно.
Операційна система
Як ОС використовується версія ОС Альт 8СП для сертифікації. Незабаром ми плануємо створення репозиторію, що підключається і постійно оновлюється, для ОС Альт c ПО СХД Аеродиск.
Ця версія дистрибутива побудована на поточній стабільній версії ядра Linux 4.9 для Е2K (гілка з довготривалою підтримкою портована фахівцями МЦСТ), доповненою патчами з функціональності та безпеки. Усі пакети в ОС Альт зібрані безпосередньо на «Ельбрусах» з використанням оригінальної транзакційної складальної системи проекту ALT Linux Team, що дозволило зменшити трудовитрати на саме перенесення та приділити більше уваги якості продукту.
Будь-який випуск ОС Альт для Ельбрус можна істотно розширити в плані функціональності, скориставшись доступним для нього репозиторієм (від 6 тисяч вихідних пакетів для восьмої версії до 12 – для дев'ятої).
Вибір був зроблений також і тому, що компанія Базальт СПО, розробник ОС Альт активно працює з іншими розробниками ПЗ та пристроїв на різних платформах, забезпечуючи безшовну взаємодію в рамках апаратно-програмних комплексів.
Системи зберігання даних
При портуванні ми відразу відмовилися від ідеї використовувати емуляцію x2, що підтримується в E86K, а почали працювати з процесорами безпосередньо (благо Альт вже має необхідні для цього кошти).
Серед іншого нативний режим виконання дає кращу безпеку (ті самі три апаратні стеки замість одного) та підвищену продуктивність (немає потреби виділяти одне-два ядра з восьми для роботи бінарного транслятора, а компілятор робить свою роботу кращою, ніж JIT).
За фактом у реалізації AERODISK ENGINE на E2K підтримується більша частина існуючого функціоналу СГД, який є у x86. Як ПЗ системи зберігання використовується актуальна на даний момент версія AERODISK ENGINE (A-CORE версія 2.30)
Без особливих проблем на E2K були заведені та протестовані для використання у продуктивності такі функції:
- Відмовостійкість до двох контролерів і багатошляховий введення-виведення (mpio)
- Блоковий та файловий доступ із тонкими томами (пули RDG, DDP; протоколи FC, iSCSI, NFS, SMB включаючи інтеграцію з Active Directory)
- Різні рівні RAID до потрійної парності (включаючи можливість використання конструктора RAID)
- Гібридне зберігання (суміщення SSD та HDD в рамках одного пулу, тобто кеш та тиринг)
- Варіанти економії простору за допомогою дедуплікації та компресії
- ROW-сніпшоти, клони та різні варіанти реплікації
- І інші маленькі, але корисні функції, такі як QoS, Global Hotspare, VLAN, BOND і т.п.
По факту на E2K нам вдалося завести весь наш функціонал, крім багатоконтролерності (більше двох) та планувальник багатопотокового введення-виводу, який дозволяє збільшувати продуктивність all-flash пулів на 20-30%.
Але ці корисні функції ми, природно, також додамо, питання часу.
Трохи про продуктивність
Після успішного проходження тестів базового функціоналу СГД ми, зрозуміло, почали виконувати тести навантаження.
Наприклад, на двоконтроллерній СХД (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), в якій був відключений RAM-кеш, ми створили два пули DDP з основним рівнем RAID-10 і два LUN по 500G і підключ. LUN-и по iSCSI (10G Ethernet) до Linux-хосту. І виконали один із базових годинних тестів на невеликі блоки послідовного навантаження за допомогою програми FIO.
Перші результати виявилися цілком позитивними.
Навантаження процесори у середньому була лише на рівні 60%, тобто. це базовий рівень, на якому СГД може спокійно працювати.
Так, це далеко не highload і під високопродуктивні СУБД якогось білінгу цього явно не вистачить, але, як показує наша практика, цих характеристик достатньо для 80% загальних завдань, під які використовуються СГД.
Трохи пізніше ми плануємо повернутися з детальним звітом про тести навантаження Ельбруса як платформи для СГД.
Світле майбутнє
Як ми писали вище, масове виробництво Ельбрусу 8С за фактом стартувало буквально нещодавно – на початку 2019 року і до грудня вже було випущено близько 4000 процесорів. Для порівняння, процесорів попереднього покоління Ельбрус 4С за весь період їх виробництва було випущено всього 5000, так що прогрес є.
Зрозуміло, що це крапля в морі, навіть для російського ринку, але дорогу здолає той, хто йде.
На 2020 рік заплановано випуск кількох десятків тисяч процесорів Ельбрус 8С, а це серйозна цифра. Крім того, протягом 2020 року процесор Ельбрус-8СВ має бути доведений командою МЦСТ до серійного виробництва.
Такі виробничі плани — це заявка на значну частку всього вітчизняного ринку серверних процесорів.
У результаті вже тут і зараз ми маємо хороший і сучасний російський процесор зі зрозумілою і з погляду вірною стратегією розвитку, з урахуванням якого є максимально захищена і сертифікована система зберігання даних російського виробництва (а й у майбутньому і система віртуалізації на Эльбрус-16С). Система російська настільки, наскільки зараз це фізично можливо у сучасних умовах.
Ми часто спостерігаємо в новинах чергові епічні провали компаній, що гордо називають себе російськими виробниками, а за фактом займаються переклеюванням етикеток, не додаючи до продукції зарубіжного виробника жодної власної цінності, крім своєї націнки. Такі компанії, на жаль, кидають тінь на всіх реальних російських розробників та виробників.
Цією статтею ми хочемо наочно показати, що в нашій країні були, є і будуть компанії, які реально та якісно роблять сучасні складні ІТ-системи та активно розвиваються, а імпортозаміщення у ІТ – це не профанація, а реальність, у якій ми всі живемо. Цю реальність можна не любити, можна критикувати, а можна працювати і робити її краще.
Розвал СРСР свого часу завадив колективу творців Ельбруса стати помітним гравцем у світі процесорів та змусив колектив шукати фінансування своїх розробок за кордоном. Воно було знайдено, роботу було виконано, а інтелектуальну власність збережено, за що хочеться сказати цим людям велике спасибі!
На цьому поки що всі, пишіть, будь ласка ваші коментарі, питання і, звичайно, критику. Ми завжди раді.
Також від імені всієї компанії Аеродіск хочу привітати всю російську ІТ-спільноту з наступаючим Новим роком та Різдвом, побажати 100% аптайму – і щоб бекапи в новому році нікому не знадобилися))).
Використовувані матеріали
Стаття із загальним описом технологій, архітектур та персоналій:
Коротка історія комп'ютерів під ім'ям «Ельбрус»:
Загальна стаття про архітектуру e2k:
Стаття саме про 4-е покоління (Ельбрус-8С) та 5-е покоління (Ельбрус-8СВ, 2020 рік):
Специфікації наступного 6-го покоління процесорів (Ельбрус-16СВ, 2021)
Офіційний опис архітектури Ельбрус:
Плани розробників апаратно-програмної платформи «Ельбрус» щодо створення суперкомп'ютера екзафлопної продуктивності:
Російські технології «Ельбрус» для персональних комп'ютерів, серверів та суперкомп'ютерів:
Стара стаття Бориса Бабаяна, але досі актуальна:
Стара стаття Михайла Кузьмінського:
Презентація МЦСТ, загальна інформація:
Інформація про ОС Альт для платформи Ельбрус:
Джерело: habr.com