Всім привіт. Як ми й обіцяли, занурюємо читачів Хабра в деталі виробництва російських апаратних платформ для СГД. Аеродиск Схід на процесорах Ельбрус. У цій статті ми покроково опишемо виробництво платформи Яхонт-УВМ Е124, яка в 5 юнітах ефективно вміщує 124 диски, може працювати за температури +30 градусів за Цельсієм і при цьому не просто працює, а добре працює.
Також 05.06.2020 ми організовуємо вебінар, де докладно розповімо про технічні нюанси виробництва СГД Схід та відповімо на будь-які питання. Зареєструватися на вебінар можна за посиланням:
Отже, поїхали!
Перед тим, як поринути у процес, який організовано зараз, невелика історична довідка дворічної давності. На момент початку розробки описаних у цій статті платформ умови для їхнього виробництва були, м'яко кажучи, ніякими. На це є причини, вони всім відомі: масове виробництво (саме виробництво, а не переклеювання наклейок) серверних платформ у Росії було відсутнє як клас. Були окремі заводи, які могли випускати окремі компоненти, але дуже обмежено і найчастіше з урахуванням застарілих технологій. Тому довелося починати фактично «з нуля» і заразом піднімати виробництво серверних рішень у Росії якісно новий рівень.
Отже, процес будь-якого виробництва починається з потреби, яка потім трансформується у загальні вимоги. Такі вимоги спочатку формуються розробниками НОРСІ-ТРАНС у Нижньому Новгороді. Вимоги, зрозуміло, не з повітря беруться, а із потреб замовників. Це ще не технічне завдання, як може помилково здатися. На етапі загальних вимог зробити повноцінне ТЗ неможливо, оскільки надто багато невідомих умов виробництва.
Розробка цільової моделі: від ідеї до реалізації
Після того, як сформовані загальні вимоги, починається підбір елементної бази. З історичної довідки випливає, що елементної бази немає, тобто її треба створювати.
Для цього з того, що є на відкритому ринку, збирається пілотний зразок, який хоч трохи схожий на цільовий. Далі проводяться стандартні випробування цього зразка щодо його працездатності. Якщо все добре, то наступним етапом розробляється цільова модель (2D та 3D).
Потім починається пошук російських підприємств, готових розпочати виробництво даного пілота. Розробники виконують необхідну доопрацювання кожного з елементів виробу, виходячи з можливостей того чи іншого підприємства.
У ході проектування виконується необхідне доопрацювання кожного з елементів виробу. Наприклад, у процесі роботи з дослідним зразком були використані класичні 12G SAS-експандери з великою кількістю дротів (з дуже великим, враховуючи кількість дисків). Це недешево, незручно для цієї платформи, і до того ж експандери ворожі закордонні. Але це тимчасове рішення для того, щоб випробувати зразок загалом і перейти до наступного етапу. Однак для фінальної версії у конкретній серверній платформі використовувати SAS-експандери не годиться.
Не потрібні нам ворожі експандери, ми зробимо свій бекплейн з блек-джеком та ш...хами
Враховуючи майбутні плани щодо обсягів виробництва (тисячі серверів), було прийнято рішення розробити для цього виробу (і само собою, для наступних) свій SAS-бекплейн, який значно функціональніший за експандер стосовно цього рішення. Дизайн та програмування бекплейну виконується тією ж командою розробників, а виробництво плат виконується на заводі «Мікроліт» у Московській області (про цей завод і про те, як там друкують материнки для процесорів Ельбрус, обіцяємо окрему статтю).
Ось, до речі, його перший досвідчений зразок, зараз він виглядає зовсім інакше.
А тут займаються його програмуванням
Цікавий факт: коли було розпочато розробку бекплейну, і проектувальники звернулися до розробника чіпа SAS3 за референсним дизайном плати, то виявилося, що в Європі жодна компанія не вміє розробляти свої бекплейни. Раніше існувало спільне підприємство Fujitsu-Siemens, але після виходу Siemens Nixdorf Informations systeme AG із спільного підприємства та повного закриття комп'ютерного спрямування у Siemens, компетенції у цій галузі в Європі було втрачено.
Тому розробник чіпа спочатку не відразу серйозно сприйняв розробок НОРСІ-ТРАНС, чому були затримки в розробці остаточного дизайну. Правда пізніше, коли серйозність намірів та компетенції компанії НОРСІ-ТРАНС стали очевидними, а також бекплейн був розроблений і надрукований, його ставлення змінилося на краще.
Як охолодити 124 диски та сервер у 5 юнітах, і залишитися живими?
Окремий квест був із харчуванням та охолодженням. Справа в тому, що, виходячи з вимог, платформа Е124 повинна працювати при температурі 30 градусів за Цельсієм, а там, на хвилиночку, 124 добре гріються механічні диски в 5 юнітах і до того ж материнська плата з процесором (тобто це не безглуздий JBOD, а повноцінний контролер системи зберігання з дисками).
Для охолодження (крім маленьких вентиляторів усередині) в результаті вирішили використовувати відразу три досить великі вентилятори в задній частині корпусу з можливістю гарячої заміни кожного. Для нормальної роботи системі достатньо двох (температура не змінюється зовсім), тому можна спокійно планувати роботи із заміни вентиляторів та не думати про температуру. Якщо ж відключити два вентилятори (наприклад, за законом підлості, поки змінювали один, зламався другий), то з одним вентилятором система також здатна нормально працювати, але температура збільшиться на 10-20%, що допустимо за умови встановлення як мінімум ще одного вентилятора найближчим часом.
Вентилятори (як і багато іншого) теж виявилися унікальні. Причиною унікальності стала одна витрата. У певних умовах може статися так, що вентилятори замість того, щоб висмоктувати повітря, продуючи весь корпус зсередини, можуть почати його всмоктувати, і тоді «давай до побачення», тобто платформа швидко перегріється. Тому для того, щоб не допустити такої проблеми, у проект вентилятора внесли зміни і додали своє ноу-хау — зворотний клапан. Цей зворотний клапан спокійно дозволяє висмоктувати повітря з платформи, але при цьому блокує можливість всмоктування повітря назад при будь-яких варіантах.
На етапі пілотування системи охолодження було багато невдач, грілися і горіли різні елементи системи, але в результаті розробникам платформи вдалося досягти кращого охолодження, ніж у відомих на весь світ конкурентів.
"Режим харчування порушувати не можна".
З блоками живлення схожа історія, тобто. створені вони були безпосередньо під цю платформу і причина тут банальна. Кожен юніт - це великі гроші, саме тому розроблялася саме така надщільна платформа і, якщо я не помиляюся (поправте в коментарях якщо помиляюся), поки що це світовий рекорд, т.к. серверів та JBOD-ів з великою кількістю дисків на 5 юнітів поки що немає.
Таким чином, щоб забезпечити електроживлення платформи та одночасно організувати можливість заміни блоку живлення у штатному режимі сумарна потужність активних блоків мала бути 4 кіловати (на ринку, зрозуміло, таких рішень немає), тому їх робили на замовлення із запуском виробничої лінії для серійного виробництва ( нагадаю, у планах тисячі таких серверів).
Як сказав один з головних проектувальників платформи «Тут такі струми, як у зварювальному апараті — це вам не хухри-мухри :-)»
При проектуванні також було передбачено можливість роботи блоку живлення як на 220V, а й 48V, тобто. в архітектурі OPC, що зараз дуже актуально для операторів зв'язку та великих ЦОДів.
У результаті рішення з електроживленням повторює логіку рішення з охолодженням, платформа може комфортно працювати при двох блоках живлення, що дозволяє штатному режимі виконувати роботи з їх заміни. Якщо у випадку аварії з трьох БП залишиться один, він у піковому навантаженні зможе витягнути роботу платформи, але, зрозуміло, надовго залишати платформу в такому вигляді не можна.
Метал та пластик: не все, виявляється, так просто.
Нюансів у процесі розробки платформи з'являється багато. Схожа ситуація була не тільки з електронними компонентами (райзерами, бекплейном, материнськими платами та ін.), а й із звичайним металом та пластиком: наприклад, з корпусом, рейками та навіть з каретками для дисків.
З корпусом та іншими менш розумними елементами платформи, здавалося б, проблем не повинно бути. Але на практиці все інакше. Коли розробники платформи вперше звернулися до різних російських заводів із потребою у виробництві, виявилося, більшість їх працює досить несучасними методами, що у результаті позначається і якості, і кількості виробів.
Перші ж результати виробництва корпусів стали підтвердженням цього. Неправильна геометрія, грубі зварювальні шви, неточні отвори та подібні витрати робили виріб непридатним для експлуатації.
Більшість заводів, які могли робити серверні корпуси, працювали тоді (нагадаю, що під «тоді» мається на увазі 2 роки тому) «по-старому», тобто випускалася купа конструкторської документації, відповідно до неї оператор вручну коригував роботу верстатів, також часто замість клепок використовувалося зварювання металу. У результаті низька ступінь автоматизації, людський чинник і надмірна забюрократизованість виробництва дали свої плоди. Виходило довго, погано і дорого.
Треба віддати належне заводам: багато хто з них з того часу сильно осучаснив своє виробництво. Поліпшили якість зварювання, освоїли клепку, а також часто почали використовувати верстати з числовим програмним керуванням (ЧПУ). Тепер замість тонни документів дані про виріб завантажуються безпосередньо із 3Д та 2Д моделей у ЧПУ.
ЧПУ зводить втручання оператора верстата у процес виготовлення виробу до мінімуму, тож людський фактор уже жити не заважає. Головною турботою оператора є, в основному, підготовчі та заключні операції: встановлення та зняття виробу, налагодження інструментів тощо.
Випадки появи нових деталей вже не вводять виробництво у ступор, для їх виготовлення достатньо внести зміни до програмного забезпечення ЧПК. Відповідно термін виробництва деталей за новими проектами у заводів скоротився з місяців до тижнів, що не може не радувати. Ну і, звісно, точність також сильно зросла.
Материнські плати та процесор: без пригод
Процесори та материнські плати приходять комплектом із заводу. Це виробництво вже досить добре налагоджено, тому в НОРСІ здійснюється стандартний вхідний контроль та вихідний на рівні готових платформ.
Кожен комплект материнської плати та процесора перевіряється програмними засобами, отриманими від МЦСТ.
У разі тих чи інших проблем (слава богу, з материнською платою та процесором їх дуже мало) працює налагоджений ланцюжок повернення модулів виробнику та їх заміни.
Складання та вихідний контроль
Щоб наша балалайка почала грати, її лишилося зібрати та протестувати. Наразі виробництво поставлено на потік, система збирається стандартним чином у Москві.
Кожна система оснащується завантажувальними дисками SSD (для ОС) і повністю заповнюється шпинделями (для майбутніх даних).
Після цього починається вхідне тестування і самої платформи, і поставлених до неї дисків. Для цього всі диски системи щонайменше на годину навантажують авто-тестами.
Виконується автоматичне читання та запис на кожен диск, фіксуються показники швидкості читання, запису та температури кожного диска. У нормальному режимі середня температура має бути в районі 30-35 градусів за Цельсієм. У піках кожен окремо диск може «підстрибувати» до 40 градусів. Якщо температура стає вищою або швидкість опускається нижче граничних значення читання запису, диск «червоніє» і не проходить відбраковування. Минулий же випробування компоненти упаковуються для подальшої експлуатації.
Висновок
Є такий міф, який активно підтримується різними діячами про те, що «у Росії нічого не вміють, окрім як качати нафту». На жаль, цей міф в'їдається в голови навіть шановним і розумним людям.
Нещодавно з моїм колегою відбулася чудова історія. Він їхав з одного з показів СГД Схід і в багажнику його машини лежала ця СГД (не Е124, звичайно, простіше). Дорогою він захопив одного з представників замовника (дуже важлива людина, працює на високій посаді в одній із держ. структур), і в машині у них відбулася приблизно така розмова:
Мій колега: «Зараз показували СГД на Ельбрусі, результати хороші, всі були задоволені, для вашої галузі, до речі, теж ця СГД буде корисною»
Замовник: "Те, що СГД у вас є - знаю, але який ще Ельбрус, ти про що?"
Мій колега: "Ну як ... російський процесор Ельбрус, ось недавно випустили 8-ку, вона за показниками для СГД цілком хороша, ми, відповідно, на ній зробили нову лінійку СГД, назвали Схід"
Замовник: «Ельбрус – це гора! А казки про російський процесор ти в пристойному суспільстві не озвучуй, це все робиться, щоб бюджети освоювати, насправді нічого немає і не буде»
Мій колега: "В сенсі? А нічого, що саме ця СГД у мене в багажнику лежить? Давай прямо зараз зупинимося, я тобі покажу!
Замовник: «Добре нісенітницею страждати, їдемо далі, не буває «російських СГД» — це в принципі неможливо»
Більше на той момент важлива людина чути про Ельбрус нічого не хотіла. Звичайно, пізніше, коли він уточнив інформацію, то визнав, що не мав рації, але все одно до останнього не вірив у правдивість цієї інформації.
За фактом після розвалу СРСР, наша країна фактично зупинилася у розвитку виробництва мікроелектроніки. Щось було вивезено вкрадено на користь транснаціональних корпорацій, щось розкрадено місцевою приватизаційною компашкою, щось, звичайно, було проінвестовано, але переважно на користь тих же транснаціональних корпорацій. Дерево зрізали, але корінь залишився.
Після майже 30 років ілюзій на тему «захід нам допоможе», майже всім стало очевидно, що допомогти ми можемо тільки самі собі, тому потрібно відновлювати своє виробництво не тільки в галузі мікроелектроніки, а й повсюдно у всіх галузях промисловості.
На даний момент в умовах глобальної пандемії в ситуації фактичної зупинки транснаціональних виробничих ланцюжків вже зрозуміло, що відновлення локального виробництва — це вже не освоєння бюджетів, а умова виживання Росії як самостійної держави.
Тому ми продовжуватимемо шукати і використовувати в житті російське обладнання та розповідати вам про те, що насправді роблять компанії у нас, з якими проблемами вони стикаються і які титанічні зусилля докладають, щоб їх вирішувати.
В рамках однієї статті досить складно розповісти про всі аспекти виробництва, тому як бонус ми організуємо онлайн-дискусію у форматі вебінару на цю тему. На цьому вебінарі ми детально і в фарбах розповімо про технічні аспекти виробництва платформ Яхонт для СХД Схід і в онлайн-режимі відповімо на всі, навіть каверзні питання.
Нашим співрозмовником буде представник розробника платформ компанії НОРСІ-ТРАНС. Вебінар відбудеться 05.06.2020, охочі взяти участь можуть зареєструватися за посиланням: .
Всім спасибі, як завжди, чекаємо на конструктивні коментарі.
Джерело: habr.com