Ўсім прывітанне. Як мы і абяцалі, апускаем чытачоў Хабра ў дэталі вытворчасці расійскіх апаратных платформаў для СХД Аэрадыск Усход на працэсарах Эльбрус. У гэтым артыкуле мы пакрокава апішам вытворчасць платформы Яхонт-УВМ Э124, якая ў 5 юнітах эфектыўна месціць 124 дыска, можа працаваць пры тэмпературы 30 градусаў па Цэльсіі і пры гэтым не проста працуе, а добра працуе.
Таксама 05.06.2020 мы арганізоўваем вэбінар, дзе падрабязна раскажам пра тэхнічныя нюансы вытворчасці СГД Усход і адкажам на любыя пытанні. Зарэгістравацца на вэбінар можна па спасылцы:
Такім чынам, паехалі!
Перад тым, як пагрузіцца ў працэс, які арганізаваны зараз, невялікая гістарычная даведка двухгадовай даўнасці. На момант пачатку распрацоўкі апісаных у гэтым артыкуле платформаў умовы для іх вытворчасці былі, мякка кажучы, ніякімі. На гэта ёсць прычыны, яны ўсім вядомыя: масавая вытворчасць (менавіта вытворчасць, а не пераклейванне налепак) серверных платформаў у Расіі адсутнічала як клас. Былі асобныя заводы, якія маглі выпускаць асобныя кампаненты, але пры гэтым вельмі абмежавана і часта на аснове састарэлых тэхналогій. Таму прыйшлося пачынаць фактычна "з нуля" і заадно паднімаць вытворчасць серверных рашэнняў у Расіі на якасна новы ўзровень.
Такім чынам, працэс любой вытворчасці пачынаецца з запатрабавання, якая потым трансфармуецца ў агульныя патрабаванні. Такія патрабаванні першапачаткова фармуюцца распрацоўшчыкамі НОРСИ-ТРАНС у Ніжнім Ноўгарадзе. Патрабаванні, зразумела, не з паветра бяруцца, а з запатрабаванняў замоўцаў. Гэта яшчэ пакуль не тэхнічнае заданне, як можа памылкова здацца. На этапе агульных патрабаванняў зрабіць паўнавартаснае ТЗ немагчыма, паколькі зашмат невядомых умоў для вытворчасці.
Распрацоўка мэтавай мадэлі: ад ідэі да рэалізацыі
Пасля таго як сфарміраваны агульныя патрабаванні, пачынаецца падбор элементнай базы. З гістарычнай даведкі вынікае, што элементнай базы не існуе, то бок яе трэба ствараць.
Для гэтага з таго, што ёсць на адкрытым рынку, збіраецца пілотны ўзор, які хоць крыху падобны на мэтавы. Далей праводзяцца стандартныя выпрабаванні гэтага ўзору на прадмет яго працаздольнасці. Калі ўсё добра, то наступным этапам распрацоўваецца мэтавая мадэль (2D і 3D).
Затым пачынаецца пошук расійскіх прадпрыемстваў, гатовых пачаць вытворчасць дадзенага пілота Распрацоўнікі выконваюць неабходную дапрацоўку кожнага з элементаў выраба, зыходзячы з магчымасцяў таго ці іншага прадпрыемства.
У ходзе праектавання выконваецца неабходная дапрацоўка кожнага з элементаў выраба. Да прыкладу, падчас прац з дасведчаным узорам былі скарыстаны класічныя 12G SAS-экспандэры з вялікай колькасцю правадоў (з вельмі вялікім, улічваючы колькасць дыскаў). Гэта нятанна, няёмка для менавіта гэтай платформы, і да таго ж экспандэры варожыя замежныя. Але гэтае часовае рашэнне для таго, каб выпрабаваць узор у цэлым і перайсці да наступнага этапу. Аднак для фінальнай версіі ў канкрэтнай сервернай платформе выкарыстоўваць SAS-экспандэры не падыходзіць.
Не патрэбныя нам варожыя экспандэры, мы зробім свой бэкплэйн з блэк-джэкам і ш…хамі
Улічваючы будучыя планы па аб'ёмах вытворчасці (тысячы сервераў), было прынята рашэнне распрацаваць для гэтага выраба (і само сабой, для наступных) свой SAS-бэкплэйн, які значна функцыянальней экспандэра ў дачыненні да гэтага рашэння. Дызайн і праграмаванне бэкплэйна выконваецца той жа камандай распрацоўшчыкаў, а вытворчасць поплаткаў выконваецца на заводзе «Мікраліт» у Маскоўскай вобласці (пра гэты завод і пра тое, як там друкуюць мацярынкі для працэсараў Эльбрус, абяцаем асобны артыкул).
Вось, дарэчы, яго першы дасведчаны ўзор, зараз ён ужо выглядае зусім па-іншаму.
А тут займаюцца яго праграмаваннем
Цікавы факт: калі была пачата распрацоўка бэкплэйна, і праекціроўшчыкі звярнуліся да распрацоўшчыка чыпа SAS3 за рэферэнсным дызайнам платы, то аказалася, што ў Еўропе ні адна кампанія не ўмее распрацоўваць свае бэкплэйны. Раней існавала сумеснае прадпрыемства Fujitsu-Siemens, але пасля выхаду Siemens Nixdorf Informations systeme AG з сумеснага прадпрыемства і поўнага закрыцця камп'ютэрнага напрамку ў Siemens, кампетэнцыі ў гэтай галіне ў Еўропе былі страчаны.
Таму распрацоўнік чыпа першапачаткова не адразу сур'ёзна паставіўся да распрацовак НОРСИ-ТРАНС, з-за чаго былі затрымкі ў распрацоўцы канчатковага дызайну. Праўда пазней, калі сур'ёзнасць намераў і кампетэнцыі кампаніі НОРСІ-ТРАНС сталі відавочныя, а таксама бэкплэйн быў распрацаваны і надрукаваны, яго стаўленне змянілася ў лепшы бок.
Як астудзіць 124 дыска і сервер у 5 юнітах, і застацца ў жывых?
Асобны квэст быў з харчаваннем і астуджэннем. Справа ў тым, што, зыходзячы з патрабаванняў, платформа Э124 павінна працаваць пры тэмпературы 30 градусаў па Цэльсіі, а там, на хвіліначку, 124 добра грэюцца механічных дыска ў 5 юнітах і да таго ж матчына плата з працэсарам (г.зн. гэта не дурны JBOD, а паўнавартасны кантролер сістэмы захоўвання з дыскамі).
Для астуджэння (акрамя маленькіх вентылятараў усярэдзіне) у выніку вырашылі выкарыстаць адразу тры даволі вялікіх вентылятара ў задняй частцы корпуса з магчымасцю гарачай замены кожнага. Для нармальнай працы сістэме дастаткова двух (тэмпература не мяняецца зусім), таму можна спакойна планаваць работы па замене вентылятараў і не думаць аб тэмпературы. Калі ж адключыць два вентылятара (да прыкладу, па законе подласці, пакуль мянялі адзін, зламаўся другі), то з адным вентылятарам сістэма таксама здольная нармальна працаваць, але тэмпература павялічыцца на 10-20% працэнтаў, што дапушчальна пры ўмове ўстаноўкі як мінімум яшчэ аднаго вентылятара ў бліжэйшы час.
Вентылятары (як і амаль усё астатняе) таксама апынуліся ўнікальныя. Прычынай унікальнасці стала адна выдатка. У вызначаных умовах можа здарыцца так, што вентылятары замест таго, каб высмоктваць паветра, прадзьмухваючы ўвесь корпус знутры, могуць пачаць яго ўсмоктваць, і тады "давай да спаткання", гэта значыць платформа хутка перагрэецца. Таму для таго, каб не дапусціць такой праблемы, у праект вентылятара ўнеслі змены і дадалі сваё «ноў-гаў» - зваротны клапан. Гэты зваротны клапан спакойна дазваляе высмоктваць паветра з платформы, але пры гэтым блакуе саму магчымасць усмоктвання паветра зваротна пры любых варыянтах.
На этапе пілатавання сістэмы астуджэння было шмат няўдач, грэліся і гарэлі розныя элементы сістэмы, але ў выніку распрацоўнікам платформы ўдалося дабіцца лепшага астуджэння, чым нават у вядомых на ўвесь свет канкурэнтаў.
"Рэжым харчавання парушаць нельга".
З блокамі харчавання была падобная гісторыя, г.зн. зроблены яны былі непасрэдна пад гэтую платформу і прычына тут банальная. Кожны юніт - гэта вялікія грошы, менавіта таму распрацоўвалася менавіта такая звышшчыльная платформа і, калі я не памыляюся (папраўце ў каментарах калі памыляюся), пакуль гэта сусветны рэкорд, т.я. сервераў і JBOD-аў з вялікай колькасцю дыскаў на 5 юнітаў пакуль няма.
Такім чынам, каб забяспечыць электрасілкаванне платформы і адначасова арганізаваць магчымасць замены блока харчавання ў штатным рэжыме сумарная магутнасць актыўных блокаў павінна была быць 4 кілавата (на рынку, зразумела, такіх рашэнняў няма), таму іх рабілі на замову з запускам вытворчай лініі для серыйнай вытворчасці ( нагадаю, у планах тысячы такіх сервераў).
Як выказаўся адзін з галоўных праекціроўшчыкаў платформы «Тут такія токі, як у зварачным апараце - гэта вам не хухры-мухры :-)»
Пры праектаванні таксама была прадугледжана магчымасць працы блока харчавання не толькі на 220V, але і 48V, г.зн. у архітэктуры OPC, што цяпер вельмі актуальна для аператараў сувязі і буйных ЦАД-аў.
У выніку рашэнне з электрасілкаваннем паўтарае логіку рашэння з астуджэннем, платформа можа камфортна працаваць пры двух блоках харчавання, што дазваляе ў штатным рэжыме выконваць працы па іх замене. Калі ў выпадку аварыі з трох БП застанецца адзін, ён у пікавай нагрузцы зможа выцягнуць працу платформы, але, само сабой, надоўга пакідаць платформу ў такім выглядзе нельга.
Метал і пластык: не ўсё, аказваецца, так проста.
Нюансаў у працэсе распрацоўкі платформы ўзнікае шмат. Падобная сітуацыя была не толькі з электроннымі кампанентамі (райзерамі, бэкплэйнам, матчынымі поплаткамі і інш.), але і са звычайным металам і пластыкам: напрыклад, з корпусам, рэйкамі і нават з карэткамі для дыскаў.
З корпусам і іншымі меней разумнымі элементамі платформы, здавалася б, праблем быць не павінна. Але на практыцы ўсё інакш. Калі распрацоўшчыкі платформы ўпершыню звярнуліся да розных расійскіх заводаў з патрэбай у вытворчасці, аказалася, што большая частка з іх працуе дастаткова несучаснымі метадамі, што ў выніку адбіваецца і на якасці, і на колькасці вырабаў.
Першыя ж вынікі вытворчасці карпусоў сталі таму пацвярджэннем. Няправільная геаметрыя, грубыя зварачныя швы, недакладныя адтуліны і падобныя выдаткі рабілі выраб непрыдатным для эксплуатацыі.
Большасць заводаў, якія маглі рабіць серверныя карпусы, працавалі тады (нагадаю, што пад «тады» маецца на ўвазе 2 гады назад) «па-старому», гэта значыць выпускалася куча канструктарскай дакументацыі, у адпаведнасці з ёй аператар уручную карэктаваў працу станкоў, таксама часта замест клёпак выкарыстоўвалася зварка металу. У выніку нізкая ступень аўтаматызацыі, чалавечы фактар і залішняя забюракратызаванасць вытворчасці далі свой плён. Атрымлівалася доўга, дрэнна і дорага.
Трэба аддаць належнае заводам: многія з іх з таго часу моцна асучаснілі сваю вытворчасць. Палепшылі якасць зваркі, асвоілі клёпку, а таксама часта сталі выкарыстоўваць станкі з лічбавым праграмным кіраваннем (ЧПУ). Цяпер замест тоны дакументаў дадзеныя аб вырабе загружаюцца напрамую з 3Д і 2Д мадэляў у ЧПУ.
ЧПУ зводзіць умяшанні аператара станка ў працэс выраба выраба да мінімуму, таму чалавечы фактар ужо жыць не мяшае. Галоўным клопатам аператара з'яўляюцца, у асноўным, падрыхтоўчыя і заключныя аперацыі: усталёўка і здыманне выраба, наладка прылад і да т.п.
Выпадкі з'яўлення новых дэталяў ужо не ўводзяць вытворчасць у ступар, для іх выраба дастаткова ўнесці змены ў праграмнае забеспячэнне ЧПУ. Адпаведна, тэрмін вытворчасці дэталяў па новых праектах у заводаў скараціўся з месяцаў да тыдняў, што не можа не цешыць. Ну і, вядома, дакладнасць таксама моцна ўзрасла.
Матчыны платы і працэсар: без прыгод
Працэсары і матчыны поплаткі прыходзяць камплектам з завода. Гэтая вытворчасць ужо даволі добра наладжана, таму ў НОРСИ ажыццяўляецца стандартны ўваходны кантроль і выходны на ўзроўні гатовых платформаў.
Кожны камплект матчынай платы і працэсара правяраецца праграмнымі сродкамі, атрыманымі ад МЦСТ.
У выпадку тых ці іншых праблем (дзякуй богу, з матчыным поплаткам і працэсарам іх вельмі мала) працуе адладжаны ланцужок звароту модуляў вытворцу і іх замены.
Зборка і выходны кантроль
Каб наша балалайка пачала гуляць, яе засталося сабраць і пратэставаць. Цяпер вытворчасць пастаўлена на паток, сістэма збіраецца стандартнай выявай у Маскве.
Кожная сістэма абсталёўваецца загрузнымі SSD-дыскамі (для АС) і цалкам запаўняецца шпіндзелямі (для будучых дадзеных).
Пасля гэтага пачынаецца ўваходнае тэсціраванне і самой платформы, і пастаўленых у яе дыскаў. Для гэтага ўсе дыскі сістэмы прынамсі на гадзіну нагружаюць аўта-тэстамі.
Выконваецца аўтаматычнае чытанне і запіс на кожны дыск, фіксуюцца паказчыкі хуткасці чытання, запісы і тэмпературы кожнага дыска. У нармальным рэжыме сярэдняя тэмпература павінна быць у раёне 30-35 градусаў па Цэльсіі. У піках кожны паасобку дыск можа "падскокваць" да 40 градусаў. Калі тэмпература становіцца вышэй або скорасць апускаецца ніжэйпарогавых значэння чытання запісу, дыск «чырванее» і не праходзіць адбракоўку. Мінулыя ж выпрабаванні кампаненты пакуюцца для далейшай эксплуатацыі.
Заключэнне
Ёсць такі міф, які актыўна падтрымліваецца рознымі дзеячамі аб тым, што "ў Расіі нічога не ўмеюць, акрамя як нафту пампаваць". Нажаль гэты міф уядаецца ў галовы нават паважаным і разумным людзям.
Нядаўна з маім калегам адбылася характэрная гісторыя. Ён ехаў з аднаго з паказаў СГД Усход і ў багажніку яго машыны як раз ляжала гэтая СГД (не Э124, вядома, прасцей). Па дарозе ён захапіў аднаго з прадстаўнікоў заказчыка (вельмі важны чалавек, працуе на высокай пасадзе ў адной са дзярж. структур), і ў машыне ў іх адбылася прыкладна наступная размова:
Мой калега: «Цяпер паказвалі СГД на Эльбрусе, вынікі добрыя, усе задаволеныя былі, для вашай галіны, дарэчы, таксама гэтая СГД будзе карысная»
заказчык: "Тое, што СГД у вас ёсць - ведаю, але які яшчэ Эльбрус, ты пра што?"
Мой калега: "Ну як… расійскі працэсар Эльбрус, вось нядаўна выпусцілі 8-ку, яна па паказчыках для СГД цалкам добрая, мы, адпаведна, на ёй зрабілі новую лінейку СХД, назвалі Усход".
заказчык: «Эльбрус - гэта гара! А казкі пра расейскі працэсар ты ў прыстойным грамадстве не агучвай, гэта ўсё робіцца, толькі каб бюджэты асвойваць, на справе нічога няма і не будзе»
Мой калега: "У сэнсе? А нічога, што менавіта гэтая СГД у мяне ў багажніку ляжыць? Давай прама зараз спынімся, я табе пакажу!
заказчык: «Добры глупствам пакутаваць, едзем далей, не бывае «расейскіх СГД» - гэта ў прынцыпе немагчыма»
Больш у той момант важны чалавек чуць пра Эльбруса нічога не хацеў. Вядома, пазней, калі ён удакладніў інфармацыю, то прызнаў, што меў рацыю, але ўсё роўна да апошняга не верыў у праўдзівасць гэтай інфармацыі.
Па факце пасля развалу СССР наша краіна фактычна спынілася ў развіцці вытворчасці мікраэлектронікі. Нешта было вывезена выкрадзена на карысць транснацыянальных карпарацый, нешта раскрана мясцовай прыватызацыйнай кампашкай, нешта, вядома, было праінвеставана, але, у асноўным, на карысць тых жа транснацыянальных карпарацый. Дрэва зрэзалі, але корань застаўся.
Пасля амаль 30 гадоў ілюзій на тэму "захад нам дапаможа", ужо амаль усім стала відавочна, што дапамагчы мы можам толькі самі сабе, таму трэба аднаўляць сваю вытворчасць не толькі ў галіне мікраэлектронікі, але і паўсюдна ва ўсіх галінах прамысловасці.
На дадзены момант ва ўмовах глабальнай пандэміі ў сітуацыі фактычнага спынення транснацыянальных вытворчых ланцужкоў ужо становіцца зразумела, што аднаўленне лакальнай вытворчасці - гэта ўжо не асваенне бюджэтаў, а ўмова выжывання Расіі як самастойнай дзяржавы.
Таму мы будзем працягваць шукаць і выкарыстоўваць у жыцці расійскае абсталяванне і расказваць вам пра тое, што на самой справе робяць кампаніі ў нас, з якімі праблемамі яны сутыкаюцца і якія тытанічныя намаганні прыкладаюць, каб іх вырашаць.
У рамках аднаго артыкула даволі складана распавесці аб усіх аспектах вытворчасці, таму ў якасці бонуса мы арганізуем анлайн-дыскусію ў фармаце вебинара па гэтай тэме. На гэтым вэбінары мы дэталёва і ў фарбах раскажам пра тэхнічныя аспекты вытворчасці платформаў Яхонт для СХД Усход і ў анлайн-рэжыме адкажам на ўсё, нават самыя падступныя пытанні.
Нашым суразмоўцам будзе прадстаўнік распрацоўшчыка платформ, кампаніі НОРСІ-ТРАНС. Вебінар адбудзецца 05.06.2020, жадаючыя паўдзельнічаць могуць зарэгістравацца па спасылцы: .
Усім дзякуй, як звычайна, чакаем канструктыўных каментароў.
Крыніца: habr.com