[Supercomputing 2019]. Мультывоблачнае сховішча як сфера прымянення новых назапашвальнікаў Kingston DC1000M

Уявіце, што вы запускаеце інавацыйны медыцынскі бізнэс - індывідуальны падбор лекаў на аснове аналізу геному чалавека. У кожнага пацыента 3 мільярды пар генаў, і звычайнаму серверу на працэсарах х86 спатрэбіцца некалькі дзён на разлікі. Вы ведаеце, што паскорыць працэс можна на серверы з працэсарам FPGA, які распаралельвае вылічэнні на тысячы патокаў. Ён выканае разлік геному прыкладна за гадзіну. Такія серверы можна ўзяць у арэнду ў Amazon Web Services (AWS). Але вось няўдача - заказчык у асобе шпіталя катэгарычна супраць памяшкання генетычных дадзеных у воблака правайдэра. Як быць? Kingston і хмарны стартап паказалі на выставе Supercomputing-2019 архітэктуру Private MultiCloud Storage (PMCS), Якая вырашае такую ​​задачу.

Тры ўмовы высокапрадукцыйных вылічэнняў

Разлік геному чалавека – не адзіная задача ў сферы высокапрадукцыйных вылічэнняў (HPC, High Performance Computing). Навукоўцы разлічваюць фізічныя палі, інжынеры – дэталі самалётаў, фінансісты – эканамічныя мадэлі, а ўсе разам аналізуюць вялікія дадзеныя, будуюць нейронавыя сеткі і робяць шмат іншых складаных вылічэнняў.

Тры ўмовы HPC – гэта велізарная вылічальная магутнасць, вельмі ёмістае і хуткае сховішча і высокая прапускная здольнасць сеткі. Таму стандартная практыка правядзення НРС-вылічэнняў - ва ўласным дата-цэнтры кампаніі (on-premises) або ў правайдэра ў воблаку.

Але свае дата-цэнтры ёсць далёка не ва ўсіх кампаній, а ў каго ёсць – часта прайграюць камерцыйным дата-цэнтрам па эфектыўнасці выкарыстання рэсурсаў (патрабуюцца капітальныя выдаткі на куплю і абнаўленне "жалеза" і ПЗ, аплату высокакваліфікаванага персаналу і г.д.) . Воблачнае правайдэры, наадварот, прапануюць IT-рэсурсы па мадэлі аперацыйных выдаткаў "Pay-as-you-go", г.зн. арэндная плата налічваецца толькі за час карыстання. Калі вылічэнні праведзены - серверы з акаўнта можна выдаліць, і тым самым зэканоміць IT-бюджэты. Але пры наяўнасці заканадаўчай або карпаратыўнай забароны на перадачу дадзеных да правайдэра HPC-вылічэнні ў воблаку недаступныя.

Private MultiCloud Storage

Архітэктура Private MultiCloud Storage заклікана прадаставіць доступ да хмарных сэрвісаў, фізічна пакінуўшы самі дадзеныя на пляцоўцы прадпрыемства або ў адасобленым абароненым адсеку дата-цэнтра на паслузе калокейшн. Па сутнасці, гэта дата-цэнтрычная мадэль размеркаваных вылічэнняў, дзе хмарныя серверы працуюць з выдаленымі сістэмамі захоўвання з прыватнага аблокі. Адпаведна, выкарыстоўваючы адно і таксама лакальнае сховішча дадзеных, можна працаваць з хмарнымі сэрвісамі найбуйных правайдэраў: AWS, MS Azure, Google Cloud Platform‎ і інш.

Паказваючы прыклад рэалізацыі PMCS на выставе Supercomputing-2019, Kingston прадставіла ўзор высокапрадукцыйнай сістэмы захоўвання дадзеных (СХД) на базе SSD-дыскаў DC1000M, а адзін з хмарных стартапаў – кіравальнае ПА StorOne S1 для праграмна-вызначанага сховішчы і выдзеленыя каналы сувязі. .

Трэба адзначыць, што PMCS як працоўная мадэль хмарных вылічэнняў з прыватным сховішчам разлічана на рынак Паўночнай Амерыкі з той развітой складнасцю сеткі паміж дата-цэнтрамі, якая падтрымліваецца на інфраструктуры AT&T і Equinix. Так, пінг паміж сістэмай захоўвання на калокейшн у любым вузле Equinix Cloud Exchange і воблакам AWS складае менш за 1 мілісекунду (крыніца: ITProToday).

У дэманстрацыі архітэктуры PMCS, паказанай на выставе, сістэма захоўвання на NVMe-дысках DC1000M размяшчалася на калокейшн, а ў аблоках AWS, MS Azure, Google Cloud Platform былі заведзены віртуальныя машыны, якія пінгавалі адзін аднаго. Кліент-сервернае прыкладанне ў выдаленым рэжыме працавала з сістэмай захоўвання Kingston і серверамі HP DL380 у дата-цэнтры і праз інфраструктуру каналаў сувязі Equinix атрымлівала доступ да хмарных платформ вышэйназваных асноўных правайдэраў.

Слайд з прэзентацыі Private MultiCloud Storage на выставе Supercomputing-2019. Крыніца: Kingston

Блізкае па функцыянальнасці ПЗ для кіравання архітэктурай прыватнага мультывоблачнага сховішча прапануецца рознымі кампаніямі. Тэрміны для гэтай архітэктуры таксама могуць гучаць па-рознаму – Private MultiCloud Storage або Private Storage for Cloud.

"Сучасныя суперкампутары працуюць на мностве HPC-прыкладанняў, якія знаходзяцца на перадавой прагрэсу – ад разведкі нафты і газу да прагнозаў надвор'я, фінансавых рынкаў і распрацоўкі новых тэхналогій", – адзначыў Кіт Шыменці, менеджэр па карпаратыўным кіраванні цвёрдацельнымі назапашвальнікамі ў Kingston. – Гэтыя прыкладанні HPC патрабуюць значна большай адпаведнасці паміж прадукцыйнасцю працэсараў і хуткасцю ўводу-вываду. Мы з гонарам расказваем пра тое, як рашэнні Kingston дапамагаюць здзяйсняць прарывы ​​ў вылічальнай тэхніцы, забяспечваючы прадукцыйнасць, неабходную ў самых экстрэмальных вылічальных асяроддзях і дадатках у свеце».

Назапашвальнік DC1000M і прыклад сістэмы захоўвання на яго аснове

SSD-назапашвальнік DC1000M U.2 NVMe распрацаваны Kingston для дата-цэнтраў і спецыяльна прызначаны для інтэнсіўнай працы з дадзенымі і HPC, такімі як прыкладанні для штучнага інтэлекту (AI) і машыннага навучання (ML).

Назапашвальнік DC1000M U.2 NVMe на 3.84ТБ. Крыніца: Kingston

Назапашвальнікі DC1000M U.2 пабудаваны на базе 96-слаёвай памяці Intel 3D NAND, кіраванай кантролерам Silicon Motion SM2270 (PCIe 3.0 і NVMe 3.0). Silicon Motion SM2270 – гэта 16-канальны карпаратыўны кантролер NVMe з інтэрфейсам PCIe 3.0 x8, падвойны 32-бітнай шынай дадзеных DRAM і трыма працэсарамі ARM Cortex R5 dual.

Да выпуску прапануюцца DC1000M рознага аб'ёму: ад 0.96 да 7.68 ТБ (найбольш запатрабаванымі, як лічыцца, будуць ёмістасці 3.84 і 7.68 ТБ). Прадукцыйнасць назапашвальніка ацэньваецца на ўзроўні 800 IOPS.

Сістэма захоўвання з 10х DC1000M U.2 NVMe 7.68 ТБ. Крыніца: Kingston

У якасці прыкладу сістэмы захоўвання для HPC-прыкладанняў, Kingston прадставіла на выставе Supercomputing-2019 стойкавае рашэнне з 10 назапашвальнікамі DC1000M U.2 NVMe, кожны ёмістасцю 7.68/122 ТБ. Сістэма захоўвання пабудавана на базе SB1A-PH, платформы формаў-фактару 2U фірмы AIC. Працэсары: 5x Intel Xeon CPU E2660-128, памяць Kingston DRAM 8 ГБ (16×4 ГБ) DDR2400-24 (Part Number: KSM4RS16/18.04.3HAI). У якасці АС усталявана Ubuntu 5.0.0 LTS, Linux kernel ver 31-3.13. Тэст gfio v5.8 (Flexible I/O tester) паказаў прадукцыйнасць аперацый чытання 23.8 млн IOPS пры прапускной здольнасці XNUMX/XNUMX Гбіт / с.

Прадстаўленая СХД паказала ўражлівыя характарыстыкі па параметры ўстойлівага чытання 5,8 IOPS (аперацый ўводу-вываду ў секунду). Гэта на два парадкі хутчэй, чым SSD для сістэм мас-маркета. Такая хуткасць чытання патрэбна для HPC-прыкладанняў, якія выконваюцца на спецыялізаваных працэсарах.

Воблачнае вылічэнні HPC c прыватным сховішчам у Расіі

Задача выканання высокапрадукцыйных вылічэнняў у правайдэра, але фізічна захоўваючы дадзеныя on-premises, актуальная і для расійскіх кампаній. Іншы часты выпадак у айчынным бізнэсе - калі пры выкарыстанні замежных хмарных сэрвісаў дадзеныя павінны знаходзіцца на тэрыторыі РФ. Мы папрасілі пракаментаваць гэтыя сітуацыі ад асобы хмарнага правайдэра Selectel як даўняга партнёра Kingston.

«У Расіі можна пабудаваць аналагічную архітэктуру, прычым з абслугоўваннем на рускай мове і ўсімі справаздачнымі дакументамі для бухгалтэрыі кліента. Калі кампаніі трэба правесці высокапрадукцыйныя вылічэнні, выкарыстоўваючы on-premises СХД, мы ў Selectel даем у арэнду серверы з працэсарамі розных тыпаў, уключаючы FPGA, GPU або шмат'ядравымі CPU. Дадаткова праз партнёраў арганізуем пракладку выдзеленага аптычнага канала паміж офісам кліента і нашым ЦАД, - каментуе Аляксандр Тугоў, дырэктар па развіцці паслуг Selectel. - Кліент таксама можа размясціць сваю СХД на калокейшн ў машыннай зале з асаблівым рэжымам доступу і запускаць прыкладанні як на нашых серверах, так і ў аблоках глабальных правайдэраў AWS, MS Azure, Google Cloud. Зразумела, затрымка сігналу ў апошнім выпадку будзе вышэй, чым калі б СГД кліента знаходзілася ў ЗША, але шырокапалоснае мультиоблачное злучэнне будзе забяспечана».

У наступным матэрыяле мы раскажам пра яшчэ адно рашэнне Кінгстан, якое было прадстаўлена на выставе Supercomputing-2019 (Дэнвер, шт. Каларада, ЗША) і прызначана для прыкладанняў машыннага навучання і аналізу вялікіх дадзеных з дапамогай графічных працэсараў. Гэта тэхналогія GPUDirect Storage, якая забяспечвае прамую перадачу дадзеных паміж NVMe-сховішчам і памяццю працэсара GPU. А акрамя таго, мы растлумачым, якім чынам атрымалася дасягнуць хуткасці чытання дадзеных у 5.8 млн IOPS у стойкавай СХД на NVMe-дысках.

Для атрымання дадатковай інфармацыі аб прадуктах Kingston Technology звяртайцеся на сайт кампаніі.

Крыніца: habr.com