[Суперрачунање 2019]. Складиштење у више облака као област примене за нове Кингстон ДЦ1000М дискове

Замислите да покрећете иновативни медицински посао - индивидуални одабир лекова на основу анализе људског генома. Сваки пацијент има 3 милијарде парова гена, а обичном серверу на к86 процесорима ће бити потребно неколико дана да се израчуна. Знате да можете убрзати процес на серверу са ФПГА процесором који паралелизује прорачуне у хиљадама нити. То ће завршити прорачун генома за око сат времена. Такви сервери се могу изнајмити од Амазон Веб Сервицес (АВС). Али ево ствари: клијент, болница, категорички је против стављања генетских података у облак добављача. Шта бих требао да урадим? Кингстон и клауд стартап приказали су архитектуру на изложби Суперцомпутинг-2019 Приватна мултиклауд складиште (ПМЦС), који решава овај проблем.

Три услова за рачунарство високих перформанси

Израчунавање људског генома није једини задатак у области рачунарства високих перформанси (ХПЦ, Хигх Перформанце Цомпутинг). Научници израчунавају физичка поља, инжењери израчунавају делове авиона, финансијери израчунавају економске моделе и заједно анализирају велике податке, граде неуронске мреже и праве многе друге сложене прорачуне.

Три услова ХПЦ-а су огромна рачунарска снага, веома велико и брзо складиштење и висока мрежна пропусност. Стога је стандардна пракса за извођење ЛПЦ прорачуна у сопственом дата центру (он-премисес) или код провајдера у облаку.

Али немају све компаније своје центре података, а они који имају често су инфериорнији од комерцијалних центара података у смислу ефикасности ресурса (потребни су капитални издаци за куповину и ажурирање хардвера и софтвера, плаћање висококвалификованог особља итд.). Провајдери у облаку, напротив, нуде ИТ ресурсе по моделу трошкова пословања „Паи-ас-иоу-го”, тј. закупнина се наплаћује само за период коришћења. Када се прорачуни заврше, сервери се могу уклонити са налога, чиме се штеди ИТ буџет. Али ако постоји законска или корпоративна забрана преноса података добављачу, ХПЦ рачунарство у облаку није доступно.

Приватно складиште за више облака

Архитектура Привате МултиЦлоуд Стораге је дизајнирана да обезбеди приступ услугама у облаку док физички оставља саме податке на локацији предузећа или у посебном безбедном одељку центра података помоћу услуге колокације. У суштини, то је модел дистрибуираног рачунарства усредсређен на податке где сервери у облаку раде са системима удаљеног складиштења из приватног облака. Сходно томе, користећи исто локално складиште података, можете да радите са услугама у облаку највећих провајдера: АВС, МС Азуре, Гоогле Цлоуд Платформ, итд.

Показујући пример имплементације ПМЦС-а на изложби Суперцомпутинг-2019, Кингстон је представио узорак система за складиштење података високих перформанси (ССД) заснованог на ДЦ1000М ССД дисковима, а један од клауд стартапа представио је софтвер за управљање СторОне С1 за софтвер- дефинисано складиштење и наменски канали комуникације са главним провајдерима у облаку.

Треба напоменути да је ПМЦС, као радни модел рачунарства у облаку са приватним складиштем, дизајниран за тржиште Северне Америке са развијеном мрежном конективношћу између дата центара која је подржана на инфраструктури АТ&Т и Екуиник. Дакле, пинг између система за складиштење колокације у било ком Екуиник Цлоуд Екцханге чвору и АВС облака је мањи од 1 милисекунде (извор: ИТПроТодаи).

У демонстрацији ПМЦС архитектуре приказане на изложби, систем за складиштење на ДЦ1000М НВМе дисковима се налазио у колокацији, а виртуелне машине су инсталиране у облацима АВС, МС Азуре и Гоогле Цлоуд Платформ, који су пинговали једни друге. Апликација клијент-сервер је на даљину радила са Кингстон системом складиштења и ХП ДЛ380 серверима у дата центру и, преко инфраструктуре комуникационог канала Екуиник, приступала клауд платформама горе поменутих великих провајдера.

Слајд са презентације Привате МултиЦлоуд Стораге на изложби Суперцомпутинг-2019. Извор: Кингстон

Софтвер сличне функционалности за управљање архитектуром приватног мултицлоуд складишта нуде различите компаније. Термини за ову архитектуру такође могу звучати другачије - Привате МултиЦлоуд Стораге или Привате Стораге фор Цлоуд.

„Данашњи суперкомпјутери покрећу различите ХПЦ апликације које су на челу напретка, од истраживања нафте и гаса до прогнозе времена, финансијских тржишта и развоја нових технологија“, рекао је Кеитх Сцхимменти, менаџер корпоративног управљања ССД-ом у Кингстону. „Ове ХПЦ апликације захтевају много већу усклађеност између перформанси процесора и И/О брзине. Поносни смо што можемо да поделимо како решења компаније Кингстон помажу у постизању открића у рачунарству, испоручујући перформансе потребне у најекстремнијим рачунарским окружењима и апликацијама на свету.”

ДЦ1000М драјв и пример система за складиштење података заснованог на њему

ДЦ1000М У.2 НВМе ССД је дизајнирао Кингстон за центар података и посебно је дизајниран за апликације које захтевају велики број података и ХПЦ као што су вештачка интелигенција (АИ) и апликације за машинско учење (МЛ).

ДЦ1000М У.2 НВМе 3.84ТБ диск. Извор: Кингстон

ДЦ1000М У.2 дискови су засновани на 96-слојној Интел 3Д НАНД меморији, коју контролише Силицон Мотион СМ2270 контролер (ПЦИе 3.0 и НВМе 3.0). Силицон Мотион СМ2270 је пословни НВМе контролер са 16 трака са ПЦИе 3.0 к8 интерфејсом, двоструком 32-битном ДРАМ магистралом података и три АРМ Цортек Р5 дуал процесора.

ДЦ1000М различитих капацитета се нуди за издавање: од 0.96 до 7.68 ТБ (верује се да су најпопуларнији капацитети 3.84 и 7.68 ТБ). Перформансе драјва се процењују на 800 хиљада ИОПС.

Систем за складиштење са 10к ДЦ1000М У.2 НВМе 7.68 ТБ. Извор: Кингстон

Као пример система за складиштење за ХПЦ апликације, Кингстон је на Суперцомпутинг 2019 представио решење за рек са 10 ДЦ1000М У.2 НВМе уређаја, сваки капацитета 7.68 ТБ. Систем за складиштење је базиран на СБ122А-ПХ, платформи 1У формата из АИЦ-а. Процесори: 2к Интел Ксеон ЦПУ Е5-2660, Кингстон ДРАМ 128 ГБ (8к16 ГБ) ДДР4-2400 (број дела: КСМ24РС4/16ХАИ). Инсталирани ОС је Убунту 18.04.3 ЛТС, Линук кернел верзија 5.0.0-31. Гфио в3.13 тест (Флексибилни И/О тестер) показао је перформансе читања од 5.8 милиона ИОПС са пропусношћу од 23.8 Гбпс.

Представљени систем складиштења је показао импресивне карактеристике у смислу стабилног очитавања од 5,8 милиона ИОПС (улазно-излазних операција у секунди). Ово је два реда величине брже од ССД-а за системе масовног тржишта. Ова брзина читања је потребна за ХПЦ апликације које раде на специјализованим процесорима.

ХПЦ рачунарства у облаку са приватним складиштем у Русији

Задатак обављања рачунарства високих перформанси код провајдера, али физичког складиштења локалних података, такође је релевантан за руске компаније. Још један чест случај у домаћем пословању је када се приликом коришћења страних цлоуд сервиса подаци морају налазити на територији Руске Федерације. Замолили смо за коментар ових ситуација у име клауд провајдера Селецтел као дугогодишњег партнера Кингстона.

„У Русији је могуће изградити сличну архитектуру, са сервисом на руском језику и свим извештајним документима за рачуноводство клијента. Ако компанија треба да обавља рачунарство високих перформанси користећи локалне системе за складиштење података, ми у Селецтел-у изнајмљујемо сервере са процесорима различитих типова, укључујући ФПГА, ГПУ или вишејезгарних процесора. Поред тога, преко партнера организујемо постављање наменског оптичког канала између канцеларије клијента и нашег дата центра“, коментарише Александар Тугов, директор развоја услуга у Селецтел-у. — Клијент такође може да постави свој систем складиштења на колокацију у рачунарској сали са посебним режимом приступа и да покреће апликације како на нашим серверима тако и у облацима глобалних провајдера АВС, МС Азуре, Гоогле Цлоуд. Наравно, кашњење сигнала у последњем случају ће бити веће него да се систем за складиштење клијента налази у САД, али ће бити обезбеђена широкопојасна мулти-цлоуд веза.

У следећем чланку ћемо говорити о још једном Кингстон решењу, које је представљено на изложби Суперцомпутинг 2019 (Денвер, Колорадо, САД) и намењено је апликацијама за машинско учење и анализу великих података помоћу ГПУ-а. Ово је ГПУДирецт Стораге технологија, која обезбеђује директан пренос података између НВМе складишта и меморије ГПУ процесора. И поред тога, објаснићемо како смо успели да постигнемо брзину читања података од 5.8 милиона ИОПС у рацк систему за складиштење на НВМе дисковима.

За више информација о Кингстон Тецхнологи производима, посетите Сајт компаније.

Извор: ввв.хабр.цом