[Суперкомпјутер 2019]. Складирање со повеќе облаци како област на примена за новите погони Kingston DC1000M

Замислете дека започнувате иновативен медицински бизнис - индивидуален избор на лекови врз основа на анализа на човечкиот геном. Секој пациент има 3 милијарди парови на гени, а на обичен сервер на x86 процесорите ќе му бидат потребни неколку дена за да се пресмета. Знаете дека можете да го забрзате процесот на сервер со FPGA процесор кој ги паралелизира пресметките низ илјадници нишки. Ќе ја заврши пресметката на геномот за околу еден час. Таквите сервери може да се изнајмуваат од веб-услугите на Amazon (AWS). Но, тука е работата: клиентот, болницата, е категорично против ставање генетски податоци во облакот на давателот. Што да правам? Кингстон и облак стартап покажаа архитектура на изложбата Supercomputing-2019 Приватно MultiCloud Storage (PMCS), што го решава овој проблем.

Три услови за пресметување со високи перформанси

Пресметувањето на човечкиот геном не е единствената задача во областа на пресметување со високи перформанси (HPC, High Performance Computing). Научниците пресметуваат физички полиња, инженерите пресметуваат делови од авиони, финансиери пресметуваат економски модели и заедно анализираат големи податоци, градат невронски мрежи и прават многу други сложени пресметки.

Трите услови на HPC се огромна компјутерска моќ, многу големо и брзо складирање и висока мрежна пропусност. Затоа, стандардната практика за спроведување на пресметките на LPC е во сопствениот центар за податоци на компанијата (во просториите) или кај добавувачот во облакот.

Но, не сите компании имаат свои центри за податоци, а оние што често имаат се инфериорни во однос на комерцијалните центри за податоци во однос на ефикасноста на ресурсите (капиталните трошоци се потребни за купување и ажурирање на хардвер и софтвер, плаќање за висококвалификуван персонал итн.) . Обезбедувачите на облак, напротив, нудат ИТ ресурси според моделот на оперативни трошоци „Pay-as-you-go“, т.е. киријата се наплаќа само за периодот на користење. Кога ќе се завршат пресметките, серверите може да се отстранат од сметката, со што се заштедуваат буџети за ИТ. Но, ако постои законска или корпоративна забрана за пренос на податоци до давателот, компјутерите со HPC во облакот не се достапни.

Приватно MultiCloud складирање

Архитектурата Private MultiCloud Storage е дизајнирана да обезбеди пристап до услугите на облак додека физички ги остава податоците на страницата на претпријатието или во посебна безбедна преграда на центарот за податоци користејќи услуга за колокација. Во суштина, тоа е дистрибуиран компјутерски модел фокусиран на податоци каде облак серверите работат со далечински системи за складирање од приватен облак. Според тоа, користејќи го истото локално складирање на податоци, можете да работите со облак услуги од најголемите провајдери: AWS, MS Azure, Google Cloud Platform, итн.

Прикажувајќи пример за имплементација на PMCS на изложбата Supercomputing-2019, Кингстон претстави примерок од систем за складирање податоци со високи перформанси (SSD) базиран на DC1000M SSD дискови, а еден од стартапите во облак го претстави софтверот за управување со StorOne S1 за софтвер- дефинирано складирање и посветени комуникациски канали со главните провајдери на облак.

Треба да се напомене дека PMCS, како работен модел на cloud computing со приватно складирање, е дизајниран за северноамериканскиот пазар со развиено мрежно поврзување помеѓу центрите за податоци што е поддржано на инфраструктурата AT&T и Equinix. Така, пингот помеѓу системот за складирање на колокација во кој било јазол Equinix Cloud Exchange и облакот AWS е помал од 1 милисекунда (извор: ITProToday).

Во демонстрацијата на архитектурата PMCS прикажана на изложбата, системот за складирање на дисковите DC1000M NVMe беше лоциран во колокација, а виртуелните машини беа инсталирани во облаците AWS, MS Azure и Google Cloud Platform, кои се пингуваа еден со друг. Апликацијата клиент-сервер работеше од далечина со системот за складирање Kingston и серверите HP DL380 во центарот за податоци и, преку инфраструктурата на комуникацискиот канал Equinix, пристапи до платформите за облак на горенаведените големи провајдери.

Слајд од презентацијата на Private MultiCloud Storage на изложбата Supercomputing-2019. Извор: Кингстон

Софтвер со слична функционалност за управување со архитектурата на приватно складирање во повеќе облак се нуди од различни компании. Термините за оваа архитектура исто така може да звучат поинаку - Private MultiCloud Storage или Private Storage for Cloud.

„Денешните суперкомпјутери работат со различни HPC апликации кои се во првите редови на напредокот, од истражување на нафта и гас до временски прогнози, финансиски пазари и развој на нова технологија“, рече Кит Шименти, менаџер за управување со SSD на претпријатијата во Кингстон. „Овие HPC апликации бараат многу поголемо совпаѓање помеѓу перформансите на процесорот и брзината на I/O. Горди сме што споделуваме како решенијата на Kingston помагаат да се постигнат откритија во компјутерите, обезбедувајќи ги перформансите потребни во најекстремните компјутерски средини и апликации во светот“.

Погон DC1000M и пример за систем за складирање базиран на него

DC1000M U.2 NVMe SSD е дизајниран од Kingston за центарот за податоци и е специјално дизајниран за интензивни податоци и апликации HPC како што се апликациите за вештачка интелигенција (AI) и машинско учење (ML).

DC1000M U.2 NVMe 3.84TB диск. Извор: Кингстон

Дисковите DC1000M U.2 се базираат на 96-слојна Intel 3D NAND меморија, контролирана од контролер Silicon Motion SM2270 (PCIe 3.0 и NVMe 3.0). Silicon Motion SM2270 е NVMe контролер со 16 ленти со PCIe 3.0 x8 интерфејс, двојна 32-битна DRAM магистрала за податоци и три двојни процесори ARM Cortex R5.

DC1000M со различни капацитети се нудат за ослободување: од 0.96 до 7.68 TB (се верува дека најпопуларните капацитети се 3.84 и 7.68 TB). Перформансите на погонот се проценуваат на 800 илјади IOPS.

Систем за складирање со 10x DC1000M U.2 NVMe 7.68 TB. Извор: Кингстон

Како пример за систем за складирање на HPC апликации, Кингстон на Supercomputing 2019 презентираше решение со решетката со 10 DC1000M U.2 NVMe дискови, секој со капацитет од 7.68 TB. Системот за складирање е заснован на SB122A-PH, платформа со фактор на форма 1U од AIC. Процесори: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Број на дел: KSM24RS4/16HAI). Инсталиран оперативен систем е Ubuntu 18.04.3 LTS, Linux кернел верзија 5.0.0-31. Тестот gfio v3.13 (флексибилен I/O тестер) покажа перформанси за читање од 5.8 милиони IOPS со проток од 23.8 Gbps.

Презентираниот систем за складирање покажа импресивни карактеристики во однос на стабилно читање од 5,8 милиони IOPS (влез-излезни операции во секунда). Ова е два реда на големина побрзо од SSD-дисковите за системи на масовен пазар. Оваа брзина на читање е потребна за HPC апликациите што работат на специјализирани процесори.

Cloud computing HPC со приватно складирање во Русија

Задачата за извршување на пресметување со високи перформанси кај давателот, но физички складирање податоци во просториите, е исто така релевантна за руските компании. Друг чест случај во домашниот бизнис е кога, при користење на странски облак услуги, податоците мора да се наоѓаат на територијата на Руската Федерација. Побаравме коментар за овие ситуации во име на давателот на облак Selectel како долгогодишен партнер на Kingston.

„Во Русија, можно е да се изгради слична архитектура, со услуга на руски јазик и сите документи за известување за сметководствениот оддел на клиентот. Ако една компанија треба да изврши пресметување со високи перформанси користејќи системи за складирање во просториите, ние во Selectel изнајмуваме сервери со процесори од различни типови, вклучително и FPGA, Графичкиот процесор или повеќејадрени процесори. Дополнително, преку партнери, организираме поставување на посветен оптички канал помеѓу канцеларијата на клиентот и нашиот центар за податоци“, коментира Александар Тугов, директор за развој на услуги во Selectel. — Клиентот исто така може да го постави својот систем за складирање на колокација во компјутерска просторија со посебен режим на пристап и да стартува апликации и на нашите сервери и во облаците на глобалните провајдери AWS, MS Azure, Google Cloud. Се разбира, доцнењето на сигналот во вториот случај ќе биде поголемо отколку ако системот за складирање на клиентот се наоѓа во САД, но ќе се обезбеди широкопојасна мулти-облак конекција.

Во следната статија ќе зборуваме за уште едно решение на Kingston, кое беше претставено на изложбата Supercomputing 2019 (Денвер, Колорадо, САД) и е наменето за апликации за машинско учење и анализа на големи податоци со помош на графички процесори. Ова е технологија за складирање GPUDirect, која обезбедува директен пренос на податоци помеѓу складирањето NVMe и меморијата на процесорот на графичкиот процесор. Дополнително, ќе објасниме како успеавме да постигнеме брзина на читање податоци од 5.8 милиони IOPS во систем за складирање rack на NVMe дискови.

За повеќе информации за производите на Kingston Technology, посетете ја Сајтот на компанијата.

Извор: www.habr.com