Здраво Хабр! Скупови података за велике податке и машинско учење расту експоненцијално и морамо да идемо у корак са њима. Наш пост о још једној иновативној технологији у области рачунарства високих перформанси (ХПЦ, Хигх Перформанце Цомпутинг), приказаној на штанду Кингстона у . Ово је употреба Хи-Енд система за складиштење података (СДС) у серверима са графичким процесорским јединицама (ГПУ) и технологијом магистрале ГПУДирецт Стораге. Захваљујући директној размени података између система за складиштење и ГПУ-а, заобилазећи ЦПУ, учитавање података у ГПУ акцелераторе је убрзано за ред величине, тако да апликације Биг Дата раде са максималним перформансама које ГПУ-ови пружају. Заузврат, програмери ХПЦ система заинтересовани су за напредак у системима за складиштење података са највећим И/О брзинама, као што су они које производи Кингстон.
Перформансе ГПУ-а надмашују учитавање података
Откако је ЦУДА, хардверска и софтверска паралелна рачунарска архитектура заснована на ГПУ-у за развој апликација опште намене, створена 2007. године, хардверске могућности самих ГПУ-а су невероватно порасле. Данас се ГПУ-ови све више користе у ХПЦ апликацијама као што су Биг Дата, машинско учење (МЛ) и дубоко учење (ДЛ).
Имајте на уму да су, упркос сличности појмова, последња два алгоритамски различита задатка. МЛ обучава рачунар на основу структурираних података, док ДЛ тренира рачунар на основу повратних информација из неуронске мреже. Пример који помаже у разумевању разлика је прилично једноставан. Претпоставимо да рачунар мора да разликује фотографије мачака и паса које се учитавају из система за складиштење. За МЛ, требало би да пошаљете скуп слика са много ознака, од којих свака дефинише једну посебну особину животиње. За ДЛ је довољно поставити много већи број слика, али са само једном ознаком „ово је мачка“ или „ово је пас“. ДЛ је веома сличан томе како се мала деца уче – једноставно им се приказују слике паса и мачака у књигама и у животу (најчешће, чак и без објашњења детаљне разлике), а дететов мозак сам почиње да одређује врсту животиње после одређени критичан број слика за поређење (Према проценама, реч је о свега сто-две емисије током раног детињства). ДЛ алгоритми још увек нису толико савршени: да би неуронска мрежа такође успешно радила на идентификацији слика, неопходно је да унесе и обради милионе слика у ГПУ.
Резиме предговора: на основу ГПУ-а можете да правите ХПЦ апликације у области великих података, МЛ и ДЛ, али постоји проблем - скупови података су толико велики да је време утрошено на учитавање података из система за складиштење у ГПУ почиње да смањује укупне перформансе апликације. Другим речима, брзи ГПУ-ови остају недовољно искоришћени због спорих И/О података који долазе из других подсистема. Разлика у И/О брзини ГПУ-а и магистрале до ЦПУ/система за складиштење може бити реда величине.
Како функционише ГПУДирецт Стораге технологија?
Процес И/О контролише ЦПУ, као и процес учитавања података из складишта у ГПУ за даљу обраду. Ово је довело до захтева за технологијом која би обезбедила директан приступ између ГПУ-а и НВМе уређаја за брзу међусобну комуникацију. НВИДИА је прва понудила такву технологију и назвала је ГПУДирецт Стораге. У ствари, ово је варијација ГПУДирецт РДМА (Ремоте Дирецт Мемори Аддресс) технологије коју су претходно развили.
Јенсен Хуанг, извршни директор НВИДИА-е, представиће ГПУДирецт Стораге као варијанту ГПУДирецт РДМА на СЦ-19. Извор: НВИДИА
Разлика између ГПУДирецт РДМА и ГПУДирецт Стораге-а је у уређајима између којих се врши адресирање. ГПУДирецт РДМА технологија је пренамењена за премештање података директно између предње мрежне картице (НИЦ) и ГПУ меморије, а ГПУДирецт Стораге обезбеђује директну путању података између локалног или удаљеног складишта као што је НВМе или НВМе преко Фабриц (НВМе-оФ) и ГПУ меморија.
И ГПУДирецт РДМА и ГПУДирецт Стораге избегавају непотребна кретања података кроз бафер у ЦПУ меморији и дозвољавају механизму директног приступа меморији (ДМА) да премести податке са мрежне картице или складишта директно у или из ГПУ меморије – све без оптерећења на централном ЦПУ-у. За ГПУДирецт Стораге, локација складишта није битна: то може бити НВМЕ диск унутар ГПУ јединице, унутар сталка или повезан преко мреже као НВМе-оФ.
Шема рада ГПУДирецт Стораге-а. Извор: НВИДИА
Хи-Енд системи за складиштење на НВМе су тражени на тржишту ХПЦ апликација
Схвативши да ће појавом ГПУДирецт Стораге-а интересовање великих купаца бити привучено понуди система за складиштење са И/О брзинама које одговарају пропусности ГПУ-а, Кингстон је на изложби СЦ-19 показао демо система који се састоји од систем за складиштење заснован на НВМе дисковима и јединици са ГПУ, која је анализирала хиљаде сателитских слика у секунди. Већ смо писали о таквом систему складиштења заснованом на 10 ДЦ1000М У.2 НВМе драјвова .
Систем за складиштење заснован на 10 ДЦ1000М У.2 НВМе драјвова адекватно допуњује сервер са графичким акцелераторима. Извор: Кингстон
Овај систем за складиштење је дизајниран као рек јединица од 1У или већа и може се скалирати у зависности од броја ДЦ1000М У.2 НВМе уређаја, сваки капацитета 3.84-7.68 ТБ. ДЦ1000М је први НВМе ССД модел у фактору У.2 форме у Кингстоновој линији уређаја за центар података. Има оцену издржљивости (ДВПД, Дриве уписује дневно), што му омогућава да преписује податке до свог пуног капацитета једном дневно за гарантовани век трајања диск јединице.
У тесту фио в3.13 на Убунту 18.04.3 ЛТС оперативном систему, Линук кернел 5.0.0-31-генерички, узорак изложбеног складишта показао је брзину читања (одрживо читање) од 5.8 милиона ИОПС са одрживим протоком (одрживи пропусни опсег ) од 23.8 Гбит/с.
Ариел Перез, ССД пословни менаџер у Кингстону, рекао је о новим системима за складиштење: „Спремни смо да опремимо следећу генерацију сервера У.2 НВМе ССД решењима како бисмо елиминисали многа уска грла у преносу података која су традиционално била повезана са складиштем. Комбинација НВМе ССД дискова и нашег врхунског сервера Премиер ДРАМ-а чини Кингстон једним од најсвеобухватнијих добављача решења за податке од краја до краја у индустрији.“
Гфио в3.13 тест је показао пропусност од 23.8 Гбпс за демо систем складиштења на ДЦ1000М У.2 НВМе драјвовима. Извор: Кингстон
Како би изгледао типичан систем за ХПЦ апликације користећи ГПУДирецт Стораге или сличну технологију? Ово је архитектура са физичким раздвајањем функционалних јединица унутар сталка: једна или две јединице за РАМ, још неколико за ГПУ и ЦПУ рачунарске чворове и једна или више јединица за системе за складиштење.
Са најавом ГПУДирецт Стораге-а и могућом појавом сличних технологија од других произвођача ГПУ-а, Кингстонова потражња за системима за складиштење дизајнираним за коришћење у рачунарству високих перформанси се шири. Маркер ће бити брзина читања података из система за складиштење података, упоредива са пропусношћу мрежних картица од 40 или 100 Гбит на улазу у рачунарску јединицу са ГПУ-ом. Тако ће системи за складиштење података ултра велике брзине, укључујући екстерни НВМе преко Фабриц-а, од егзотичних постати уобичајени за ХПЦ апликације. Поред науке и финансијских прорачуна, они ће наћи примену у многим другим практичним областима, као што су безбедносни системи на метрополитанском нивоу Безбедног града или центри за надзор транспорта, где су потребне брзине препознавања и идентификације од милиона ХД слика у секунди“, истиче се. тржишна ниша врхунског система за складиштење
Више информација о Кингстон производима можете пронаћи на компанија.
Извор: ввв.хабр.цом