5.8 милиона IOPS: защо толкова много?

Здравейте, Хабр! Наборите данни за Big Data и машинно обучение експоненциално нараства и трябва да успеем да ги обработваме. Нашата статия за една иновационна технология в областта на високопроизводителните изчисления (HPC, High Performance Computing), показана на щанда на Kingston на Supercomputing-2019. Това е приложение на Hi-End системи за съхранение на данни (СХД) в сървъри с графични процесори (GPU) и технологията на шина GPUDirect Storage. Благодарение на директния обмен на данни между СХД и GPU, прескачайки CPU, значително се ускорява зареждането на данни в GPU-ускорители, затова приложенията Big Data се изпълняват на максималната производителност, която осигуряват GPU. От своя страна, разработчиците на HPC-системи се интересуват от постиженията в областта на СХД с изключително висока скорост на вход/изход — такива, каквито произвежда Kingston.

Производителността на GPU надминава зареждането на данни

Откакто през 2007 година беше създадена CUDA — софтуерно-хардуерната архитектура за паралелни изчисления на основата на GPU за разработване на приложения с общо предназначение, хардуерните възможности на самите GPU нараснаха невероятно. Днес GPU намират все по-широко приложение в областта на HPC-приложения, като големи данни (Big Data), машинно обучение (ML, machine learning) и дълбочинно учене (DL, deep learning).

Важно отметить, что, несмотря на схожесть терминов, последние два относятся к алгоритмически различным задачам. ML обучает компьютер на основе структурированных данных, в то время как DL использует отклики от нейронной сети. Пример, помогающий понять эти различия, довольно прост. Предположим, что компьютер должен различать фотографии кошек и собак, загружаемые с СХД. Для ML требуется предоставить набор изображений с множеством меток, каждая из которых определяет одно конкретное качество животного. Для DL достаточно загрузить гораздо большее количество изображений, но только с одной меткой «это кошка» или «это собака». DL очень похоже на то, как обучают маленьких детей — им просто показывают изображения собак и кошек в книгах и в жизни (чаще всего, даже не объясняя детальные различия), и мозг ребенка начинает самостоятельно определять тип животного после определенного критического числа изображений для сравнения (по оценкам, это всего ста-другой показов за всё время раннего детства). Алгоритмы DL пока не настолько совершенны: чтобы нейронная сеть так же успешно определяла образы, необходимо подать и обработать на GPU миллионы изображений.

Итог предисловия: на базе GPU можно создавать HPC-приложения в области Big Data, ML и DL, но существует проблема — наборы данных настолько велики, что время, затрачиваемое на загрузку данных из системы хранения в GPU, начинает снижать общую производительность приложения. Иными словами, мощные графические процессоры остаются недогруженными из-за медленного ввода-вывода данных, поступающих из других подсистем. Разница в скорости ввода/вывода GPU и шины к CPU/СХД может достигать порядка.

Как работает технология GPUDirect Storage?

Процесс ввода-вывода контролируется CPU, так же как и процесс загрузки данных из хранилища в графические процессоры для последующей обработки. Отсюда возник запрос на технологию, которая обеспечила бы прямой доступ между GPU и NVMe-дисками для быстрого взаимодействия между собой. Первой такую технологию предложила NVIDIA и назвала ее GPUDirect Storage. По сути, это вид ранее разработанной ими технологии GPUDirect RDMA (Remote Direct Memory Address).

Дженсен Хуанг, генеральный директор NVIDIA, представляет GPUDirect Storage как разновидность GPUDirect RDMA на выставке SC-19. Источник: NVIDIA

Разликата между GPUDirect RDMA и GPUDirect Storage е в устройствата, между които се осъществява адресацията. Технологията GPUDirect RDMA е проектирана да премества данни директно между входната карта на мрежовия интерфейс (NIC) и паметта на GPU, докато GPUDirect Storage осигурява директен път за предаване на данни между локалното или отдалечено хранилище, като NVMe или NVMe чрез Fabric (NVMe-oF), и паметта на GPU.

И двете технологии, GPUDirect RDMA и GPUDirect Storage, избягват излишните прехвърляния на данни през буфер в паметта на CPU и позволяват на механизма за директен достъп до паметта (DMA) да премества данни от мрежовата карта или хранилището директно в паметта на GPU или обратно — и всичко това без натоварване на централния процесор. За GPUDirect Storage местоположението на хранилището не е от значение: то може да бъде NVMe диск вътре в единицата с GPU, в стойка или свързан по мрежата като NVMe-oF.

Схема на работа на GPUDirect Storage. Източник: NVIDIA

Hi-End СХД на NVMe са търсени на пазара на HPC приложения.

Разбирайки, че с появата на GPUDirect Storage интересът на големите клиенти ще бъде насочен към предлагането на системи за съхранение с входно/изходна скорост, съответстваща на пропускната способност на GPU, на изложението SC-19 Kingston показа демо система, състояща се от СХД на база NVMe дискове и единица с GPU, в която се провеждаше анализ на хиляди сателитни снимки в секунда. За такава СХД на база 10 накопителя DC1000M U.2 NVMe вече писахме в репортажа от изложението на суперкомпютри..

СХД на база 10 накопителя DC1000M U.2 NVMe е отлично допълнение към сървър с графични ускорители. Източник: Kingston

Такава СХД се предлага под формата на стоечен модул 1U или по-голям и може да се мащабира в зависимост от броя на дисковете DC1000M U.2 NVMe, където всеки е с капацитет 3.84-7.68 ТБ. DC1000M е първият модел NVMe SSD във форм-фактор U.2 в серията дискове на Kingston за дата центрове. Той има рейтинг на издръжливост (DWPD, Drive writes per day), позволяващ перезаписване на данни на пълния капацитет веднъж на ден през гарантирания срок на живот на диска.

В теста fio v3.13 на операционната система Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, изложбеният образец на СХД показа скорост на четене (Sustained Read) от 5.8 млн. IOPS при устойчива пропускна способност (Sustained Bandwidth) от 23.8 Гбит/с.

Ариел Перес, бизнес-менеджер SSD в Kingston, охарактеризовал новые СХД: «Готовы обеспечить следующее поколение серверов SSD-решениями U.2 NVMe, устраняющими многие ограничения в передаче данных, традиционно связанные с системами хранения. Комбинация накопителей NVMe SSD и нашей премиальной оперативной памяти Server Premier DRAM делает Kingston одним из самых полных поставщиков комплексных решений для обработки данных в отрасли».

Тест gfio v3.13 показал пропускную способность 23.8 Гбит/с для демонстрационной СХД на дисках DC1000M U.2 NVMe. Источник: Kingston

Как будет выглядеть типичная система для HPC-приложений с реализованной технологией GPUDirect Storage или аналогичной? Это архитектура с физическим разделением функциональных блоков в стойке: один-два юнита для оперативной памяти, несколько для вычислительных узлов GPU и CPU, а также один или несколько юнитов для СХД.

С анонсом GPUDirect Storage и возможным появлением аналогичных технологий у других вендоров GPU, спрос на СХД, предназначенные для высокопроизводительных вычислений, для Kingston значительно возрастает. Скорость чтения данных из СХД будет сравнима с пропускной способностью 40- или 100-Гбитных сетевых карт на входе в вычислительный юнит с GPU. Таким образом, ультраскоростные СХД, включая внешние NVMe через Fabric, перестанут быть экзотикой и станут мэйнстримом для HPC-приложений. Кроме науки и финансовых расчетов, они также найдут применение в других практических областях, таких как системы безопасности уровня мегаполиса Safe City или центры наблюдения на транспорте, где требуется высокая скорость распознавания и идентификации на уровне миллионов HD-изображений в секунду», — обозначил рыночную нишу топовых СХД.

Допълнителна информация за продуктите на Kingston може да се намери на официалния сайт компанията.

Източник: habr.com