5.8 милиона IOPS: защо толкова много?

Здравей Habr! Наборите от данни за големи данни и машинно обучение растат експоненциално и трябва да сме в крак с тях. Нашата публикация за друга иновативна технология в областта на високопроизводителните изчисления (HPC, High Performance Computing), показана на щанда на Kingston на Суперкомпютри-2019. Това е използването на Hi-End системи за съхранение на данни (SDS) в сървъри с графични процесори (GPU) и GPUDirect Storage bus технология. Благодарение на директния обмен на данни между системата за съхранение и GPU, заобикаляйки CPU, зареждането на данни в GPU ускорителите се ускорява с порядък, така че приложенията за Big Data работят с максималната производителност, която GPU осигуряват. На свой ред разработчиците на HPC системи се интересуват от напредъка в системите за съхранение с най-високи I/O скорости, като тези, произведени от Kingston.

Производителността на GPU изпреварва зареждането на данни

След създаването на CUDA, базирана на GPU хардуерно-софтуерна паралелна изчислителна архитектура за разработване на приложения с общо предназначение, през 2007 г., хардуерните възможности на самите GPU нараснаха невероятно. Днес графичните процесори се използват все повече в HPC приложения като големи данни, машинно обучение (ML) и дълбоко обучение (DL).

Имайте предвид, че въпреки сходството на термините, последните две са алгоритмично различни задачи. ML обучава компютъра въз основа на структурирани данни, докато DL обучава компютъра въз основа на обратна връзка от невронна мрежа. Пример за разбиране на разликите е доста прост. Да приемем, че компютърът трябва да прави разлика между снимки на котки и кучета, които са заредени от системата за съхранение. За ML трябва да изпратите набор от изображения с много етикети, всеки от които определя една конкретна характеристика на животното. За DL е достатъчно да качите много по-голям брой изображения, но само с един етикет „това е котка“ или „това е куче“. DL е много подобно на начина, по който се учат малките деца - просто им се показват снимки на кучета и котки в книгите и в живота (най-често, без дори да се обяснява подробно разликата), а мозъкът на детето сам започва да определя вида на животното след определен критичен брой снимки за сравнение (Според оценките говорим само за сто или две предавания през ранното детство). Алгоритмите за DL все още не са толкова съвършени: за да може една невронна мрежа да работи успешно и върху идентифицирането на изображения, е необходимо да се подават и обработват милиони изображения в GPU.

Резюме на предговора: на базата на GPU можете да създавате HPC приложения в областта на Big Data, ML и DL, но има проблем - наборите от данни са толкова големи, че времето, прекарано за зареждане на данни от системата за съхранение в GPU започва да намалява цялостната производителност на приложението. С други думи, бързите GPU остават недостатъчно използвани поради бавни I/O данни, идващи от други подсистеми. Разликата в I/O скоростта на GPU и шината към CPU/системата за съхранение може да бъде от порядък.

Как работи технологията GPUDirect Storage?

Процесът на вход/изход се контролира от процесора, както и процесът на зареждане на данни от хранилището към графичните процесори за по-нататъшна обработка. Това доведе до искане за технология, която да осигури директен достъп между GPU и NVMe устройства за бърза комуникация помежду си. NVIDIA беше първата, която предложи такава технология и я нарече GPUDirect Storage. Всъщност това е вариант на технологията GPUDirect RDMA (Remote Direct Memory Address), която те разработиха по-рано.

Дженсън Хуанг, главен изпълнителен директор на NVIDIA, ще представи GPUDirect Storage като вариант на GPUDirect RDMA на SC-19. Източник: NVIDIA

Разликата между GPUDirect RDMA и GPUDirect Storage е в устройствата, между които се извършва адресиране. Технологията GPUDirect RDMA е предназначена за директно преместване на данни между предната мрежова интерфейсна карта (NIC) и GPU памет, а GPUDirect Storage осигурява директен път за данни между локално или отдалечено хранилище, като NVMe или NVMe over Fabric (NVMe-oF) и GPU памет.

Както GPUDirect RDMA, така и GPUDirect Storage избягват ненужните движения на данни през буфер в паметта на процесора и позволяват на механизма за директен достъп до паметта (DMA) да премества данни от мрежовата карта или хранилище директно към или от паметта на GPU - всичко това без натоварване на централния процесор. За GPUDirect Storage местоположението на хранилището няма значение: то може да бъде NVME диск в GPU модул, в стелаж или свързано през мрежата като NVMe-oF.

Схема на работа на GPUDirect Storage. Източник: NVIDIA

Hi-End системите за съхранение на NVMe са търсени на пазара на HPC приложения

Осъзнавайки, че с навлизането на GPUDirect Storage, интересът на големите клиенти ще бъде насочен към предлагане на системи за съхранение с I/O скорости, съответстващи на пропускателната способност на GPU, на изложението SC-19 Kingston показа демонстрация на система, състояща се от система за съхранение, базирана на NVMe дискове и модул с графичен процесор, който анализира хиляди сателитни изображения в секунда. Вече писахме за такава система за съхранение, базирана на 10 DC1000M U.2 NVMe устройства в репортаж от изложението за суперкомпютри.

Система за съхранение, базирана на 10 DC1000M U.2 NVMe устройства, допълва адекватно сървър с графични ускорители. Източник: Kingston

Тази система за съхранение е проектирана като 1U или по-голям стелаж и може да бъде мащабирана в зависимост от броя на DC1000M U.2 NVMe устройства, всеки с капацитет от 3.84-7.68 TB. DC1000M е първият NVMe SSD модел във форм-фактор U.2 в линията устройства на Kingston за центрове за данни. Той има рейтинг на издръжливост (DWPD, Drive writes per day), което му позволява да презаписва данни до пълния им капацитет веднъж на ден за гарантирания живот на устройството.

В теста fio v3.13 на операционната система Ubuntu 18.04.3 LTS, ядрото на Linux 5.0.0-31-generic, извадката за съхранение на изложба показа скорост на четене (Sustained Read) от 5.8 милиона IOPS с устойчива пропускателна способност (Sustained Bandwidth ) от 23.8 Gbit/s.

Ариел Перес, SSD бизнес мениджър в Kingston, каза за новите системи за съхранение: „Ние сме готови да оборудваме следващото поколение сървъри с U.2 NVMe SSD решения, за да елиминираме много от тесните места при трансфера на данни, които традиционно се свързват със съхранението. Комбинацията от NVMe SSD дискове и нашия първокласен Server Premier DRAM прави Kingston един от най-всеобхватните доставчици на решения за данни от край до край в индустрията."

Тестът gfio v3.13 показа пропускателна способност от 23.8 Gbps за демонстрационната система за съхранение на DC1000M U.2 NVMe устройства. Източник: Kingston

Как би изглеждала типична система за HPC приложения, използваща GPUDirect Storage или подобна технология? Това е архитектура с физическо разделение на функционални единици в стелаж: една или две единици за RAM, още няколко за GPU и CPU изчислителни възли и една или повече единици за системи за съхранение.

С обявяването на GPUDirect Storage и възможната поява на подобни технологии от други доставчици на GPU, търсенето на Kingston за системи за съхранение, предназначени за използване във високопроизводителни изчисления, се разширява. Маркерът ще бъде скоростта на четене на данни от системата за съхранение, сравнима с пропускателната способност на 40- или 100-Gbit мрежови карти на входа на изчислителна единица с GPU. По този начин ултрависокоскоростните системи за съхранение, включително външен NVMe чрез Fabric, ще се превърнат от екзотични в мейнстрийм за HPC приложения. В допълнение към науката и финансовите изчисления, те ще намерят приложение в много други практически области, като например системи за сигурност на столично ниво на Safe City или центрове за наблюдение на транспорта, където се изискват скорости на разпознаване и идентификация на милиони HD изображения в секунда“, очертаха пазарната ниша на най-добрата система за съхранение

Повече информация за продуктите на Kingston можете да намерите на официален сайт компания.

Източник: www.habr.com