Сәлем Хабр! Үлкен деректер мен машиналық оқытуға арналған деректер жиынтығы экспоненциалды түрде өсуде және біз олардан ілесуіміз керек. Кингстон стендінде көрсетілген жоғары өнімді есептеулер (HPC, High Performance Computing) саласындағы тағы бір инновациялық технология туралы жазбамыз . Бұл графикалық өңдеу блоктары (GPU) және GPUDirect Storage шина технологиясы бар серверлерде Hi-End деректерді сақтау жүйелерін (SDS) пайдалану. Сақтау жүйесі мен графикалық процессор арасындағы тікелей деректер алмасуының арқасында, процессорды айналып өтіп, деректерді GPU үдеткіштеріне жүктеу шама ретімен жеделдетіледі, сондықтан Big Data қолданбалары GPU қамтамасыз ететін максималды өнімділікте жұмыс істейді. Өз кезегінде, HPC жүйесін әзірлеушілер Кингстон шығарған ең жоғары енгізу/шығару жылдамдығы бар сақтау жүйелеріндегі жетістіктерге қызығушылық танытады.
GPU өнімділігі деректерді жүктеуден асып түседі
Жалпы мақсаттағы қолданбаларды әзірлеуге арналған GPU негізіндегі аппараттық және бағдарламалық параллельді есептеу архитектурасы CUDA 2007 жылы жасалғаннан бері GPU құрылғыларының аппараттық мүмкіндіктері керемет өсті. Бүгінгі күні GPU үлкен деректер, машиналық оқыту (ML) және терең оқыту (DL) сияқты HPC қосымшаларында көбірек қолданылады.
Терминдердің ұқсастығына қарамастан, соңғы екеуі алгоритмдік жағынан әртүрлі тапсырмалар екенін ескеріңіз. ML компьютерді құрылымдық деректер негізінде жаттықтырады, ал DL компьютерді нейрондық желіден кері байланыс негізінде жаттықтырады. Айырмашылықтарды түсінуге көмектесетін мысал өте қарапайым. Компьютер сақтау жүйесінен жүктелген мысықтар мен иттердің фотосуреттерін ажыратуы керек делік. ML үшін әрқайсысы жануардың белгілі бір ерекшелігін анықтайтын көптеген тегтері бар суреттер жинағын жіберу керек. DL үшін суреттердің әлдеқайда көп санын жүктеп салу жеткілікті, бірақ «бұл мысық» немесе «бұл ит» деген бір белгімен. DL кішкентай балаларды қалай оқытуға өте ұқсас - оларға кітаптарда және өмірде иттер мен мысықтардың суреттері көрсетіледі (көбінесе, тіпті егжей-тегжейлі айырмашылықты түсіндірместен) және баланың миы жануардың түрін анықтай бастайды. Салыстыру үшін суреттердің белгілі бір сыни саны (Бағалауларға сәйкес, біз ерте балалық шақтағы жүз-екі шоу туралы айтып отырмыз). DL алгоритмдері әлі онша кемел емес: нейрондық желі кескіндерді анықтауда сәтті жұмыс істеуі үшін GPU-ға миллиондаған кескіндерді беру және өңдеу қажет.
Алғы сөздің қысқаша мазмұны: GPU негізінде сіз Big Data, ML және DL саласында HPC қосымшаларын құра аласыз, бірақ мәселе бар - деректер жинақтары соншалықты үлкен, сондықтан деректерді сақтау жүйесінен GPU-ға жүктеуге кететін уақыт қолданбаның жалпы өнімділігін төмендете бастайды. Басқаша айтқанда, жылдам графикалық процессорлар басқа ішкі жүйелерден келетін баяу енгізу/шығару деректеріне байланысты толық пайдаланылмайды. GPU мен процессорға/сақтау жүйесіне баратын шинаның енгізу/шығару жылдамдығының айырмашылығы үлкен дәрежеде болуы мүмкін.
GPUDirect Storage технологиясы қалай жұмыс істейді?
Енгізу/шығару үрдісін процессор басқарады, сонымен қатар деректерді сақтаудан графикалық процессорларға әрі қарай өңдеу үшін жүктеу процесі. Бұл бір-бірімен жылдам байланысу үшін GPU және NVMe дискілері арасында тікелей қатынасты қамтамасыз ететін технологияға сұранысқа әкелді. NVIDIA бірінші болып мұндай технологияны ұсынды және оны GPUDirect Storage деп атады. Шын мәнінде, бұл олар бұрын әзірлеген GPUDirect RDMA (Қашықтағы тікелей жад мекенжайы) технологиясының нұсқасы.
Дженсен Хуанг, NVIDIA бас директоры, SC-19-да GPUDirect Storage GPUDirect RDMA нұсқасы ретінде ұсынады. Дереккөз: NVIDIA
GPUDirect RDMA мен GPUDirect Storage арасындағы айырмашылық адрестеу жүргізілетін құрылғыларда. GPUDirect RDMA технологиясы деректерді тікелей желілік интерфейс картасы (NIC) мен GPU жады арасында жылжыту үшін тағайындалған және GPUDirect Storage NVMe немесе NVMe астам Fabric (NVMe-oF) сияқты жергілікті немесе қашықтағы жад арасында тікелей деректер жолын қамтамасыз етеді. GPU жады.
GPUDirect RDMA және GPUDirect қоймасы процессор жадындағы буфер арқылы қажетсіз деректер қозғалысын болдырмайды және тікелей жадқа қол жеткізу (DMA) механизміне деректерді желі картасынан немесе жадтан GPU жадына немесе одан тікелей тасымалдауға мүмкіндік береді - барлығы орталық процессорға жүктемесіз. GPUDirect Storage үшін жад орны маңызды емес: ол GPU құрылғысының ішіндегі, тіректің ішіндегі NVME дискісі немесе NVMe-oF ретінде желі арқылы қосылған болуы мүмкін.
GPUDirect Storage жұмысының схемасы. Дереккөз: NVIDIA
NVMe жүйесіндегі Hi-End сақтау жүйелері HPC қолданбалары нарығында сұранысқа ие
GPUDirect Storage пайда болғаннан кейін ірі тұтынушылардың қызығушылығы GPU өткізу қабілетіне сәйкес келетін енгізу/шығару жылдамдығы бар сақтау жүйелерін ұсынуға тартылатынын түсіне отырып, Кингстон SC-19 көрмесінде келесіден тұратын жүйенің демонстрациясын көрсетті. NVMe дискілеріне негізделген сақтау жүйесі және секундына мыңдаған спутниктік кескіндерді талдайтын GPU бар блок. Біз 10 DC1000M U.2 NVMe дискілеріне негізделген мұндай сақтау жүйесі туралы жазған болатынбыз. .
10 DC1000M U.2 NVMe дискілеріне негізделген сақтау жүйесі графикалық үдеткіштері бар серверді лайықты түрде толықтырады. Дереккөз: Кингстон
Бұл сақтау жүйесі 1U немесе үлкенірек тірек құрылғысы ретінде жасалған және әрқайсысының сыйымдылығы 1000-2 ТБ болатын DC3.84M U.7.68 NVMe дискілерінің санына байланысты масштабталуы мүмкін. DC1000M - Kingston деректер орталығының дискілерінің желісіндегі U.2 пішін факторындағы бірінші NVMe SSD моделі. Оның төзімділік рейтингі бар (DWPD, Drive күніне жазады), ол дискінің кепілдік берілген қызмет мерзімі үшін күніне бір рет деректерді толық қуатына дейін қайта жазуға мүмкіндік береді.
Ubuntu 3.13 LTS операциялық жүйесіндегі fio v18.04.3 сынағы, Linux ядросы 5.0.0-31-генерик, көрме сақтау үлгісі тұрақты өткізу қабілетімен (Тұрақты өткізу қабілеттілігі) 5.8 миллион IOPS оқу жылдамдығын (Ustained Read) көрсетті. ) 23.8 Гбит/с.
Ариэль Перес, Kingston компаниясының SSD бизнес-менеджері жаңа сақтау жүйелері туралы: «Біз дәстүрлі түрде сақтаумен байланысты болған деректерді тасымалдаудың көптеген кедергілерін жою үшін серверлердің келесі буынын U.2 NVMe SSD шешімдерімен жабдықтауға дайынбыз. NVMe SSD дискілерінің және біздің премиум сервер Premier DRAM комбинациясы Kingston-ды саладағы ең толық деректер шешімдерінің провайдерлерінің біріне айналдырады.
gfio v3.13 сынағы DC23.8M U.1000 NVMe дискілеріндегі демонстрациялық сақтау жүйесі үшін 2 Гбит/с өткізу қабілеттілігін көрсетті. Дереккөз: Кингстон
GPUDirect Storage немесе ұқсас технологияны пайдалану арқылы HPC қолданбаларына арналған әдеттегі жүйе қандай болады? Бұл тірек ішінде функционалдық бірліктердің физикалық бөлінуі бар архитектура: жедел жады үшін бір немесе екі бірлік, GPU және CPU есептеу түйіндері үшін тағы бірнеше бірлік және сақтау жүйелері үшін бір немесе бірнеше бірлік.
GPUDirect Storage туралы хабарландырумен және басқа GPU жеткізушілерінен ұқсас технологиялардың пайда болуымен Кингстонның өнімділігі жоғары есептеулерде пайдалануға арналған сақтау жүйелеріне сұранысы кеңейіп келеді. Маркер графикалық процессоры бар есептеу блогына кіре берістегі 40 немесе 100 Гбит желілік карталардың өткізу қабілетімен салыстырылатын сақтау жүйесінен деректерді оқу жылдамдығы болады. Осылайша, ультра жоғары жылдамдықты сақтау жүйелері, соның ішінде Fabric арқылы сыртқы NVMe, экзотикадан HPC қолданбалары үшін негізгі ағынға ауысады. Ғылым мен қаржылық есептерден басқа, олар мегаполис деңгейіндегі қауіпсіздік жүйелері немесе секундына миллиондаған HD кескінді тану және сәйкестендіру жылдамдығы қажет көліктік бақылау орталықтары сияқты көптеген басқа практикалық салаларда қолдануды табады», - деп атап өтті. жоғарғы сақтау жүйесінің нарықтық тауашасы
Kingston өнімдері туралы қосымша ақпаратты мына жерден табуға болады компаниясы.
Ақпарат көзі: www.habr.com