Salom Xabr! Katta ma'lumotlar va mashinalarni o'rganish uchun ma'lumotlar to'plamlari jadal sur'atlar bilan o'sib bormoqda va biz ularga rioya qilishimiz kerak. Kingston stendida namoyish etilgan yuqori unumdorlikdagi hisoblash (HPC, High Performance Computing) sohasidagi yana bir innovatsion texnologiya haqidagi postimiz. . Bu grafik ishlov berish bloklari (GPU) va GPUDirect Storage avtobus texnologiyasiga ega serverlarda Hi-End ma'lumotlarni saqlash tizimlaridan (SDS) foydalanish. Saqlash tizimi va GPU o'rtasida to'g'ridan-to'g'ri ma'lumotlar almashinuvi tufayli, protsessorni chetlab o'tib, ma'lumotlarni GPU tezlatkichlariga yuklash kattalik tartibiga ko'ra tezlashadi, shuning uchun Big Data ilovalari GPUlar taqdim etadigan maksimal ishlashda ishlaydi. O'z navbatida, HPC tizimini ishlab chiquvchilari Kingston tomonidan ishlab chiqarilgan kabi eng yuqori kiritish/chiqarish tezligiga ega saqlash tizimlaridagi yutuqlardan manfaatdor.
GPU unumdorligi ma'lumotlarni yuklashdan oshib ketadi
2007 yilda umumiy maqsadli ilovalarni ishlab chiqish uchun GPU-ga asoslangan apparat-dasturiy parallel hisoblash arxitekturasi yaratilgandan beri GPU-larning apparat imkoniyatlari nihoyatda o'sdi. Bugungi kunda GPU'lar Big Data, machine learning (ML) va chuqur o'rganish (DL) kabi HPC ilovalarida tobora ko'proq foydalanilmoqda.
E'tibor bering, atamalarning o'xshashligiga qaramay, oxirgi ikkitasi algoritmik jihatdan farqli vazifalardir. ML kompyuterni tuzilgan ma'lumotlarga asoslangan holda o'qitadi, DL esa kompyuterni neyron tarmoqdan olingan fikr-mulohazalar asosida o'rgatadi. Farqlarni tushunishga yordam beradigan misol juda oddiy. Faraz qilaylik, kompyuter saqlash tizimidan yuklangan mushuk va itlarning fotosuratlarini farqlashi kerak. ML uchun siz ko'plab teglar bilan tasvirlar to'plamini topshirishingiz kerak, ularning har biri hayvonning o'ziga xos xususiyatini belgilaydi. DL uchun juda ko'p sonli rasmlarni yuklash kifoya, lekin faqat bitta teg bilan "bu mushuk" yoki "bu it". DL yosh bolalarni qanday o'rgatishiga juda o'xshaydi - ularga kitoblarda va hayotda itlar va mushuklarning rasmlari shunchaki ko'rsatiladi (ko'pincha, hatto batafsil farqni tushuntirmasdan) va bolaning miyasi hayvonning turini o'zi aniqlay boshlaydi. Taqqoslash uchun ma'lum bir tanqidiy rasmlar soni ( Hisob-kitoblarga ko'ra, biz erta bolalik davrida atigi yuz yoki ikkita shou haqida gapiramiz). DL algoritmlari hali u qadar mukammal emas: neyron tarmoq tasvirlarni aniqlashda ham muvaffaqiyatli ishlashi uchun GPUga millionlab tasvirlarni kiritish va qayta ishlash kerak.
Muqaddimaning qisqacha mazmuni: GPUlar asosida siz Big Data, ML va DL sohasida HPC ilovalarini yaratishingiz mumkin, ammo muammo bor - ma'lumotlar to'plamlari shunchalik kattaki, ma'lumotlarni saqlash tizimidan GPUga yuklashga sarflangan vaqt. ilovaning umumiy ish faoliyatini pasaytira boshlaydi. Boshqacha qilib aytadigan bo'lsak, boshqa quyi tizimlardan kelayotgan sekin kirish/chiqarish ma'lumotlari tufayli tezkor grafik protsessorlar yetarli darajada foydalanilmaydi. GPU va protsessor/saqlash tizimiga avtobusning kiritish/chiqarish tezligidagi farq kattalik tartibi bo'lishi mumkin.
GPUDirect Storage texnologiyasi qanday ishlaydi?
Kirish-chiqarish jarayoni protsessor tomonidan boshqariladi, shuningdek ma'lumotlarni saqlashdan GPU-larga keyingi qayta ishlash uchun yuklash jarayoni. Bu bir-biri bilan tezkor aloqa qilish uchun GPU va NVMe drayverlari o'rtasida to'g'ridan-to'g'ri kirishni ta'minlaydigan texnologiya so'roviga olib keldi. NVIDIA birinchi bo'lib bunday texnologiyani taklif qildi va uni GPUDirect Storage deb nomladi. Aslida, bu ular ilgari ishlab chiqqan GPUDirect RDMA (Remote Direct Memory Address) texnologiyasining o'zgarishi.
NVIDIA bosh direktori Jensen Xuang SC-19 da GPUDirect Storage-ni GPUDirect RDMA varianti sifatida taqdim etadi. Manba: NVIDIA
GPUDirect RDMA va GPUDirect Storage o'rtasidagi farq adreslash amalga oshiriladigan qurilmalardadir. GPUDirect RDMA texnologiyasi ma'lumotlarni to'g'ridan-to'g'ri old tarmoq interfeysi kartasi (NIC) va GPU xotirasi o'rtasida ko'chirish uchun mo'ljallangan va GPUDirect Storage NVMe yoki NVMe over Fabric (NVMe-oF) kabi mahalliy yoki masofaviy xotira o'rtasida to'g'ridan-to'g'ri ma'lumotlar yo'lini ta'minlaydi. GPU xotirasi.
GPUDirect RDMA ham, GPUDirect Storage ham protsessor xotirasidagi bufer orqali keraksiz maʼlumotlar harakatining oldini oladi va toʻgʻridan-toʻgʻri xotiraga kirish (DMA) mexanizmiga tarmoq kartasidan yoki xotiradan toʻgʻridan-toʻgʻri GPU xotirasiga yoki undan maʼlumotlarni markaziy protsessorga yuklamasdan koʻchirish imkonini beradi. GPUDirect Storage uchun xotiraning joylashuvi muhim emas: u GPU birligi ichida, raf ichida yoki tarmoq orqali NVMe-oF sifatida ulangan NVME disk bo'lishi mumkin.
GPUDirect Storage ishlash sxemasi. Manba: NVIDIA
NVMe-dagi Hi-End saqlash tizimlari HPC ilovalari bozorida talabga ega
GPUDirect Storage paydo bo'lishi bilan yirik mijozlarning qiziqishi GPU o'tkazuvchanligiga mos keladigan kiritish-chiqarish tezligiga ega saqlash tizimlarini taklif qilishini anglab etgan holda, Kingston SC-19 ko'rgazmasida tizimning demo versiyasini namoyish etdi. NVMe disklariga asoslangan saqlash tizimi va soniyasiga minglab sun'iy yo'ldosh tasvirlarini tahlil qiladigan GPU-ga ega blok. Biz allaqachon 10 ta DC1000M U.2 NVMe drayverlariga asoslangan bunday saqlash tizimi haqida yozgan edik. .
10 ta DC1000M U.2 NVMe drayvlariga asoslangan saqlash tizimi serverni grafik tezlatgichlar bilan mos ravishda to'ldiradi. Manba: Kingston
Ushbu saqlash tizimi 1U yoki undan kattaroq raf birligi sifatida ishlab chiqilgan va har biri 1000-2 TB sig'imga ega bo'lgan DC3.84M U.7.68 NVMe drayverlari soniga qarab masshtablanishi mumkin. DC1000M Kingston ma'lumotlar markazi drayverlari qatoridagi U.2 format faktoridagi birinchi NVMe SSD modelidir. U chidamlilik reytingiga ega (DWPD, Drive kuniga yozadi), bu haydovchining kafolatlangan ishlash muddati uchun kuniga bir marta maʼlumotlarni toʻliq quvvatiga qayta yozish imkonini beradi.
Ubuntu 3.13 LTS operatsion tizimidagi fio v18.04.3 testida, Linux yadrosi 5.0.0-31-generic, ko'rgazma xotirasi namunasi barqaror o'tkazuvchanlik (Barqaror tarmoqli kengligi) bilan 5.8 million IOPS o'qish tezligini (Barqaror o'qish) ko'rsatdi. ) 23.8 Gbit/s.
Kingstondagi SSD biznes menejeri Ariel Peres yangi saqlash tizimlari haqida shunday dedi: “Biz anʼanaviy ravishda saqlash bilan bogʻliq boʻlgan maʼlumotlarni uzatishdagi koʻplab qiyinchiliklarni bartaraf etish uchun keyingi avlod serverlarini U.2 NVMe SSD yechimlari bilan jihozlashga tayyormiz. NVMe SSD drayverlari va bizning premium Server Premier DRAM kombinatsiyasi Kingstonni sanoatning eng keng qamrovli ma'lumotlar yechimlari provayderlaridan biriga aylantiradi."
Gfio v3.13 testi DC23.8M U.1000 NVMe drayvlarida demo saqlash tizimi uchun 2 Gbit/s o‘tkazish qobiliyatini ko‘rsatdi. Manba: Kingston
GPUDirect Storage yoki shunga o'xshash texnologiyadan foydalangan holda HPC ilovalari uchun odatiy tizim qanday ko'rinishga ega bo'ladi? Bu arxitekturada funktsional birliklarning jismoniy ajratilishi mavjud: operativ xotira uchun bir yoki ikkita birlik, GPU va CPU hisoblash tugunlari uchun yana bir nechta va saqlash tizimlari uchun bir yoki bir nechta birliklar.
GPUDirect Storage e'lon qilinishi va shunga o'xshash texnologiyalarning boshqa GPU sotuvchilari tomonidan paydo bo'lishi bilan Kingstonning yuqori unumli hisoblashda foydalanish uchun mo'ljallangan saqlash tizimlariga bo'lgan talabi kengaymoqda. Marker GPU bilan hisoblash blokiga kirishda 40 yoki 100 Gbit tarmoq kartalarining o'tkazuvchanligi bilan taqqoslanadigan saqlash tizimidan ma'lumotlarni o'qish tezligi bo'ladi. Shunday qilib, ultra yuqori tezlikdagi saqlash tizimlari, shu jumladan Fabric orqali tashqi NVMe, ekzotiklikdan HPC ilovalari uchun asosiy oqimga o'tadi. Ilm-fan va moliyaviy hisob-kitoblarga qo'shimcha ravishda, ular sekundiga millionlab HD tasvirlarni aniqlash va identifikatsiya qilish tezligi talab qilinadigan Xavfsiz shahar darajasidagi xavfsizlik tizimlari yoki transport kuzatuv markazlari kabi ko'plab amaliy sohalarda qo'llanilishini topadi. eng yaxshi saqlash tizimining bozor joyi
Kingston mahsulotlari haqida batafsil ma'lumotni quyidagi manzilda topishingiz mumkin kompaniya.
Manba: www.habr.com