Hello Habr! Ang mga set ng data para sa Big Data at machine learning ay lumalaki nang husto at kailangan nating makasabay sa mga ito. Ang aming post tungkol sa isa pang makabagong teknolohiya sa larangan ng high performance computing (HPC, High Performance Computing), na ipinapakita sa Kingston booth sa . Ito ang paggamit ng Hi-End data storage system (SDS) sa mga server na may graphic processing units (GPU) at GPUDirect Storage bus technology. Salamat sa direktang pagpapalitan ng data sa pagitan ng storage system at ng GPU, pag-bypass sa CPU, ang paglo-load ng data sa mga GPU accelerator ay pinabilis ng isang order ng magnitude, kaya ang mga application ng Big Data ay tumatakbo sa pinakamataas na pagganap na ibinibigay ng mga GPU. Sa turn, ang mga developer ng HPC system ay interesado sa mga pag-unlad sa mga storage system na may pinakamataas na bilis ng I/O, gaya ng mga ginawa ng Kingston.
Ang pagganap ng GPU ay lumalampas sa paglo-load ng data
Dahil ang CUDA, isang GPU-based na hardware at software parallel computing architecture para sa pagbuo ng mga pangkalahatang layunin na application, ay nilikha noong 2007, ang mga kakayahan ng hardware ng mga GPU mismo ay lumago nang hindi kapani-paniwala. Ngayon, ang mga GPU ay lalong ginagamit sa mga application ng HPC gaya ng Big Data, machine learning (ML), at deep learning (DL).
Tandaan na sa kabila ng pagkakatulad ng mga termino, ang huling dalawa ay algorithm na magkaibang mga gawain. Sinasanay ng ML ang computer batay sa structured data, habang sinasanay ng DL ang computer batay sa feedback mula sa isang neural network. Ang isang halimbawa upang makatulong na maunawaan ang mga pagkakaiba ay medyo simple. Ipagpalagay natin na ang computer ay dapat makilala sa pagitan ng mga larawan ng mga pusa at aso na na-load mula sa sistema ng imbakan. Para sa ML, dapat kang magsumite ng isang hanay ng mga larawan na may maraming mga tag, na ang bawat isa ay tumutukoy sa isang partikular na katangian ng hayop. Para sa DL, sapat na ang pag-upload ng mas malaking bilang ng mga larawan, ngunit sa isang tag lang na "ito ay isang pusa" o "ito ay isang aso". Ang DL ay halos kapareho sa kung paano itinuro ang mga maliliit na bata - ipinapakita lamang ang mga larawan ng mga aso at pusa sa mga libro at sa buhay (kadalasan, nang hindi man lang ipinapaliwanag ang detalyadong pagkakaiba), at ang utak ng bata mismo ay nagsisimula upang matukoy ang uri ng hayop pagkatapos isang tiyak na kritikal na bilang ng mga larawan para sa paghahambing ( Ayon sa mga pagtatantya, pinag-uusapan lamang natin ang tungkol sa isang daan o dalawang palabas sa buong maagang pagkabata). Ang mga algorithm ng DL ay hindi pa perpekto: para sa isang neural network na matagumpay ding magtrabaho sa pagtukoy ng mga larawan, kinakailangan na i-feed at iproseso ang milyun-milyong larawan sa GPU.
Buod ng paunang salita: batay sa mga GPU, maaari kang bumuo ng mga application ng HPC sa larangan ng Big Data, ML at DL, ngunit may problema - ang mga set ng data ay napakalaki na ang oras na ginugol sa pag-load ng data mula sa storage system patungo sa GPU nagsisimulang bawasan ang pangkalahatang pagganap ng application. Sa madaling salita, ang mga mabilis na GPU ay nananatiling hindi nagagamit dahil sa mabagal na data ng I/O na nagmumula sa ibang mga subsystem. Ang pagkakaiba sa bilis ng I/O ng GPU at ang bus sa CPU/system ng storage ay maaaring isang order ng magnitude.
Paano gumagana ang teknolohiya ng GPUDirect Storage?
Ang proseso ng I/O ay kinokontrol ng CPU, gayundin ang proseso ng paglo-load ng data mula sa storage patungo sa mga GPU para sa karagdagang pagproseso. Ito ay humantong sa isang kahilingan para sa teknolohiya na magbibigay ng direktang access sa pagitan ng mga GPU at NVMe drive upang mabilis na makipag-ugnayan sa isa't isa. Ang NVIDIA ang unang nag-alok ng naturang teknolohiya at tinawag itong GPUDirect Storage. Sa katunayan, ito ay isang pagkakaiba-iba ng teknolohiyang GPUDirect RDMA (Remote Direct Memory Address) na dati nilang binuo.
Ipapakita ni Jensen Huang, CEO ng NVIDIA, ang GPUDirect Storage bilang isang variant ng GPUDirect RDMA sa SC-19. Pinagmulan: NVIDIA
Ang pagkakaiba sa pagitan ng GPUDirect RDMA at GPUDirect Storage ay nasa mga device kung saan isinasagawa ang pagtugon. Ang teknolohiya ng GPUDirect RDMA ay muling ginawang ilipat ang data nang direkta sa pagitan ng front-end network interface card (NIC) at GPU memory, at ang GPUDirect Storage ay nagbibigay ng direktang data path sa pagitan ng lokal o malayuang storage gaya ng NVMe o NVMe over Fabric (NVMe-oF) at Memorya ng GPU.
Parehong iniiwasan ng GPUDirect RDMA at GPUDirect Storage ang mga hindi kinakailangang paggalaw ng data sa pamamagitan ng buffer sa memorya ng CPU at pinapayagan ang mekanismo ng direktang pag-access sa memorya (DMA) na ilipat ang data mula sa network card o storage nang direkta papunta o mula sa GPU memory - lahat nang walang load sa gitnang CPU. Para sa GPUDirect Storage, hindi mahalaga ang lokasyon ng storage: maaari itong maging NVME disk sa loob ng GPU unit, sa loob ng rack, o konektado sa network bilang NVMe-oF.
Scheme ng pagpapatakbo ng GPUDirect Storage. Pinagmulan: NVIDIA
Hi-End storage system sa NVMe ay in demand sa market ng aplikasyon ng HPC
Napagtatanto na sa pagdating ng GPUDirect Storage, maaakit ang interes ng malalaking customer sa pag-aalok ng mga storage system na may bilis ng I/O na tumutugma sa throughput ng GPU, sa SC-19 exhibition Kingston ay nagpakita ng demo ng isang system na binubuo ng isang storage system batay sa mga NVMe disk at isang unit na may GPU, na nagsuri ng libu-libong satellite image kada segundo. Nagsulat na kami tungkol sa naturang storage system batay sa 10 DC1000M U.2 NVMe drive .
Ang isang storage system na nakabatay sa 10 DC1000M U.2 NVMe drive ay sapat na umaakma sa isang server na may mga graphics accelerators. Pinagmulan: Kingston
Idinisenyo ang storage system na ito bilang 1U o mas malaking rack unit at maaaring i-scale depende sa bilang ng DC1000M U.2 NVMe drive, bawat isa ay may kapasidad na 3.84-7.68 TB. Ang DC1000M ay ang unang modelo ng NVMe SSD sa U.2 form factor sa linya ng mga drive ng data center ng Kingston. Mayroon itong rating ng pagtitiis (DWPD, nagsusulat ang Drive bawat araw), na nagpapahintulot dito na muling isulat ang data sa buong kapasidad nito minsan sa isang araw para sa garantisadong buhay ng drive.
Sa fio v3.13 test sa Ubuntu 18.04.3 LTS operating system, Linux kernel 5.0.0-31-generic, ang sample ng storage ng exhibit ay nagpakita ng bilis ng pagbasa (Sustained Read) na 5.8 million IOPS na may sustainable throughput (Sustained Bandwidth ) ng 23.8 Gbit/s.
Sinabi ni Ariel Perez, SSD business manager sa Kingston, tungkol sa mga bagong storage system: βKami ay handa na upang magbigay ng kasangkapan sa susunod na henerasyon ng mga server ng U.2 NVMe SSD solutions para maalis ang marami sa mga bottleneck sa paglilipat ng data na tradisyonal na nauugnay sa storage. Ang kumbinasyon ng mga NVMe SSD drive at ang aming premium na Server Premier DRAM ay ginagawa ang Kingston na isa sa pinakakomprehensibong end-to-end na mga provider ng data solutions sa industriya."
Ang pagsubok ng gfio v3.13 ay nagpakita ng throughput na 23.8 Gbps para sa demo storage system sa mga DC1000M U.2 NVMe drive. Pinagmulan: Kingston
Ano ang magiging hitsura ng karaniwang sistema para sa mga application ng HPC gamit ang GPUDirect Storage o katulad na teknolohiya? Ito ay isang arkitektura na may pisikal na paghihiwalay ng mga functional unit sa loob ng isang rack: isa o dalawang unit para sa RAM, marami pa para sa GPU at CPU computing node, at isa o higit pang unit para sa mga storage system.
Sa pag-anunsyo ng GPUDirect Storage at ang posibleng paglitaw ng mga katulad na teknolohiya mula sa iba pang mga vendor ng GPU, lumalawak ang pangangailangan ng Kingston para sa mga storage system na idinisenyo para gamitin sa high-performance computing. Ang marker ay ang bilis ng pagbabasa ng data mula sa storage system, na maihahambing sa throughput ng 40- o 100-Gbit network card sa pasukan sa isang computing unit na may GPU. Kaya, ang mga ultra-high-speed storage system, kabilang ang panlabas na NVMe sa pamamagitan ng Fabric, ay mapupunta mula sa pagiging exotic hanggang sa mainstream para sa mga application ng HPC. Bilang karagdagan sa mga kalkulasyon sa agham at pananalapi, makakahanap sila ng aplikasyon sa maraming iba pang praktikal na mga lugar, tulad ng mga sistema ng seguridad sa antas ng metropolitan ng Safe City o mga sentro ng pagsubaybay sa transportasyon, kung saan kinakailangan ang bilis ng pagkilala at pagkakakilanlan ng milyun-milyong HD na imahe sa bawat segundo," nakabalangkas. ang market niche ng nangungunang Storage system
Higit pang impormasyon tungkol sa mga produkto ng Kingston ay matatagpuan sa kumpanya.
Pinagmulan: www.habr.com