Hej Habr! Datasæt til Big Data og maskinlæring vokser eksponentielt, og vi skal følge med dem. Vores indlæg om endnu en innovativ teknologi inden for high performance computing (HPC, High Performance Computing), vist på Kingstons stand kl. . Dette er brugen af Hi-End-datalagringssystemer (SDS) i servere med grafiske behandlingsenheder (GPU) og GPUDirect Storage-busteknologi. Takket være direkte dataudveksling mellem lagringssystemet og GPU'en, uden om CPU'en, accelereres indlæsning af data i GPU-acceleratorer med en størrelsesorden, så Big Data-applikationer kører med den maksimale ydeevne, som GPU'er giver. Til gengæld er HPC-systemudviklere interesserede i fremskridt inden for lagersystemer med de højeste I/O-hastigheder, såsom dem produceret af Kingston.
GPU-ydeevne overgår dataindlæsning
Siden CUDA, en GPU-baseret hardware- og software-parallel computing-arkitektur til udvikling af generelle applikationer, blev skabt i 2007, er hardwareegenskaberne for GPU'er selv vokset utroligt. I dag bruges GPU'er i stigende grad i HPC-applikationer som Big Data, machine learning (ML) og deep learning (DL).
Bemærk, at på trods af ligheden mellem termer, er de to sidste algoritmisk forskellige opgaver. ML træner computeren ud fra strukturerede data, mens DL træner computeren ud fra feedback fra et neuralt netværk. Et eksempel til at hjælpe med at forstå forskellene er ganske enkelt. Lad os antage, at computeren skal skelne mellem billeder af katte og hunde, der er indlæst fra lagersystemet. For ML skal du indsende et sæt billeder med mange tags, som hver definerer en bestemt egenskab ved dyret. For DL er det nok at uploade et meget større antal billeder, men med kun ét tag "dette er en kat" eller "det er en hund". DL minder meget om, hvordan små børn bliver undervist - de får simpelthen vist billeder af hunde og katte i bøger og i livet (oftest uden selv at forklare den detaljerede forskel), og barnets hjerne begynder selv at bestemme dyretypen efter et vist kritisk antal billeder til sammenligning (Ifølge skøn taler vi kun om hundrede eller to shows gennem den tidlige barndom). DL-algoritmer er endnu ikke så perfekte: For at et neuralt netværk også kan arbejde med at identificere billeder, er det nødvendigt at indlæse og behandle millioner af billeder ind i GPU'en.
Resumé af forordet: baseret på GPU'er kan du bygge HPC-applikationer inden for Big Data, ML og DL, men der er et problem - datasættene er så store, at den tid, der går med at indlæse data fra lagersystemet til GPU'en begynder at reducere applikationens samlede ydeevne. Med andre ord forbliver hurtige GPU'er underudnyttede på grund af langsomme I/O-data, der kommer fra andre undersystemer. Forskellen i I/O-hastighed for GPU'en og bussen til CPU'en/lagersystemet kan være en størrelsesorden.
Hvordan fungerer GPUDirect Storage-teknologi?
I/O-processen styres af CPU'en, ligesom processen med at indlæse data fra lageret til GPU'erne for yderligere behandling. Dette førte til en anmodning om teknologi, der ville give direkte adgang mellem GPU'er og NVMe-drev for hurtigt at kommunikere med hinanden. NVIDIA var den første til at tilbyde sådan teknologi og kaldte den GPUDirect Storage. Faktisk er dette en variation af GPUDirect RDMA (Remote Direct Memory Address) teknologien, som de tidligere har udviklet.
Jensen Huang, CEO for NVIDIA, vil præsentere GPUDirect Storage som en variant af GPUDirect RDMA på SC-19. Kilde: NVIDIA
Forskellen mellem GPUDirect RDMA og GPUDirect Storage ligger i de enheder, som adresseringen udføres imellem. GPUDirect RDMA-teknologi er genbrugt til at flytte data direkte mellem front-end-netværksinterfacekortet (NIC) og GPU-hukommelsen, og GPUDirect Storage giver en direkte datasti mellem lokal eller fjernlagring såsom NVMe eller NVMe over Fabric (NVMe-oF) og GPU hukommelse.
Både GPUDirect RDMA og GPUDirect Storage undgår unødvendige databevægelser gennem en buffer i CPU-hukommelsen og tillader mekanismen med direkte hukommelsesadgang (DMA) at flytte data fra netværkskortet eller lageret direkte til eller fra GPU-hukommelsen - alt sammen uden belastning på den centrale CPU. For GPUDirect Storage er placeringen af lageret ligegyldigt: det kan være en NVME-disk inde i en GPU-enhed, inde i et rack eller forbundet over netværket som NVMe-oF.
Ordning for drift af GPUDirect Storage. Kilde: NVIDIA
Hi-End-lagringssystemer på NVMe er efterspurgte på HPC-applikationsmarkedet
Ved at indse, at med fremkomsten af GPUDirect Storage, vil store kunders interesse blive tiltrukket af at tilbyde lagersystemer med I/O-hastigheder svarende til GPU'ens gennemstrømning, på SC-19-udstillingen viste Kingston en demo af et system bestående af en lagringssystem baseret på NVMe-diske og en enhed med en GPU, som analyserede tusindvis af satellitbilleder i sekundet. Vi har allerede skrevet om et sådant lagersystem baseret på 10 DC1000M U.2 NVMe-drev .
Et lagersystem baseret på 10 DC1000M U.2 NVMe-drev supplerer en server med grafikacceleratorer tilstrækkeligt. Kilde: Kingston
Dette lagersystem er designet som en 1U eller større rackenhed og kan skaleres afhængigt af antallet af DC1000M U.2 NVMe-drev, hver med en kapacitet på 3.84-7.68 TB. DC1000M er den første NVMe SSD-model i U.2-formfaktoren i Kingstons linje af datacenterdrev. Den har en udholdenhedsvurdering (DWPD, Drive skriver pr. dag), så den kan omskrive data til sin fulde kapacitet én gang om dagen i drevets garanterede levetid.
I fio v3.13-testen på Ubuntu 18.04.3 LTS-operativsystemet, Linux-kerne 5.0.0-31-generisk, viste udstillingslagringseksemplet en læsehastighed (Sustained Read) på 5.8 millioner IOPS med en bæredygtig gennemstrømning (Sustained Bandwidth) ) på 23.8 Gbit/s.
Ariel Perez, SSD-forretningschef hos Kingston, sagde om de nye lagringssystemer: "Vi er klar til at udstyre den næste generation af servere med U.2 NVMe SSD-løsninger for at eliminere mange af de flaskehalse i dataoverførsel, som traditionelt har været forbundet med lagring. Kombinationen af NVMe SSD-drev og vores premium Server Premier DRAM gør Kingston til en af branchens mest omfattende end-to-end dataløsningsudbydere."
Gfio v3.13-testen viste en gennemstrømning på 23.8 Gbps for demolagersystemet på DC1000M U.2 NVMe-drev. Kilde: Kingston
Hvordan ville et typisk system til HPC-applikationer se ud ved brug af GPUDirect Storage eller lignende teknologi? Dette er en arkitektur med en fysisk adskillelse af funktionelle enheder i et rack: en eller to enheder til RAM, flere flere til GPU og CPU computing noder og en eller flere enheder til lagersystemer.
Med annonceringen af GPUDirect Storage og den mulige fremkomst af lignende teknologier fra andre GPU-leverandører, udvides Kingstons efterspørgsel efter storage-systemer designet til brug i højtydende computing. Markøren vil være hastigheden for læsning af data fra lagersystemet, sammenlignelig med gennemløbet af 40- eller 100-Gbit netværkskort ved indgangen til en computerenhed med en GPU. Således vil ultra-højhastigheds-lagringssystemer, inklusive ekstern NVMe via Fabric, gå fra at være eksotisk til mainstream for HPC-applikationer. Ud over videnskab og økonomiske beregninger vil de finde anvendelse på mange andre praktiske områder, såsom sikkerhedssystemer på Safe City storbyniveau eller transportovervågningscentre, hvor der kræves genkendelses- og identifikationshastigheder på millioner af HD-billeder i sekundet,” skitseret. markedsnichen for det øverste Storage-system
Mere information om Kingston-produkter kan findes på selskab.
Kilde: www.habr.com