Hallo Habr! Datasets voor Big Data en machine learning groeien exponentieel en we moeten ze bijhouden. Onze post over een andere innovatieve technologie op het gebied van high performance computing (HPC, High Performance Computing), getoond op de Kingston-stand op . Dit is het gebruik van Hi-End dataopslagsystemen (SDS) in servers met grafische verwerkingseenheden (GPU) en GPUDirect Storage-bustechnologie. Dankzij directe gegevensuitwisseling tussen het opslagsysteem en de GPU, waarbij de CPU wordt omzeild, wordt het laden van gegevens in GPU-versnellers met een orde van grootte versneld, zodat Big Data-applicaties draaien met de maximale prestaties die GPU's bieden. HPC-systeemontwikkelaars zijn op hun beurt geïnteresseerd in de vooruitgang op het gebied van opslagsystemen met de hoogste I/O-snelheden, zoals die geproduceerd door Kingston.
GPU-prestaties overtreffen het laden van gegevens
Sinds CUDA, een op GPU gebaseerde hardware- en software-parallelle computerarchitectuur voor het ontwikkelen van algemene toepassingen, in 2007 werd gecreëerd, zijn de hardwaremogelijkheden van GPU's zelf ongelooflijk gegroeid. Tegenwoordig worden GPU's steeds vaker gebruikt in HPC-toepassingen zoals Big Data, machine learning (ML) en deep learning (DL).
Merk op dat ondanks de gelijkenis van termen, de laatste twee algoritmisch verschillende taken zijn. ML traint de computer op basis van gestructureerde gegevens, terwijl DL de computer traint op basis van feedback van een neuraal netwerk. Een voorbeeld om de verschillen te helpen begrijpen is vrij eenvoudig. Laten we aannemen dat de computer onderscheid moet maken tussen foto's van katten en honden die vanuit het opslagsysteem worden geladen. Voor ML moet u een reeks afbeeldingen indienen met veel tags, die elk een specifiek kenmerk van het dier definiëren. Voor DL is het voldoende om een veel groter aantal afbeeldingen te uploaden, maar dan met slechts één tag “dit is een kat” of “dit is een hond”. DL lijkt sterk op de manier waarop jonge kinderen worden onderwezen: ze krijgen eenvoudigweg afbeeldingen van honden en katten te zien in boeken en in het leven (meestal zonder zelfs maar het gedetailleerde verschil uit te leggen), en de hersenen van het kind zelf beginnen het type dier te bepalen. een bepaald kritisch aantal foto's ter vergelijking (volgens schattingen hebben we het over slechts honderd of twee shows in de vroege kinderjaren). DL-algoritmen zijn nog niet zo perfect: wil een neuraal netwerk ook succesvol kunnen werken aan het identificeren van afbeeldingen, dan is het noodzakelijk om miljoenen afbeeldingen in de GPU in te voeren en te verwerken.
Samenvatting van het voorwoord: op basis van GPU's kun je HPC-applicaties bouwen op het gebied van Big Data, ML en DL, maar er is een probleem: de datasets zijn zo groot dat de tijd die besteed wordt aan het laden van gegevens van het opslagsysteem naar de GPU begint de algehele prestaties van de applicatie te verminderen. Met andere woorden: snelle GPU's blijven onderbenut vanwege trage I/O-gegevens afkomstig van andere subsystemen. Het verschil in I/O-snelheid van de GPU en de bus naar het CPU/opslagsysteem kan een orde van grootte zijn.
Hoe werkt GPUDirect Storage-technologie?
Het I/O-proces wordt bestuurd door de CPU, evenals het proces van het laden van gegevens van de opslag naar de GPU's voor verdere verwerking. Dit leidde tot een vraag naar technologie die directe toegang zou bieden tussen GPU's en NVMe-schijven om snel met elkaar te communiceren. NVIDIA was de eerste die dergelijke technologie aanbood en noemde het GPUDirect Storage. In feite is dit een variatie op de GPUDirect RDMA-technologie (Remote Direct Memory Address) die ze eerder ontwikkelden.
Jensen Huang, CEO van NVIDIA, zal GPUDirect Storage presenteren als een variant van GPUDirect RDMA op SC-19. Bron: NVIDIA
Het verschil tussen GPUDirect RDMA en GPUDirect Storage zit in de apparaten waartussen de adressering wordt uitgevoerd. GPUDirect RDMA-technologie wordt opnieuw gebruikt om gegevens rechtstreeks tussen de front-end netwerkinterfacekaart (NIC) en GPU-geheugen te verplaatsen, en GPUDirect Storage biedt een direct gegevenspad tussen lokale of externe opslag zoals NVMe of NVMe over Fabric (NVMe-oF) en GPU-geheugen.
Zowel GPUDirect RDMA als GPUDirect Storage vermijden onnodige gegevensverplaatsingen via een buffer in het CPU-geheugen en zorgen ervoor dat het directe geheugentoegangsmechanisme (DMA) gegevens van de netwerkkaart of opslag rechtstreeks naar of van het GPU-geheugen kan verplaatsen - allemaal zonder belasting van de centrale CPU. Voor GPUDirect Storage doet de locatie van de opslag er niet toe: het kan een NVME-schijf zijn in een GPU-eenheid, in een rack, of via het netwerk verbonden als NVMe-oF.
Werkingsschema van GPUDirect Storage. Bron: NVIDIA
Er is veel vraag naar hi-end opslagsystemen op NVMe op de HPC-applicatiemarkt
Zich realiserend dat met de komst van GPUDirect Storage de interesse van grote klanten zal worden getrokken naar het aanbieden van opslagsystemen met I/O-snelheden die overeenkomen met de doorvoer van de GPU, toonde Kingston op de SC-19-tentoonstelling een demo van een systeem bestaande uit een opslagsysteem gebaseerd op NVMe-schijven en een unit met een GPU, die duizenden satellietbeelden per seconde analyseerde. We schreven al over een dergelijk opslagsysteem op basis van 10 DC1000M U.2 NVMe-schijven .
Een opslagsysteem gebaseerd op 10 DC1000M U.2 NVMe-schijven vormt een adequate aanvulling op een server met grafische versnellers. Bron: Kingston
Dit opslagsysteem is ontworpen als 1U of grotere rackunit en kan worden geschaald afhankelijk van het aantal DC1000M U.2 NVMe-schijven, elk met een capaciteit van 3.84-7.68 TB. De DC1000M is het eerste NVMe SSD-model in de U.2-vormfactor in Kingston's lijn datacenterschijven. Het heeft een uithoudingsvermogen (DWPD, Drive writes per day), waardoor het gegevens één keer per dag op volledige capaciteit kan herschrijven gedurende de gegarandeerde levensduur van de schijf.
In de fio v3.13-test op het Ubuntu 18.04.3 LTS-besturingssysteem, Linux kernel 5.0.0-31-generiek, vertoonde het voorbeeld van de tentoonstellingsopslag een leessnelheid (Sustained Read) van 5.8 miljoen IOPS met een duurzame doorvoer (Sustained Bandwidth ) van 23.8 Gbit/s.
Ariel Perez, SSD business manager bij Kingston, zei over de nieuwe opslagsystemen: “We zijn klaar om de volgende generatie servers uit te rusten met U.2 NVMe SSD-oplossingen om veel van de knelpunten bij gegevensoverdracht te elimineren die traditioneel met opslag in verband worden gebracht. De combinatie van NVMe SSD-schijven en onze premium Server Premier DRAM maakt Kingston tot een van de meest uitgebreide leveranciers van end-to-end dataoplossingen in de sector."
De gfio v3.13-test toonde een doorvoer van 23.8 Gbps voor het demo-opslagsysteem op DC1000M U.2 NVMe-schijven. Bron: Kingston
Hoe zou een typisch systeem voor HPC-applicaties eruit zien met behulp van GPUDirect Storage of vergelijkbare technologie? Dit is een architectuur met een fysieke scheiding van functionele eenheden binnen een rack: een of twee eenheden voor RAM, nog een aantal voor GPU- en CPU-computerknooppunten, en een of meer eenheden voor opslagsystemen.
Met de aankondiging van GPUDirect Storage en de mogelijke opkomst van vergelijkbare technologieën van andere GPU-leveranciers groeit de vraag van Kingston naar opslagsystemen die zijn ontworpen voor gebruik in high-performance computing. De markering zal de snelheid zijn waarmee gegevens uit het opslagsysteem worden gelezen, vergelijkbaar met de doorvoersnelheid van 40- of 100 Gbit-netwerkkaarten bij de ingang van een rekeneenheid met een GPU. Ultrasnelle opslagsystemen, inclusief externe NVMe via Fabric, zullen dus van exotisch naar mainstream gaan voor HPC-toepassingen. Naast wetenschappelijke en financiële berekeningen zullen ze toepassing vinden op veel andere praktische gebieden, zoals beveiligingssystemen op het grootstedelijke niveau van Safe City of transportbewakingscentra, waar herkennings- en identificatiesnelheden van miljoenen HD-beelden per seconde vereist zijn”, schetst de marktniche van het topopslagsysteem
Meer informatie over Kingston-producten vindt u op bedrijf.
Bron: www.habr.com