Hallo Habr! De datasets voor Big Data en machine learning groeien exponentieel en we moeten ze tijdig verwerken. Onze post over weer een innovatieve technologie op het gebied van high-performance computing (HPC), getoond op de stand van Kingston op . Dit is de toepassing van Hi-End opslagoplossingen (SAS) in servers met grafische processors (GPU) en de GPUDirect Storage bus technologie. Dankzij de directe gegevensuitwisseling tussen SAS en GPU, zonder omweg via de CPU, wordt de laadtijd van data in GPU-accelerators enorm versneld, waardoor Big Data-toepassingen hun maximale prestaties behalen, die door de GPU worden geleverd. Tegelijkertijd zijn HPC-systeemontwikkelaars geĆÆnteresseerd in de prestaties van SAS-oplossingen met de hoogste invoer-/uitvoer-snelheid - zoals die geproduceerd worden door Kingston.
GPU-prestaties overtreffen de gegevenslading
Sinds de creatie van CUDA in 2007 - een software-hardware architectuur voor parallelle berekeningen op basis van GPU voor de ontwikkeling van algemene toepassingen, zijn de hardwarecapaciteiten van de GPU zelf ongelooflijk toegenomen. Vandaag de dag worden GPU's steeds vaker toegepast in HPC-toepassingen zoals Big Data, machine learning (ML) en deep learning (DL).
Laten we opmerken dat ondanks de gelijkenis van de termen, de laatste twee algoritmisch verschillende taken zijn. ML leert de computer op basis van gestructureerde gegevens, terwijl DL op basis van reacties van een neuraal netwerk leert. Een voorbeeld dat helpt om de verschillen te begrijpen is vrij eenvoudig. Stel dat een computer fotoās van katten en honden moet onderscheiden die worden geĆ¼pload vanaf een opslagunit. Voor ML moeten er een set afbeeldingen met veel tags worden aangeleverd, elk die een specifieke eigenschap van het dier definieert. Voor DL is het voldoende om een veel groter aantal afbeeldingen te uploaden, maar slechts met Ć©Ć©n tag: 'dit is een kat' of 'dit is een hond'. DL lijkt veel op hoe kleine kinderen worden geleerd ā ze krijgen gewoon afbeeldingen van honden en katten te zien in boeken en in het dagelijks leven (vaak zonder de details van de verschillen uit te leggen), en de hersenen van het kind beginnen zelf het type dier te identificeren na een bepaald kritisch aantal vergelijkingsafbeeldingen (volgens schattingen gaat het om slechts een paar honderd beelden gedurende de vroege kindertijd). DL-algoritmen zijn nog niet perfect genoeg: om net zo succesvol te zijn bij het identificeren van beelden, moet een neuraal netwerk miljoenen afbeeldingen in de GPU aanleveren en verwerken.
Conclusie van de inleiding: op basis van GPU kunnen HPC-applicaties in het gebied van Big Data, ML en DL worden gebouwd, maar er is een probleem: de datasets zijn zo groot dat de tijd die nodig is om gegevens van het opslagsysteem naar de GPU te laden, de algehele prestaties van de applicatie begint te verlagen. Met andere woorden, snelle grafische processors blijven onderbelast vanwege de trage gegevensinvoer en -uitvoer van andere subsystemen. Het snelheidsverschil in gegevensinvoer/-uitvoer tussen GPU en de bus naar CPU/opslagsystemen kan wel een orde van grootte zijn.
Hoe werkt de technologie GPUDirect Storage?
Het proces van gegevensinvoer en -uitvoer wordt beheerd door de CPU, net als het proces van het laden van gegevens van de opslag naar de grafische processors voor verdere verwerking. Hieruit is de vraag ontstaan naar een technologie die directe toegang zou bieden tussen GPU en NVMe-schijven voor snelle interactie met elkaar. NVIDIA was de eerste die een dergelijke technologie voorstelde en noemde het GPUDirect Storage. In wezen is het een variant van de technologie die ze eerder ontwikkelden, GPUDirect RDMA (Remote Direct Memory Address).
Jensen Huang, CEO van NVIDIA, presenteert GPUDirect Storage als een variant van GPUDirect RDMA op de SŠ”-19 beurs. Bron: NVIDIA
Het verschil tussen GPUDirect RDMA en GPUDirect Storage ligt in de apparaten waarnaar wordt geadresseerd. De GPUDirect RDMA-technologie is ontworpen voor het verplaatsen van gegevens rechtstreeks tussen de netwerkinvoerapparaat (NIC) en het GPU-geheugen, terwijl GPUDirect Storage een directe gegevensoverdracht tussen lokale of externe opslag, zoals NVMe of NVMe over Fabric (NVMe-oF), en GPU-geheugen mogelijk maakt.
Beide opties, GPUDirect RDMA en GPUDirect Storage, vermijden onnodige gegevensbewegingen via de CPU-geheugenbuffer en laten het directe geheugentoegangmechanisme (DMA) gegevens rechtstreeks van de netwerkkaart of opslag naar het GPU-geheugen verplaatsen, en vice versaāen dat allemaal zonder belasting van de centrale processor. Voor GPUDirect Storage doet het er niet toe waar de opslag zich bevindt: het kan een NVME-schijf binnen de GPU-eenheid zijn, binnen de rek, of netwerkverbonden zijn als NVMe-oF.
Werking van GPUDirect Storage. Bron: NVIDIA
Hi-End opslagoplossingen op NVMe zijn populair op de markt voor HPC-toepassingen.
Met het besef dat met de komst van GPUDirect Storage de belangstelling van grote klanten gericht zal zijn op opslagoplossingen met in- en uitvoersnelheden die overeenkomen met de doorvoercapaciteit van de GPU, presenteerde Kingston op de SC-19-beurs een demo-systeem bestaande uit opslagoplossingen op NVMe-schijven en een GPU-eenheid, waarin duizenden satellietbeelden per seconde werden geanalyseerd. We hebben al geschreven over deze opslagoplossing met 10 DC1000M U.2 NVMe-schijven. .
De opslagoplossing met 10 DC1000M U.2 NVMe-schijven vormt een uitstekende aanvulling op een server met grafische versnellers. Bron: Kingston
Deze opslagoplossing komt voor in de vorm van een rack-eenheid van 1U of groter en kan worden opgeschaald afhankelijk van het aantal DC1000M U.2 NVMe-schijven, waarbij elke schijf een capaciteit van 3.84-7.68 TB heeft. De DC1000M is het eerste NVMe SSD-model in de U.2-vormfactor in de lijn van opslagdevice van Kingston voor datacenters. Het heeft een duurzaamheidsscore (DWPD, Drive Writes Per Day) die het mogelijk maakt om gegevens een keer per dag volledig te herschrijven gedurende de garantieperiode van de schijf.
In de fio v3.13-test op het Ubuntu 18.04.3 LTS-besturingssysteem, Linux-kernel 5.0.0-31-generic, toonde de tentoonstellingsoplossing een leessnelheid (Sustained Read) van 5,8 miljoen IOPS met een continue bandbreedte (Sustained Bandwidth) van 23,8 Gbit/s.
Ariel Perez, business manager SSD at Kingston, described the new storage systems: "We are ready to supply the next generation of servers with U.2 NVMe SSD solutions to address many of the data transfer bottlenecks traditionally associated with storage systems. The combination of NVMe SSDs and our premium Server Premier DRAM memory makes Kingston one of the most comprehensive providers of data processing solutions in the industry."
The gfio v3.13 test showed a throughput of 23.8 Gbit/s for a demo storage system using DC1000M U.2 NVMe drives. Source: Kingston
What would a typical system for HPC applications look like that implements GPUDirect Storage technology or similar? This architecture features physical separation of functional blocks within the rack: one or two units for memory, several more for the GPU and CPU compute nodes, and one or more units for storage.
With the announcement of GPUDirect Storage and the potential emergence of similar technologies from other GPU vendors, demand for storage systems designed for high-performance computing is expanding for Kingston. A key indicator will be the data reading speed from the storage system, comparable to the 40- or 100-Gbit network card throughput at the entry to the GPU compute unit. Thus, ultra-fast storage systems, including external NVMe over Fabric, will transition from being exotic to mainstream for HPC applications. Beyond science and financial calculations, they will find applications in many other practical areas, such as megacity safety systems like Safe City or transport monitoring centers, where recognition and identification speed at the level of millions of HD images per second is required," outlined the market niche for leading storage systems.
Voor meer informatie over Kingston-producten kunt u terecht op het bedrijf.
Bron: habr.com
