Hei Habr! Datasett for Big Data og maskinlæring vokser eksponentielt, og vi må holde tritt med dem. Vårt innlegg om en annen innovativ teknologi innen høyytelsesdatabehandling (HPC, High Performance Computing), vist på Kingston-standen kl. . Dette er bruken av Hi-End datalagringssystemer (SDS) i servere med grafiske prosesseringsenheter (GPU) og GPUDirect Storage bus-teknologi. Takket være direkte datautveksling mellom lagringssystemet og GPU-en, utenom CPU-en, akselereres lasting av data til GPU-akseleratorer med en størrelsesorden, slik at Big Data-applikasjoner kjører med den maksimale ytelsen som GPUer gir. På sin side er HPC-systemutviklere interessert i fremskritt innen lagringssystemer med de høyeste I/O-hastighetene, slik som de produsert av Kingston.
GPU-ytelsen overgår datainnlastingen
Siden CUDA, en GPU-basert maskinvare- og programvare-parallell databehandlingsarkitektur for utvikling av generelle applikasjoner, ble opprettet i 2007, har maskinvareegenskapene til selve GPUene vokst utrolig. I dag brukes GPUer i økende grad i HPC-applikasjoner som Big Data, maskinlæring (ML) og dyp læring (DL).
Merk at til tross for likheten mellom begreper, er de to siste algoritmisk forskjellige oppgaver. ML trener datamaskinen basert på strukturerte data, mens DL trener datamaskinen basert på tilbakemelding fra et nevralt nettverk. Et eksempel for å forstå forskjellene er ganske enkelt. La oss anta at datamaskinen må skille mellom bilder av katter og hunder som er lastet inn fra lagringssystemet. For ML bør du sende inn et sett med bilder med mange tagger, som hver definerer en spesiell egenskap ved dyret. For DL er det nok å laste opp et mye større antall bilder, men med bare én tag "dette er en katt" eller "dette er en hund". DL er veldig lik hvordan små barn blir undervist - de blir ganske enkelt vist bilder av hunder og katter i bøker og i livet (oftest, uten engang å forklare den detaljerte forskjellen), og barnets hjerne begynner selv å bestemme dyretypen etter et visst kritisk antall bilder for sammenligning (I følge estimater snakker vi bare om hundre eller to show gjennom tidlig barndom). DL-algoritmer er ennå ikke så perfekte: for at et nevralt nettverk også skal kunne fungere med å identifisere bilder, er det nødvendig å mate og behandle millioner av bilder inn i GPUen.
Sammendrag av forordet: basert på GPU-er kan du bygge HPC-applikasjoner innen Big Data, ML og DL, men det er et problem - datasettene er så store at tiden brukt på å laste data fra lagringssystemet til GPUen begynner å redusere den generelle ytelsen til applikasjonen. Med andre ord forblir raske GPU-er underutnyttet på grunn av trege I/O-data som kommer fra andre undersystemer. Forskjellen i I/O-hastigheten til GPUen og bussen til CPU/lagringssystemet kan være en størrelsesorden.
Hvordan fungerer GPUDirect Storage-teknologi?
I/O-prosessen styres av CPU, det samme er prosessen med å laste data fra lagring til GPU-ene for videre behandling. Dette førte til en forespørsel om teknologi som ville gi direkte tilgang mellom GPUer og NVMe-stasjoner for raskt å kommunisere med hverandre. NVIDIA var den første som tilbød slik teknologi og kalte den GPUDirect Storage. Faktisk er dette en variant av GPUDirect RDMA (Remote Direct Memory Address)-teknologien de tidligere utviklet.
Jensen Huang, administrerende direktør i NVIDIA, vil presentere GPUDirect Storage som en variant av GPUDirect RDMA på SC-19. Kilde: NVIDIA
Forskjellen mellom GPUDirect RDMA og GPUDirect Storage ligger i enhetene som adresseringen utføres mellom. GPUDirect RDMA-teknologi er gjenbrukt for å flytte data direkte mellom front-end nettverksgrensesnittkort (NIC) og GPU-minne, og GPUDirect Storage gir en direkte databane mellom lokal eller ekstern lagring som NVMe eller NVMe over Fabric (NVMe-oF) og GPU-minne.
Både GPUDirect RDMA og GPUDirect Storage unngår unødvendige databevegelser gjennom en buffer i CPU-minnet og lar mekanismen for direkte minnetilgang (DMA) flytte data fra nettverkskortet eller lagringen direkte til eller fra GPU-minnet – alt uten belastning på den sentrale CPU. For GPUDirect Storage spiller ikke plasseringen av lagringen noen rolle: det kan være en NVME-disk inne i en GPU-enhet, inne i et rack eller koblet over nettverket som NVMe-oF.
Driftsskjema for GPUDirect Storage. Kilde: NVIDIA
Hi-End-lagringssystemer på NVMe er etterspurt i HPC-applikasjonsmarkedet
Ved å innse at med bruken av GPUDirect Storage, vil interessen til store kunder trekkes til å tilby lagringssystemer med I/O-hastigheter som tilsvarer gjennomstrømmingen til GPU, på SC-19-utstillingen viste Kingston en demo av et system bestående av en lagringssystem basert på NVMe-disker og en enhet med en GPU, som analyserte tusenvis av satellittbilder per sekund. Vi har allerede skrevet om et slikt lagringssystem basert på 10 DC1000M U.2 NVMe-stasjoner .
Et lagringssystem basert på 10 DC1000M U.2 NVMe-stasjoner kompletterer en server med grafikkakseleratorer. Kilde: Kingston
Dette lagringssystemet er utformet som en 1U eller større rackenhet og kan skaleres avhengig av antall DC1000M U.2 NVMe-stasjoner, hver med en kapasitet på 3.84-7.68 TB. DC1000M er den første NVMe SSD-modellen i U.2-formfaktoren i Kingstons linje med datasenterstasjoner. Den har en utholdenhetsvurdering (DWPD, skriver Drive per dag), slik at den kan omskrive data til sin fulle kapasitet én gang om dagen for den garanterte levetiden til stasjonen.
I fio v3.13-testen på operativsystemet Ubuntu 18.04.3 LTS, Linux-kjerne 5.0.0-31-generisk, viste utstillingslagringseksemplet en lesehastighet (Sustained Read) på 5.8 millioner IOPS med en bærekraftig gjennomstrømning (Sustained Bandwidth) ) på 23.8 Gbit/s.
Ariel Perez, SSD-forretningsleder i Kingston, sa om de nye lagringssystemene: «Vi er klar til å utstyre neste generasjon servere med U.2 NVMe SSD-løsninger for å eliminere mange av flaskehalsene for dataoverføring som tradisjonelt har vært forbundet med lagring. Kombinasjonen av NVMe SSD-stasjoner og vår premium Server Premier DRAM gjør Kingston til en av bransjens mest omfattende leverandører av ende-til-ende dataløsninger."
Gfio v3.13-testen viste en gjennomstrømning på 23.8 Gbps for demolagringssystemet på DC1000M U.2 NVMe-stasjoner. Kilde: Kingston
Hvordan vil et typisk system for HPC-applikasjoner se ut som bruker GPUDirect Storage eller lignende teknologi? Dette er en arkitektur med en fysisk separasjon av funksjonelle enheter i et rack: én eller to enheter for RAM, flere flere for GPU- og CPU-datanoder, og én eller flere enheter for lagringssystemer.
Med kunngjøringen av GPUDirect Storage og den mulige fremveksten av lignende teknologier fra andre GPU-leverandører, utvides Kingstons etterspørsel etter lagringssystemer designet for bruk i høyytelses databehandling. Markøren vil være hastigheten på lesing av data fra lagringssystemet, sammenlignbar med gjennomstrømmingen til 40- eller 100-Gbit nettverkskort ved inngangen til en dataenhet med en GPU. Dermed vil ultra-høyhastighets lagringssystemer, inkludert ekstern NVMe via Fabric, gå fra å være eksotisk til mainstream for HPC-applikasjoner. I tillegg til vitenskapelige og økonomiske beregninger, vil de finne anvendelse på mange andre praktiske områder, for eksempel sikkerhetssystemer på Safe City storbynivå eller transportovervåkingssentre, der gjenkjennings- og identifiseringshastigheter på millioner av HD-bilder per sekund er påkrevd," skissert markedsnisjen til det øverste lagringssystemet
Mer informasjon om Kingston-produkter finner du på selskap.
Kilde: www.habr.com