Üdv, Habr! Az adathalmazok a Big Data és a gépi tanulás területén exponenciálisan növekvő mértékben bővülnek, és lépést kell tartanunk a feldolgozásukkal. Bejegyzésünk egy újabb innovatív technológiáról szól a nagy teljesítményű számítástechnika (HPC, High Performance Computing) terén, amelyet a Kingston standján mutattak be a . Ez a Hi-End tárolórendszerek (SASD) alkalmazása grafikusprocesszorokkal (GPU) rendelkező szerverekben és a GPUDirect Storage busz-technológia használatával történik. A tárolórendszerek és a GPU közötti közvetlen adatcsere, kikerülve a CPU-t, nagyságrendekkel gyorsítja fel az adatok betöltését a GPU gyorsítóba, így a Big Data alkalmazások a GPU által biztosított maximális teljesítménnyel futnak. Ezzel párhuzamosan a HPC-rendszerek fejlesztőit is érdekli a legmagasabb sebességű bemeneti/kimeneti teljesítményű tárolórendszerek előnyei — mint amilyeneket a Kingston kínál.
A GPU teljesítménye megelőzi az adatbetöltést
Mióta 2007-ben létrehozták a CUDA-t — a GPU-alapú párhuzamos számítások szoftver-hardware architektúráját az általános célú alkalmazások fejlesztéséhez, a GPU-k hardveres lehetőségei rendkívüli módon megnövekedtek. Ma a GPU-k egyre szélesebb körben alkalmazzák a HPC alkalmazások területén, mint például a Big Data, a gépi tanulás (ML, machine learning) és a mélytanulás (DL, deep learning).
Megjegyezzük, hogy a kifejezések hasonlósága ellenére az utolsó két algoritmikusan eltérő feladatot jelent. Az ML a strukturált adatok alapján tanítja meg a számítógépet, míg a DL a neurális hálózattól érkező válasz alapján működik. Egy egyszerű példa segíthet megérteni a különbségeket. Tegyük fel, hogy a számítógépnek meg kell különböztetnie a macskákról és kutyákról készült fényképeket, amelyeket a tárolórendszerből töltenek fel. Az ML-hez egy olyan képkészletet kell biztosítani, amely számos címkét tartalmaz, mindegyik meghatároz egy-egy állatjellemzőt. A DL-hez elegendő sokkal több képet feltölteni, de ezek csupán egyetlen címkével, mint például "ez egy macska" vagy "ez egy kutya". A DL hasonlít arra, ahogyan a kisgyermekeket tanítják — egyszerűen csak mutatják nekik a kutyákról és macskákról készült képeket a könyvekben és a valóságban (gyakran úgy, hogy részletes különbségeket egyáltalán nem magyaráznak el), és a gyerek agya magától kezdi el meghatározni az állat típusát néhány kritikus számú hasonló kép után (a becslések szerint ez összesen egy-két tucat bemutatót jelent a kora gyermekkortól). A DL algoritmusok még nem olyan kifinomultak: ahhoz, hogy a neurális hálózat ugyanolyan sikeresen tudjon dolgozni a képek azonosításán, milliókat kell benyújtani és feldolgozni a GPU-n.
A bevezető összegzése: GPU-alapú HPC-alkalmazásokat lehet építeni a Big Data, ML és DL területén, ám van egy probléma — az adathalmozók olyan nagyok, hogy az adatok tárolóból GPU-ra való betöltési ideje csökkenti az alkalmazás teljesítményét. Más szóval, a gyors grafikus processzorok alulhasználva maradnak a más alrendszerekből érkező lassú bemeneti/kimeneti adatok miatt. A GPU és a CPU/tárolórendszer közötti bemeneti/kimeneti sebesség különbsége rendre egy nagyságrenddel is eltérhet.
Hogyan működik a GPUDirect Storage technológia?
A bemeneti/kimeneti folyamatot a CPU ellenőrzi, akárcsak az adatbetöltést a tárolóból a grafikus processzorokhoz a további feldolgozás érdekében. Ennek következtében merült fel az igény egy olyan technológia iránt, amely közvetlen hozzáférést biztosítana a GPU és az NVMe-meghajtók között, hogy gyors kölcsönhatásuk legyen. Az első ilyen technológiát az NVIDIA javasolta, és GPUDirect Storage néven ismertette. Lényegében ez a korábban kifejlesztett GPUDirect RDMA (Remote Direct Memory Address) egy változata.
Jensen Huang, az NVIDIA vezérigazgatója a GPUDirect Storage-t a GPUDirect RDMA egy változataként mutatja be a SC-19 kiállításon. Forrás: NVIDIA
A GPUDirect RDMA és a GPUDirect Storage közötti különbség az eszközök között rejlik, amelyek között a címzés történik. A GPUDirect RDMA technológia arra lett optimalizálva, hogy közvetlenül az ethernet interfész kártya (NIC) és a GPU memória között mozgassa az adatokat, míg a GPUDirect Storage közvetlen adatátviteli utat biztosít a helyi vagy távoli tárolók, például NVMe vagy NVMe Fabric (NVMe-oF) és a GPU memória között.
Mindkét változat, a GPUDirect RDMA és a GPUDirect Storage, elkerüli az adatokat a CPU memória pufferein keresztül mozgatni, és lehetővé teszi a közvetlen memória hozzáférési mechanizmus (DMA) számára, hogy az adatokat közvetlenül a hálózati kártyáról vagy a tárolóból a GPU memóriájába vagy onnan ki mozgatja – mindezt anélkül, hogy a központi processzort megterhelné. A GPUDirect Storage esetében a tároló elhelyezkedése nem számít: lehet belső NVME-meghajtó a GPU egységben, állványban vagy hálózaton keresztül csatlakozva, mint NVMe-oF.
A GPUDirect Storage működési sémája. Forrás: NVIDIA
A hi-end NVMe tárolók népszerűek a HPC alkalmazások piacán.
Megértve, hogy a GPUDirect Storage megjelenésével a nagy ügyfelek figyelme a GPU teljesítményével megegyező I/O sebességgel rendelkező tárolórendszerek felé fog irányulni, a SC-19 kiállításon a Kingston bemutatott egy demó rendszert, amely NVMe-meghajtókon alapuló tárolóból és GPU egységből állt, amelyben másodpercenként ezer műholdas képet elemeztek. Egy ilyen NVMe alapú tárolóról, amely 10 DC1000M U.2 NVMe meghajtóból áll, már írtunk. .
A 10 DC1000M U.2 NVMe meghajtón alapuló tároló méltó kiegészítése a grafikus gyorsítókkal ellátott szervernek. Forrás: Kingston
Ez a tároló 1U vagy annál nagyobb rack egységként készül, és skálázható a DC1000M U.2 NVMe meghajtók számának függvényében, ahol minden meghajtó kapacitása 3.84-7.68 TB. A DC1000M az első U.2 formátumú NVMe SSD modell a Kingston adatközponti meghajtói között. Tartóssági indexe (DWPD, Drive writes per day) lehetővé teszi, hogy a meghajtó teljes kapacitását naponta egyszer átírja a garanciális időszak alatt.
A fio v3.13 teszt alatt az Ubuntu 18.04.3 LTS operációs rendszeren, Linux kernel 5.0.0-31-generic, a kiállítási minta tároló 5.8 millió IOPS olvasási sebességet (Sustained Read) és 23.8 Gbit/s tartós sávszélességet (Sustained Bandwidth) mutatott.
Ariél Pérez, az SSD üzletág vezetője a Kingstonnál, így jellemezte az új tárolókat: „Készen állunk a következő generációs szerverek U.2 NVMe SSD megoldásaival való ellátására, hogy megszüntessük a hagyományosan a tárolórendszerhez kapcsolódó adatátviteli szűk keresztmetszeteket. Az NVMe SSD meghajtók és prémium Server Premier DRAM memóriánk kombinációja teszi a Kingstont az ipar egyik legátfogóbb megoldásszállítóvá az adatfeldolgozás terén.”
A gfio v3.13 teszt 23,8 Gbit/s sávszélességet mutatott ki egy DC1000M U.2 NVMe meghajtókon alapuló bemutató tárolónál. Forrás: Kingston
Hogyan néz ki egy tipikus rendszer HPC alkalmazásokhoz, ahol a GPUDirect Storage vagy annak hasonló technológiája van megvalósítva? Ez egy architektúra, amely a funkcionális blokkok fizikális elválasztásán alapul a keretben: egy-két egység a memóriának, még néhány a GPU és CPU számítási csomópontoknak, és egy vagy több egység a tárolóknak.
A GPUDirect Storage bejelentésével és más GPU beszállítóknál hasonló technológiák várható megjelenésével a Kingston számára nő a kereslet az HPC alkalmazásokhoz tervezett tárolók iránt. A mérce a tárolóból való adatolvasási sebesség lesz, amely összehasonlítható a 40 vagy 100 Gbit/s-os hálózati kártyák sávszélességével, amikor az adat a GPU-val rendelkező számítógéphez érkezik. Így az ultra-gyors tárolók, beleértve a külső NVMe-t a Fabric-en keresztül, az egzotikumból mainstreamé válnak az HPC alkalmazások számára. A tudományos kutatás és pénzügyi számítások mellett sok más gyakorlati területen is alkalmazásra találhatnak, például a Safe City szintű nagyvárosi biztonsági rendszerekben vagy közlekedési megfigyelő központokban, ahol a HD képek millióinak másodpercbeli azonosítására és felismerésére van szükség,” – méltatta a csúcs tárolók piaci szegmensét.
További információ a Kingston termékeiről itt található: a céggel.
Forrás: habr.com
