Szia Habr! A Big Data és a gépi tanulás adatkészletei exponenciálisan nőnek, és lépést kell tartanunk velük. A nagy teljesítményű számítástechnika területén (HPC, High Performance Computing) egy másik innovatív technológiáról szóló bejegyzésünk a Kingston standon látható: . Ez a Hi-End adattároló rendszerek (SDS) használata grafikus feldolgozó egységgel (GPU) és GPUDirect Storage busz technológiával rendelkező szervereken. A tárolórendszer és a GPU közötti közvetlen adatcserének köszönhetően a CPU megkerülésével egy nagyságrenddel felgyorsul az adatok betöltése a GPU-gyorsítókba, így a Big Data alkalmazások a GPU-k által nyújtott maximális teljesítménnyel futnak. A HPC-rendszerfejlesztők viszont érdeklődnek a legmagasabb I/O-sebességű tárolórendszerek fejlesztései iránt, például a Kingston által gyártottakban.
A GPU teljesítménye meghaladja az adatbetöltést
Amióta 2007-ben létrehozták a CUDA-t, egy GPU-alapú, általános célú alkalmazások fejlesztésére szolgáló párhuzamos számítási architektúrát, a GPU-k hardveres képességei hihetetlenül megnőttek. Manapság a GPU-kat egyre gyakrabban használják olyan HPC-alkalmazásokban, mint a Big Data, a gépi tanulás (ML) és a mély tanulás (DL).
Vegye figyelembe, hogy a kifejezések hasonlósága ellenére az utolsó kettő algoritmikusan eltérő feladat. Az ML strukturált adatok alapján, míg a DL egy neurális hálózat visszacsatolása alapján tanítja a számítógépet. A különbségek megértését segítő példa meglehetősen egyszerű. Tegyük fel, hogy a számítógépnek különbséget kell tennie a tárolórendszerből betöltött macskák és kutyák fényképei között. Az ML esetében több címkét tartalmazó képkészletet kell beküldenie, amelyek mindegyike az állat egy-egy sajátos jellemzőjét határozza meg. A DL-hez elég jóval nagyobb számú képet feltölteni, de csak egy „ez egy macska” vagy „ez egy kutya” címkével. A DL nagyon hasonló ahhoz, ahogyan a kisgyermekeket tanítják – egyszerűen csak képeket mutatnak be kutyákról és macskákról a könyvekben és az életben (leggyakrabban anélkül, hogy elmagyaráznák a részletes különbséget), és a gyermek agya maga kezdi meghatározni az állat típusát. egy bizonyos kritikus számú kép az összehasonlításhoz ( Becslések szerint mindössze száz-két bemutatóról beszélünk a kisgyermekkorban). A DL-algoritmusok még nem ilyen tökéletesek: ahhoz, hogy egy neurális hálózat is sikeresen működjön a képek azonosításán, több millió képet kell betáplálni és feldolgozni a GPU-ba.
Az előszó összefoglalása: GPU-k alapján lehet HPC alkalmazásokat építeni Big Data, ML és DL területén, de van egy probléma - az adathalmazok olyan nagyok, hogy az adatok tárolórendszerből a GPU-ba való betöltésének ideje. csökkenteni kezdi az alkalmazás általános teljesítményét. Más szavakkal, a gyors GPU-k kihasználatlanok maradnak a más alrendszerekből érkező lassú I/O adatok miatt. A GPU és a CPU/tárolórendszer buszának I/O sebességének különbsége nagyságrendileg is lehet.
Hogyan működik a GPUDirect Storage technológia?
Az I/O folyamatot a CPU vezérli, csakúgy, mint az adatok tárolóból a GPU-kba való betöltésének folyamatát további feldolgozás céljából. Ez olyan technológia iránti igényt eredményezett, amely közvetlen hozzáférést biztosít a GPU-k és az NVMe-meghajtók között, hogy gyorsan kommunikálhassanak egymással. Az NVIDIA volt az első, aki ilyen technológiát kínált, és GPUDirect Storage-nak nevezte el. Valójában ez az általuk korábban kifejlesztett GPUDirect RDMA (Remote Direct Memory Address) technológia egy változata.
Jensen Huang, az NVIDIA vezérigazgatója az SC-19 kiállításon bemutatja a GPUDirect Storage-ot a GPUDirect RDMA egy változataként. Forrás: NVIDIA
A GPUDirect RDMA és a GPUDirect Storage közötti különbség az eszközök között van, amelyek között a címzés történik. A GPUDirect RDMA technológia célja az adatok közvetlen áthelyezése a front-end hálózati interfész kártya (NIC) és a GPU-memória között, a GPUDirect Storage pedig közvetlen adatutat biztosít a helyi vagy távoli tárolók, például az NVMe vagy az NVMe over Fabric (NVMe-oF) és a között. GPU memória.
Mind a GPUDirect RDMA, mind a GPUDirect Storage elkerüli a szükségtelen adatmozgásokat a CPU memóriájában található pufferen keresztül, és lehetővé teszi a közvetlen memóriaelérési (DMA) mechanizmus számára, hogy az adatokat a hálózati kártyáról vagy a tárolóról közvetlenül a GPU memóriájába vagy onnan mozgassa – mindezt a központi CPU terhelése nélkül. A GPUDirect Storage esetében a tároló helye nem számít: lehet egy NVME lemez egy GPU egységben, egy rack belsejében, vagy csatlakozhat a hálózaton keresztül NVMe-oF-ként.
A GPUDirect Storage működési sémája. Forrás: NVIDIA
Az NVMe csúcskategóriás tárolórendszerei keresettek a HPC alkalmazások piacán
Felismerve, hogy a GPUDirect Storage megjelenésével a nagy ügyfelek érdeklődése felkeltette a GPU átviteli sebességének megfelelő I/O sebességű tárolórendszerek kínálatát, a Kingston az SC-19 kiállításon bemutatta egy olyan rendszer bemutatóját, amely egy NVMe lemezeken és egy GPU-s egységen alapuló tárolórendszer, amely másodpercenként több ezer műholdképet elemzett. Írtunk már egy ilyen, 10 db DC1000M U.2 NVMe meghajtóra épülő tárolórendszerről .
A 10 db DC1000M U.2 NVMe meghajtón alapuló tárolórendszer megfelelően kiegészíti a szervert grafikus gyorsítókkal. Forrás: Kingston
Ezt a tárolórendszert 1U vagy nagyobb rack egységnek tervezték, és a DC1000M U.2 NVMe meghajtók számától függően méretezhető, mindegyik 3.84-7.68 TB kapacitással. A DC1000M az első NVMe SSD modell az U.2 formátumban a Kingston adatközponti meghajtóinak választékában. Tartóssági besorolással rendelkezik (DWPD, Drive ír naponta), ami lehetővé teszi, hogy naponta egyszer teljes kapacitására írja át az adatokat a meghajtó garantált élettartama alatt.
Az Ubuntu 3.13 LTS operációs rendszeren, az 18.04.3-5.0.0-generic Linux kernelen végzett fio v31 teszt során a kiállítási tárolási minta 5.8 millió IOPS olvasási sebességet (Fenntartott olvasás) mutatott fenntartható átviteli sebesség mellett (Fenntartható sávszélesség). ) 23.8 Gbit/s.
Ariel Perez, a Kingston SSD üzletágának menedzsere a következőket mondta az új tárolórendszerekről: „Készen állunk arra, hogy a szerverek következő generációját U.2 NVMe SSD-megoldásokkal látjuk el, hogy kiküszöböljük az adatátviteli szűk keresztmetszeteket, amelyek hagyományosan a tárolással kapcsolatosak. Az NVMe SSD meghajtók és a prémium Server Premier DRAM kombinációja a Kingstont az iparág egyik legátfogóbb teljes körű adatmegoldás-szolgáltatójává teszi."
A gfio v3.13 teszt 23.8 Gbps átviteli sebességet mutatott a DC1000M U.2 NVMe meghajtókon lévő demótároló rendszerhez. Forrás: Kingston
Hogyan nézne ki egy tipikus rendszer a HPC-alkalmazásokhoz GPUDirect Storage vagy hasonló technológia használatával? Ez egy olyan architektúra, amely a funkcionális egységek rack-en belüli fizikai szétválasztását tartalmazza: egy vagy két egység a RAM számára, több további GPU és CPU számítási csomópontok, valamint egy vagy több egység a tárolórendszerek számára.
A GPUDirect Storage bejelentésével és a hasonló technológiák más GPU-gyártók esetleges megjelenésével a Kingston kereslete a nagy teljesítményű számítástechnikában való használatra tervezett tárolórendszerek iránt egyre bővül. A jelző a tárolórendszerből az adatok beolvasásának sebessége lesz, ami a 40 vagy 100 Gbit-es hálózati kártyák átviteli sebességéhez hasonlítható a GPU-s számítási egység bejáratánál. Így az ultra-nagy sebességű tárolórendszerek, beleértve a Fabric-on keresztüli külső NVMe-t is, egzotikusból a HPC-alkalmazások mainstreamjeivé válnak. A tudomány és a pénzügyi számítások mellett számos más gyakorlati területen is alkalmazást találnak majd, mint például a Biztonságos város nagyvárosi szintű biztonsági rendszerei vagy a közlekedési felügyeleti központok, ahol másodpercenként több millió HD kép felismerési és azonosítási sebességére van szükség” – vázolta fel. a legjobb tárolórendszer piaci rése
További információk a Kingston termékekről a következő címen találhatók: cég.
Forrás: will.com