Ahoj Habr! Soubory dat pro velká data a strojové učení exponenciálně rostou a my s nimi musíme držet krok. Náš příspěvek o další inovativní technologii v oblasti vysoce výkonných počítačů (HPC, High Performance Computing), vystavený na stánku Kingston na . Jedná se o použití Hi-End systémů pro ukládání dat (SDS) v serverech s grafickými procesorovými jednotkami (GPU) a technologií sběrnice GPUDirect Storage. Díky přímé výměně dat mezi úložným systémem a GPU, obcházení CPU, se načítání dat do GPU akcelerátorů řádově zrychlí, takže Big Data aplikace běží na maximální výkon, který GPU poskytují. Vývojáři systémů HPC se zase zajímají o pokroky v úložných systémech s nejvyššími I/O rychlostmi, jako jsou systémy vyráběné společností Kingston.
Výkon GPU předčí načítání dat
Od té doby, co byla v roce 2007 vytvořena CUDA, hardwarová a softwarová paralelní výpočetní architektura založená na GPU pro vývoj univerzálních aplikací, hardwarové možnosti samotných GPU neuvěřitelně vzrostly. Dnes se GPU stále častěji používají v aplikacích HPC, jako jsou velká data, strojové učení (ML) a hluboké učení (DL).
Všimněte si, že navzdory podobnosti termínů jsou poslední dva algoritmicky odlišné úkoly. ML trénuje počítač na základě strukturovaných dat, zatímco DL trénuje počítač na základě zpětné vazby z neuronové sítě. Příklad, který pomůže pochopit rozdíly, je docela jednoduchý. Předpokládejme, že počítač musí rozlišovat mezi fotografiemi koček a psů, které jsou načteny z úložného systému. Pro ML byste měli odeslat sadu obrázků s mnoha štítky, z nichž každý definuje jeden konkrétní rys zvířete. U DL stačí nahrát mnohem větší počet obrázků, ale jen s jedním tagem „toto je kočka“ nebo „toto je pes“. DL je velmi podobné tomu, jak se učí malé děti - jednoduše se jim ukazují obrázky psů a koček v knihách a v životě (nejčastěji bez vysvětlení podrobného rozdílu) a mozek dítěte sám začne určovat typ zvířete po určitý kritický počet obrázků pro srovnání ( Podle odhadů mluvíme jen o stovce nebo dvou představeních v raném dětství). Algoritmy DL ještě nejsou tak dokonalé: pro úspěšnou práci neuronové sítě s identifikací obrázků je nutné vložit a zpracovat miliony obrázků do GPU.
Shrnutí předmluvy: na základě GPU můžete stavět HPC aplikace v oblasti Big Data, ML a DL, ale je tu problém - datové sady jsou tak velké, že čas strávený načítáním dat z úložného systému do GPU začne snižovat celkový výkon aplikace. Jinými slovy, rychlá GPU zůstávají nevyužitá kvůli pomalým I/O datům přicházejícím z jiných subsystémů. Rozdíl v I/O rychlosti GPU a sběrnice k systému CPU/úložiště může být řádově velký.
Jak funguje technologie GPUDirect Storage?
Proces I/O je řízen CPU, stejně jako proces načítání dat z úložiště do GPU pro další zpracování. To vedlo k požadavku na technologii, která by poskytovala přímý přístup mezi GPU a NVMe disky pro rychlou vzájemnou komunikaci. NVIDIA byla první, kdo takovou technologii nabídl a nazvala ji GPUDirect Storage. Ve skutečnosti se jedná o variantu technologie GPUDirect RDMA (Remote Direct Memory Address), kterou dříve vyvinuli.
Jensen Huang, CEO společnosti NVIDIA, představí na SC-19 GPUDIrect Storage jako variantu GPUDirect RDMA. Zdroj: NVIDIA
Rozdíl mezi GPUDirect RDMA a GPUDirect Storage je v zařízeních, mezi kterými se provádí adresování. Technologie GPUDirect RDMA je přepracována tak, aby přesouvala data přímo mezi kartou front-end síťového rozhraní (NIC) a pamětí GPU a GPUDirect Storage poskytuje přímou datovou cestu mezi místním nebo vzdáleným úložištěm, jako je NVMe nebo NVMe over Fabric (NVMe-oF) a Paměť GPU.
GPUDirect RDMA i GPUDirect Storage zabraňují zbytečným přesunům dat přes vyrovnávací paměť v paměti CPU a umožňují mechanismu přímého přístupu do paměti (DMA) přesouvat data ze síťové karty nebo úložiště přímo do nebo z paměti GPU – to vše bez zatížení centrálního CPU. U GPUDirect Storage nezáleží na umístění úložiště: může to být disk NVME uvnitř jednotky GPU, uvnitř stojanu nebo připojený přes síť jako NVMe-oF.
Schéma fungování GPUDirect Storage. Zdroj: NVIDIA
Hi-End úložné systémy na NVMe jsou na trhu aplikací HPC žádané
Kingston si uvědomil, že s příchodem GPUDirect Storage bude zájem velkých zákazníků přitahovat nabídku úložných systémů s I/O rychlostmi odpovídající propustnosti GPU, a na výstavě SC-19 Kingston ukázal demo systému sestávajícího z úložný systém založený na NVMe discích a jednotce s GPU, která analyzovala tisíce satelitních snímků za sekundu. O takovém úložném systému založeném na 10 jednotkách DC1000M U.2 NVMe jsme již psali .
Úložný systém založený na 10 jednotkách DC1000M U.2 NVMe adekvátně doplňuje server s grafickými akcelerátory. Zdroj: Kingston
Tento úložný systém je navržen jako 1U nebo větší racková jednotka a lze jej škálovat v závislosti na počtu jednotek DC1000M U.2 NVMe, každý s kapacitou 3.84-7.68 TB. DC1000M je první model NVMe SSD ve formátu U.2 v řadě disků Kingston pro datová centra. Má hodnocení odolnosti (DWPD, disk zapisuje za den), což mu umožňuje přepisovat data na plnou kapacitu jednou denně po dobu zaručené životnosti disku.
V testu fio v3.13 na operačním systému Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic, ukázka výstavního úložiště vykázala rychlost čtení (Sustained Read) 5.8 milionu IOPS s udržitelnou propustností (Sustained Bandwidth ) 23.8 Gbit/s.
Ariel Perez, obchodní manažer SSD ve společnosti Kingston, o nových úložných systémech řekl: „Jsme připraveni vybavit další generaci serverů řešeními U.2 NVMe SSD, abychom odstranili mnoho úzkých míst přenosu dat, která byla tradičně spojována s úložištěm. Kombinace disků NVMe SSD a naší prémiové paměti Server Premier DRAM dělá z Kingstonu jednoho z nejkomplexnějších poskytovatelů komplexních datových řešení v oboru.“
Test gfio v3.13 ukázal propustnost 23.8 Gbps pro demo úložný systém na jednotkách DC1000M U.2 NVMe. Zdroj: Kingston
Jak by vypadal typický systém pro aplikace HPC využívající úložiště GPUDirect nebo podobnou technologii? Jedná se o architekturu s fyzickým oddělením funkčních jednotek v rámci stojanu: jedna nebo dvě jednotky pro RAM, několik dalších pro výpočetní uzly GPU a CPU a jedna nebo více jednotek pro úložné systémy.
S ohlášením GPUDirect Storage a možným nástupem podobných technologií od jiných výrobců GPU se poptávka společnosti Kingston po úložných systémech navržených pro použití ve vysoce výkonných počítačích rozšiřuje. Markerem bude rychlost čtení dat z úložného systému, srovnatelná s propustností 40- či 100-Gbitových síťových karet na vstupu do výpočetní jednotky s GPU. Ultra-vysokorychlostní úložné systémy, včetně externího NVMe přes Fabric, se tak pro HPC aplikace změní z exotických na hlavní proud. Kromě vědeckých a finančních výpočtů najdou uplatnění v mnoha dalších praktických oblastech, jako jsou bezpečnostní systémy na metropolitní úrovni Safe City nebo dopravní dohledová centra, kde je vyžadována rychlost rozpoznávání a identifikace milionů HD snímků za sekundu,“ nastínil mezera na trhu špičkového úložného systému
Více informací o produktech Kingston naleznete na společnost.
Zdroj: www.habr.com