Sveiki, Habr! Didžiųjų duomenų ir mašininio mokymosi duomenų rinkiniai auga eksponentiškai, todėl turime neatsilikti nuo jų. Mūsų įrašas apie kitą naujovišką technologiją didelio našumo skaičiavimo srityje (HPC, High Performance Computing), rodomas Kingstono stende . Tai yra Hi-End duomenų saugojimo sistemų (SDS) naudojimas serveriuose su grafiniais apdorojimo įrenginiais (GPU) ir GPUDirect Storage magistralės technologija. Dėl tiesioginio duomenų mainų tarp saugojimo sistemos ir GPU, apeinant centrinį procesorių, duomenų įkėlimas į GPU greitintuvus paspartinamas tam tikru mastu, todėl „Big Data“ programos veikia maksimaliu našumu, kurį suteikia GPU. Savo ruožtu HPC sistemų kūrėjai domisi saugojimo sistemų, turinčių didžiausią įvesties/išvesties spartą, pažanga, pavyzdžiui, gaminamų Kingston.
GPU našumas lenkia duomenų įkėlimą
Nuo 2007 m., kai buvo sukurta CUDA – GPU pagrindu sukurta aparatinės ir programinės įrangos lygiagrečios skaičiavimo architektūra, skirta kurti bendrąsias programas, pačių GPU techninės įrangos galimybės neįtikėtinai išaugo. Šiandien GPU vis dažniau naudojami HPC programose, tokiose kaip dideli duomenys, mašininis mokymasis (ML) ir gilusis mokymasis (DL).
Atkreipkite dėmesį, kad nepaisant terminų panašumo, paskutiniai du yra algoritmiškai skirtingos užduotys. ML treniruoja kompiuterį remdamasi struktūriniais duomenimis, o DL treniruoja kompiuterį pagal grįžtamąjį ryšį iš neuroninio tinklo. Pavyzdys, padedantis suprasti skirtumus, yra gana paprastas. Tarkime, kad kompiuteris turi atskirti kačių ir šunų nuotraukas, kurios įkeliamos iš saugojimo sistemos. ML atveju turėtumėte pateikti vaizdų rinkinį su daugybe žymų, kurių kiekviena apibrėžia vieną konkrečią gyvūno savybę. DL pakanka įkelti daug didesnį vaizdų skaičių, bet tik su viena žyma „tai katė“ arba „tai šuo“. DL yra labai panašus į tai, kaip mokomi maži vaikai – jiems tiesiog parodomos šunų ir kačių nuotraukos knygose ir gyvenime (dažniausiai net nepaaiškinus detalaus skirtumo), o vaiko smegenys pačios pradeda nustatyti gyvūno tipą po tam tikras kritinis paveikslėlių skaičius palyginimui ( Remiantis skaičiavimais, kalbame tik apie šimtą ar dvi parodas per ankstyvą vaikystę). DL algoritmai dar nėra tokie tobuli: kad neuroninis tinklas taip pat sėkmingai veiktų identifikuodamas vaizdus, reikia tiekti ir apdoroti milijonus vaizdų į GPU.
Pratarmės santrauka: remiantis GPU, galite kurti HPC programas didelių duomenų, ML ir DL srityse, tačiau yra problema - duomenų rinkiniai yra tokie dideli, kad laikas, praleistas įkeliant duomenis iš saugojimo sistemos į GPU pradeda mažinti bendrą programos našumą. Kitaip tariant, greiti GPU lieka nepakankamai išnaudojami dėl lėtų I/O duomenų, gaunamų iš kitų posistemių. GPU ir magistralės į procesorių / saugojimo sistemą įvesties / išvesties greičio skirtumas gali būti tam tikro dydžio.
Kaip veikia GPUDirect Storage technologija?
Įvesties / išvesties procesą valdo CPU, kaip ir duomenų įkėlimo iš saugyklos į GPU procesą tolesniam apdorojimui. Dėl to buvo paprašyta technologijos, kuri suteiktų tiesioginę prieigą tarp GPU ir NVMe diskų, kad būtų galima greitai bendrauti tarpusavyje. NVIDIA pirmoji pasiūlė tokią technologiją ir pavadino ją GPUDirect Storage. Tiesą sakant, tai yra anksčiau sukurtos GPUDirect RDMA (Remote Direct Memory Address) technologijos variantas.
Jensenas Huangas, NVIDIA generalinis direktorius, pristatys GPUDirect Storage kaip GPUDirect RDMA variantą SC-19. Šaltinis: NVIDIA
Skirtumas tarp GPUDirect RDMA ir GPUDirect Storage yra įrenginiuose, tarp kurių atliekamas adresavimas. GPUDirect RDMA technologija yra skirta perkelti duomenis tiesiai tarp priekinės tinklo sąsajos plokštės (NIC) ir GPU atminties, o GPUDirect Storage suteikia tiesioginį duomenų kelią tarp vietinės ar nuotolinės saugyklos, pvz., NVMe arba NVMe per Fabric (NVMe-oF) ir GPU atmintis.
Tiek GPUDirect RDMA, tiek GPUDirect Storage išvengia nereikalingo duomenų judėjimo per buferį procesoriaus atmintyje ir leidžia tiesioginės atminties prieigos (DMA) mechanizmui perkelti duomenis iš tinklo plokštės arba saugyklos tiesiai į GPU atmintį arba iš jos – visa tai neapkraunant centrinio procesoriaus. Naudojant GPUDirect Storage, saugyklos vieta neturi reikšmės: tai gali būti NVME diskas GPU įrenginyje, stovo viduje arba prijungtas per tinklą kaip NVMe-oF.
GPUDirect Storage veikimo schema. Šaltinis: NVIDIA
„Hi-End“ saugojimo sistemos NVMe yra paklausios HPC taikomųjų programų rinkoje
Suprasdamas, kad atsiradus GPUDirect Storage, stambūs klientai susidomės siūlyti saugojimo sistemas, kurių įvesties/išvesties greitis atitinka GPU pralaidumą, parodoje SC-19 Kingstonas parodė sistemos, kurią sudaro saugojimo sistema, pagrįsta NVMe diskais ir įrenginiu su GPU, analizuojančiu tūkstančius palydovinių vaizdų per sekundę. Jau rašėme apie tokią saugojimo sistemą, paremtą 10 DC1000M U.2 NVMe diskų .
Saugojimo sistema, pagrįsta 10 DC1000M U.2 NVMe diskų, tinkamai papildo serverį su grafikos spartintuvais. Šaltinis: Kingston
Ši saugojimo sistema sukurta kaip 1U ar didesnis stovo įrenginys ir gali būti keičiamas atsižvelgiant į DC1000M U.2 NVMe diskų skaičių, kurių kiekvieno talpa yra 3.84–7.68 TB. DC1000M yra pirmasis U.2 formos NVMe SSD modelis Kingstono duomenų centrų diskų linijoje. Jis turi patvarumo įvertinimą (DWPD, Drive rašo per dieną), leidžiantį kartą per dieną perrašyti duomenis visu pajėgumu, kad būtų užtikrintas disko veikimo laikas.
Atliekant fio v3.13 testą Ubuntu 18.04.3 LTS operacinėje sistemoje, Linux branduolio 5.0.0-31-generic, parodos saugyklos pavyzdys parodė 5.8 mln. IOPS skaitymo greitį (Sustained Read) su tvariu pralaidumu (Sustained Bandwidth). ) 23.8 Gbit/s.
Arielis Perezas, Kingstono SSD verslo vadovas, apie naujas saugojimo sistemas sakė: „Esame pasirengę aprūpinti naujos kartos serverius U.2 NVMe SSD sprendimais, kad pašalintume daugelį duomenų perdavimo kliūčių, kurios tradiciškai buvo susijusios su saugykla. NVMe SSD diskų ir mūsų aukščiausios kokybės serverio „Premier“ DRAM derinys daro „Kingston“ vienu iš išsamiausių pramonės duomenų sprendimų tiekėjų.
„gfio v3.13“ testas parodė, kad demonstracinės saugojimo sistemos DC23.8M U.1000 NVMe diskų pralaidumas yra 2 Gbps. Šaltinis: Kingston
Kaip atrodytų tipiška HPC programų sistema naudojant GPUDirect Storage ar panašią technologiją? Tai architektūra su fiziniu funkcinių vienetų atskyrimu stove: vienas arba du blokai RAM, dar keli GPU ir CPU skaičiavimo mazgai ir vienas ar daugiau vienetų saugojimo sistemoms.
Paskelbus GPUDirect Storage ir galimą panašių technologijų atsiradimą iš kitų GPU pardavėjų, Kingstono saugojimo sistemų, skirtų naudoti didelio našumo skaičiavimuose, paklausa didėja. Žymeklis bus duomenų nuskaitymo iš saugojimo sistemos greitis, panašus į 40 arba 100 Gbit tinklo plokščių pralaidumą prie įėjimo į skaičiavimo įrenginį su GPU. Taigi itin didelės spartos saugojimo sistemos, įskaitant išorinį NVMe per „Fabric“, iš egzotiškų taps įprastomis HPC programomis. Be mokslo ir finansinių skaičiavimų, jie bus pritaikyti ir daugelyje kitų praktinių sričių, pavyzdžiui, saugumo sistemose saugaus miesto lygmeniu ar transporto stebėjimo centruose, kur reikalingas milijonų HD vaizdų atpažinimo ir atpažinimo greitis per sekundę. aukščiausios saugojimo sistemos rinkos niša
Daugiau informacijos apie Kingston gaminius rasite adresu kompanija.
Šaltinis: www.habr.com