Kaixo Habr! Big Data eta ikaskuntza automatikorako datu multzoak esponentzialki hazten ari dira eta haiei eutsi behar diegu. Errendimendu handiko informatikaren alorreko beste teknologia berritzaile bati buruzko gure argitalpena (HPC, High Performance Computing), Kingstoneko standean ikusgai. . Hau da, Hi-End datuak biltegiratzeko sistemak (SDS) erabiltzea prozesatzeko unitate grafikoak (GPU) eta GPUDirect Storage bus teknologia duten zerbitzarietan. Biltegiratze-sistemaren eta GPUren arteko datu-truke zuzenari esker, CPUa saihestuz, datuak GPU azeleragailuetan kargatzea handitu egiten da, beraz, Big Data aplikazioak GPUek ematen duten errendimendurik handienarekin exekutatzen dira. Aldi berean, HPC sistemen garatzaileek I/O abiadura handiena duten biltegiratze sistemen aurrerapenetan interesa dute, Kingston-ek ekoitzitakoetan adibidez.
GPUren errendimenduak datuen karga baino handiagoa du
CUDA, GPUn oinarritutako hardware eta software paraleloko konputazio arkitektura erabilera orokorreko aplikazioak garatzeko, 2007an sortu zenetik, GPUen hardware gaitasunak izugarri hazi dira. Gaur egun, GPUak gero eta gehiago erabiltzen dira HPC aplikazioetan, hala nola Big Data, machine learning (ML) eta deep learning (DL).
Kontuan izan terminoen antzekotasuna izan arren, azken biak algoritmikoki zeregin desberdinak direla. ML-k ordenagailua entrenatzen du datu egituratuetan oinarrituta, eta DL-k, berriz, sare neuronal baten iritzian oinarrituta entrenatzen du ordenagailua. Desberdintasunak ulertzen laguntzeko adibide bat nahiko erraza da. Demagun ordenagailuak biltegiratze sistematik kargatzen diren katuen eta txakurren argazkiak bereizi behar dituela. MLrako, etiketa asko dituen irudi multzo bat bidali beharko zenuke, eta horietako bakoitzak animaliaren ezaugarri jakin bat definitzen du. DLrako, nahikoa da irudi kopuru askoz handiagoa igotzea, baina etiketa bakarrarekin "hau katu bat da" edo "hau txakur bat da". DL haur txikiei irakasten zaienaren oso antzekoa da - liburuetan eta bizitzan txakurren eta katuen irudiak besterik ez zaizkie erakusten (gehienetan, desberdintasun zehatza ere azaldu gabe), eta haurraren garuna bera hasten da animalia mota zehazten ondoren. konparaziorako argazki kopuru kritiko jakin bat (kalkuluen arabera, haurtzaroan zehar ehun edo bi ikuskizun baino ez gara hitz egiten). DL algoritmoak ez dira oraindik hain perfektuak: sare neuronal batek irudiak identifikatzen ere arrakastaz lan egiteko, beharrezkoa da milioika irudi elikatzea eta prozesatzea GPUra.
Hitzaurrearen laburpena: GPUetan oinarrituta, HPC aplikazioak eraiki ditzakezu Big Data, ML eta DL arloan, baina arazo bat dago - datu-multzoak hain dira handiak, non biltegiratze sistematik GPUra datuak kargatzen igarotzen den denbora. aplikazioaren errendimendu orokorra murrizten hasten da. Beste era batera esanda, GPU azkarrak gutxi erabiltzen dira beste azpisistemetatik datozen I/O datu motelengatik. GPUaren eta PUZaren/biltegiratze-sistemaren autobusaren I/O abiaduraren aldea magnitude batekoa izan daiteke.
Nola funtzionatzen du GPUDirect Storage teknologiak?
I/O prozesua CPUak kontrolatzen du, datuak biltegiratzetik GPUetara kargatzeko prozesua gehiago prozesatzeko. Honek GPU eta NVMe unitateen arteko sarbide zuzena emango zuen teknologia eskaera egin zuen, elkarren artean azkar komunikatzeko. NVIDIA izan zen horrelako teknologia eskaintzen lehena eta GPUDirect Storage deitu zion. Izan ere, aurretik garatu zuten GPUDirect RDMA (Remote Direct Memory Address) teknologiaren aldakuntza bat da.
Jensen Huang-ek, NVIDIAko zuzendari nagusiak, GPUDirect Storage GPUDirect RDMAren aldaera gisa aurkeztuko du SC-19-n. Iturria: NVIDIA
GPUDirect RDMA eta GPUDirect Storage-ren arteko aldea helbideratzea egiten den gailuetan dago. GPUDirect RDMA teknologia fronte-end sareko interfaze-txartelaren (NIC) eta GPU memoriaren artean datuak zuzenean mugitzeko erabiltzen da, eta GPUDirect Storage-k datu-bide zuzena eskaintzen du tokiko edo urruneko biltegiratze artean, hala nola NVMe edo NVMe over Fabric (NVMe-oF) eta GPU memoria.
GPUDirect RDMA eta GPUDirect Storage biek alferrikako datu-mugimenduak saihesten dituzte PUZaren memoriako buffer baten bidez eta zuzeneko memoriarako sarbidea (DMA) mekanismoari aukera ematen diote sare-txarteletik edo biltegiratzetik datuak GPU memoriara edo zuzenean mugitzeko, hori guztia CPU zentralean kargatu gabe. GPUDirect Storage-rako, biltegiratze kokapenak ez du axola: NVME disko bat izan daiteke GPU unitate baten barruan, rack baten barruan edo sarean NVMe-oF gisa konektatuta.
GPUDirect Storage-ren funtzionamendu-eskema. Iturria: NVIDIA
NVMe-n Hi-End biltegiratze sistemak eskatzen dira HPC aplikazioen merkatuan
GPUDirect Storage-ren agerpenarekin, bezero handien interesa GPUaren errendimenduari dagozkion I/O abiadura duten biltegiratze sistemak eskaintzeko interesa piztuko dela konturatuta, SC-19 erakusketan Kingston-ek sistema batek osatutako sistema baten demo bat erakutsi zuen. NVMe diskoetan eta GPUdun unitate batean oinarritutako biltegiratze sistema, segundoko milaka satelite-irudi aztertzen zituena. Dagoeneko idatzi dugu 10 DC1000M U.2 NVMe unitateetan oinarritutako biltegiratze sistema bati buruz. .
10 DC1000M U.2 NVMe diskoetan oinarritutako biltegiratze sistema batek azeleragailu grafikoekin zerbitzari bat behar bezala osatzen du. Iturria: Kingston
Biltegiratze-sistema hau 1U edo handiagoko rack-unitate gisa diseinatuta dago eta DC1000M U.2 NVMe unitate kopuruaren arabera eskala daiteke, bakoitza 3.84-7.68 TB-ko edukiera duena. DC1000M Kingston-en datu-zentroen unitateen U.2 formako lehen NVMe SSD modeloa da. Erresistentzia-balorazioa du (DWPD, Drive-k egunean idazten du), eta aukera ematen du datuak egunean behin bere gaitasun osora berridazteko unitatearen bizitza bermatzeko.
Ubuntu 3.13 LTS sistema eragilearen fio v18.04.3 proban, Linux kernel 5.0.0-31-generikoan, erakusketako biltegiratze laginak 5.8 milioi IOPS-ko irakurketa-abiadura (Irakurketa iraunkorra) erakutsi zuen errendimendu iraunkor batekin (banda zabalera iraunkorra). ) 23.8 Gbit/s.
Ariel Perez-ek, Kingston-eko SSD negozio-kudeatzaileak, esan zuen biltegiratze-sistema berriei buruz: "Hurrengo zerbitzarien belaunaldia U.2 NVMe SSD soluzioekin hornitzeko prest gaude, tradizioz biltegiratzearekin lotu izan diren datu-transferentzia-botaleku asko kentzeko. NVMe SSD unitateen eta gure Premium Server Premier DRAM konbinazioak Kingston industriaren amaierako datu-irtenbideen hornitzailerik osatuenetako bat bihurtzen du".
gfio v3.13 probak 23.8 Gbps-ko errendimendua erakutsi zuen DC1000M U.2 NVMe unitateetan demo biltegiratze sistemarako. Iturria: Kingston
Nolakoa izango litzateke HPC aplikazioetarako ohiko sistema bat GPUDirect Storage edo antzeko teknologia erabiliz? Rack baten barruan unitate funtzionalen bereizketa fisikoa duen arkitektura bat da: RAM unitate bat edo bi, GPU eta CPU konputazio-nodoentzako beste hainbat unitate eta biltegiratze sistemetarako unitate bat edo gehiago.
GPUDirect Storage-ren iragarpenarekin eta beste GPU saltzaile batzuen antzeko teknologien agerpenarekin batera, Kingston-en errendimendu handiko informatikan erabiltzeko diseinatutako biltegiratze-sistemen eskaera hedatzen ari da. Markagailua biltegiratze-sistemako datuak irakurtzeko abiadura izango da, 40 edo 100 Gbit-eko sare-txartelen errendimenduaren parekoa GPU bat duen unitate informatiko baten sarreran. Horrela, abiadura ultra-handiko biltegiratze sistemak, kanpoko NVMe barne Fabric bidez, exotiko izatetik HPC aplikazioetarako nagusi izatera igaroko dira. Zientzia eta finantza kalkuluez gain, beste hainbat arlo praktikotan ere aplikazioa aurkituko dute, hala nola Hiri Seguruko metropoli mailan edo garraioen zaintza zentroetan, non segundoko HD milioika irudiren ezagutze eta identifikazio-abiadurak behar direnΒ», zehaztu dute. Biltegiratze sistema nagusiaren merkatu nitxoa
Kingston produktuei buruzko informazio gehiago helbidean aurki daiteke konpainiak.
Iturria: www.habr.com