Talofa Habr! O faʻamaumauga mo Big Data ma aʻoaʻoga masini o loʻo faʻatupulaia faʻateleina ma e manaʻomia ona tatou faʻaauau pea. O la matou pou e uiga i se isi tekonolosi fou i le tulaga o le maualuga o le faʻaogaina o komepiuta (HPC, High Performance Computing), faʻaalia i le faleoloa Kingston i . O le faʻaogaina lea o faiga faʻapipiʻi faʻamaumauga (SDS) Hi-End i 'auʻaunaga faʻatasi ai ma iunite faʻasologa o ata (GPU) ma GPUDirect Storage pasi tekonolosi. Faʻafetai i le fefaʻatauaʻiga o faʻamatalaga i le va o le teuina ma le GPU, le faʻaogaina o le PPU, faʻapipiʻiina o faʻamatalaga i totonu o le GPU faʻavavevave e faʻavaveina e se faʻatonuga o le tele, o lea e faʻatautaia ai talosaga Big Data i le maualuga o faʻatinoga e maua e GPU. I le isi itu, e fiafia le au atinaʻe o le HPC i le alualu i luma i le teuina o masini ma le maualuga o le I / O saoasaoa, e pei o mea na gaosia e Kingston.
O le fa'atinoga o le GPU e sili atu i le utaina o fa'amaumauga
Talu mai le CUDA, o le GPU-faʻavae meafaigaluega ma polokalama faakomepiuta faakomepiuta fausaga fausaga mo le atinaʻeina o faʻamoemoega lautele talosaga, na faia i le 2007, o le faʻaogaina o meafaigaluega a GPU lava ia ua tupu tele. I aso nei, ua faʻateleina le faʻaogaina o GPU i HPC talosaga e pei o Big Data, masini aʻoaʻoga (ML), ma aʻoaʻoga loloto (DL).
Manatua e ui lava i le tutusa o faaupuga, o le lua mulimuli o galuega algorithmically eseese. O le ML e aʻoaʻoina le komepiuta e faʻavae i luga o faʻamaumauga faʻatulagaina, ae o le DL e aʻoaʻoina le komepiuta e faʻavae i luga o faʻamatalaga mai se fesoʻotaʻiga neural. O se faʻataʻitaʻiga e fesoasoani e malamalama ai i eseesega e fai lava si faigofie. Seʻi tatou manatu e tatau i le komepiuta ona vaʻaia le va o ata o pusi ma maile o loʻo utaina mai le mea e teu ai. Mo le ML, e tatau ona e tuʻuina atu se seti o ata ma le tele o faʻailoga, o ia mea taʻitasi e faʻamatalaina ai se tasi vaega faapitoa o le manu. Mo le DL, ua lava le tuʻuina atu o se numera tele o ata, ae naʻo le tasi le pine "o le pusi lea" poʻo le "o se taifau lenei". DL e talitutusa lava ma le auala e aʻoaʻoina ai tamaiti laiti - e naʻo le faʻaalia o ata o taifau ma pusi i tusi ma le olaga (e masani lava, e aunoa ma le faʻamatalaina o le eseesega auiliili), ma o le faiʻai o le tamaititi lava ia e amata ona iloa le ituaiga o manu pe a uma. se numera taua tele o ata mo le faʻatusatusaga ( E tusa ai ma tala faʻatatau, o loʻo matou talanoa e uiga i le na o le selau pe lua faʻaaliga i le amataga o tamaiti). DL algorithms e leʻi atoatoa lelei: mo se fesoʻotaʻiga neural e galue foi ma le manuia i le faailoaina o ata, e tatau ona fafaga ma faʻagasolo le faitau miliona o ata i totonu o le GPU.
Aotelega o le faatomuaga: faʻavae i luga o GPU, e mafai ona e fausia HPC talosaga i le fanua o Big Data, ML ma DL, ae o loʻo i ai se faʻafitauli - o faʻamaumauga faʻamaumauga e tele naua ma o le taimi e faʻaalu ai le utaina o faʻamaumauga mai le faʻapipiʻiina i le GPU. amata ona faʻaititia le faʻatinoga atoa o le talosaga. I se isi faaupuga, o loʻo tumau pea le faʻaogaina o GPU vave ona o le faʻagesegese o faʻamatalaga I / O e sau mai isi subsystems. O le eseesega i le I / O saosaoa o le GPU ma le pasi i le PPU / faiga teu e mafai ona avea ma se faasologa o le tele.
E fa'afefea ona galue le GPUDirect Storage technology?
O le I/O process e pulea e le PPU, e pei o le faagasologa o le utaina o faʻamaumauga mai le teuina i GPU mo le faʻaogaina atili. O lenei mea na mafua ai se talosaga mo tekinolosi e maua ai le avanoa tuusao i le va o GPU ma NVMe taʻavale e vave fesoʻotaʻi ai le tasi ma le isi. NVIDIA o le muamua na ofoina atu ia tekinolosi ma taʻua o le GPUDirect Storage. O le mea moni, o se fesuiaiga lea o le GPUDirect RDMA (Remote Direct Memory Address) tekinolosi na latou atiina ae muamua.
Jensen Huang, Pule Sili o NVIDIA, o le a tuʻuina atu le GPUDirect Storage o se fesuiaiga o le GPUDirect RDMA i le SC-19. Punavai: NVIDIA
O le eseesega i le va o le GPUDirect RDMA ma le GPUDirect Storage o loʻo i totonu o masini i le va o le faʻasalalauga. GPUDirect RDMA tekonolosi ua toe faʻaaogaina e faʻanofo saʻo ai faʻamatalaga i le va o le kata o fesoʻotaʻiga pito i luma (NIC) ma le GPU manatua, ma le GPUDirect Storage e maua ai se ala faʻamatalaga saʻo i le va o le lotoifale poʻo le teuina mamao e pei ole NVMe poʻo le NVMe i luga ole Fabric (NVMe-oF) ma GPU manatua.
O le GPUDirect RDMA ma le GPUDirect Storage e aloese mai le faʻaogaina o faʻamatalaga e ala i se paʻu i le CPU manatua ma faʻatagaina le faʻaogaina tuusaʻo (DMA) masini e aveese faʻamatalaga mai le kata fesoʻotaʻiga poʻo le teuina saʻo i poʻo mai le GPU manatua - uma e aunoa ma se uta i le CPU tutotonu. Mo le GPUDirect Storage, o le nofoaga o le teuina e le afaina: e mafai ona avea ma se NVME tisiki i totonu o se GPU iunite, i totonu o se fata, pe fesoʻotaʻi i luga ole fesoʻotaʻiga e pei ole NVMe-oF.
Fuafuaga o le faʻaogaina o le GPUDirect Storage. Punavai: NVIDIA
O loʻo manaʻomia le faʻaogaina o faiga faʻapipiʻi i luga ole NVMe ile maketi ole HPC
I le iloaina o le oʻo mai o le GPUDirect Storage, o le fiafia o tagata faʻatau tetele o le a tosina atu i le ofoina atu o faiga faʻapipiʻi ma I / O saoasaoa e fetaui ma le gaosiga o le GPU, i le SC-19 faʻaaliga Kingston na faʻaalia ai se faʻataʻitaʻiga o se faiga e aofia ai se faiga teu oloa e faavae i luga o tisiki NVMe ma se iunite ma se GPU, lea na suʻesuʻeina le faitau afe o ata satelite i le sekone. Ua uma ona matou tusia e uiga i se faiga teu oloa e faʻavae i luga ole 10 DC1000M U.2 NVMe taʻavale .
O se faiga teu oloa e fa'avae i luga ole 10 DC1000M U.2 NVMe ta'avale e fetaui lelei ma se 'au'aunaga fa'atasi ai ma ata fa'avavevave. Punavai: Kingston
O lenei faiga e teu ai ua mamanuina e pei o le 1U poʻo le tele o fata fata ma e mafai ona fuaina e faʻatatau i le aofaʻi o taʻavale DC1000M U.2 NVMe, taʻitasi ma le gafatia o le 3.84-7.68 TB. O le DC1000M o le muamua NVMe SSD faʻataʻitaʻiga i le U.2 faʻailoga i le laina a Kingston o faʻamaumauga nofoaga autu. O lo'o i ai se fa'ailoga tumau (DWPD, Drive e tusi i le aso), fa'atagaina e toe tusi fa'amaumauga i lona malosi atoatoa fa'atasi i le aso mo le ola fa'amaonia o le ta'avale.
I le suʻega fio v3.13 i luga o le Ubuntu 18.04.3 LTS operating system, Linux kernel 5.0.0-31-generic, o le faʻataʻitaʻiga o le teuina o faʻataʻitaʻiga na faʻaalia ai le saoasaoa faitau (Sustained Read) o le 5.8 miliona IOPS faʻatasi ai ma se faʻaogaina gafatia (Sustained Bandwidth). ) o le 23.8 Gbit/s.
Ariel Perez, SSD pule o pisinisi i Kingston, fai mai e uiga i faiga fou teuina: "Ua matou sauni e faaauupegaina le isi augatupulaga o sapalai ma U.2 NVMe SSD fofo e aveesea ai le tele o faʻamatalaga faʻafefe bottlenecks e masani ona fesoʻotaʻi ma le teuina. O le tu'ufa'atasiga o ta'avale NVMe SSD ma le matou Premium Server Premier DRAM ua avea ai Kingston ma se tasi o fa'alapotopotoga tu'uina atu fa'amatalaga fa'amatalaga pito sili ona atoatoa.
O le suʻega gfio v3.13 na faʻaalia ai le faʻaogaina o le 23.8 Gbps mo le faʻaogaina o le demo i luga o le DC1000M U.2 NVMe. Punavai: Kingston
O le a se faiga masani mo HPC e foliga mai e faʻaaoga ai le GPUDirect Storage poʻo se tekinolosi tutusa? Ose fausaga fa'atasi ma le tu'ueseeseina fa'aletino o iunite fa'atino i totonu o se fata: tasi pe lua iunite mo le RAM, tele isi mo GPU ma CPU fa'akomepiuta nodes, ma le tasi pe sili atu iunite mo le teuina.
Faatasi ai ma le faʻasalalauga o le GPUDirect Storage ma le ono tulaʻi mai o tekinolosi faʻapena mai isi tagata faʻatau GPU, o loʻo faʻalauteleina le manaʻoga a Kingston mo le teuina o masini e faʻaogaina mo le faʻaogaina i le faʻaogaina o komepiuta. O le faʻailoga o le saoasaoa lea o le faitauina o faʻamatalaga mai le mea e teu ai, faʻatusatusa i le gaosiga o 40- poʻo 100-Gbit kata fesoʻotaʻiga i le ulufale atu i se masini komepiuta ma se GPU. O le mea lea, ultra-high-speed storage systems, e aofia ai le NVMe i fafo e ala i le Fabric, o le a alu ese mai fafo i le tulaga masani mo HPC talosaga. I le faʻaopoopoga i faʻamatalaga faasaienisi ma mea tau tupe, o le a latou mauaina le faʻaogaina i le tele o isi vaega faʻapitoa, e pei o le puipuiga malu i le Safe City metropolitan level poʻo nofoaga autu e mataʻituina ai felauaiga, lea e manaʻomia ai le faʻaalia ma le faʻamaonia vave o le faitau miliona o ata HD i le sekone, "o loʻo faʻamatalaina. o le maketi niche o le faiga teuina luga
E mafai ona maua nisi fa'amatalaga e uiga i oloa Kingston i kamupani.
puna: www.habr.com