5.8 milyon nga IOPS: nganong daghan kaayo?

Hello Habr! Ang mga set sa datos alang sa Big Data ug pagkat-on sa makina kusog nga nagtubo ug kinahanglan naton nga ipadayon kini. Ang among post bahin sa laing bag-ong teknolohiya sa natad sa high performance computing (HPC, High Performance Computing), gipakita sa Kingston booth sa Supercomputing-2019. Kini ang paggamit sa Hi-End data storage systems (SDS) sa mga server nga adunay graphic processing units (GPU) ug GPUDirect Storage bus technology. Salamat sa direkta nga pagbinayloay sa datos tali sa sistema sa pagtipig ug sa GPU, pag-bypass sa CPU, ang pag-load sa datos sa mga GPU accelerator gipadali sa usa ka han-ay sa kadako, mao nga ang mga aplikasyon sa Big Data nagdagan sa labing kataas nga pasundayag nga gihatag sa mga GPU. Sa baylo, ang mga nag-develop sa sistema sa HPC interesado sa mga pag-uswag sa mga sistema sa pagtipig nga adunay labing taas nga katulin sa I/O, sama sa gihimo sa Kingston.

Ang pasundayag sa GPU milabaw sa pagkarga sa datos

Sukad nga ang CUDA, usa ka hardware ug software parallel computing nga arkitektura nga nakabase sa GPU alang sa pagpalambo sa mga aplikasyon sa kinatibuk-ang katuyoan, gimugna niadtong 2007, ang mga kapabilidad sa hardware sa mga GPU mismo mitubo nga talagsaon. Karon, ang mga GPU labi nga gigamit sa mga aplikasyon sa HPC sama sa Big Data, pagkat-on sa makina (ML), ug lawom nga pagkat-on (DL).

Timan-i nga bisan pa sa kaamgiran sa mga termino, ang katapusan nga duha kay algorithmically lain-laing mga buluhaton. Ang ML nagbansay sa kompyuter base sa structured data, samtang ang DL nagbansay sa computer base sa feedback gikan sa neural network. Ang usa ka pananglitan aron matabangan nga masabtan ang mga kalainan yano ra. Atong hunahunaon nga ang kompyuter kinahanglan nga mailhan tali sa mga litrato sa mga iring ug iro nga gikarga gikan sa sistema sa pagtipig. Alang sa ML, kinahanglan ka magsumite usa ka hugpong sa mga imahe nga adunay daghang mga tag, nga ang matag usa naghubit sa usa ka partikular nga bahin sa hayop. Para sa DL, igo na nga mag-upload og mas daghan nga mga hulagway, apan sa usa lang ka tag "kini usa ka iring" o "kini usa ka iro". Ang DL susama kaayo sa kung giunsa pagtudlo ang gagmay nga mga bata - gipakita ra ang mga litrato sa mga iro ug iring sa mga libro ug sa kinabuhi (kasagaran, nga wala gani gipatin-aw ang detalyado nga kalainan), ug ang utok sa bata mismo nagsugod sa pagtino sa klase sa hayop pagkahuman. usa ka piho nga kritikal nga gidaghanon sa mga hulagway alang sa pagtandi ( Sumala sa mga banabana, kita naghisgot lamang sa usa ka gatus o duha ka mga show sa tibuok sayo nga pagkabata). Ang mga algorithm sa DL dili pa kaayo perpekto: aron ang neural network malampuson usab nga magtrabaho sa pag-ila sa mga imahe, gikinahanglan ang pagpakaon ug pagproseso sa milyon-milyon nga mga imahe sa GPU.

Katingbanan sa pasiuna: base sa mga GPU, mahimo nimong tukuron ang mga aplikasyon sa HPC sa natad sa Big Data, ML ug DL, apan adunay problema - ang mga set sa datos dako kaayo nga ang oras nga gigugol sa pagkarga sa datos gikan sa sistema sa pagtipig hangtod sa GPU nagsugod sa pagpakunhod sa kinatibuk-ang performance sa aplikasyon. Sa laing pagkasulti, ang mga paspas nga GPU nagpabilin nga wala magamit tungod sa hinay nga datos sa I/O nga gikan sa ubang mga subsystem. Ang kalainan sa I/O speed sa GPU ug ang bus ngadto sa CPU/storage system mahimong usa ka order sa magnitude.

Giunsa pagtrabaho ang teknolohiya sa GPUDirect Storage?

Ang proseso sa I/O kontrolado sa CPU, ingon man ang proseso sa pagkarga sa datos gikan sa pagtipig ngadto sa mga GPU alang sa dugang pagproseso. Nagdala kini sa usa ka hangyo alang sa teknolohiya nga maghatag direkta nga pag-access tali sa mga GPU ug NVMe drive aron dali nga makigsulti sa usag usa. Ang NVIDIA mao ang una nga nagtanyag sa ingon nga teknolohiya ug gitawag kini nga GPUDirect Storage. Sa tinuud, kini usa ka kalainan sa teknolohiya nga GPUDirect RDMA (Remote Direct Memory Address) nga ilang naugmad kaniadto.

Si Jensen Huang, CEO sa NVIDIA, magpresentar sa GPUDirect Storage isip usa ka variant sa GPUDirect RDMA sa SC-19. Tinubdan: NVIDIA

Ang kalainan tali sa GPUDirect RDMA ug GPUDirect Storage naa sa mga aparato diin gihimo ang pagtubag. Ang teknolohiya sa GPUDirect RDMA kay gituyo pag-usab sa pagbalhin sa data direkta tali sa front-end network interface card (NIC) ug GPU memory, ug ang GPUDirect Storage naghatag og direktang data path tali sa lokal o hilit nga storage sama sa NVMe o NVMe over Fabric (NVMe-oF) ug GPU memory.

Ang GPUDirect RDMA ug GPUDirect Storage naglikay sa dili kinahanglan nga mga paglihok sa datos pinaagi sa buffer sa memorya sa CPU ug gitugotan ang direktang pag-access sa memorya (DMA) nga mekanismo sa pagbalhin sa datos gikan sa network card o pagtipig direkta ngadto o gikan sa GPU memory - tanan nga walay load sa sentral nga CPU. Para sa GPUDirect Storage, ang lokasyon sa storage dili igsapayan: kini mahimong NVME disk sulod sa GPU unit, sulod sa rack, o konektado sa network isip NVMe-oF.

Scheme sa operasyon sa GPUDirect Storage. Tinubdan: NVIDIA

Ang mga sistema sa pagtipig sa Hi-End sa NVMe gipangayo sa merkado sa aplikasyon sa HPC

Nahibal-an nga sa pag-abut sa GPUDirect Storage, ang interes sa dagkong mga kustomer madani sa pagtanyag sa mga sistema sa pagtipig nga adunay mga katulin sa I / O nga katumbas sa throughput sa GPU, sa SC-19 exhibition Kingston nagpakita sa usa ka demo sa usa ka sistema nga naglangkob sa usa ka sistema sa pagtipig base sa NVMe disks ug usa ka yunit nga adunay GPU, nga nag-analisar sa liboan ka satellite nga mga imahe kada segundo. Gisulat na namo ang mahitungod sa ingon nga sistema sa pagtipig base sa 10 DC1000M U.2 NVMe drive sa usa ka taho gikan sa supercomputer exhibition.

Ang usa ka sistema sa pagtipig nga gibase sa 10 DC1000M U.2 NVMe nga mga drive igo nga nagsangkap sa usa ka server nga adunay mga accelerator sa graphic. Tinubdan: Kingston

Kini nga sistema sa pagtipig gidisenyo isip usa ka 1U o mas dako nga rack unit ug mahimong ma-scale depende sa gidaghanon sa DC1000M U.2 NVMe drive, matag usa adunay kapasidad nga 3.84-7.68 TB. Ang DC1000M mao ang unang NVMe SSD nga modelo sa U.2 form factor sa Kingston's line of data center drives. Kini adunay endurance rating (DWPD, Drive nagsulat kada adlaw), nga nagtugot niini sa pagsulat pag-usab sa datos sa tibuok nga kapasidad niini kausa sa usa ka adlaw alang sa garantiya nga kinabuhi sa drive.

Sa fio v3.13 test sa Ubuntu 18.04.3 LTS operating system, Linux kernel 5.0.0-31-generic, ang exhibition storage sample nagpakita sa usa ka read speed (Sustained Read) nga 5.8 million IOPS nga adunay malungtarong throughput (Sustained Bandwidth ) sa 23.8 Gbit/s.

Si Ariel Perez, SSD business manager sa Kingston, miingon bahin sa bag-ong storage systems: “Kami andam na sa pagsangkap sa sunod nga henerasyon sa mga server sa U.2 NVMe SSD nga mga solusyon aron mawagtang ang daghang mga data transfer bottleneck nga tradisyonal nga nalangkit sa storage. Ang kombinasyon sa NVMe SSD drive ug ang among premium Server Premier DRAM naghimo sa Kingston nga usa sa labing komprehensibo nga end-to-end data solutions providers sa industriya."

Ang gfio v3.13 nga pagsulay nagpakita sa usa ka throughput sa 23.8 Gbps alang sa demo storage system sa DC1000M U.2 NVMe drives. Tinubdan: Kingston

Unsa kaha ang hitsura sa kasagarang sistema sa mga aplikasyon sa HPC gamit ang GPUDirect Storage o susamang teknolohiya? Kini usa ka arkitektura nga adunay pisikal nga pagbulag sa mga functional unit sa sulod sa usa ka rack: usa o duha ka unit para sa RAM, daghan pa para sa GPU ug CPU computing nodes, ug usa o daghan pa nga unit para sa storage system.

Uban sa pag-anunsyo sa GPUDirect Storage ug sa posibleng pagtungha sa susamang mga teknolohiya gikan sa ubang GPU vendors, ang panginahanglan sa Kingston alang sa storage system nga gidisenyo para gamiton sa high-performance computing nagkadako. Ang marker mao ang katulin sa pagbasa sa datos gikan sa storage system, nga ikatandi sa throughput sa 40- o 100-Gbit network cards sa entrada sa usa ka computing unit nga adunay GPU. Sa ingon, ang mga ultra-high-speed nga sistema sa pagtipig, lakip ang eksternal nga NVMe pinaagi sa Fabric, gikan sa pagka-exotic hangtod sa mainstream alang sa mga aplikasyon sa HPC. Dugang pa sa mga kalkulasyon sa syensya ug pinansyal, makit-an nila ang aplikasyon sa daghang uban pang praktikal nga mga lugar, sama sa mga sistema sa seguridad sa lebel sa metropolitan nga Luwas sa Syudad o mga sentro sa pagbantay sa transportasyon, kung diin gikinahanglan ang pag-ila ug pag-ila sa katulin sa milyon-milyon nga mga imahe sa HD matag segundo, ”gilatid. ang niche sa merkado sa labing taas nga sistema sa pagtipig

Dugang nga impormasyon bahin sa mga produkto sa Kingston makita sa opisyal nga website ang kompanya.

Source: www.habr.com