Sitwasyon: ang mga virtual nga GPU dili ubos sa pasundayag sa mga solusyon sa puthaw

Niadtong Pebrero, ang Stanford nag-host sa usa ka komperensya sa high-performance computing (HPC). Ang mga representante sa VMware nag-ingon nga kung nagtrabaho kauban ang usa ka GPU, ang usa ka sistema nga gibase sa usa ka giusab nga ESXi hypervisor dili ubos sa katulin sa mga solusyon sa metal.

Naghisgot kami bahin sa mga teknolohiya nga nagpaposible sa pagkab-ot niini.

Sitwasyon: ang mga virtual nga GPU dili ubos sa pasundayag sa mga solusyon sa puthaw
/ litrato Victorgrigas CC BY-SA

Isyu sa performance

Sumala sa mga analista, mga 70% sa mga workloads sa mga sentro sa datos virtualized. Bisan pa, ang nahabilin nga 30% nagpadayon gihapon sa hubo nga metal nga wala’y hypervisors. Kini nga 30% kasagaran naglangkob sa mga aplikasyon nga adunay taas nga karga, sama sa mga may kalabutan sa pagbansay sa mga neural network, ug paggamit sa mga GPU.

Gipatin-aw sa mga eksperto kini nga uso pinaagi sa kamatuoran nga ang hypervisor, isip usa ka intermediate abstraction layer, makaapekto sa performance sa tibuok nga sistema. Sa mga pagtuon lima ka tuig na ang milabay makit-an nimo ang datos mahitungod sa pagkunhod sa gikusgon sa trabaho sa 10%. Busa, ang mga kompanya ug data center operator wala magdali sa pagbalhin sa mga workload sa HPC ngadto sa usa ka virtual nga palibot.

Apan ang mga teknolohiya sa virtualization nag-uswag ug nag-uswag. Sa usa ka komperensya usa ka bulan ang milabay, giingon sa VMware nga ang ESXi hypervisor wala’y negatibo nga epekto sa pasundayag sa GPU. Ang katulin sa pag-compute mahimong mapakunhod sa tulo ka porsyento, nga ikatandi sa hubo nga metal.

Unsa nga paagi nga kini nga buhat

Aron mapauswag ang pasundayag sa mga sistema sa HPC nga adunay mga GPU, ang VMware naghimo og daghang mga pagbag-o sa hypervisor. Sa partikular, kini gitangtang ang vMotion function. Gikinahanglan kini alang sa pagbalanse sa load ug kasagarang magbalhin sa mga virtual machine (VM) tali sa mga server o GPU. Ang pag-disable sa vMotion miresulta sa matag VM nga gi-assign karon sa usa ka piho nga GPU. Nakatabang kini nga makunhuran ang mga gasto kung magbinayloay og datos.

Laing importante nga bahin sa sistema mao ang teknolohiya DirectPath I/O. Gitugotan niini ang CUDA parallel computing driver nga direktang makig-interact sa mga virtual machine, nga dili moagi sa hypervisor. Kung kinahanglan nimo nga modagan ang daghang mga VM sa usa ka GPU sa usa ka higayon, gigamit ang solusyon sa GRID vGPU. Gibahin niini ang panumduman sa kard sa daghang mga bahin (apan ang mga siklo sa pagkalkula wala gibahin).

Ang diagram sa operasyon sa duha ka virtual nga makina sa kini nga kaso mahimong ingon niini:

Sitwasyon: ang mga virtual nga GPU dili ubos sa pasundayag sa mga solusyon sa puthaw

Mga resulta ug mga panagna

Lig-on nagpahigayon og mga pagsulay hypervisor pinaagi sa pagbansay sa usa ka modelo sa pinulongan base sa TensorFlow. Ang pasundayag nga "kadaot" 3-4% ra kung itandi sa hubo nga metal. Agig balos, ang sistema nakahimo sa pag-apod-apod sa mga kahinguhaan sa panginahanglan depende sa kasamtangan nga load.

Ang IT higante usab nagpahigayon og mga pagsulay uban sa mga sudlanan. Ang mga inhenyero sa kompanya nagbansay sa mga neural network aron mailhan ang mga imahe. Sa samang higayon, ang mga kahinguhaan sa usa ka GPU giapod-apod sa upat ka container VMs. Ingon usa ka sangputanan, ang pasundayag sa indibidwal nga mga makina mikunhod sa 17% (itandi sa usa ka VM nga adunay hingpit nga pag-access sa mga kapanguhaan sa GPU). Bisan pa, ang gidaghanon sa mga imahe nga giproseso matag segundo nadugangan tulo ka higayon. Gilauman nga ang ingon nga mga sistema mangita mga aplikasyon sa pagtuki sa datos ug pagmodelo sa kompyuter.

Lakip sa mga potensyal nga problema nga mahimong atubangon sa VMware, mga eksperto paggahin medyo pig-ot nga target audience. Ang gamay nga gidaghanon sa mga kompanya nagtrabaho gihapon sa mga sistema nga adunay taas nga pasundayag. Bisan sa Statista pagsaulognga sa 2021, 94% sa mga workload sa data center sa kalibutan mahimong virtualized. Pinaagi sa mga panagna analista, ang kantidad sa merkado sa HPC motubo gikan sa 32 hangtod 45 bilyon dolyares sa panahon gikan sa 2017 hangtod 2022.

Sitwasyon: ang mga virtual nga GPU dili ubos sa pasundayag sa mga solusyon sa puthaw
/ litrato Global Access Point PD

Susama nga mga solusyon

Adunay daghang mga analogue sa merkado nga gihimo sa dagkong mga kompanya sa IT: AMD ug Intel.

Ang unang kompanya alang sa GPU virtualization nagtanyag pamaagi base sa SR-IOV (single-root input/output virtualization). Kini nga teknolohiya naghatag sa VM og access sa bahin sa mga kapabilidad sa hardware sa sistema. Gitugotan ka sa solusyon nga ipaambit ang GPU tali sa 16 nga tiggamit nga adunay parehas nga pasundayag sa mga virtualized nga sistema.

Sama sa alang sa ikaduha nga higante sa IT, sila gibase sa teknolohiya sa hypervisor sa Citrix XenServer 7. Gihiusa niini ang trabaho sa usa ka standard nga drayber sa GPU ug usa ka virtual machine, nga nagtugot sa naulahi sa pagpakita sa 3D nga mga aplikasyon ug mga desktop sa mga himan sa gatusan ka mga tiggamit.

Kaugmaon sa teknolohiya

Virtual GPU Developers pagpusta sa pagpatuman sa mga sistema sa AI ug ang nagkadako nga pagkapopular sa mga high-performance nga mga solusyon sa merkado sa teknolohiya sa negosyo. Naglaum sila nga ang panginahanglan sa pagproseso sa daghang mga datos makadugang sa panginahanglan alang sa mga vGPU.

Karon mga tiggama nangitag paagi paghiusa sa pagpaandar sa CPU ug GPU sa usa ka kinauyokan aron mapadali ang pagsulbad sa mga problema nga may kalabotan sa mga graphic, paghimo sa mga kalkulasyon sa matematika, lohikal nga operasyon, ug pagproseso sa datos. Ang dagway sa ingon nga mga cores sa merkado sa umaabot magbag-o sa pamaagi sa resource virtualization ug ang ilang pag-apod-apod tali sa mga workload sa virtual ug cloud environment.

Unsa ang basahon sa hilisgutan sa among corporate blog:

Pipila ka mga post gikan sa among Telegram channel:

Source: www.habr.com

Idugang sa usa ka comment