Situasi: GPUs maya henteu inferior kinerja pikeun solusi beusi

Dina bulan Pebruari, Stanford ngayakeun konperénsi ngeunaan komputasi kinerja tinggi (HPC). Perwakilan VMware nyarios yén nalika damel sareng GPU, sistem dumasar kana hypervisor ESXi anu dirobih henteu langkung handap dina kacepetan pikeun solusi logam bulistir.

Urang ngobrol ngeunaan téknologi anu ngamungkinkeun pikeun ngahontal ieu.

Situasi: GPUs maya henteu inferior kinerja pikeun solusi beusi
/ poto Victorgrigas CC ku-SA

Masalah kinerja

Numutkeun analis, sakitar 70% tina beban kerja di pusat data virtualized. Sanajan kitu, sésana 30% masih dijalankeun dina logam bulistir tanpa hypervisors. Ieu 30% lolobana diwangun ku aplikasi beban tinggi, kayaning nu patali jeung latihan jaringan neural, sarta ngagunakeun GPUs.

Para ahli ngajelaskeun trend ieu ku kanyataan yén hypervisor, salaku lapisan abstraksi panengah, bisa mangaruhan kinerja sakabéh sistem. Dina pangajaran lima taun ka tukang anjeun tiasa mendakan data ngeunaan ngurangan laju gawé ku 10%. Ku alatan éta, perusahaan sareng operator pusat data henteu buru-buru mindahkeun beban kerja HPC ka lingkungan virtual.

Tapi téknologi virtualisasi ngembang sareng ningkat. Dina konperénsi sabulan katukang, VMware nyarios yén hypervisor ESXi henteu gaduh dampak negatif kana kinerja GPU. speed komputasi bisa ngurangan ku tilu persén, nu comparable logam bulistir.

Kumaha teu karya ieu

Pikeun ngaronjatkeun kinerja sistem HPC kalawan GPUs, VMware geus nyieun sababaraha parobahan hypervisor nu. Khususna, éta ngaleungitkeun fungsi vMotion. Ieu diperlukeun pikeun load balancing sarta biasana mindahkeun mesin virtual (VM) antara server atanapi GPUs. Nganonaktipkeun vMotion nyababkeun unggal VM ayeuna dipasihan GPU khusus. Ieu ngabantosan ngirangan biaya nalika tukeur data.

komponén konci sejen tina sistem nyaéta téhnologi DirectPath I / O. Hal ieu ngamungkinkeun supir komputasi paralel CUDA berinteraksi sareng mesin virtual langsung, ngalangkungan hypervisor. Nalika anjeun kedah ngajalankeun sababaraha VM dina hiji GPU sakaligus, solusi GRID vGPU dianggo. Éta ngabagi mémori kartu kana sababaraha bagéan (tapi siklus komputasi henteu dibagi).

Diagram operasi dua mesin virtual dina hal ieu bakal katingali sapertos kieu:

Situasi: GPUs maya henteu inferior kinerja pikeun solusi beusi

Hasil sareng ramalan

pausahaan dilakukeun tés hypervisor ku latihan model basa dumasar kana TensorFlow. Kinerja "karusakan" ngan ukur 3-4% dibandingkeun sareng logam bulistir. Sabalikna, sistem éta tiasa ngadistribusikaeun sumber anu diperyogikeun gumantung kana beban ayeuna.

Raksasa IT ogé dilakukeun tés kalawan peti. Insinyur perusahaan ngalatih jaringan saraf pikeun mikawanoh gambar. Dina waktos anu sami, sumber daya hiji GPU disebarkeun ka opat wadah VM. Hasilna, kinerja mesin individu turun ku 17% (dibandingkeun VM tunggal kalawan aksés pinuh kana sumberdaya GPU). Tapi, jumlah gambar anu diolah per detik ngaronjat tilu kali. Ieu diperkirakeun yén sistem sapertos bakal manggihan aplikasi dina analisis data jeung modeling komputer.

Diantara masalah poténsi anu VMware mungkin nyanghareupan, para ahli alokasi panongton target rada sempit. Sajumlah leutik perusahaan masih damel sareng sistem kinerja tinggi. Sanajan dina Statista ngagungkeunyén ku 2021, 94% tina beban kerja puseur data dunya bakal virtualized. Ku ramalan analis, nilai pasar HPC bakal tumuwuh tina 32 nepi ka 45 miliar dollar dina periode ti 2017 nepi ka 2022.

Situasi: GPUs maya henteu inferior kinerja pikeun solusi beusi
/ poto Titik Aksés Global PD

solusi sarupa

Aya sababaraha analog dina pasaran anu dikembangkeun ku perusahaan IT ageung: AMD sareng Intel.

Perusahaan munggaran pikeun virtualisasi GPU nawaran pendekatan dumasar kana SR-IOV (single-root input / output virtualization). Téknologi ieu masihan aksés VM kana bagian tina kamampuan hardware sistem. Solusina ngamungkinkeun anjeun ngabagi GPU antara 16 pangguna kalayan kinerja anu sami dina sistem virtualisasi.

Sedengkeun pikeun buta IT kadua, aranjeunna téhnologi dumasar dina hypervisor Citrix XenServer 7. Ieu ngagabungkeun karya supir GPU baku sarta mesin virtual, anu ngamungkinkeun dimungkinkeun pikeun nembongkeun aplikasi 3D na desktops dina alat tina ratusan pamaké.

Kahareup téhnologi

Virtual GPU pamekar nyieun alungan hiji ngeunaan palaksanaan sistem AI sareng popularitas solusi anu berprestasi tinggi dina pasar téknologi bisnis. Aranjeunna ngaharepkeun yén kabutuhan ngolah data anu ageung bakal ningkatkeun paménta pikeun vGPU.

Ayeuna produsén néangan jalan ngagabungkeun pungsionalitas CPU jeung GPU dina hiji inti pikeun nyepetkeun ngarengsekeun masalah nu patali jeung grafik, ngajalankeun itungan matematik, operasi logis, jeung ngolah data. Penampilan inti sapertos kitu di pasar di hareup bakal ngarobih pendekatan kana virtualisasi sumberdaya sareng distribusina antara beban kerja di lingkungan maya sareng awan.

Naon anu kedah dibaca dina topik dina blog perusahaan kami:

Sababaraha tulisan ti saluran Telegram kami:

sumber: www.habr.com

Tambahkeun komentar