🥇vGPU — nelze ignorovat

V červnu a červenci se na nás obrátilo téměř dvacet společností, které měly zájem o možnosti virtuálních GPU. S technologií „Grafika“ od Cloud4Y již využívá jedna z velkých dcer Sberbank, ale celkově tato služba není příliš populární. Tato aktivita nás tedy potěšila. Vzhledem k rostoucímu zájmu o technologii jsme se rozhodli podrobněji představit vGPU.

Data lakes, získané v důsledku vědeckých experimentů a výzkumů, Deep Learning a další směry práce s AI, modelování velkých a složitých objektů — to vše vyžaduje vysoce výkonný hardware. Je dobré, pokud je k dispozici a umožňuje rychle řešit aktuální úkoly. Jenže kvůli rostoucí výpočetní složitosti úloh (zejména se to týká obchodní analytiky, renderování, DL-algoritmů a rámců) se hardwarové zdroje stolních a dokonce serverových CPU stále častěji stávají neefektivními.

Řešení bylo nalezeno v použití výpočtů na GPU. Tato technologie urychlení grafiky umožňuje rozdělení zdrojů jednoho grafického procesoru mezi více virtuálními počítači. GPU byl původně navržen pro práci s grafikou, a proto se skládá z tisíců drobných jader, která jsou používána pro efektivní zpracování paralelních úloh. Na GPU se provádí část nejnáročnějších výpočtů, zbytek zajišťuje CPU.

Výpočty pomocí GPU vymyslela společnost Nvidia již v roce 2007. Dnes tato technologie dospěla na novou úroveň a využívá se v datových centrech největších podniků a vědeckých laboratoří. Tradiční přístup má však jeden významný nedostatek: nákup fyzického vybavení vychází velmi draho. A pokud si vzpomeneme na rychlost zastarávání „hardware“, situace se stává ještě nelichotivější.

Tento problém má vyřešit technologie virtuálních grafických procesorů: vGPU. S její pomocí mohou uživatelé vzdáleně spouštět náročné aplikace jako AutoCAD, 3DS Max, Maya, Sony Vegas Pro. Virtualizace rychle získala svůj podíl na trhu. Který ruský datový vědec by nemiloval rychlé výpočty na grafických kartách NVidia Tesla?

Je třeba poznamenat, že před příchodem vGPU se používaly jiné metody zrychlení zpracování grafiky: Virtual Shared Graphics Acceleration (vSGA) a Virtual Dedicated Graphics Acceleration (vDGA). Řešení vGPU spojilo to nejlepší z obou technologií. Stejně jako v případě vSGA se v prostředí vGPU předpokládá sdílení GPU a RAM mezi několika virtuálními pracovními stanicemi, ale každá VM posílá příkazy přímo na GPU, jako v případě vDGA.

Proč jsou vGPU vůbec potřeba?

Cloudové výpočty s využitím vGPU umožňují společnostem zvládat úkoly, které dříve nebylo možné řešit. Nebo bylo možné, ale vyžadovalo to neskutečné množství zdrojů. Jeden moderní GPU server dokáže nahradit až 100 běžných CPU. Existují i další, ještě impozantnější čísla. To není vtip: řešení Nvidia zpracovávají petabajty dat několikrát rychleji než klasické CPU servery. A například Google Cloud nabízí virtuální stroje s GPU, které dosahují až 960 teraflopů.

Mnozí specialisté potřebují výkonná zařízení, která dokážou provádět paralelní výpočty. Architekti a inženýři využívají technologii vGPU v návrhářských systémech (třeba Autodesk). Designéři pracují s digitálním fotografickým a video obsahem (Photoshop, CorelDraw). Virtuální stroje Grafické procesory jsou potřeba i zdravotnickým zařízením, která shromažďují a analyzují data o pacientech a onemocněních. Pracuje s GPU i "Yandex».

Myslíte, že je to vše? Kdepak. Technologii využívají i pro automatickou kontrolu přesnosti satelitních snímků, a pro predikci epidemií, meteorologické výzkumy, modelování slunečních cyklů a byznysovou analytiku. A ještě existuje skvělý článek o modelování v prostředí Unity3D od ThisIsZolden.

I přes to vše zatím řešení na bázi vGPU nezískala široké rozšíření na světě. V roce 2018 provedla společnost NetApp anketu mezi firmami, které ve své práci využívají grafické procesory. Výsledky ukázaly, že 60 % organizací stále pracuje na vlastní IT infrastruktuře. "Cloud" používá pouze 23 %. V Rusku má průnik technologie cloudových výpočtů menší význam. Ale díky novým hardwarovým a softwarovým řešením počet společností využívajících virtuální stroje s GPU stále roste.

Řešení pro vGPU

Vývojem technologií virtualizace grafických akcelerátorů se zabývá mnoho společností, ale mezi nimi jsou bezesporu i lídři.

Jedním z nejuznávanějších vývojářů řešení v oblasti cloudových technologií je společnost VMware nabízející hypervizor ESXi, pod nímž je rychlost virtualizovaných grafických procesorů srovnatelná s implementacemi na holém hardwaru. V nedávné aktualizaci vývojář deaktivoval vyvažovač zátěže vMotion a přidal podporu technologie DirectPath I/O, která spojuje ovladač CUDA s VM mimo hypervizor a urychluje přenos dat.

Nvidia se také snaží splnit očekávání trhu a k tomu vydala opensource platformu Rapids. Řešení spojuje několik knihoven pro práci s architekturou CUDA, což usnadňuje práci s daty během trénování neuronových sítí a umožňuje automatizaci práce s Python kódem. Použití Rapids s algoritmem strojového učení XGBoost přináší 50násobné zvýšení výkonu ve srovnání se systémy na bázi CPU.

Vlastní technologii má i AMD. Platforma se nazývá ROCm. Používá technologii SR-IOV, která rozděluje hardwarové možnosti fyzického zařízení mezi několik virtuálních strojů. Zdroje jednoho akcelerátoru lze rozdělit mezi šestnáct uživatelů a udržovat stejný výkon pro každého z nich. Tím se zrychluje přenos dat mezi cloudovými CPU a GPU. Také se používá speciální dialekt C++ nazvaný HIP, který usnadňuje provádění matematických operací na GPU.

Intel staví svou technologii na bázi multiplatformního hypervizoru Citrix XenServer 7, který v roce 2017 získal certifikát shody od FSTÉK. Řešení spojuje práci standardního GPU ovladače a virtuálního stroje. To znamená, že "virtuálka" může udržovat provádět náročné aplikace na zařízeních s velkým (několika stovkovým) množstvím uživatelů.

Tržní perspektivy

Nezávislí analytici se domnívají, že objem prodeje řešení pro HPC systémy dosáhne 45 miliard dolarů do roku 2022. Vývojáři platforem také očekávají zvýšení poptávky po vysoce výkonných systémech. To očekávání je posíleno popularitou Big Data a častou potřebou zpracovávat velké objemy dat.

Růst poptávky po vGPU může rovněž podnítit rozvoj hybridních technologií, které spojují GPU a CPU v jednom zařízení. V takových integrovaných řešeních dva typy jader sdílejí společnou cache, což urychluje přenos dat mezi grafickými a tradičními procesory.

Hybridní technologie mohou zásadně změnit přístup k virtualizaci a rozdělení virtuálních zdrojů v rámci datových center. Řešení s otevřeným zdrojovým kódem, jako jsou ROCm a Rapids, umožňují operátorům datových center efektivněji využívat výpočetní zdroje a zvyšovat výkon zařízení.

Existuje i jiný názor. Například, že virtuální GPU budou vytlačovány optickými čipy s fotonovým kódováním dat. Taková řešení již existují a používají se pro strojové učení. Navíc se zdají být výkonnější než běžné GPU. Ale technologie je stále v rané fázi.

Jaký závěr z toho vyplývá? I přes možný vznik alternativ je vGPU zcela perspektivním směrem, který může řešit řadu úloh. Ale ne každý má na to, aby je využíval. Takže čárku v nadpisu si můžete dát sami.

P.S.
Sledujte náš Telegram-kanál, abyste nepřišli o další článek! Píšeme maximálně dvakrát týdně a pouze relevantně.

Pouze registrovaní uživatelé se mohou účastnit ankety. Přihlaste se, prosím.