🥇vGPU — не може да бъде игнориран

През юни и юли почти две дузини компании се свързаха с нас, интересувайки се от възможностите на виртуалните GPU. "Графиката" от Cloud4Y вече се използва от една от големите дъщерни компании на Сбербанк, но общо взето услугата не е особено популярна. Така че подобна активност ни зарадва. Виждайки растящия интерес към технологията, решихме да разкажем малко повече за vGPU.

"Езера на данни", получени в резултат на научни експерименти и изследвания, Дълбоко обучение и други направления на работа с ИИ, моделиране на големи и сложни обекти — всичко това изисква високопроизводително "желязо". Добре е, ако то е налично и позволява бързо решаване на текущите задачи. Само че поради нарастващата изчислителна сложност на задачите (предимно касаеща бизнес аналитика, рендеринг, DL алгоритми и фреймворкове) хардуерната мощност на настолни и дори сървърни CPU все по-често става безполезна.

Решението беше намерено в използването на изчисления на GPU. Тази технология за ускорение на графиката осигурява разделение на ресурсите на един графичен процесор между няколко виртуални компютъра. GPU първоначално е проектиран за работа с графика, затова се състои от хиляди малки ядра, използвани за ефективна обработка на паралелни задачи. При това на GPU се изпълнява част от най-ресурсноемките изчисления, а останалото се поема от CPU.

Изчисленията с помощта на GPU бяха измислени от компанията Nvidia още през 2007 година. Днес тази технология е на ново ниво и се прилага в ЦОД-ове на най-големите предприятия и научни лаборатории. Въпреки това традиционният подход има един съществени недостатък: закупуването на физическо оборудване излиза доста скъпо. А ако си спомним колко бързо остарява "желязото", става още по-грустно.

Проблемът е предназначен да реши технологията на виртуалните графични процесори: vGPU. С нейната помощ потребителите могат дистанционно да стартират тежки приложения като AutoCAD, 3DS Max, Maya, Sony Vegas Pro. Виртуализацията бързо завладя своя дял от пазара. Нима който и да е руски data scientist не обича бързите изчисления на видеокарти NVidia Tesla?

Тук е важно да се спомене, че преди появата на vGPU се използваха други методи за ускоряване на обработката на графика: Virtual Shared Graphics Acceleration (vSGA) и Virtual Dedicated Graphics Acceleration (vDGA). Решението vGPU съчетава най-доброто от двете технологии. Както при vSGA, в средата vGPU се предвижда споделяне на GPU и RAM от няколко виртуални работни стола, но всяка виртуална машина (ВМ) предава командите директно към GPU, както при vDGA.

Защо изобщо са необходими vGPU

Облачните изчисления с използване на vGPU позволяват на компаниите да се справят със задачи, които преди това бяха невъзможни за решаване. Или бяха възможни, но изискваха нереално много ресурси. 1 съвременен GPU-сървър може да замести до 100 обикновени CPU. Има и други, още по-внушителни цифри. Това не са шеги: решенията на Nvidia обработват петабайти данни няколко пъти по-бързо от класическите CPU-сървъри. А Google Cloud предлага виртуални машини с GPU, които дават до 960 терафлопс.

Много специалисти се нуждаят от мощни устройства, способни да извършват паралелни изчисления. Архитекти и инженери използват технологията vGPU в проектантски системи (например Autodesk). Дизайнерите работят с цифрово фото- и видеосъдържание (Photoshop, CorelDraw). Виртуални машини с графични процесори са нужни и на медицински заведения, които акумулират и анализират данни за пациенти и заболявания. Работи и с GPU и "Яндекс».

Мислите, че това е всичко? Както и да е. Технологията се използва и за автоматична проверка на точността на спътникови снимки, и за прогнозиране на епидемии, метеорологични изследвания, моделиране на слънчеви цикли и бизнес-анализи.. А също така има страхотна статия за моделиране в среда Unity3D от ThisIsZolden.

Въпреки всичко, решенията с базата vGPU все още не са получили широко разпространение в света. През 2018 г. NetApp проведе анкета сред компаниите, които използват графични процесори в работата си. Резултатите показаха, че 60% от организациите все още работят на собствената си ИТ-инфраструктура. „Облака“ обаче използват само 23%. В Русия проникването на облачни изчисления има по-слабо значение. Но благодарение на новите хардуерни и софтуерни решения, броят на компаниите, които използват виртуални машини с GPU, постоянно нараства.

Решения за vGPU

Много компании разработват технологии за виртуализация на видеокарти, но сред тях има безспорни лидери.

Една от най-утвърдените компании в сферата на облачните решения, компанията VMware предлага на фирмите хипервизор ESXi, под който скоростта на работа на виртуалните графични процесори е сравнима с реализациите на физически хардуер. В последното обновление разработчикът деактивира натоварвача vMotion и добави поддръжка на технологията DirectPath I/O, която свързва драйвера CUDA с ВМ, заобикаляйки хипервизора и ускорявайки предаването на данни.

Nvidia Също така, Rapidsсе опитва да отговори на очакванията на пазара и за това пусна opensource платформа. Решението обединява няколко библиотеки за работа с архитектурата CUDA, което опростява работата с данни по време на обучението на невронни мрежи и позволява автоматизация на работата с Python код. Използването на Rapids с алгоритъма за машинно обучение XGBoost дава 50-кратно увеличение на производителността в сравнение с системите на базата на CPU.

Собствена технология има и AMD. Платформата се нарича ROCm. Тя използва технологията SR-IOV, която разделя хардуерните възможности на физическото устройство между няколко виртуални машини. Ресурсите на един ускорител могат да бъдат разделени между шестнадесет потребители, поддържайки равна производителност за всеки от тях. По този начин се ускорява предаването на данни между облачните CPU и GPU. Също така се използва специален диалект на C++ наречен HIP, който опростява изпълнението на математически операции на GPU.

Intel строи своята технология на базата на крос-платформен хипервизор Citrix XenServer 7, който получи сертификат за съответствие от ФСТЕК през 2017 година. Решението обединява работата на стандартния GPU драйвер и виртуалната машина. Тоест, „виртуалката“ може да поддържат. да поддържа работата на тежки приложения при устройства с голям брой потребители (няколко стотин).

Пазарни перспективи

Независими анализатори смятат, че обемът на продажбите на решения за HPC системи ще достигне 45 млрд. долара до 2022 г. Разработчиците на платформата също очакват увеличаване на търсенето на високопроизводителни системи. Това очакване е подкрепено от популярността на Big Data и често възникващата необходимост от обработване на големи обеми данни.

Също така, растежът на търсенето на vGPU може да стимулира развитието на хибридни технологии, които обединяват GPU и CPU в едно устройство. В такива интегрирани решения два вида ядра използват общ кеш, което ускорява преноса на данни между графичните и традиционните процесори.

Хибридите коренно променят подхода към виртуализацията и разпределението на виртуалните ресурси в рамките на дата центровете. А решенията с отворен код, подобни на ROCm и Rapids, позволяват на операторите на ЦОД да използват изчислителните ресурси по-ефективно, повишавайки производителността на оборудването.

Има и друго мнение. Например, че виртуалните GPU ще бъдат изместени от оптични чипове с фотонно кодиране на данни. Такива решения вече съществуват и се използват за машинно обучение. Освен това, те изглеждат по-производителни от обикновения GPU. Но технологията все още е незряла.

Какво можем да заключим? Въпреки възможното появяване на аналози, vGPU е изцяло перспективна насока, способна да решава много задачи. Но не е подходяща за всеки. Така че запетаята в заглавието можете да поставите сами.

P.S.
Абонирайте се за нашия Telegram-канал, за да не пропуснете следващата статия! Пишем не повече от два пъти седмично и само по същество.

Само регистрирани потребители могат да участват в анкетата. Влезте, моля.