🥇vGPU — не може да бъде игнориран

През юни и юли, почти две дузини компании се свързаха с нас, проявявайки интерес към възможностите на виртуалните GPU. „Графиката“ на Cloud4Y вече се използва от един от големите дъщерни дружества на Сбербанк, но като цяло услугата не е твърде популярна. Затова подобна активност ни зарадва. Виждайки растящия интерес към технологията, решихме да разкажем по-подробно за vGPU.

„Езерото от данни“, получени в резултат на научни експерименти и изследвания, дълбочинно учене и други направления в работата с ИИ, моделиране на големи и сложни обекти — всичко това изисква високопроизводителен хардуер. Добре е, ако такъв съществува и позволява бързо решаване на текущите задачи. Но поради увеличаващата се изчислителна сложност на задачите (първоначално става дума за бизнес анализ, рендеринг, DL-алгоритми и фреймуърки) хардуерните мощности на настолни и дори сървърни CPU все по-често стават неизползваеми.

Решението беше намерено чрез използването на изчисления на GPU. Тази технология за ускорение на графиката осигурява разделяне на ресурсите на един графичен процесор между няколко виртуални компютри. GPU първоначално е проектиран за работа с графика и затова се състои от хиляди малки ядра, използвани за ефективна обработка на паралелни задачи. В същото време на GPU се изпълняват част от най-ресурсноемките изчисления, а останалото се поема от CPU.

Изчисленията с помощта на GPU бяха измислени от компанията Nvidia още през 2007 година. Днес тази технология надхвърли ново ниво и се прилага в ЦОД-овете на най-големите предприятия и научни лаборатории. Въпреки това традиционният подход има един съществен недостатък: закупуването на физическо оборудване е доста скъпо. А ако си спомним за скоростта на остаряване на хардуера, става още по-грустно.

Проблемът ще бъде решен от технологията на виртуалните графични процесори: vGPU. С нейната помощ потребителите могат да стартират тежки приложения отдалеч, като AutoCAD, 3DS Max, Maya, Sony Vegas Pro. Виртуализацията бързо завоюва своя дял на пазара. Кой руски дата-сайентист не обича бързите изчисления на видеокарти NVidia Tesla?

Тук е важно да се отбележи, че преди появата на vGPU са използвани други методи за ускоряване на графичната обработка: Virtual Shared Graphics Acceleration (vSGA) и Virtual Dedicated Graphics Acceleration (vDGA). Решението vGPU съчетава най-доброто от двете технологии. Както при vSGA, в среда с vGPU се предполага споделяне на GPU и RAM от няколко виртуални работни стола, но всяка ВМ предава команди директно към GPU, както е при vDGA.

Защо са необходими vGPU изобщо

Облачните изчисления с използване на vGPU позволяват на компаниите да се справят със задачи, които преди време бяха невъзможни за решаване. Или беше възможно, но за това бяха необходими невероятно много ресурси. Един съвременен GPU-сървър може да замени до 100 обикновени CPU. Има и други, още по-внушителни цифри. Това не са шеги: решенията на Nvidia обработват петабайти данни многократно по-бързо от класическите CPU-сървъри. А същият Google Cloud предлага виртуални машини с GPU, които дават до 960 терафлопса.

Много специалисти имат нужда от мощни устройства, способни да извършват паралелни изчисления. Архитекти и инженери използват технологията vGPU в проектиране (както е при Autodesk, например). Дизайнерите работят с цифрово фото- и видеосъдържание (Photoshop, CorelDraw). Виртуални машини С графичните процесори се нуждаят и медицинските заведения, които акумулират и анализират данни за пациенти и заболявания. Работи с GPU и „Яндекс».

Мислите, че е всичко? Какво ще кажете за това. Технологията се използва и за автоматична проверка на точността на сателитни снимки, и за прогнозиране на епидемии, метеоролочни изследвания, моделиране на слънчеви цикли и бизнес аналитика. А още има страхотна статия за моделиране в среда Unity3D от ThisIsZolden.

При всичко това решенията на базата на vGPU все още не са получили широко разпространение в света. Например, през 2018 година NetApp проведе анкета среди компаниите, използващи в работата си графични процесори. Резултатите показаха, че 60% от организациите все още работят на собствена ИТ инфраструктура. „Облака“ обаче използват само 23%. В Русия проникването на технологията облачни изчисления има по-малко значение. Но благодарение на нови хардуерни и софтуерни решения, броят на компаниите, използващи виртуални машини с GPU, постоянно нараства.

Решения за vGPU

Разработката на технологии за виртуализация на графични ускорители се осъществява от много компании, но сред тях има безспорни лидери.

Една от най-уважаваните компании, разработващи решения в облачната сфера, VMware предлага на компаниите хипервизор ESXi, при който скоростта на работа на виртуалните графични процесори е сравнима с изпълнението на голо желязо. В новото обновление разработчикът деактивира балансьора на натоварването vMotion и добави поддръжка на технологията DirectPath I/O, която свързва драйвера CUDA с ВМ, заобикаляйки хипервизора и ускорявайки предаването на данни.

Nvidia Също така се опитва да отговори на очакванията на пазара и за целта издаде open-source платформа Rapids. Решението обединява няколко библиотеки за работа с архитектурата CUDA, което опростява работата с данни по време на обучението на невронни мрежи и позволява автоматизация на работа с Python код. Използването на Rapids с алгоритъма за машинно обучение XGBoost дава 50-кратно увеличение на производителността в сравнение с системите на база CPU.

Своя технология има и AMD. Платформата носи името ROCm. Тя използва технологията SR-IOV, която разделя хардуерните възможности на физическото устройство между няколко виртуални машини. Ресурсите на един ускорител могат да бъдат разпределени между шестнадесет потребители, поддържайки равна производителност за всеки от тях. По този начин се ускорява предаването на данни между облачните CPU и GPU. Също така се използва специален диалект на C++ с название HIP, който опростява извършването на математически операции на GPU.

Intel изгражда своята технология на базата на крос-платформения хипервизор Citrix XenServer 7, който през 2017 г. получи сертификат за съответствие от ФСТЕК. Решението обединява работата на стандартния GPU драйвер и виртуалната машина. Тоест, "виртуалката" може да поддържат. да обработва тежки приложения на устройства с голямо (няколко стотин) количество потребители.

Пазарни перспективи

Независими анализатори смятат, че обемът на продажбите на решения за HPC системи ще достигне 45 милиарда долара до 2022 г. Разработчиците на платформи също очакват увеличение на търсенето на високопроизводителни системи. Това очакване се подкрепя от популярността на Big Data и често срещаната необходимост от обработка на големи обеми данни.

Растежът на търсенето на vGPU може да стимулира развитието на хибридни технологии, които обединяват GPU и CPU в едно устройство. В такива интегрирани решения двата типа ядра използват общ кеш, което ускорява преноса на данни между графичните и традиционните процесори.

Хибридите радикално променят подхода към виртуализацията и разпределението на виртуални ресурси в рамките на дата центровете. Решения с отворен код, като ROCm и Rapids, позволяват на операторите на ЦОД да използват по-ефективно изчислителните ресурси, увеличавайки производителността на оборудването.

Съществува и друго мнение. Например, че виртуалните GPU ще бъдат заменени от оптични чипове с фотонно кодиране на данните. Такъв тип решения вече съществува и се използва за машинно обучение. Освен това, те изглеждат по-продуктивни от обикновен GPU. Но технологията все още е незряла.

Какво можем да заключим? Независимо от възможността за поява на алтернативи, vGPU е напълно перспективнаПосока, способна да реши голямо количество задачи. Но не е подходяща за всички. Така че оставям на вас да сложите запетаята в заглавието.

P.S.
Абонирайте се за нашия Телеграм-канал, за да не пропуснете следващата статия! Пишем не по-често от два пъти в седмицата и само по същество.

Само регистрирани потребители могат да участват в анкетата. Влезте, моля.