У лютому в Стенфорді відбулася конференція, присвячена високопродуктивним обчисленням (HPC). Представники VMware розповіли, що при роботі з GPU система на базі модифікованого гіпервізора ESXi за швидкістю не поступається bare metal рішенням.
Розповідаємо про технології, які дозволили цього досягти.
/ фото
Проблема продуктивності
За оцінками аналітиків, близько 70% робочих навантажень у дата-центрах . Однак 30%, що залишилися, як і раніше працюють на bare metal без гіпервізорів. Ці 30% переважно складаються з високонавантажених додатків, пов'язаних, наприклад, з навчанням нейронних мереж, і використовують графічні процесори.
Подібний тренд експерти пояснюють тим, що гіпервізор як проміжний шар абстракції може впливати на продуктивність системи. У дослідженнях п'ятирічної давності зниження швидкості роботи на 10%. Тому компанії та оператори дата-центрів не поспішають переводити HPC-навантаження у віртуальне середовище.
Але технології віртуалізації розвиваються та вдосконалюються. На конференції місяць тому у VMware розповіли, що гіпервізор ESXi не має негативного впливу на продуктивність GPU. Швидкість обчислень може знизитися на три відсотки, а це можна порівняти з показниками bare metal.
Як це працює
Щоб підвищити продуктивність HPC-систем із графічними процесорами, VMware внесли в роботу гіпервізора низку змін. Зокрема, його позбавили функції vMotion. Вона потрібна для балансування навантаження та зазвичай переносить віртуальні машини (ВМ) між серверами або GPU. Відключення vMotion призвело до того, що за кожною ВМ тепер закріплено конкретний графічний процесор. Це допомогло скоротити витрати під час обміну даними.
Іншим ключовим компонентом системи DirectPath I/O. Вона дозволяє драйверу CUDA для паралельних обчислень взаємодіяти з віртуальними машинами безпосередньо, оминаючи гіпервізор. Коли одному GPU потрібно запустити відразу кілька ВМ, то задіюється рішення GRID vGPU. Воно поділяє пам'ять карти кілька сегментів (але обчислювальні цикли у своїй не діляться).
Схема роботи двох віртуальних машин у цьому випадку виглядатиме так:
Результати та прогнози
Компанія гіпервізора, навчивши мовну модель на базі . «Збитки» продуктивності становили лише 3–4%, порівняно з bare metal. При цьому система отримала можливість розподіляти ресурси на вимогу в залежності від поточних навантажень.
ІТ-гігант також з контейнерами. Інженери компанії навчали нейронні мережі розпізнавати зображення. При цьому ресурси одного графічного процесора розподілили між чотирма контейнерними ВМ. В результаті продуктивність окремих машин знизилася на 17% (порівняно з однією ВМ, що має повний доступ до ресурсів GPU). Однак кількість оброблюваних зображень за секунду У три рази. Очікується, що подібні системи застосування в галузі аналізу даних та комп'ютерного моделювання.
Серед потенційних проблем, із якими може зіткнутися VMware, експерти досить вузьку цільову аудиторію. З високопродуктивними системами поки що працює невелика кількість компаній. Хоча у Statista , що до 2021 року віртуалізовано буде вже 94% робочих навантажень світових ЦОД. за аналітиків, вартість HPC-ринку зросте з 32 до 45 млрд доларів у період з 2017 по 2022 рік.
/ фото PD
Схожі рішення
На ринку є кілька аналогів, що розробляють великі ІТ-компанії: AMD та Intel.
Перша компанія для віртуалізації графічних процесорів підхід з урахуванням SR-IOV (single-root input/output virtualization). Ця технологія надає ВМ доступ до частини апаратних можливостей системи. Рішення дозволяє розділити графічний процесор між 16 користувачами за рівної продуктивності віртуалізованих систем.
Щодо другого ІТ-гіганта, то їх на гіпервізорі Citrix XenServer 7. Вона об'єднує роботу стандартного GPU-драйвера та віртуальної машини, що дозволяє останній відображати 3D-додатки та десктопи на пристроях сотень користувачів.
Майбутнє технології
Розробники віртуальних графічних процесорів на впровадження систем ІІ та зростання популярності високопродуктивних рішень на ринку бізнес-технологій. Вони сподіваються, що потреба у обробці великих обсягів даних підвищить попит на vGPU.
Зараз виробники поєднати функціональність CPU та GPU в одному ядрі, щоб прискорити вирішення завдань, пов'язаних з графікою, виконання математичних обчислень, логічних операцій, обробку даних. Поява на ринку таких ядер у майбутньому змінить підхід до віртуалізації ресурсів та їхнього розподілу між робочими навантаженнями у віртуальному та хмарному середовищі.
Що почитати на тему в нашому корпоративному блозі:
Пара постів з нашого Telegram-каналу:
Джерело: habr.com