NVIDIA разкри кода на StyleGAN3, система за машинно обучение за синтез на лица.

Компания NVIDIA публикува изходния код на StyleGAN3, система за машинно обучение, базирана на генеративно-състезателни невроподобни мрежи (GAN), която е насочена към синтезиране на реализъм в изображенията на човешки лица. Кодът е написан на Python с използване на фреймуърка PyTorch и се разпространява под лицензията NVIDIA Source Code License, която налага ограничения за търговска употреба.

На разположение са и предварително обучени модели, обучени на колекцията Flickr-Faces-HQ (FFHQ), която включва 70 хиляди висококачествени (1024×1024) PNG изображения на човешки лица. Освен това, разработени са модели на основата на колекции AFHQv2 (снимки на животински лица) и Metfaces (изображения на човешки лица от портрети на класическо изкуство). При разработката акцентът е поставен върху лицата, но системата може да бъде обучена за генерация на всякакви обекти, като например пейзажи и автомобили. Допълнително се предоставят инструменти за самостоятелно обучение на невронната мрежа с ваши собствени колекции изображения. Необходимо е едно или повече видеокарти NVIDIA (препоръчително GPU Tesla V100 или A100), поне 12 GB RAM, PyTorch 1.9 и инструментариум CUDA 11.1+. За определяне на изкуствения характер на получените лица се разработва специален детектор.

Системата позволява синтезиране на изображение на ново лице въз основа на интерполация на характеристики от няколко лица, комбинирайки присъщите им черти и адаптирайки крайното изображение спрямо необходимата възраст, пол, дължина на косата, характер на усмивката, форма на носа, цвят на кожата, очила, ъгъл на снимката. Генераторът разглежда изображението като колекция от стилове, автоматично отделя характерни детайли (петна, коса, очила) от общи високоуровневи атрибути (поза, пол, възрастови промени) и позволява комбинирането им по произволен начин с определяне на доминиращите свойства чрез тежестни коефициенти. В резултат се генерират изображения, които не могат да се различат от истински фотографии.

Първият вариант на технологията StyleGAN е публикуван през 2019 година, след което през 2020 година е предложена подобрена версия StyleGAN2, която позволява постигане на по-добро качество на изображенията и премахва някои артефакти. Въпреки това системата остава статична, т.е. не позволява постигането на реалистична анимация и движение на лицето. При разработката на StyleGAN3 основната цел е адаптация на технологията за нейното приложение в анимацията и видеото.

В StyleGAN3 е използвана преработена архитектура за генериране на изображения, освободена от алиасинг, и са предложени нови сценарии за обучение на невронната мрежа. Включени са нови инструменти за интерактивна визуализация (visualizer.py), анализ (avg_spectra.py) и генериране на видео (gen_video.py). Освен това е намалена консумацията на памет и ускорен процесът на обучение.

Ключовата особеност на архитектурата на StyleGAN3 е преходът към интерпретация на всички сигнали в невронната мрежа под формата на непрекъснати процеси, което позволява при формирането на детайли да се манипулира относителните позиции, които не са свързани с абсолютните координати на отделните пиксели в изображението, а са прикрепени към повърхностите на изобразените обекти. В StyleGAN и StyleGAN2 привързването към пикселите при генерирането довежда до проблеми при динамичната визуализация – например, при движение на изображението се наблюдава несъответствие на малки детайли, като бръчки и косми, които изглежда се движат отделно от останалата част на лицето. В StyleGAN3 тези проблеми са решени и технологията е напълно пригодна за формиране на видео.

Допълнително може да се отбележи анонсът за създаването на най-голямата езикова модел в света MT-NLG от компаниите NVIDIA и Microsoft на базата на дълбока невронна мрежа с архитектура "трансформер". Моделът обхваща 530 милиарда параметри, а за обучението е използван клъстер, наброяващ 4480 GPU (560 сървъри DGX A100 с 8 GPU A100 80GB всяко). Като области на приложение на модела се посочва решаването на задачи, свързани с обработката на информация на естествен език, като например прогнозирането на завършек на незавършени изречения, отговори на въпроси, разбиране на прочетеното, формиране на изводи на естествен език и разбор на многозначността на значението на думите.

Източник: opennet.ru