NVIDIA відкрила код системи машинного навчання, що синтезує пейзажі за начерками

Компанія NVIDIA опублікувала вихідні тексти системи машинного навчання СПАДА (GauGAN), що дозволяє синтезувати реалістичні пейзажі на основі грубих нарисів, а також пов'язані з проектом натреновані моделі. Система була продемонстровано у березні на конференції GTC 2019, але код було опубліковано лише вчора. Напрацювання відкриті під невільною ліцензією CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), що допускає використання лише з некомерційною метою. Код написаний мовою Python із застосуванням фреймворку PyTorch.

Малюнки оформляються як сегментованої карти, що визначає розміщення приблизних об'єктів на сцені. Характер об'єктів, що генеруються, задається за допомогою колірних міток. Наприклад, блакитна заливка перетворюється на небо, синя у воду, темно-зелена на дерева, світло-зелена на траву, світло-коричнева на каміння, темно-коричнева на гори, сіра на сніг, коричнева лінія перетворюється на дорогу, а синя лінія на річку. Додатково на основі вибору еталонних зображень визначається загальний стиль композиції та доба. Пропонований інструмент для створення віртуальних світів може виявитися корисним широкому колу фахівців, від архітекторів та планувальників міського середовища до розробників ігор та ландшафтних дизайнерів.

Об'єкти синтезуються генеративно-змагальною нейронною мережею (GAN), яка на основі схематичної сегментованої карти створює реалістичні зображення, запозичуючи деталі з моделі, попередньо навченої на кілька мільйонів фотознімків. На відміну від систем синтезу зображень, що раніше розвивалися, запропонований метод заснований на застосуванні адаптивного просторового перетворення з подальшою трансформацією на основі машинного навчання. Обробка сегментованої карти замість семантичної розмітки дозволяє досягти точної відповідності результату та контролювати стиль.

Для досягнення реалістичності застосовуються дві конкуруючі один з одним нейронні мережі: генератор і дискримінатор (Discriminator). Генератор формує зображення з урахуванням змішування елементів реальних фотографій, а дискримінатор виявляє можливі відхилення від реальних зображень. У результаті формується зворотний зв'язок, на основі якого генератор починає компонувати все більш якісні зразки, до тих пір, поки дискримінатор не перестане відрізняти їх від справжніх.

Джерело: opennet.ru