NVIDIA отваря кода за система за машинно обучение, която синтезира пейзажи от скици

Компания NVIDIA публикувано изходни кодове на системата за машинно обучение МЕЧОВЕ (GauGAN), което ви позволява да синтезирате реалистични пейзажи въз основа на груби скици, както и тези, свързани с проекта обучени модели. Системата беше демонстрира през март на конференцията GTC 2019, но кодът беше публикуван едва вчера. Разработки отворен под лиценз за собственост CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), което позволява само некомерсиална употреба. Кодът е написан на Python с помощта на рамката PyTorch.

Скиците се изготвят под формата на сегментирана карта, която определя приблизителното разположение на обектите на сцената. Естеството на генерираните обекти се определя с помощта на цветни маркировки. Например синьо запълване се трансформира в небе, синьо във вода, тъмнозелено в дървета, светлозелено в трева, светлокафяво в скали, тъмнокафяво в планини, сиво в сняг, кафява линия се трансформира в път и синьо линия в река Освен това, въз основа на избора на референтни изображения, се определя цялостният стил на композиция и времето на деня. Предложеният инструмент за създаване на виртуални светове може да бъде полезен за широк кръг специалисти, от архитекти и урбанисти до разработчици на игри и ландшафтни дизайнери.

Обектите се синтезират от генеративна състезателна невронна мрежа (GAN), който създава реалистични изображения на базата на схематична сегментирана карта, заимствайки детайли от модел, предварително обучен върху няколко милиона снимки. За разлика от разработените по-рано системи за синтез на изображения, предложеният метод се основава на използването на адаптивна пространствена трансформация, последвана от трансформация, базирана на машинно обучение. Обработката на сегментирана карта вместо семантично маркиране ви позволява да постигнете резултати с точно съвпадение и да контролирате стила.

За да се постигне реализъм, две невронни мрежи се конкурират помежду си: генератор и дискриминатор. Генераторът генерира изображения въз основа на смесване на елементи от реални снимки, а дискриминаторът идентифицира възможните отклонения от реалните изображения. В резултат на това се формира обратна връзка, на базата на която генераторът започва да съставя все по-добри проби, докато дискриминаторът престане да ги различава от реалните.

Източник: opennet.ru