Binubuksan ng NVIDIA ang code para sa isang machine learning system na nag-synthesize ng mga landscape mula sa mga sketch

NVIDIA Company опубликовала исходные тексты системы машинного обучения SALITA (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом натренированные модели. Система была ipinakita в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки bukas под несвободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.

Upang makamit ang pagiging totoo, dalawang neural network ang nakikipagkumpitensya sa isa't isa: isang generator at isang discriminator. Ang generator ay bumubuo ng mga imahe batay sa paghahalo ng mga elemento ng mga tunay na larawan, at ang discriminator ay kinikilala ang mga posibleng paglihis mula sa mga tunay na larawan. Bilang isang resulta, ang feedback ay nabuo, sa batayan kung saan ang generator ay nagsisimulang bumuo ng mas mahusay na mga sample hanggang sa ang discriminator ay tumigil na makilala ang mga ito mula sa mga tunay.

Pinagmulan: opennet.ru