ProHoster > وبلاگ > اخبار اینترنتی > NVIDIA کد یک سیستم یادگیری ماشینی را باز می کند که مناظر را از طرح ها ترکیب می کند

NVIDIA کد یک سیستم یادگیری ماشینی را باز می کند که مناظر را از طرح ها ترکیب می کند

شرکت انویدیا опубликовала исходные тексты системы машинного обучения شمشیرها (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом натренированные модели. Система была نشان داده شده в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки باز کن под несвободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.

NVIDIA کد یک سیستم یادگیری ماشینی را باز می کند که مناظر را از طرح ها ترکیب می کند

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

NVIDIA کد یک سیستم یادگیری ماشینی را باز می کند که مناظر را از طرح ها ترکیب می کند

Объекты синтезируются генеративно-состязательной нейронной сетью (گان), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.

NVIDIA کد یک سیستم یادگیری ماشینی را باز می کند که مناظر را از طرح ها ترکیب می کند

Для достижения реалистичности применяются две конкурирующие друг с другом нейронных сети: генератор и дискриминатор (Discriminator). Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор начинает компоновать всё более качественные образцы, до тех пор пока дискриминатор не перестанет отличать их от настоящих.

منبع: opennet.ru

اضافه کردن نظر