NVIDIA mở mã cho hệ thống máy học tổng hợp cảnh quan từ bản phác thảo

Công ty NVIDIA được phát hành исходные тексты системы машинного обучения KIẾM (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом натренированные модели. Система была chứng minh в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки mở под несвободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка Kim tự tháp.

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью (Gan), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.

Để đạt được chủ nghĩa hiện thực, hai mạng lưới thần kinh cạnh tranh với nhau: một máy phát điện và một máy phân biệt đối xử. Trình tạo tạo ra hình ảnh dựa trên việc trộn các yếu tố của ảnh thật và trình phân biệt đối xử xác định những sai lệch có thể có so với ảnh thật. Kết quả là, phản hồi được hình thành, trên cơ sở đó trình tạo bắt đầu soạn các mẫu ngày càng tốt hơn cho đến khi bộ phân biệt đối xử không còn phân biệt chúng với mẫu thật.

Nguồn: opennet.ru