NVIDIA ເປີດລະຫັດສໍາລັບລະບົບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ສັງເຄາະພູມສັນຖານຈາກຮູບແຕ້ມ

Компания NVIDIA опубликовала исходные тексты системы машинного обучения SPADE (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом нетренированные модели. Система была продемонстрирована в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки открыты под свободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.

Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно зелёная в деревья, светло зелёная в траву, светло коричневая в камни, тёмно коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и контролировать стиль.

ເພື່ອບັນລຸຄວາມເປັນຈິງ, ສອງເຄືອຂ່າຍ neural ແຂ່ງຂັນກັນ: ເຄື່ອງກໍາເນີດໄຟຟ້າແລະເຄື່ອງຈໍາແນກ. ເຄື່ອງຈັກຜະລິດສ້າງຮູບພາບໂດຍອີງໃສ່ອົງປະກອບຂອງຮູບຖ່າຍທີ່ແທ້ຈິງ, ແລະຜູ້ຈໍາແນກໄດ້ກໍານົດການ deviations ທີ່ເປັນໄປໄດ້ຈາກຮູບພາບທີ່ແທ້ຈິງ. ດັ່ງນັ້ນ, ຄໍາຄິດເຫັນໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນ, ບົນພື້ນຖານທີ່ເຄື່ອງກໍາເນີດເລີ່ມຕົ້ນປະກອບຕົວຢ່າງທີ່ດີຂຶ້ນເລື້ອຍໆຈົນກ່ວາຜູ້ຈໍາແນກຢຸດເຊົາການຈໍາແນກພວກເຂົາຈາກຕົວຈິງ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru