NVIDIA 发布了 SPADE (GauGAN) 机器学习系统的源代码，该系统可以从草图以及与该项目相关的未经训练的模型合成现实景观。 该系统曾在 2019 月份的 GTC 4.0 会议上进行过演示，但代码昨天才发布。 这些开发项目在免费许可证 CC BY-NC-SA 4.0（知识共享署名-非商业性-相同方式共享 XNUMX）下开放，仅允许用于非商业目的。 该代码是使用 PyTorch 框架用 Python 编写的。
草图以分段地图的形式绘制，确定场景中近似对象的位置。 生成的对象的性质是使用颜色标记指定的。 例如，蓝色填充变成天空，蓝色填充为水，深绿色填充为树木，浅绿色填充为草，浅棕色填充为石头，深棕色填充为山脉，灰色填充为雪，棕色线填充为道路，蓝色填充填充为道路。排成一条河。 此外，根据参考图像的选择，确定整体构图风格和一天中的时间。 所提出的用于创建虚拟世界的工具对于从建筑师和城市规划师到游戏开发人员和景观设计师等广泛的专家来说都是有用的。
对象由生成对抗神经网络 (GAN) 合成，该网络根据示意性分段地图创建逼真的图像，借用在数百万张照片上预先训练的模型中的细节。 与之前开发的图像合成系统不同，所提出的方法基于使用自适应空间变换，然后是基于机器学习的变换。 处理分段地图而不是语义标记可以让您获得精确的匹配结果并控制样式。
为了实现真实感，两个神经网络相互竞争：生成器和鉴别器。 生成器根据真实照片的混合元素生成图像，鉴别器识别与真实图像可能存在的偏差。 结果，形成了反馈，在此基础上，生成器开始组合越来越好的样本，直到鉴别器不再将它们与真实样本区分开来。
来源： opennet.ru