在宣布其游戏流媒体服务 Stadia 期间，谷歌宣布将可以应用各种过滤器（例如受著名艺术家启发的过滤器）来使用机器学习工具改变广播的外观。 Stadia 研究科学家 Ryan Poplin 和服务软件工程师 Adam Prins 分享了对该技术创建的一些见解。
改变风格涉及将一幅图像的内容与另一幅图像的特征相结合以创造新事物的过程。 这是机器学习中一个经过充分研究的问题，有许多可用的开源实现。 许多技术可以创建美观的静态图像，但在创建动画和编辑视频时，结果有时不尽如人意。 一帧中显示的元素（例如颜色、纹理和画笔描边）可能会在下一帧中消失，从而导致令人不快的闪烁。 这些问题已得到解决，但之前它们需要计算资源，导致无法以 1080p 或更高分辨率进行实时处理。
Google 喜欢 Magenta 团队开发的实时图像样式模型（代码和文档可供所有人使用），并决定探索可以进行哪些改进以将此方法应用于流媒体游戏。 首先，模型中无法由 GPU 有效渲染的部分被删除，因为主要强调的是速度。 令人惊讶的是，剩余的块仍然能够产生高质量的样式。 然后，这家搜索巨头增加了模型中间层的残差块数量，直到视觉质量停止改善。
为了提高帧处理的一致性，基于像素移动的预测使用了附加参数（使用了这些开发）。 由于此类分析可能需要大量计算，因此只需要在训练模型时进行计算。 因此，该模型仅处理当前一帧，就创建了一个稳定的序列。
为了允许这种风格应用于任何游戏而不需要访问源代码，Google 创建了一组可参数化的 Vulkan 后处理着色器。 最终模型的大小相对较小（约 512 KB），着色器可以在游戏流之上实时运行。
据谷歌称，这样的工具为开发人员开辟了新的交互形式，包括改变游戏过程中的视觉风格。 这使玩家能够自行定制艺术风格，包括基于自定义绘图。
来源： 3dnews.ru
