Stability AI 已经发布了 Stable Diffusion 机器学习系统的现成模型，能够根据自然语言的文本描述来合成和修改图像。 模型根据 Creative ML OpenRAIL-M 商业用途许可获得许可。 为了训练该系统，使用了由 4000 个 NVIDIA A100 Ezra-1 GPU 组成的集群和一个 LAION-5B 集合，其中包括 5.85 亿张带有文本描述的图像。 此前，用于训练神经网络和生成图像的工具的代码是在麻省理工学院许可下开源的。
现成模型的可用性和相当适度的系统要求（允许人们在具有标准 GPU 的 PC 上开始实验）导致了许多相关项目的出现：
- textual-inversion（代码） - 一个附加组件，允许您合成具有给定字符、对象或样式的图像。 在原始的稳定扩散中，合成图像中的对象是随机且不可控的。 建议的附加组件允许您添加自己的视觉对象，将它们绑定到关键字并在综合中使用它们。
例如，在常规稳定扩散中，您可以要求系统生成带有“船上的猫”的图像。 另外，你可以明确猫和船的特征，但无法预测会合成哪只猫和船。 文本反转允许您在猫或船的图像上训练系统，并将图像与特定的猫或船合成。 类似地，它还可以用某些对象替换图像元素，设置用于合成的视觉风格示例，并指定概念（例如，从整个医生品种中，您可以使用更准确和高质量的选择）以所需的风格）。
- stable-diffusion-animation - 基于稳定扩散中生成的图片之间的插值创建动画（移动）图像。
- stable_diffusion.openvino （代码） - Stable Diffusion 的端口，仅使用 CPU 进行计算，允许在没有强大 GPU 的系统上进行实验。 需要 OpenVINO 库支持的处理器。 OpenVINO 正式为具有 AVX2、AVX-512、AVX512_BF16 和 SSE 扩展的 Intel 处理器以及 Raspberry Pi 4 Model B、Apple Mac mini 和 NVIDIA Jetson Nano 板提供插件。 非官方说法是，可以在 AMD Ryzen 处理器上使用 OpenVINO。
- sdamd 是 AMD GPU 的端口。
- 视频合成的初步实现。
- stable-diffusion-gui、stable-diffusion-ui、Artbreeder Collage、diffuse-the-rest - 使用稳定扩散生成图像的图形界面。
- beta.dreamstudio.ai，拥抱面部空间，hlky 稳定扩散 WebUI - 使用稳定扩散进行图像合成的 Web 界面。
- 用于将稳定扩散与 GIMP、Figma、Blender 和 Photoshop 集成的插件。
此外，我们还可以注意到谷歌发布了 RawNeRF（RAW 神经辐射场）机器学习系统的代码，该系统可以根据多个 RAW 图像的数据，提高在黑暗和环境中拍摄的高噪声图像的质量。照明不佳。 除了消除噪音之外，该项目开发的工具还可以增加细节、消除眩光、合成 HDR 和改变照片中的整体照明，以及使用来自不同角度的多张照片重新创建物体的三维位置，移动视角、控制焦点并生成动态图片。
来源： opennet.ru