Stability AI 已經發布了 Stable Diffusion 機器學習系統的現成模型，能夠根據自然語言的文字描述來合成和修改圖像。 模型根據 Creative ML OpenRAIL-M 商業用途許可獲得許可。 為了訓練該系統，使用了由 4000 個 NVIDIA A100 Ezra-1 GPU 組成的集群和一個 LAION-5B 集合，其中包括 5.85 億張帶有文字描述的圖像。 先前，用於訓練神經網路和生成圖像的工具的程式碼是在麻省理工學院許可下開源的。
現成模型的可用性和相當適度的系統要求（允許人們在具有標準 GPU 的 PC 上開始實驗）導致了許多相關項目的出現：
- textual-inversion（程式碼） - 一個附加元件，可讓您合成具有給定字元、物件或樣式的圖像。 在原始的穩定擴散中，合成影像中的物件是隨機且不可控的。 建議的附加元件可讓您新增自己的視覺對象，將它們綁定到關鍵字並在綜合中使用它們。
例如，在常規穩定擴散中，您可以要求系統產生具有“船上的貓”的圖像。 另外，你可以明確指出貓和船的特徵，但無法預測會合成哪隻貓和船。 文字反轉可讓您在貓或船的圖像上訓練系統，並將圖像與特定的貓或船合成。 類似地，它還可以用某些物件取代圖像元素，設定用於合成的視覺風格範例，並指定概念（例如，從整個醫生品種中，您可以使用更準確和高品質的選擇）以所需的風格）。
- stable-diffusion-animation - 基於穩定擴散中產生的圖片之間的插值創建動畫（移動）圖像。
- stable_diffusion.openvino （代碼） - Stable Diffusion 的端口，僅使用 CPU 進行計算，允許在沒有強大 GPU 的系統上進行實驗。 需要 OpenVINO 庫支援的處理器。 OpenVINO 正式為具有 AVX2、AVX-512、AVX512_BF16 和 SSE 擴展的 Intel 處理器以及 Raspberry Pi 4 Model B、Apple Mac mini 和 NVIDIA Jetson Nano 板提供插件。 非官方說法是，可以在 AMD Ryzen 處理器上使用 OpenVINO。
- sdamd 是 AMD GPU 的連接埠。
- 視訊合成的初步實現。
- stable-diffusion-gui、stable-diffusion-ui、Artbreeder Collage、diffuse-the-rest - 使用穩定擴散產生影像的圖形介面。
- beta.dreamstudio.ai，擁抱臉部空間，hlky 穩定擴散 WebUI - 使用穩定擴散進行影像合成的 Web 介面。
- 用於將穩定擴散與 GIMP、Figma、Blender 和 Photoshop 整合的插件。
此外，我們還可以注意到 Google 發布了 RawNeRF（RAW 神經輻射場）機器學習系統的代碼，該系統可以根據多個 RAW 影像的數據，提高在黑暗和環境中拍攝的高雜訊影像的品質。照明不佳。 除了消除噪音之外，該專案開發的工具還可以增加細節、消除眩光、合成 HDR 和改變照片中的整體照明，以及使用來自不同角度的多張照片重新創建物體的三維位置，移動視角、控制焦點並產生動態圖片。
來源： opennet.ru