Stability AI は、自然言語によるテキスト記述に基づいて画像を合成および変更できる、Stable Diffusion 機械学習システム用の既成モデルを公開しました。 モデルは、商用利用に対して寛容な Creative ML OpenRAIL-M ライセンスに基づいてライセンスされています。 システムのトレーニングには、4000 個の NVIDIA A100 Ezra-1 GPU のクラスターと、テキスト説明付きの 5 億 5.85 万枚の画像を含む LAION-XNUMXB コレクションが使用されました。 以前は、ニューラル ネットワークをトレーニングして画像を生成するツールのコードは、MIT ライセンスに基づいてオープンソース化されていました。
既製のモデルが入手可能であり、標準的な GPU を備えた PC で実験を開始できるかなり控えめなシステム要件により、多くの関連プロジェクトが誕生しました。
- textual-inversion (コード) - 指定された文字、オブジェクト、またはスタイルで画像を合成できるアドオン。 オリジナルの安定拡散では、合成画像内のオブジェクトはランダムで制御できません。 提案されたアドオンを使用すると、独自のビジュアル オブジェクトを追加し、それらをキーワードにバインドし、合成で使用することができます。
たとえば、通常の安定拡散では、「ボートに乗った猫」の画像を生成するようにシステムに要求できます。 また、猫と船の特徴も明らかになりますが、どの猫と船が合成されるかは予測できません。 テキスト反転を使用すると、猫やボートの画像でシステムをトレーニングし、その画像を特定の猫やボートと合成できます。 同様に、画像要素を特定のオブジェクトに置き換えたり、合成用のビジュアル スタイルの例を設定したり、コンセプトを指定したりすることもできます (たとえば、さまざまな医師の中から、より正確で高品質な選択を使用できます)希望のスタイルで)。
- Stable-Diffusion-animation - Stable Diffusion で生成されたピクチャ間の補間に基づいてアニメーション (動画) イメージを作成します。
- steady_diffusion.openvino (コード) - Stable Diffusion の移植版。計算に CPU のみを使用し、強力な GPU を持たないシステムでの実験を可能にします。 OpenVINO ライブラリでサポートされているプロセッサが必要です。 公式には、OpenVINO は、AVX2、AVX-512、AVX512_BF16、および SSE 拡張機能を備えた Intel プロセッサ用のプラグイン、および Raspberry Pi 4 Model B、Apple Mac mini、NVIDIA Jetson Nano ボード用のプラグインを提供しています。 非公式には、AMD Ryzen プロセッサ上で OpenVINO を使用することが可能です。
- sdamd は AMD GPU 用のポートです。
- ビデオ合成の初期実装。
- steady-diffusion-gui、stable-diffusion-ui、Artbreeder Collage、diffuse-the-rest - Stable Diffusion を使用して画像を生成するためのグラフィカル インターフェイス。
- beta.dreamstudio.ai、Hugging Face Spaces、hlky Stable Diffusion WebUI - Stable Diffusion を使用した画像合成用の Web インターフェイス。
- Stable Diffusion を GIMP、Figma、Blender、Photoshop と統合するためのプラグイン。
さらに、Google が RawNeRF (RAW Neural Radiance Fields) 機械学習システムのコードを公開したことにも注目してください。これにより、複数の RAW 画像のデータに基づいて、暗闇や室内で撮影されたノイズの多い画像の品質を向上させることができます。照明が悪い。 プロジェクトによって開発されたツールは、ノイズを除去するだけでなく、詳細を高め、グレアを除去し、HDR を合成し、写真全体の照明を変更することを可能にするだけでなく、さまざまな角度からの複数の写真を使用してオブジェクトの XNUMX 次元位置を再現することもできます。視点を移動し、焦点を操作し、動画を生成します。
出所： オープンネット.ru