Stability AI parantos nyebarkeun édisi kadua sistem pembelajaran mesin Stable Diffusion, anu tiasa nyintésis sareng ngarobih gambar dumasar kana témplat anu diusulkeun atanapi déskripsi téks basa alami. Kodeu pikeun latihan jaringan saraf sareng alat generasi gambar ditulis dina Python nganggo kerangka PyTorch sareng diterbitkeun dina lisénsi MIT. Model anu parantos dilatih dibuka dina lisénsi Creative ML OpenRAIL-M anu permisif, ngamungkinkeun pikeun panggunaan komérsial. Salaku tambahan, generator gambar demo online sayogi.
Perbaikan konci dina édisi énggal Stable Diffusion:
- Model anyar pikeun sintésis gambar dumasar kana déskripsi téks geus dijieun - SD2.0-v, nu ngarojong generasi gambar kalawan resolusi 768x768. Modél anyar ieu dilatih ngagunakeun koleksi LAION-5B, nu ngawengku 5.85 miliar gambar jeung déskripsi téks. Model ngagunakeun set parameter anu sami sareng modél Stabil Diffusion 1.5, tapi béda dina transisi ka panggunaan encoder OpenCLIP-ViT / H anu béda-béda, anu sacara signifikan ningkatkeun kualitas gambar anu dihasilkeun.
- Versi saderhana tina SD2.0-base geus disiapkeun, dilatih dina 256 × 256 gambar ngagunakeun model prediksi noise klasik sarta ngarojong generasi gambar kalawan resolusi 512 × 512.
- Kasebut nyaéta dimungkinkeun pikeun ngagunakeun téhnologi supersampling (Super Resolution) pikeun ngaronjatkeun resolusi gambar aslina tanpa ngurangan kualitas, ngagunakeun skala spasial tur rinci algoritma rekonstruksi. Modél pangolahan gambar anu disayogikeun (SD20-upscaler) ngadukung opat kali zum, anu ngamungkinkeun ngahasilkeun gambar kalayan resolusi 2048x2048.
- Modél SD2.0-depth2img diusulkeun, kalayan nganggap jero sareng susunan spasial objék. Pikeun estimasi jero monokular, sistem MiDaS dianggo. Modél ieu ngamungkinkeun anjeun pikeun nyintésis gambar anyar nganggo gambar anu sanés salaku citakan, anu tiasa sacara radikal béda ti aslina, tapi ngajaga komposisi sareng jerona. Salaku conto, anjeun tiasa nganggo pose jalma dina poto pikeun ngabentuk karakter sanés dina pose anu sami.
- Model pikeun ngaropea gambar geus diropéa - SD 2.0-inpainting, nu ngidinan Anjeun pikeun ngaganti sarta ngarobah bagéan gambar ngagunakeun prompts téks.
- Modelna parantos dioptimalkeun pikeun dianggo dina sistem konvensional sareng GPU tunggal.
sumber: opennet.ru