Stability AI wis nerbitake edisi kapindho sistem pembelajaran mesin Stable Diffusion, sing bisa nyintesis lan ngowahi gambar adhedhasar cithakan sing disaranake utawa deskripsi teks basa alami. Kode alat kanggo latihan jaringan saraf lan generasi gambar ditulis ing Python nggunakake framework PyTorch lan diterbitake ing lisensi MIT. Model sing wis dilatih mbukak ing lisensi Creative ML OpenRAIL-M, sing ngidini panggunaan komersial. Kajaba iku, generator gambar demo online kasedhiya.
Peningkatan utama ing edisi anyar Stable Diffusion:
- Model anyar kanggo sintesis gambar adhedhasar deskripsi teks β SD2.0-v β wis digawe, sing ndhukung generasi gambar kanthi resolusi 768 Γ 768. Model anyar iki dilatih nggunakake koleksi LAION-5B saka 5.85 milyar gambar kanthi deskripsi teks. Model kasebut nggunakake paramΓ¨ter sing padha karo model Difusi Stabil 1.5, nanging beda karo transisi kanggo nggunakake encoder OpenCLIP-ViT / H sing beda-beda, sing ndadekake bisa ningkatake kualitas gambar sing diasilake.
- Versi SD2.0-base simplified wis disiapake, dilatih ing 256 Γ 256 gambar nggunakake model prediksi gangguan klasik lan ndhukung generasi gambar kanthi resolusi 512 Γ 512.
- Kamungkinan nggunakake teknologi supersampling (Super Resolution) diwenehake kanggo nambah resolusi gambar asli tanpa ngurangi kualitas, nggunakake algoritma kanggo skala spasial lan rekonstruksi rincian. Model pangolahan gambar sing kasedhiya (SD20-upscaler) ndhukung upscaling 2048x, sing bisa ngasilake gambar kanthi resolusi 2048 Γ XNUMX.
- Model SD2.0-depth2img diusulake, sing nganggep ambane lan susunan spasial obyek. Sistem MiDaS digunakake kanggo ngira ambane monokular. Model kasebut ngidini sampeyan nyintesis gambar anyar kanthi nggunakake gambar liyane minangka cithakan, sing bisa beda banget karo asline, nanging tetep komposisi lan ambane sakabèhé. Contone, sampeyan bisa nggunakake pose wong ing foto kanggo mbentuk karakter liyane ing pose sing padha.
- Model kanggo ngowahi gambar wis dianyari - SD 2.0-inpainting, sing ngijini sampeyan kanggo ngganti lan ngganti bagean saka gambar nggunakake pituduh teks.
- Model wis dioptimalake kanggo digunakake ing sistem konvensional kanthi siji GPU.
Source: opennet.ru