Stability AI telah menerbitkan edisi kedua dari sistem pembelajaran mesin Stable Diffusion, yang mampu mensintesis dan memodifikasi gambar berdasarkan pola yang disarankan atau deskripsi teks bahasa alami. Kode alat untuk pelatihan jaringan saraf dan pembuatan gambar ditulis dengan Python menggunakan kerangka kerja PyTorch dan diterbitkan di bawah lisensi MIT. Model yang sudah terlatih terbuka di bawah lisensi permisif Creative ML OpenRAIL-M, yang memungkinkan penggunaan komersial. Selain itu, generator gambar demo online juga tersedia.
Perbaikan utama dalam edisi baru Difusi Stabil:
- Model baru untuk sintesis gambar berdasarkan deskripsi teks β SD2.0-v β telah dibuat, yang mendukung pembuatan gambar dengan resolusi 768Γ768. Model baru ini dilatih menggunakan koleksi LAION-5B dari 5.85 miliar gambar dengan deskripsi teks. Model ini menggunakan set parameter yang sama dengan model Stable Diffusion 1.5, tetapi berbeda dengan transisi menggunakan encoder OpenCLIP-ViT/H yang berbeda secara fundamental, yang memungkinkan peningkatan kualitas gambar yang dihasilkan secara signifikan.
- Versi SD2.0 yang disederhanakan telah disiapkan, dilatih pada gambar 256x256 menggunakan model prediksi noise klasik dan mendukung pembuatan gambar dengan resolusi 512x512.
- Kemungkinan menggunakan teknologi supersampling (Resolusi Super) disediakan untuk meningkatkan resolusi gambar asli tanpa mengurangi kualitasnya, menggunakan algoritme untuk penskalaan spasial dan rekonstruksi detail. Model pemrosesan gambar yang disediakan (SD20-upscaler) mendukung 2048x upscaling, yang dapat menghasilkan gambar dengan resolusi 2048ΓXNUMX.
- Model SD2.0-depth2img diusulkan, yang memperhitungkan kedalaman dan penataan spasial objek. Sistem MiDaS digunakan untuk estimasi kedalaman bermata. Model ini memungkinkan Anda mensintesis gambar baru menggunakan gambar lain sebagai templat, yang bisa sangat berbeda dari aslinya, tetapi mempertahankan komposisi dan kedalaman keseluruhan. Misalnya, Anda bisa menggunakan pose seseorang di foto untuk membentuk karakter lain dalam pose yang sama.
- Model untuk memodifikasi gambar telah diperbarui - SD 2.0-inpainting, yang memungkinkan Anda mengganti dan mengubah bagian gambar menggunakan perintah teks.
- Model telah dioptimalkan untuk digunakan pada sistem konvensional dengan GPU tunggal.
Sumber: opennet.ru