Stability AI telah menerbitkan model siap pakai untuk sistem pembelajaran mesin Difusi Stabil, yang mampu mensintesis dan memodifikasi gambar berdasarkan deskripsi teks dalam bahasa alami. Model dilisensikan di bawah lisensi Creative ML OpenRAIL-M yang permisif untuk penggunaan komersial. Untuk melatih sistem, digunakan cluster 4000 GPU NVIDIA A100 Ezra-1 dan koleksi LAION-5B, termasuk 5.85 miliar gambar dengan deskripsi teks. Sebelumnya, kode alat untuk melatih jaringan saraf dan menghasilkan gambar bersumber terbuka di bawah lisensi MIT.
Ketersediaan model siap pakai dan persyaratan sistem yang cukup sederhana yang memungkinkan dimulainya eksperimen pada PC dengan GPU standar telah menyebabkan munculnya sejumlah proyek terkait:
- inversi tekstual (kode) - add-on yang memungkinkan Anda mensintesis gambar dengan karakter, objek, atau gaya tertentu. Dalam Difusi Stabil asli, objek dalam gambar yang disintesis bersifat acak dan tidak dapat dikontrol. Add-on yang diusulkan memungkinkan Anda menambahkan objek visual Anda sendiri, mengikatnya ke kata kunci, dan menggunakannya dalam sintesis.
Misalnya, dalam Difusi Stabil biasa Anda dapat meminta sistem untuk menghasilkan gambar dengan “kucing di dalam perahu”. Selain itu, Anda dapat memperjelas karakteristik kucing dan perahu, namun tidak dapat diprediksi kucing dan perahu mana yang akan disintesis. Inversi tekstual memungkinkan Anda melatih sistem pada gambar kucing atau perahu Anda dan mensintesis gambar tersebut dengan kucing atau perahu tertentu. Dengan cara yang sama, ia juga dapat mengganti elemen gambar dengan objek tertentu, memberikan contoh gaya visual untuk sintesis, dan menentukan konsep (misalnya, dari seluruh variasi dokter, Anda dapat menggunakan pilihan yang lebih akurat dan berkualitas tinggi. dalam gaya yang diinginkan).
- animasi-difusi-stabil - pembuatan gambar animasi (bergerak) berdasarkan interpolasi antar gambar yang dihasilkan dalam Difusi Stabil.
- stable_diffusion.openvino (kode) - port Difusi Stabil, yang hanya menggunakan CPU untuk perhitungan, yang memungkinkan eksperimen pada sistem tanpa GPU yang kuat. Membutuhkan prosesor yang didukung di perpustakaan OpenVINO. Secara resmi, OpenVINO menyediakan plugin untuk prosesor Intel dengan ekstensi AVX2, AVX-512, AVX512_BF16 dan SSE, serta untuk papan Raspberry Pi 4 Model B, Apple Mac mini, dan NVIDIA Jetson Nano. Secara tidak resmi, OpenVINO dapat digunakan pada prosesor AMD Ryzen.
- sdamd adalah port untuk GPU AMD.
- Implementasi awal sintesis video.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - antarmuka grafis untuk menghasilkan gambar menggunakan Difusi Stabil.
- beta.dreamstudio.ai, Hugging Face Spaces, WebUI Difusi Stabil hlky - antarmuka web untuk sintesis gambar menggunakan Difusi Stabil.
- Plugin untuk mengintegrasikan Difusi Stabil dengan GIMP, Figma, Blender dan Photoshop.
Selain itu, kami dapat mencatat publikasi kode sistem pembelajaran mesin RawNeRF (RAW Neural Radiance Fields) oleh Google, yang memungkinkan, berdasarkan data dari beberapa gambar RAW, untuk meningkatkan kualitas gambar dengan noise tinggi yang diambil dalam gelap dan dalam ruangan. pencahayaan yang buruk. Selain menghilangkan noise, alat yang dikembangkan oleh proyek ini memungkinkan untuk meningkatkan detail, menghilangkan silau, mensintesis HDR dan mengubah pencahayaan keseluruhan dalam foto, serta menciptakan kembali posisi tiga dimensi objek menggunakan beberapa foto dari berbagai sudut. menggeser sudut pandang, memanipulasi fokus, dan menghasilkan gambar bergerak.
Sumber: opennet.ru
