Stability AI wis nerbitake model sing wis siap kanggo sistem pembelajaran mesin Stable Diffusion, sing bisa nyintesis lan ngowahi gambar adhedhasar deskripsi teks ing basa alami. Model dilisensi ing lisensi Creative ML OpenRAIL-M permisif kanggo panggunaan komersial. Kanggo nglatih sistem kasebut, klompok 4000 NVIDIA A100 Ezra-1 GPU lan koleksi LAION-5B, kalebu 5.85 milyar gambar kanthi deskripsi teks. Sadurunge, kode kanggo alat kanggo latihan jaringan saraf lan ngasilake gambar mbukak-sumber ing lisensi MIT.
Kasedhiya model sing wis siap lan syarat sistem sing cukup andhap sing ngidini wong bisa miwiti eksperimen ing PC kanthi GPU standar wis nyebabake muncule sawetara proyek sing gegandhengan:
- inversi tekstual (kode) - tambahan sing ngidini sampeyan sintesis gambar kanthi karakter, obyek utawa gaya tartamtu. Ing Difusi Stabil asli, obyek ing gambar sing disintesis iku acak lan ora bisa dikendhaleni. Add-on sing diusulake ngidini sampeyan nambah obyek visual dhewe, ngiket tembung kunci lan digunakake ing sintesis.
Contone, ing Difusi Stabil biasa sampeyan bisa takon sistem kanggo ngasilake gambar kanthi "kucing ing prau". Kajaba iku, sampeyan bisa njlentrehake karakteristik kucing lan prau, nanging ora bisa diprediksi kucing lan prau sing bakal disintesis. Inversi tekstual ngidini sampeyan nglatih sistem ing gambar kucing utawa prau lan nyintesis gambar kasebut karo kucing utawa prau tartamtu. Kanthi cara sing padha, uga bisa ngganti unsur gambar kanthi obyek tartamtu, nyetel conto gaya visual kanggo sintesis, lan nemtokake konsep (contone, saka kabeh macem-macem dokter, sampeyan bisa nggunakake pilihan sing luwih akurat lan berkualitas tinggi. ing gaya sing dikarepake).
- stabil-difusi-animasi - nggawe gambar animasi (obah) adhedhasar interpolasi antarane gambar sing digawe ing Difusi Stabil.
- stable_diffusion.openvino (kode) - port saka Difusi Stabil, sing mung nggunakake CPU kanggo petungan, sing ngidini eksperimen ing sistem tanpa GPUs kuat. Mbutuhake prosesor sing didhukung ing perpustakaan OpenVINO. Secara resmi, OpenVINO nyedhiyakake plugin kanggo prosesor Intel kanthi ekstensi AVX2, AVX-512, AVX512_BF16 lan SSE, uga kanggo papan Raspberry Pi 4 Model B, Apple Mac mini lan NVIDIA Jetson Nano. Ora resmi, sampeyan bisa nggunakake OpenVINO ing prosesor AMD Ryzen.
- sdamd minangka port kanggo GPU AMD.
- Implementasi awal sintesis video.
- stabil-diffusion-gui, stabil-diffusion-ui, Artbreeder Collage, diffuse-the-rest - antarmuka grafis kanggo ngasilake gambar nggunakake Difusi Stabil.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - antarmuka web kanggo sintesis gambar nggunakake Difusi Stabil.
- Plugin kanggo nggabungake Difusi Stabil karo GIMP, Figma, Blender lan Photoshop.
Kajaba iku, kita bisa nyathet publikasi dening Google babagan kode sistem pembelajaran mesin RawNeRF (RAW Neural Radiance Fields), sing ngidini, adhedhasar data saka sawetara gambar RAW, nambah kualitas gambar sing rame banget sing dijupuk ing peteng lan ing. cahya miskin. Saliyane ngilangi gangguan, alat sing dikembangake dening proyek kasebut bisa nambah detail, ngilangi silau, nyintesis HDR lan ngganti cahya sakabèhé ing foto, uga nggawe posisi obyek telung dimensi kanthi nggunakake sawetara foto saka sudut sing beda-beda, ngalih sudut pandang, ngapusi fokus lan ngasilake gambar obah.
Source: opennet.ru