Stability AI parantos nyebarkeun modél anu siap-siap pikeun sistem pembelajaran mesin Stable Diffusion, anu tiasa nyintésis sareng ngarobih gambar dumasar kana déskripsi téks dina basa alami. Model dilisensikeun ku lisénsi Creative ML OpenRAIL-M permisif pikeun panggunaan komérsial. Pikeun ngalatih sistem, kluster 4000 NVIDIA A100 Ezra-1 GPU sareng koleksi LAION-5B, kalebet 5.85 milyar gambar sareng déskripsi téks, dianggo. Saméméhna, kodeu pikeun alat pikeun ngalatih jaringan saraf sareng ngahasilkeun gambar dibuka-sumber dina lisénsi MIT.
Kasadiaan model siap-dijieun jeung syarat sistem cukup modest nu ngidinan hiji ngamimitian percobaan dina PC jeung GPUs baku geus ngarah ka mecenghulna sababaraha proyék patali:
- tékstual-inversion (kode) - hiji tambihan-on nu ngidinan Anjeun pikeun nyintésis gambar jeung karakter dibikeun, objék atawa gaya. Dina Difusi Stable aslina, objék dina gambar disintésis acak sarta teu bisa dikawasa. Add-on anu diusulkeun ngamungkinkeun anjeun pikeun nambihan objék visual anjeun nyalira, ngabeungkeut kana kecap konci sareng dianggo dina sintésis.
Salaku conto, dina Difusi Stabil biasa anjeun tiasa naroskeun sistem pikeun ngahasilkeun gambar sareng "ucing dina kapal". Salaku tambahan, anjeun tiasa netelakeun karakteristik ucing sareng parahu, tapi teu kaduga mana ucing sareng kapal anu bakal disintésis. Inversion tékstual ngamungkinkeun anjeun ngalatih sistem dina gambar ucing atanapi kapal anjeun sareng nyintésis gambar sareng ucing atanapi kapal khusus. Dina cara anu sami, éta ogé tiasa ngagentos elemen gambar sareng objék anu tangtu, nyetél conto gaya visual pikeun sintésis, sareng netepkeun konsép (contona, tina sagala rupa dokter, anjeun tiasa nganggo pilihan anu langkung akurat sareng kualitas luhur. dina gaya anu dipikahoyong).
- stabil-difusi-animasi - kreasi gambar animasi (pindah) dumasar kana interpolasi antara gambar dihasilkeun dina Stabil Difusi.
- stable_diffusion.openvino (kode) - port of Stabil Difusi, nu ngagunakeun ukur CPU pikeun itungan, nu ngidinan experimentation on sistem tanpa GPUs kuat. Merlukeun prosésor dirojong di perpustakaan OpenVINO. Sacara resmi, OpenVINO nyayogikeun plugins pikeun prosesor Intel nganggo ekstensi AVX2, AVX-512, AVX512_BF16 sareng SSE, ogé pikeun Raspberry Pi 4 Model B, Apple Mac mini sareng papan NVIDIA Jetson Nano. Sacara teu resmi, OpenVINO tiasa dianggo dina prosesor AMD Ryzen.
- sdamd mangrupakeun port pikeun AMD GPUs.
- Palaksanaan awal sintésis video.
- stabil-difusi-gui, stabil-difusi-ui, Artbreeder Collage, diffuse-nu-sésana - interfaces grafis pikeun ngahasilkeun gambar maké Difusi Stabil.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - panganteur wéb pikeun sintésis gambar nganggo Stable Diffusion.
- Plugins pikeun ngahijikeun Difusi Stabil sareng GIMP, Figma, Blénder sareng Photoshop.
Salaku tambahan, urang tiasa nyatet publikasi ku Google ngeunaan kode sistem pembelajaran mesin RawNeRF (RAW Neural Radiance Fields), anu ngamungkinkeun, dumasar kana data tina sababaraha gambar RAW, ningkatkeun kualitas gambar anu ribut pisan anu dicandak dina poék sareng dina. cahaya goréng. Salian ngaleungitkeun bising, alat-alat anu dikembangkeun ku proyék ngamungkinkeun pikeun ningkatkeun detil, ngaleungitkeun sorotan, nyintésis HDR sareng ngarobih cahaya sadayana dina poto, ogé nyiptakeun posisi tilu diménsi objék nganggo sababaraha poto tina sudut anu béda, mindahkeun sudut pandang, ngamanipulasi fokus sarta ngahasilkeun gambar gerak.
sumber: opennet.ru