Stability AI hà publicatu mudelli pronti per u sistema di apprendimentu automaticu Stable Diffusion, capace di sintetizà è mudificà l'imaghjini basatu nantu à una descrizzione di testu in lingua naturale. I mudelli sò licenziati sottu una licenza Creative ML OpenRAIL-M permissiva per l'usu cummerciale. Per furmà u sistema, sò stati utilizati un cluster di 4000 GPU NVIDIA A100 Ezra-1 è una cullizzioni LAION-5B, cumprese 5.85 billion images cù descrizzioni di testu. Prima, u codice per l'arnesi per a furmazione di una rete neurale è a generazione di l'imaghjini era open source sottu a licenza MIT.
A dispunibilità di un mudellu prontu è i requisiti di sistema abbastanza modesti chì permettenu di inizià esperimenti in un PC cù GPU standard anu purtatu à l'emergenza di una quantità di prughjetti cunnessi:
- textual-inversion (codice) - un add-on chì vi permette di sintetizà l'imaghjini cù un caratteru, ughjettu o stile. In l'uriginale Stable Diffusion, l'uggetti in l'imaghjini sintetizzati sò aleatoriu è incontrollable. L'add-on pruposta vi permette di aghjunghje i vostri propri ogetti visuali, ligà à e parolle chjave è l'utilizanu in sintesi.
Per esempiu, in Stable Diffusion regulare pudete dumandà à u sistema di generà una maghjina cù un "cat in a boat". Inoltre, pudete chjarificà e caratteristiche di u ghjattu è a barca, ma hè imprevisible chì cat è barca seranu sintetizzati. Inversione testuale permette di furmà u sistema nantu à una maghjina di u vostru gattu o barca è sintetizà l'imaghjini cù un gattu o barca specificu. In una manera simile, pò ancu rimpiazzà elementi di l'imaghjini cù certi oggetti, stabilisce un esempiu di un stilu visuale per sintesi, è specificà cuncetti (per esempiu, da tutta a varietà di medichi, pudete aduprà una selezzione più precisa è d'alta qualità. in u stilu desideratu).
- stable-diffusion-animation - creazione d'imaghjini animati (in muvimentu) basatu annantu à l'interpolazione trà e stampe generate in Stable Diffusion.
- stable_diffusion.openvino (codice) - un portu di Stable Diffusion, chì usa solu u CPU per i calculi, chì permette l'esperimentazione in sistemi senza GPU putenti. Esige un processore supportatu in a biblioteca OpenVINO. Ufficialmente, OpenVINO furnisce plugins per i processori Intel cù AVX2, AVX-512, AVX512_BF16 è estensioni SSE, è ancu per Raspberry Pi 4 Model B, Apple Mac mini è NVIDIA Jetson Nano boards. Unofficialmente, hè pussibule aduprà OpenVINO nantu à i prucessori AMD Ryzen.
- sdamd hè un portu per GPU AMD.
- Una implementazione iniziale di sintesi video.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - interfacce grafiche per generà imagine cù Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - interfacce web per a sintesi di l'imaghjini cù Stable Diffusion.
- Plugins per l'integrazione di Stable Diffusion cù GIMP, Figma, Blender è Photoshop.
Inoltre, pudemu nutà a publicazione da Google di u codice di u sistema di apprendimentu di machine RawNeRF (RAW Neural Radiance Fields), chì permette, basatu nantu à dati da parechje imagine RAW, per migliurà a qualità di l'imaghjini assai rumorosi pigliate in u bughju è in u bughju. illuminazione povera. In più di eliminà u rumore, l'arnesi sviluppati da u prugettu permettenu di aumentà i dettagli, eliminà l'abbagliamento, sintetizà HDR è cambià l'illuminazione generale in e fotografie, è ancu di ricreà a pusizione tridimensionale di l'uggetti utilizendu parechje fotografie da diverse anguli, cambia u puntu di vista, manipule u focu è generà immagini in muvimentu.
Source: opennet.ru
