Stability AI objavio je drugo izdanje sustava strojnog učenja Stable Diffusion, koji je sposoban sintetizirati i modificirati slike na temelju predloženog predloška ili opisa teksta na prirodnom jeziku. Kod alata za obuku neuronske mreže i generiranje slika napisan je u Pythonu korištenjem PyTorch okvira i objavljen pod licencom MIT-a. Već uvježbani modeli otvoreni su pod dopuštenom licencom Creative ML OpenRAIL-M, koja dopušta komercijalnu upotrebu. Dodatno, dostupan je demo mrežni generator slika.
Ključna poboljšanja u novom izdanju Stable Diffusion:
- Kreiran je novi model za sintezu slike na temelju tekstualnog opisa — SD2.0-v — koji podržava generiranje slika rezolucije 768×768. Novi model obučen je korištenjem zbirke LAION-5B od 5.85 milijardi slika s tekstualnim opisima. Model koristi isti skup parametara kao i model Stable Diffusion 1.5, ali se razlikuje po prijelazu na korištenje bitno drugačijeg OpenCLIP-ViT/H kodera, što je omogućilo značajno poboljšanje kvalitete dobivenih slika.
- Pripremljena je pojednostavljena verzija SD2.0-baze, trenirana na slikama veličine 256 × 256 koristeći klasični model predviđanja šuma i podržavajući generiranje slike rezolucije 512 × 512.
- Predviđena je mogućnost korištenja tehnologije supersamplinga (Super Resolution) za povećanje rezolucije izvorne slike bez smanjenja kvalitete, korištenjem algoritama za prostorno skaliranje i rekonstrukciju detalja. Isporučeni model obrade slike (SD20-upscaler) podržava 2048x povećanje veličine, što može generirati slike rezolucije 2048×XNUMX.
- Predlaže se model SD2.0-depth2img koji uzima u obzir dubinu i prostorni raspored objekata. Sustav MiDaS koristi se za procjenu monokularne dubine. Model vam omogućuje sintetiziranje novih slika koristeći drugu sliku kao predložak, koji se može radikalno razlikovati od izvornika, ali zadržati ukupnu kompoziciju i dubinu. Na primjer, možete koristiti pozu osobe na fotografiji da oblikujete drugi lik u istoj pozi.
- Ažuriran je model za modificiranje slika - SD 2.0-inpainting, koji vam omogućuje zamjenu i promjenu dijelova slike pomoću tekstualnih upita.
- Modeli su optimizirani za korištenje na konvencionalnim sustavima s jednim GPU-om.
Izvor: opennet.ru