Stability AI je objavio drugo izdanje sistema za mašinsko učenje Stable Diffusion, koji je sposoban da sintetiše i modifikuje slike na osnovu predloženog šablona ili opisa teksta na prirodnom jeziku. Kod alata za obuku neuronskih mreža i generisanje slike je napisan u Pythonu koristeći PyTorch framework i objavljen pod MIT licencom. Već obučeni modeli su otvoreni pod Creative ML OpenRAIL-M dopuštenom licencom, koja omogućava komercijalnu upotrebu. Dodatno, dostupan je demo generator slika na mreži.
Ključna poboljšanja u novom izdanju Stable Diffusion:
- Kreiran je novi model za sintezu slika zasnovan na tekstualnom opisu — SD2.0-v — koji podržava generisanje slika rezolucije 768×768. Novi model je obučen koristeći kolekciju LAION-5B od 5.85 milijardi slika sa tekstualnim opisima. Model koristi isti skup parametara kao i model Stable Diffusion 1.5, ali se razlikuje po prelasku na korištenje fundamentalno drugačijeg OpenCLIP-ViT/H enkodera, što je omogućilo značajno poboljšanje kvaliteta rezultirajućih slika.
- Pripremljena je pojednostavljena verzija sa SD2.0 bazom, obučena na 256×256 slikama koristeći klasični model predviđanja šuma i podržava generisanje slike u rezoluciji od 512×512.
- Omogućena je mogućnost korištenja tehnologije supersamplinga (Super Resolution) za povećanje rezolucije originalne slike bez smanjenja kvaliteta, korištenjem algoritama za prostorno skaliranje i rekonstrukciju detalja. Obezbeđeni model za obradu slike (SD20-upscaler) podržava 2048x povećanje veličine, što može da generiše slike rezolucije 2048×XNUMX.
- Predložen je model SD2.0-depth2img koji uzima u obzir dubinu i prostorni raspored objekata. MiDaS sistem se koristi za monokularnu procjenu dubine. Model vam omogućava da sintetizirate nove slike koristeći drugu sliku kao predložak, koja se može radikalno razlikovati od originala, ali zadržava ukupnu kompoziciju i dubinu. Na primjer, možete koristiti pozu osobe na fotografiji da formirate drugi lik u istoj pozi.
- Ažuriran je model za modifikaciju slika - SD 2.0-inpainting, koji vam omogućava da zamenite i promenite delove slike koristeći tekstualne upite.
- Modeli su optimizovani za upotrebu na konvencionalnim sistemima sa jednim GPU-om.
izvor: opennet.ru