Podjetje Stability AI je objavilo drugo različico sistema strojnega učenja Stable Diffusion, ki je sposobno sintetizirati in spreminjati slike na podlagi predlagane predloge ali besedilnega opisa v naravnem jeziku. Koda orodij za učenje nevralne mreže in generiranje slik je napisana v jeziku Python s pomočjo ogrodja PyTorch in objavljena pod MIT licenco. Že izučene modele so odprli pod permisivno licenco Creative ML OpenRAIL-M, ki omogoča uporabo za komercialne namene. Dodatno je na voljo tudi spletni generator slik za demonstracijo.
Ključne izboljšave v novi različici Stable Diffusion:
- Ustvarjen je nov model za sintezo slik po besedilnem opisu — SD2.0-v, ki podpira generacijo slik z ločljivostjo 768×768. Nov model je izurjen z uporabo zbirke LAION-5B, ki vključuje 5,85 milijarde slik z besedilnimi opisi. Model uporablja isti niz parametrov kot model Stable Diffusion 1.5, vendar se razlikuje po prehodu na uporabo povsem novega kodirnika OpenCLIP-ViT/H, kar je omogočilo znatno izboljšanje kakovosti končnih slik.
- Pripravljen je poenostavljen različica SD2.0-base, izurjena na slikah 256×256 z uporabo klasičnega modela napovedovanja šuma in podpira generacijo slik z ločljivostjo 512×512.
- Omogočena je uporaba tehnologije super vzorčenja (Super Resolution) za povečanje ločljivosti izvirne slike brez poslabšanja kakovosti, s pomočjo algoritmov prostorskega skaliranja in rekonstrukcije podrobnosti. Zasnovan model obdelave slik (SD20-upscaler) podpira štirikratno povečanje, kar omogoča ustvarjanje slik z ločljivostjo 2048×2048.
- Predlagan je model SD2.0-depth2img, ki upošteva globino in prostorsko razporeditev objektov. Za monokularno oceno globine se uporablja sistem MiDaS. Model omogoča sintezo novih slik, pri čemer se uporablja druga slika kot predloga, ki se lahko radikalno razlikuje od izvirnika, vendar ohranja splošno kompozicijo in globino. Na primer, lahko se uporablja drža osebe na fotografiji za oblikovanje drugega lika v isti drži.
- Posodobljen model za modifikacijo slik — SD 2.0-inpainting, ki omogoča zamenjavo in spreminjanje delov slike s pomočjo besednih namigov.
- Izvedena optimizacija modelov za uporabo na običajnih sistemih z enim GPU.
Izvor: opennet.ru
