A Stability AI közzétette a Stable Diffusion gépi tanulási rendszer második kiadását, amely képes képek szintetizálására és módosítására a javasolt minta vagy a természetes nyelvű szöveges leírás alapján. A neurális hálózat oktatásához és a képgeneráláshoz szükséges eszközök kódja Python nyelven készült, a PyTorch keretrendszer használatával, és MIT licenc alatt lett közzétéve. A már betanított modellek permisszív Creative ML OpenRAIL-M licenc alatt állnak, lehetővé téve a kereskedelmi felhasználást. Ezen kívül egy online képgeneráló bemutató is elérhető.
A Stable Diffusion új kiadásának kulcsfontosságú fejlesztései:
- Készült egy új képszintező modell szöveges leírás alapján — SD2.0-v, amely támogatja a 768×768 felbontású képek generálását. Az új modellt az LAION-5B gyűjtemény felhasználásával képezték, amely 5,85 milliárd képet tartalmaz szöveges leírásokkal. A modell ugyanazt a paraméterkészletet használja, mint a Stable Diffusion 1.5 modell, de a jelentős minőségjavítást lehetővé tévő, alapvetően eltérő OpenCLIP-ViT/H kódolóra való áttéréssel is rendelkezik.
- Elkészült egy egyszerűsített SD2.0-base változat, amelyet 256×256 képek alapján képeztek ki klasszikus zajpredikciós modellel, és amely támogatja az 512×512 felbontású képek generálását.
- Lehetővé vált a szuperfelbontás (Super Resolution) technológia használata az eredeti kép felbontásának növelésére anélkül, hogy a minőség csökkenne, térbeli skálázási és részrekonstrukciós algoritmusok alkalmazásával. A biztosított képfeldolgozó modell (SD20-upscaler) négyes növelést tesz lehetővé, ami lehetővé teszi a 2048×2048 felbontású képek létrehozását.
- Felajánlották az SD2.0-depth2img modellt, amely figyelembe veszi az objektumok mélységét és térbeli elhelyezkedését. Monokuláris mélységértékeléshez a MiDaS rendszert használják. A modell lehetővé teszi új képek szintetizálását, egy másik képet mintaként használva, amelyek radikálisan eltérhetnek az eredetitől, de megőrzik az általános kompozíciót és mélységet. Például az emberi póz egy fényképen felhasználható egy másik karakter létrehozására ugyanabban a pózban.
- Frissített modell képfeldolgozáshoz — SD 2.0-inpainting, amely lehetővé teszi, hogy szöveges utasítások segítségével helyettesítsük és módosítsuk a kép egyes részeit.
- A modellek optimalizálva lettek hagyományos, egy GPU-val rendelkező rendszerek használatához.
Forrás: opennet.ru
