Kompania Stability AI publikoi edicionin e dytë të sistemit të mësimit të makinerive Stable Diffusion, i cili është në gjendje të sintetizojë dhe modifikojë imazhe mbi bazën e një modeli të propozuar ose përshkrimit të tekstit në gjuhën natyrore. Kodi i mjeteve për trajnim të rrjetit nervor dhe gjenerimin e imazheve është shkruar në gjuhën Python duke përdorur kornizën PyTorch dhe është publikuar nën licencën MIT. Modelet e trajnuara tashmë janë të hapura nën licencën e lejuar Creative ML OpenRAIL-M, që lejon përdorimin për qëllime komerciale. Përveç kësaj, është në dispozicion një gjenerues imazhesh online demonstrues.
Përmirësimet kryesore në editionin e ri të Stable Diffusion:
- ĂshtĂ« krijuar njĂ« model i ri i sintezĂ«s sĂ« imazheve nga pĂ«rshkrimi i tekstit â SD2.0-v, qĂ« mbĂ«shtet gjenerimin e imazheve me rezolucion 768Ă768. Modeli i ri Ă«shtĂ« trajnuar duke pĂ«rdorur koleksionin LAION-5B, qĂ« pĂ«rmban 5.85 miliard imazhesh me pĂ«rshkrime teksti. Modeli pĂ«rdor tĂ« njĂ«jtin set parametrash si modeli Stable Diffusion 1.5, por ndryshon me kalimin nĂ« pĂ«rdorimin e njĂ« koduesi krejtĂ«sisht tĂ« ndryshĂ«m OpenCLIP-ViT/H, duke lejuar njĂ« rritje tĂ« konsiderueshme tĂ« cilĂ«sisĂ« sĂ« imazheve rezultuese.
- ĂshtĂ« pĂ«rgatitur njĂ« version i thjeshtuar SD2.0-base, i trajnuar mbi imazhe 256Ă256 duke pĂ«rdorur modelin klasik tĂ« parashikimit tĂ« zhurmĂ«s dhe mbĂ«shtet gjenerimin e imazheve me rezolucion 512Ă512.
- ĂshtĂ« ofruar mundĂ«sia e pĂ«rdorimit tĂ« teknologjisĂ« sĂ« super-sampling (Super Resolution) pĂ«r tĂ« rritur rezolucionin e imazhit origjinal pa komprometuar cilĂ«sinĂ«, duke pĂ«rdorur algoritme tĂ« shkallĂ«zimit hapĂ«sinor dhe rinovimit tĂ« detajeve. Modeli i ofruar pĂ«r pĂ«rpunimin e imazheve (SD20-upscaler) mbĂ«shtet njĂ« rritje katĂ«rfishe, duke e bĂ«rĂ« tĂ« mundur krijimin e imazheve me rezolucion 2048Ă2048.
- ĂshtĂ« propozuar modeli SD2.0-depth2img, qĂ« konsideron thellĂ«sinĂ« dhe pozicionin hapĂ«sinor tĂ« objekteve. PĂ«r vlerĂ«simin monotuar tĂ« thellĂ«sisĂ« pĂ«rdoret sistemi MiDaS. Modeli lejon sintezĂ«n e imazheve tĂ« reja, duke pĂ«rdorur njĂ« imazh tjetĂ«r si model, qĂ« mund tĂ« ndryshojĂ« radikalisht nga origjinali, por ruan kompozitĂ«n dhe thellĂ«sinĂ« e pĂ«rgjithshme. PĂ«r shembull, mund tĂ« pĂ«rdoret pozita e njĂ« personi nĂ« njĂ« fotografi pĂ«r tĂ« formuar njĂ« karakter tjetĂ«r nĂ« tĂ« njĂ«jtin pozicion.
- ĂshtĂ« pĂ«rditĂ«suar modeli pĂ«r modifikimin e imazheve â SD 2.0-inpainting, qĂ« lejon, me ndihmĂ«n e sugjerimeve tekstuale, tĂ« zĂ«vendĂ«sojĂ« dhe tĂ« ndryshojĂ« pjesĂ« tĂ« imazhit.
- ĂshtĂ« kryer optimizimi i modeleve pĂ«r pĂ«rdorim nĂ« sistemet standarde me njĂ« GPU.
Burimi: opennet.ru
