Stability AI сунуш кылынган шаблондун же табигый тилдин текстинин сыпаттамасынын негизинде сүрөттөрдү синтездөө жана өзгөртүүгө жөндөмдүү Stable Diffusion машинаны үйрөнүү тутумунун экинчи басылышын чыгарды. Нейрондук тармакты окутуу жана сүрөт түзүү куралдарынын коду PyTorch алкагын колдонуу менен Python тилинде жазылган жана MIT лицензиясынын астында жарыяланган. Буга чейин үйрөтүлгөн моделдер коммерциялык максатта колдонууга уруксат берүүчү Creative ML OpenRAIL-M лицензиясы астында ачык. Мындан тышкары, демо онлайн сүрөт генератор жеткиликтүү.
Туруктуу диффузиянын жаңы чыгарылышындагы негизги жакшыртуулар:
- Тексттин сыпаттамасынын негизинде сүрөт синтезинин жаңы модели түзүлдү - SD2.0-v, ал 768x768 резолюциядагы сүрөттөрдү генерациялоону колдойт. Жаңы модель LAION-5B коллекциясын колдонуу менен үйрөтүлгөн, ал тексттик сүрөттөмөсү менен 5.85 миллиард сүрөттү камтыйт. Модель Stable Diffusion 1.5 моделиндегидей эле параметрлерди колдонот, бирок түп-тамырынан бери башкача OpenCLIP-ViT/H коддорун колдонууга өтүү менен айырмаланат, бул пайда болгон сүрөттөрдүн сапатын бир топ жакшыртты.
- SD2.0-базасынын жөнөкөйлөштүрүлгөн версиясы даярдалган, 256×256 сүрөттөрдө ызы-чууну алдын ала айтуунун классикалык моделин колдонуу менен үйрөтүлгөн жана 512×512 резолюциядагы сүрөттөрдүн жаралышын колдогон.
- Мейкиндик масштабын жана деталдарды реконструкциялоо алгоритмдерин колдонуп, сапатты төмөндөтпөстөн, баштапкы сүрөттүн чечкиндүүлүгүн жогорулатуу үчүн supersampling технологиясын (Super Resolution) колдонууга болот. Берилген сүрөттөрдү иштетүү модели (SD20-upscaler) төрт эсе чоңойтууну колдойт, бул 2048x2048 токтому менен сүрөттөрдү жаратууга мүмкүндүк берет.
- Объекттердин тереңдигин жана мейкиндикте жайгашуусун эске алуу менен SD2.0-depth2img модели сунушталат. Монокулярдык тереңдикти баалоо үчүн MiDaS системасы колдонулат. Модель башка сүрөттү шаблон катары колдонуу менен жаңы сүрөттөрдү синтездөөгө мүмкүндүк берет, ал түпнускадан кескин түрдө айырмаланышы мүмкүн, бирок жалпы курамын жана тереңдигин сактайт. Мисалы, сиз фотосүрөттөгү адамдын позасын колдонуп, ошол эле позада башка каарманды түзө аласыз.
- Сүрөттөрдү өзгөртүү модели жаңыртылды - SD 2.0-inpainting, ал тексттик сунуштарды колдонуу менен сүрөттүн бөлүктөрүн алмаштырууга жана өзгөртүүгө мүмкүндүк берет.
- Моделдер бир GPU менен кадимки системаларда колдонуу үчүн оптималдаштырылган.
Source: opennet.ru