Воведен е стабилна дифузија 2.0 систем за синтеза на слики

Stability AI го објави второто издание на системот за машинско учење Stable Diffusion, кој е способен да синтетизира и модифицира слики врз основа на предложен шаблон или опис на текст на природен јазик. Кодот на алатките за обука на невронски мрежи и генерирање слики е напишан во Python со помош на рамката PyTorch и објавен под лиценцата MIT. Веќе обучените модели се отворени под дозволата Creative ML OpenRAIL-M, која дозволува комерцијална употреба. Дополнително, достапен е и демо онлајн генератор на слики.

Клучни подобрувања во новото издание на Стабилна дифузија:

• Создаден е нов модел за синтеза на слики базиран на опис на текст - SD2.0-v, кој поддржува генерирање слики со резолуција од 768×768. Новиот модел беше обучен со користење на колекцијата LAION-5B од 5.85 милијарди слики со текстуални описи. Моделот го користи истиот сет на параметри како и моделот Stable Diffusion 1.5, но се разликува по преминот кон користење на фундаментално различен енкодер OpenCLIP-ViT/H, што овозможи значително да се подобри квалитетот на добиените слики.
• Подготвена е поедноставена верзија на базата SD2.0, обучена на слики од 256×256 со користење на класичниот модел за предвидување шум и поддржува генерирање слики со резолуција од 512×512.
• Обезбедена е можност за користење на технологијата на суперсемплирање (Super Resolution) за зголемување на резолуцијата на оригиналната слика без намалување на квалитетот, со користење на алгоритми за просторно скалирање и реконструкција на детали. Обезбедениот модел за обработка на слика (SD20-upscaler) поддржува 2048x зголемување на резолуцијата, што може да генерира слики со резолуција од 2048×XNUMX.
• Предложен е моделот SD2.0-depth2img, кој ја зема предвид длабочината и просторното уредување на објектите. Системот MiDaS се користи за монокуларна проценка на длабочина. Моделот ви овозможува да синтетизирате нови слики користејќи друга слика како шаблон, која може радикално да се разликува од оригиналот, но да го задржи целокупниот состав и длабочина. На пример, можете да ја користите позата на личност на фотографија за да формирате друг лик во истата поза.
• Моделот за менување слики е ажуриран - SD 2.0-inpainting, кој ви овозможува да замените и менувате делови од сликата користејќи текстуални предупредувања.
• Моделите се оптимизирани за употреба на конвенционални системи со еден графички процесор.

Извор: opennet.ru