Представената система за синтез на изображения Stable Diffusion 2.0

Компанията Stability AI публикува втората редакция на системата за машинно обучение Stable Diffusion, способна да синтезира и променя изображения на основата на предложен шаблон или текстово описание на естествен език. Кодът на инструментите за обучение на невронната мрежа и генериране на изображения е написан на Python с използване на фреймворка PyTorch и е публикуван под лицензия MIT. Вече обучените модели са достъпни под разрешителната лицензия Creative ML OpenRAIL-M, допускаща комерсиално използване. Допълнително е наличен онлайн генератор на изображения за демонстрация.

Ключови подобрения в новата редакция на Stable Diffusion:

• Създаден е нов модел за синтез на изображения по текстово описание — SD2.0-v, който поддържа генериране на изображения с разрешение 768×768. Новият модел е обучен с използване на колекцията LAION-5B, включваща 5.85 милиарда изображения с текстови описания. Моделът използва същия набор от параметри като модела Stable Diffusion 1.5, но се различава с преминаването на използването на принципно различен кодер OpenCLIP-ViT/H, който значително е повишил качеството на резултатните изображения.
• Подготвен е опростен вариант SD2.0-base, обучен на изображения 256×256 с използване на класически модели за предсказване на шумове и поддържащ генерирането на изображения с разрешение 512×512.
• Предоставена е възможност за използване на технологията суперсуперразширение (Super Resolution) за увеличаване на разрешението на оригиналното изображение без влошаване на качеството, с използване на алгоритми за пространствено мащабиране и реконструиране на детайли. Предоставената моделна обработка на изображения (SD20-upscaler) поддържа четирикратно увеличение на мащаба, което позволява генерирането на изображения с разрешение 2048×2048.
• Предложен е модел SD2.0-depth2img, който взема предвид дълбочината и пространственото разположение на обектите. За монокулярна оценка на дълбочината се използва системата MiDaS. Моделът позволява синтезиране на нови изображения, използвайки друго изображение като шаблон, които могат радикално да се различават от оригинала, но да запазват общата композиция и дълбочина. Например, позата на човек на снимка може да се използва за формиране на друг персонаж в същата поза.
• Обновената модел за модификация на изображения — SD 2.0-inpainting, позволяваща чрез текстови подсказки да заменя и изменя части от изображението.
• Проведена е оптимизация на моделите за използване на обикновени системи с един GPU.

Източник: opennet.ru