Представена е системата за синтез на изображения Stable Diffusion 2.0

Компанията Stability AI публикува втората редакция на системата за машинно обучение Stable Diffusion, която може да синтезира и изменя изображения на базата на предложен шаблон или текстово описание на естествен език. Кодът на инструментите за обучение на невронната мрежа и генериране на изображения е написан на езика Python с използването на фреймворка PyTorch и е публикуван под лицензия MIT. Вече обучените модели са отворени под разрешителната лицензия Creative ML OpenRAIL-M, която допуска използване за търговски цели. Освен това е наличен демонстрационен онлайн генератор на изображения.

Ключови подобрения в новата редакция на Stable Diffusion:

• Създадена е нова модел за синтезиране на изображения от текстово описание — SD2.0-v, който поддържа генериране на изображения с резолюция 768×768. Новият модел е обучен с използването на колекцията LAION-5B, включваща 5.85 милиарда изображения с текстови описания. Моделът използва същия набор от параметри, както и моделът Stable Diffusion 1.5, но се различава с преминаването към използването на принципно различен кодер OpenCLIP-ViT/H, което е позволило значително да се повиши качеството на получените изображения.
• Подготвен е опростен вариант SD2.0-base, обучен на изображения 256×256 с използването на класически модел за предсказване на шум и поддържащ генерирането на изображения с резолюция 512×512.
• Предоставена е възможност за използване на технологията суперсемплинг (Super Resolution) за увеличаване на резолюцията на оригиналното изображение без намаляване на качеството, използвайки алгоритми за пространствено мащабиране и реконструкция на детайли. Предоставеният модел за обработка на изображения (SD20-upscaler) поддържа четирикратно увеличение на мащаба, което позволява да се генерират изображения с резолюция 2048×2048.
• Предложен е модел SD2.0-depth2img, който отчита дълбочината и пространственото разположение на обектите. За монокулярна оценка на дълбочината се използва системата MiDaS. Моделът позволява синтезиране на нови изображения, използвайки друго изображение като шаблон, които могат радикално да се различават от оригинала, но да запазват общата композиция и дълбочина. Например, може да се използва позата на човек от снимка за оформяне на друг персонаж в същата поза.
• Актуализиран е моделът за модификация на изображения — SD 2.0-inpainting, който позволява чрез текстови подсказки да заменяте и променяте части от изображението.
• Извършена е оптимизация на моделите за използване на обикновени системи с един GPU.

Източник: opennet.ru