Представена е система за синтез на изображения Stable Diffusion 2.0

Stability AI публикува второто издание на системата за машинно обучение Stable Diffusion, която е способна да синтезира и модифицира изображения въз основа на предложен модел или текстово описание на естествен език. Кодът на инструментите за обучение на невронни мрежи и генериране на изображения е написан на Python с помощта на рамката PyTorch и е публикуван под лиценза на MIT. Вече обучените модели са отворени под разрешителния лиценз Creative ML OpenRAIL-M, който позволява търговска употреба. Освен това е наличен демо генератор на онлайн изображения.

Ключови подобрения в новото издание на Stable Diffusion:

• Създаден е нов модел за синтез на изображения, базиран на текстово описание — SD2.0-v — който поддържа генериране на изображения с резолюция 768×768. Новият модел беше обучен с помощта на колекцията LAION-5B от 5.85 милиарда изображения с текстови описания. Моделът използва същия набор от параметри като модела Stable Diffusion 1.5, но се различава от прехода към използване на фундаментално различен OpenCLIP-ViT/H енкодер, което направи възможно значително подобряване на качеството на получените изображения.
• Подготвена е опростена версия на SD2.0-база, обучена на 256 × 256 изображения, използвайки класическия модел за предсказване на шума и поддържаща генериране на изображения с разделителна способност 512 × 512.
• Възможността за използване на технологията за суперсемплиране (Super Resolution) е предвидена за увеличаване на разделителната способност на оригиналното изображение без намаляване на качеството, като се използват алгоритми за пространствено мащабиране и реконструкция на детайлите. Предоставеният модел за обработка на изображения (SD20-upscaler) поддържа 2048x мащабиране, което може да генерира изображения с разделителна способност 2048×XNUMX.
• Предложен е моделът SD2.0-depth2img, който отчита дълбочината и пространственото разположение на обектите. Системата MiDaS се използва за оценка на монокулярната дълбочина. Моделът ви позволява да синтезирате нови изображения, като използвате друго изображение като шаблон, което може да бъде коренно различно от оригинала, но да запази цялостната композиция и дълбочина. Например, можете да използвате позата на човек на снимка, за да оформите друг герой в същата поза.
• Моделът за модифициране на изображения е актуализиран - SD 2.0-inpainting, който ви позволява да заменяте и променяте части от изображение с помощта на текстови подкани.
• Моделите са оптимизирани за използване на конвенционални системи с един GPU.

Източник: opennet.ru