Представена е системата за синтез на видео Stable Video Diffusion

Компания Stability AI публикува модела за машинно обучение Stable Video Diffusion, който позволява генерирането на къси видеа на базата на изображения. Моделът разширява възможностите на проекта Stable Diffusion, който преди беше ограничен до синтезиране на статични изображения. Кодът на инструментите за обучение на невронната мрежа и генериране на изображения е написан на Python, използвайки фреймуърка PyTorch и е публикуван под лицензия MIT. Вече обучените модели са отворени под позволителната лицензия Creative ML OpenRAIL-M, допускаща използване за търговски цели.

Има два варианта на модела, достъпни за сваляне: SVD (Stable Video Diffusion) за генериране на 14 кадъра с резолюция 576×1024 на базата на зададено статично изображение и SVD-XT за генериране на 25 кадъра. Възможно е създаването на видео без движение или с много бавен завъртания на камерата, с продължителност не повече от 4 секунди. Пряко управление на модела на базата на текстово описание на естествен език все още не се поддържа, но може първоначално да се подготви изходното изображение с помощта на старата версия на Stable Diffusion 2.1, а след това да се преобразува в видео, използвайки модела SVD.

Качеството на видеото все още не осигурява идеален фотореализъм и гарантирано правилно рисуване на лица и хора. По производителност предложената отворена модел надминава притежаваните аналози на компаниите Runway и Pika Labs. Моделът може лесно да се адаптира за решаване на различни задачи, например, може да се използва за формиране на обемни фигури.

Допълнително може да се отбележи публикуването на инструмента за машинно обучение Video-LLaVA, позволяващ създаването на единно визуално представяне на обект, изградена на базата на използването на фотография и видеозаписи на обектите по време на обучение. Системата може да се използва, например, за разпознаване на наличието на едни и същи обекти на изображения и видео. Кодът е написан на Python и се разпространява под лицензия Apache 2.0.

Източник: opennet.ru