Stability AI публикува модел за машинно обучение, наречен Stable Video Diffusion, който може да генерира кратки видеоклипове от изображения. Моделът разширява възможностите на проекта Stable Diffusion, ограничен преди това до синтез на статични изображения. Кодът за инструментите за обучение на невронни мрежи и генериране на изображения е написан на Python с помощта на рамката PyTorch и е публикуван под лиценза на MIT. Вече обучените модели са отворени под разрешителния лиценз Creative ML OpenRAIL-M, което позволява търговска употреба.
Има две опции за модел, достъпни за изтегляне: SVD (Stable Video Diffusion) за генериране на 14 кадъра с резолюция 576x1024 въз основа на дадено статично изображение и SVD-XT за генериране на 25 кадъра. Възможно е генериране на видео без движение или с много бавно въртене на камерата, с продължителност не повече от 4 секунди. Директното управление на модела въз основа на текстово описание на естествен език все още не се поддържа, но можете първо да подготвите оригиналното изображение с помощта на стария модел Stable Diffusion 2.1 и след това да го конвертирате във видео с помощта на SVD модела.
Качеството на видеото все още не осигурява идеален фотореализъм и гарантирано правилно изобразяване на лица и хора. По отношение на производителността предложеният отворен модел изпреварва патентованите аналози от Runway и Pika Labs. Моделът може лесно да се адаптира за решаване на различни проблеми, например може да се използва за оформяне на триизмерни фигури.
Освен това можем да отбележим публикуването на инструментариума за машинно обучение Video-LLaVA, който ви позволява да създадете унифицирано визуално представяне на обект, формирано въз основа на използването на едновременно снимки и видеозаписи на обекти по време на обучение. Системата може да се използва например за разпознаване на наличието на едни и същи обекти в изображения и видеоклипове. Кодът е написан на Python и се разпространява под лиценза Apache 2.0.
Източник: opennet.ru
