Stability AI сүрөттөрдөн кыска видеолорду түзө турган Stable Video Diffusion деп аталган машинаны үйрөнүү моделин жарыялады. Модель мурда статикалык сүрөттөрдүн синтези менен чектелген Stabil Diffusion долбоорунун мүмкүнчүлүктөрүн кеңейтет. Нейрондук тармакты окутуу жана сүрөт түзүү куралдарынын коду PyTorch алкагын колдонуу менен Python тилинде жазылган жана MIT лицензиясынын астында жарыяланган. Буга чейин үйрөтүлгөн моделдер коммерциялык максатта колдонууга уруксат берүүчү Creative ML OpenRAIL-M лицензиясы астында ачык.
Жүктөп алуу үчүн эки моделдин варианты бар: берилген статикалык сүрөттүн негизинде 14x576 токтому менен 1024 кадрды түзүү үчүн SVD (Stable Video Diffusion) жана 25 кадрды түзүү үчүн SVD-XT. Видеону кыймылсыз же камеранын өтө жай айлануусу менен 4 секунддан ашпаган убакытка созууга болот. Табигый тилдеги тексттин сыпаттамасына негизделген түз моделди башкаруу азырынча колдоого алынбайт, бирок сиз адегенде эски Stable Diffusion 2.1 моделин колдонуп, түпнуска сүрөттү даярдап, андан кийин SVD моделин колдонуп видеого айландырсаңыз болот.
Видеонун сапаты азырынча идеалдуу фотореализмди жана жүздөрдүн жана адамдарды туура көрсөтүүнү камсыздай албайт. Өндүрүмдүүлүк жагынан сунушталган ачык модель Runway жана Pika Labs компаниясынын менчик аналогдорунан алдыда турат. Модель ар кандай маселелерди чечүү үчүн оңой ылайыкташтырылышы мүмкүн, мисалы, үч өлчөмдүү фигураларды түзүү үчүн колдонулушу мүмкүн.
Кошумчалай кетсек, Video-LLaVA машиналык үйрөнүү инструменттеринин басылышын белгилей кетсек болот, ал окуу учурунда объекттердин бир эле убакта фотосүрөттөрдү жана видео жазууларды колдонуунун негизинде түзүлгөн объекттин бирдиктүү визуалдык көрүнүшүн түзүүгө мүмкүндүк берет. Системаны, мисалы, сүрөттөрдө жана видеолордо бир эле объектилердин бар экендигин таануу үчүн колдонсо болот. Код Python тилинде жазылган жана Apache 2.0 лицензиясы боюнча таратылган.
Source: opennet.ru
