Stability AI нь зургаас богино хэмжээний видео үүсгэх боломжтой Stable Video Diffusion нэртэй машин сургалтын загварыг нийтлэв. Энэхүү загвар нь өмнө нь статик дүрсний синтезээр хязгаарлагдаж байсан Тогтвортой тархалт төслийн чадавхийг өргөжүүлдэг. Мэдрэлийн сүлжээний сургалт, зураг үүсгэх хэрэгслийн кодыг PyTorch хүрээ ашиглан Python хэл дээр бичиж, MIT лицензийн дагуу нийтэлсэн. Аль хэдийн бэлтгэгдсэн загварууд нь Creative ML OpenRAIL-M лицензийн дагуу нээгдэж, арилжааны зориулалтаар ашиглах боломжтой.
Татаж авах боломжтой хоёр загварын сонголт байна: Өгөгдсөн статик зураг дээр суурилсан 14x576 нягтралтай 1024 фрейм үүсгэх SVD (Тогтвортой видео тархалт) ба 25 хүрээ үүсгэх SVD-XT. Хөдөлгөөнгүйгээр эсвэл камерын эргэлт маш удаан, 4 секундээс илүүгүй хугацаанд видео үүсгэх боломжтой. Байгалийн хэл дээрх текстийн тайлбар дээр суурилсан шууд загварын хяналт хараахан дэмжигдээгүй байгаа ч та эхлээд хуучин Stable Diffusion 2.1 загварыг ашиглан эх зургийг бэлтгэж, дараа нь SVD загварыг ашиглан видео болгон хөрвүүлэх боломжтой.
Видеоны чанар нь хамгийн тохиромжтой фотореализм, нүүр царай, хүмүүсийн зөв дүрслэлийг баталгаажуулаагүй байна. Гүйцэтгэлийн хувьд санал болгож буй нээлттэй загвар нь Runway болон Pika Labs-ийн өмчийн аналогуудаас түрүүлж байна. Загвар нь янз бүрийн асуудлыг шийдвэрлэхэд хялбархан зохицож болно, жишээлбэл, гурван хэмжээст дүрсийг бий болгоход ашиглаж болно.
Нэмж дурдахад, сургалтын явцад объектын гэрэл зураг, видео бичлэгийг нэгэн зэрэг ашиглахад үндэслэсэн объектын нэгдмэл дүрслэлийг бий болгох боломжийг олгодог Video-LLaVA машин сургалтын хэрэгсэл хэвлэгдсэнийг тэмдэглэж болно. Энэ системийг жишээ нь зураг, видеон дээр ижил объект байгаа эсэхийг танихад ашиглаж болно. Код нь Python дээр бичигдсэн бөгөөд Apache 2.0 лицензийн дагуу түгээгддэг.
Эх сурвалж: opennet.ru
