Kompania Stability AI publikoi modelin e mësimit të makinerive Stable Video Diffusion, që mundëson gjenerimin e videove të shkurtra në bazë të imazheve. Modeli zgjeron mundësitë e projektit Stable Diffusion, i cili më parë ishte i kufizuar në sintezën e imazheve statike. Kodi i mjeteve për trajnimin e rrjetit nervor dhe gjenerimin e imazheve është shkruar në gjuhën Python duke përdorur kuadrot PyTorch dhe është publikuar nën licencën MIT. Modelet e trajnuara tashmë janë të hapura nën licencën lehtësuese Creative ML OpenRAIL-M, që lejon përdorimin për qëllime komerciale.
PĂ«r ngarkim janĂ« tĂ« disponueshme dy variante tĂ« modelit: SVD (Stable Video Diffusion) pĂ«r gjenerimin e 14 kadrove me rezolucion 576Ă1024 nĂ« bazĂ« tĂ« njĂ« imazhi statik tĂ« caktuar dhe SVD-XT pĂ«r gjenerimin e 25 kadrove. ĂshtĂ« e mundur tĂ« gjenerohen video pa lĂ«vizje ose me rrotullim shumĂ« tĂ« ngadalshĂ«m tĂ« kamerĂ«s, me njĂ« gjatĂ«si prej maksimumi 4 sekondash. Drejtimi i drejtpĂ«rdrejtĂ« i modelit nĂ« bazĂ« tĂ« pĂ«rshkrimit tekstual nĂ« gjuhĂ«n natyrore akoma nuk mbĂ«shtetet, por mund tĂ« pĂ«rgatitet fillimisht imazhi burimor duke pĂ«rdorur modelin e vjetĂ«r Stable Diffusion 2.1, dhe mĂ« pas ta konvertojmĂ« nĂ« video duke pĂ«rdorur modelin SVD.
Cilësia e videos për momentin nuk ofron realizëm të përsosur fotografik dhe një përshkrim të garantuar të fytyrave dhe njerëzve. Në performancë, modeli i hapur i propozuar tejkalon alternativat pronësore nga kompania Runway dhe Pika Labs. Modeli mund të adaptohet lehtësisht për të zgjidhur detyra të ndryshme, për shembull, mund të përdoret për formimin e figurave voluminoze.
Së aty, mund të përmendim publikimin e mjetëve të mësimit të makinerive Video-LLaVA, që mundësojnë krijimin e një përfaqësimi vizual unik të objektit, formuar në bazë të përdorimit të fotografive dhe videove të objektit gjatë trajnimit. Sistemi mund të përdoret, për shembull, për të njohur praninë e të njëjtëve objekte në imazhe dhe video. Kodi është shkruar në Python dhe shpërndahet nën licencën Apache 2.0.
Burimi: opennet.ru
