Stability AI har publisert en maskinlæringsmodell, Stable Video Diffusion, som kan generere korte videoer fra bilder. Modellen utvider mulighetene til Stable Diffusion-prosjektet, som tidligere var begrenset til å syntetisere statiske bilder. Koden for verktøyene for trening og bildegenerering av nevrale nettverk er skrevet i Python ved hjelp av PyTorch-rammeverket og publisert under MIT-lisensen. De trente modellene er åpen kildekode under Creative ML OpenRAIL-M-lisensen, som tillater kommersiell bruk.
To modellvarianter er tilgjengelige for nedlasting: SVD (Stable Video Diffusion), som genererer 14 bilder med en oppløsning på 576 × 1024 basert på et gitt statisk bilde, og SVD-XT, som genererer 25 bilder. Videogenerering er mulig, enten ubevegelig eller med svært langsom kamerarotasjon, som ikke varer mer enn 4 sekunder. Direkte kontroll av modellen basert på tekst i naturlig språk støttes ikke ennå, men det er mulig å først forberede kildebildet ved hjelp av den eldre Stable Diffusion 2.1-modellen og deretter konvertere den til video ved hjelp av SVD-modellen.
Videokvaliteten gir ennå ikke perfekt fotorealisme eller garantert nøyaktig gjengivelse av ansikter og personer. Når det gjelder ytelse, overgår den foreslåtte modellen med åpen kildekode proprietære analoger fra Runway og Pika Labs. Modellen kan enkelt tilpasses ulike oppgaver, for eksempel å lage tredimensjonale figurer.
Det er også verdt å merke seg publiseringen av maskinlæringsverktøysettet Video-LLaVA, som muliggjør opprettelse av en enhetlig visuell representasjon av et objekt, dannet ved å bruke både fotografier og videoopptak av objektet under trening. Systemet kan for eksempel brukes til å gjenkjenne tilstedeværelsen av de samme objektene i bilder og videoer. Koden er skrevet i Python og distribuert under Apache 2.0-lisensen.
Kilde: opennet.ru
