Stability AI je objavio model strojnog učenja pod nazivom Stable Video Diffusion koji može generirati kratke video zapise iz slika. Model proširuje mogućnosti projekta Stable Diffusion, koji je ranije bio ograničen na sintezu statičnih slika. Kod za obuku neuronske mreže i alate za generisanje slika napisan je u Pythonu koristeći PyTorch framework i objavljen pod MIT licencom. Već obučeni modeli su otvoreni pod dopuštenom Creative ML OpenRAIL-M licencom, što omogućava komercijalnu upotrebu.
Dostupne su dvije opcije modela za preuzimanje: SVD (Stable Video Diffusion) za generiranje 14 kadrova sa rezolucijom od 576x1024 na osnovu date statične slike i SVD-XT za generiranje 25 kadrova. Moguće je generirati video bez pokreta ili sa vrlo sporom rotacijom kamere, u trajanju do 4 sekunde. Direktna kontrola modela zasnovana na tekstualnom opisu na prirodnom jeziku još nije podržana, ali prvo možete pripremiti originalnu sliku koristeći stari model Stable Diffusion 2.1, a zatim je pretvoriti u video koristeći SVD model.
Kvalitet videa još ne pruža idealan fotorealizam i zagarantovano korektno prikazivanje lica i ljudi. U pogledu performansi, predloženi otvoreni model je ispred vlasničkih analoga kompanija Runway i Pika Labs. Model se lako može prilagoditi za rješavanje različitih problema, na primjer, može se koristiti za formiranje trodimenzionalnih figura.
Osim toga, možemo primijetiti objavljivanje Video-LLaVA alata za strojno učenje, koji vam omogućava da kreirate jedinstvenu vizualnu reprezentaciju objekta, formiranu na osnovu istovremenog korištenja fotografija i video zapisa objekata tokom treninga. Sistem se može koristiti, na primjer, za prepoznavanje prisutnosti istih objekata na slikama i video zapisima. Kod je napisan u Python-u i distribuiran pod licencom Apache 2.0.
izvor: opennet.ru
