Stability AI zverejnila model strojového učenia, Stable Video Diffusion, ktorý dokáže generovať krátke videá z obrázkov. Model rozširuje možnosti projektu Stable Diffusion, ktorý bol predtým obmedzený na syntézu statických obrázkov. Kód pre nástroje na trénovanie neurónových sietí a generovanie obrázkov je napísaný v jazyku Python pomocou rámca PyTorch a publikovaný pod licenciou MIT. Už natrénované modely sú otvorené pod povolenou licenciou Creative ML OpenRAIL-M, ktorá umožňuje komerčné využitie.
Na stiahnutie sú k dispozícii dve možnosti modelu: SVD (Stable Video Diffusion) pre generovanie 14 snímok s rozlíšením 576x1024 na základe daného statického obrazu a SVD-XT pre generovanie 25 snímok. Je možné generovať video bez pohybu alebo s veľmi pomalým otáčaním kamery, ktoré netrvá dlhšie ako 4 sekundy. Priame ovládanie modelu založené na textovom popise v prirodzenom jazyku zatiaľ nie je podporované, ale najskôr si môžete pripraviť pôvodný obrázok pomocou starého modelu Stable Diffusion 2.1 a potom ho previesť na video pomocou modelu SVD.
Kvalita videa zatiaľ neposkytuje ideálny fotorealizmus a zaručené správne vykreslenie tvárí a osôb. Pokiaľ ide o výkon, navrhovaný otvorený model predstihuje proprietárne analógy od Runway a Pika Labs. Model sa dá ľahko prispôsobiť na riešenie rôznych problémov, napríklad z neho možno formovať trojrozmerné postavy.
Dodatočne si môžeme všimnúť zverejnenie sady nástrojov strojového učenia Video-LLaVA, ktorá vám umožňuje vytvoriť jednotnú vizuálnu reprezentáciu objektu, vytvorenú na základe použitia súčasných fotografií a videozáznamov objektov počas tréningu. Systém je možné použiť napríklad na rozpoznanie prítomnosti rovnakých objektov na obrázkoch a videách. Kód je napísaný v jazyku Python a distribuovaný pod licenciou Apache 2.0.
Zdroj: opennet.ru
