Stability AI hat in masine-learmodel publisearre, Stable Video Diffusion, dat koarte fideo's kin generearje fan ôfbyldings. It model wreidet de mooglikheden út fan it Stable Diffusion-projekt, earder beheind ta de synteze fan statyske bylden. De koade foar de neuronale netwurktraining en ark foar it generearjen fan ôfbyldings is skreaun yn Python mei it PyTorch-ramt en publisearre ûnder de MIT-lisinsje. Al oplaat modellen binne iepen ûnder de permissive Creative ML OpenRAIL-M lisinsje, wêrtroch kommersjeel gebrûk mooglik is.
D'r binne twa modelopsjes beskikber foar download: SVD (Stable Video Diffusion) foar it generearjen fan 14 frames mei in resolúsje fan 576x1024 basearre op in opjûne statyske ôfbylding en SVD-XT foar it generearjen fan 25 frames. It is mooglik om fideo te generearjen sûnder beweging of mei heul stadige kamerarotaasje, dy't net mear dan 4 sekonden duorret. Direkte modelmanipulaasje basearre op natuerlike taaltekstbeskriuwing wurdt noch net stipe, mar jo kinne earst de orizjinele ôfbylding tariede mei it âlde Stable Diffusion 2.1-model en dan omsette nei fideo mei it SVD-model.
Fideokwaliteit leveret noch gjin ideaal fotorealisme en garandearre juste werjefte fan gesichten en minsken. Wat prestaasjes oanbelanget, is it foarstelde iepen model foarút fan proprietêre analogen fan Runway en Pika Labs. It model kin maklik oanpast wurde om ferskate problemen op te lossen, bygelyks kin it brûkt wurde om trijediminsjonale figueren te foarmjen.
Derneist kinne wy notearje de publikaasje fan 'e Video-LLaVA masine learen toolkit, wêrmei jo in unifoarme fisuele fertsjintwurdiging fan in objekt meitsje kinne, foarme op basis fan it brûken fan tagelyk foto's en fideo-opnames fan objekten tidens training. It systeem kin bygelyks brûkt wurde om de oanwêzigens fan deselde objekten yn bylden en fideo's te erkennen. De koade is skreaun yn Python en ferspraat ûnder de Apache 2.0-lisinsje.
Boarne: opennet.ru
