Stability AI-k Stable Video Diffusion izeneko ikaskuntza-eredu bat argitaratu du, irudietatik bideo laburrak sor ditzakeena. Ereduak Stable Diffusion proiektuaren ahalmenak zabaltzen ditu, aurretik irudi estatikoen sintesira mugatuta. Neurona-sareen prestakuntzarako eta irudiak sortzeko tresnen kodea Python-en idatzita dago PyTorch esparrua erabiliz eta MIT lizentziapean argitaratuta. Dagoeneko trebatuta dauden ereduak Creative ML OpenRAIL-M lizentzia baimenduarekin irekita daude, erabilera komertziala ahalbidetuz.
Bi eredu aukera daude deskargatzeko: SVD (Stable Video Diffusion) 14 fotograma sortzeko 576x1024ko bereizmenarekin irudi estatiko jakin batean oinarrituta eta SVD-XT 25 fotograma sortzeko. Mugimendurik gabe edo kamera oso motela biratuz bideoa sortzea posible da, 4 segundo baino gehiago irauten duena. Hizkuntza naturaleko testu-deskribapenean oinarritutako eredu zuzeneko kontrola oraindik ez da onartzen, baina lehenik eta behin jatorrizko irudia prestatu dezakezu Stable Diffusion 2.1 eredu zaharra erabiliz eta gero bideo bihur dezakezu SVD eredua erabiliz.
Bideoaren kalitateak oraindik ez du fotorrealismo ezin hobea eta aurpegien eta pertsonen errendatze zuzena bermatzen. Errendimenduari dagokionez, proposatutako eredu irekia Runway eta Pika Labs-en analogo jabedunen aurretik dago. Eredua erraz molda daiteke hainbat arazo konpontzeko, adibidez, hiru dimentsioko irudiak osatzeko erabil daiteke.
Gainera, Video-LLaVA ikaskuntza automatikoko tresna-tresnaren argitalpena nabarmendu behar dugu, objektu baten irudikapen bisual bateratua sortzeko aukera ematen duena, prestakuntzan zehar objektuen argazkiak eta bideo-grabaketak aldi berean erabiltzean oinarrituta osatua. Sistema erabil daiteke, adibidez, irudietan eta bideoetan objektu berdinen presentzia ezagutzeko. Kodea Python-en idatzita dago eta Apache 2.0 lizentziapean banatzen da.
Iturria: opennet.ru
