Stability AI-ը հրապարակել է մեքենայական ուսուցման մոդել՝ Stable Video Diffusion, որը կարող է պատկերներից կարճ տեսանյութեր ստեղծել: Մոդելը ընդլայնում է Stable Diffusion նախագծի հնարավորությունները, որը նախկինում սահմանափակվում էր ստատիկ պատկերների սինթեզով: Նեյրոնային ցանցի մարզման և պատկերների ստեղծման գործիքների կոդը գրված է Python լեզվով՝ օգտագործելով PyTorch շրջանակը և հրապարակված է MIT լիցենզիայի ներքո: Մարզված մոդելները բաց կոդով են՝ Creative ML OpenRAIL-M թույլատրելի լիցենզիայի ներքո, որը թույլ է տալիս առևտրային օգտագործում:
Ներբեռնման համար մատչելի է մոդելի երկու տարբերակ՝ SVD (Stable Video Diffusion)՝ տվյալ ստատիկ պատկերից 14 կադր 576x1024 լուծաչափով և SVD-XT՝ 25 կադր: Հնարավոր է գեներացնել տեսանյութ առանց շարժման կամ տեսախցիկի շատ դանդաղ պտույտով՝ 4 վայրկյանից ոչ ավելի տեւողությամբ։ Բնական լեզվով տեքստի նկարագրության վրա հիմնված մոդելն ուղղակիորեն վարելը դեռ չի աջակցվում, սակայն հնարավոր է սկզբում պատրաստել սկզբնաղբյուր պատկերը՝ օգտագործելով ավելի հին Stable Diffusion 2.1 մոդելը, այնուհետև այն վերածել տեսանյութի՝ օգտագործելով SVD մոդելը:
Տեսանյութի որակը դեռ չի ապահովում իդեալական ֆոտոռեալիզմ և դեմքերի ու մարդկանց երաշխավորված ճիշտ մատուցում։ Կատարողականության առումով առաջարկվող բաց մոդելը գերազանցում է Runway-ի և Pika Labs-ի սեփական անալոգներին: Մոդելը հեշտությամբ կարելի է հարմարեցնել տարբեր խնդիրներ լուծելու համար, օրինակ՝ այն կարող է օգտագործվել եռաչափ ֆիգուրներ ձևավորելու համար։
Բացի այդ, հարկ է նշել Video-LLaVA մեքենայական ուսուցման գործիքակազմի հրապարակումը, որը թույլ է տալիս ստեղծել օբյեկտի մեկ վիզուալ ներկայացում, որը ձևավորվել է ուսուցման ընթացքում օբյեկտների ինչպես լուսանկարների, այնպես էլ տեսագրությունների օգտագործման հիման վրա: Համակարգը կարող է օգտագործվել, օրինակ, նկարներում և տեսանյութերում նույն առարկաների առկայությունը ճանաչելու համար: Կոդը գրված է Python-ով և տարածվում է Apache 2.0 լիցենզիայի ներքո:
Source: opennet.ru
