સ્થિર વિડિયો ડિફ્યુઝન વિડિયો સિન્થેસિસ સિસ્ટમ રજૂ કરી

સ્ટેબિલિટી AI એ એક મશીન લર્નિંગ મોડેલ, સ્ટેબલ વિડીયો ડિફ્યુઝન પ્રકાશિત કર્યું છે, જે છબીઓમાંથી ટૂંકા વિડિઓઝ જનરેટ કરી શકે છે. આ મોડેલ સ્ટેબલ ડિફ્યુઝન પ્રોજેક્ટની ક્ષમતાઓને વિસ્તૃત કરે છે, જે અગાઉ સ્ટેટિક છબીઓનું સંશ્લેષણ કરવા સુધી મર્યાદિત હતું. ન્યુરલ નેટવર્ક તાલીમ અને છબી જનરેશન ટૂલ્સ માટેનો કોડ PyTorch ફ્રેમવર્કનો ઉપયોગ કરીને Python માં લખાયેલ છે અને MIT લાઇસન્સ હેઠળ પ્રકાશિત કરવામાં આવ્યો છે. પ્રશિક્ષિત મોડેલો ક્રિએટિવ ML OpenRAIL-M પરવાનગી લાઇસન્સ હેઠળ ઓપન સોર્સ કરવામાં આવે છે, જે વ્યાપારી ઉપયોગની મંજૂરી આપે છે.

ડાઉનલોડ માટે બે મોડેલ વેરિઅન્ટ ઉપલબ્ધ છે: SVD (સ્ટેબલ વિડીયો ડિફ્યુઝન), જે આપેલ સ્ટેટિક ઈમેજના આધારે 576×1024 રિઝોલ્યુશન પર 14 ફ્રેમ જનરેટ કરે છે, અને SVD-XT, જે 25 ફ્રેમ જનરેટ કરે છે. વિડીયો જનરેશન શક્ય છે, કાં તો ગતિહીન અથવા ખૂબ જ ધીમા કેમેરા રોટેશન સાથે, જે 4 સેકન્ડથી વધુ સમય સુધી ચાલતું નથી. કુદરતી ભાષાના ટેક્સ્ટ પર આધારિત મોડેલનું સીધું નિયંત્રણ હજુ સુધી સમર્થિત નથી, પરંતુ પહેલા જૂના સ્ટેબલ ડિફ્યુઝન 2.1 મોડેલનો ઉપયોગ કરીને સ્રોત છબી તૈયાર કરવી અને પછી SVD મોડેલનો ઉપયોગ કરીને તેને વિડિઓમાં રૂપાંતરિત કરવું શક્ય છે.

વિડિઓ ગુણવત્તા હજુ સુધી સંપૂર્ણ ફોટોરિયલિઝમ અથવા ચહેરાઓ અને લોકોના ચોક્કસ રેન્ડરિંગની ખાતરી આપી શકતી નથી. પ્રદર્શનની દ્રષ્ટિએ, પ્રસ્તાવિત ઓપન-સોર્સ મોડેલ રનવે અને પીકા લેબ્સના માલિકીના એનાલોગ કરતાં વધુ સારું પ્રદર્શન કરે છે. આ મોડેલને ત્રિ-પરિમાણીય આકૃતિઓ બનાવવા જેવા વિવિધ કાર્યોમાં સરળતાથી અનુકૂલિત કરી શકાય છે.

વિડિઓ-એલએલએવીએ મશીન લર્નિંગ ટૂલકીટનું પ્રકાશન પણ નોંધપાત્ર છે, જે તાલીમ દરમિયાન ઑબ્જેક્ટના ફોટોગ્રાફ્સ અને વિડિઓ રેકોર્ડિંગ્સ બંનેનો ઉપયોગ કરીને રચાયેલ ઑબ્જેક્ટનું એકીકૃત દ્રશ્ય પ્રતિનિધિત્વ બનાવવાનું શક્ય બનાવે છે. ઉદાહરણ તરીકે, છબીઓ અને વિડિઓઝમાં સમાન ઑબ્જેક્ટ્સની હાજરી ઓળખવા માટે, સિસ્ટમનો ઉપયોગ કરી શકાય છે. કોડ પાયથોનમાં લખાયેલ છે અને અપાચે 2.0 લાઇસન્સ હેઠળ વિતરિત કરવામાં આવે છે.

સોર્સ: opennet.ru