Tha Stability AI air modal ionnsachaidh inneal fhoillseachadh leis an t-ainm Stable Video Diffusion as urrainn bhideothan goirid a ghineadh bho ìomhaighean. Bidh am modail a’ leudachadh comasan a’ phròiseict Stable Diffusion, a bha roimhe seo cuingealaichte ri synthesis ìomhaighean statach. Tha an còd airson trèanadh lìonra neural agus innealan gineadh ìomhaighean air a sgrìobhadh ann am Python a’ cleachdadh frèam PyTorch agus air fhoillseachadh fo chead MIT. Tha modalan air an trèanadh mar-thà fosgailte fo chead ceadaichte Creative ML OpenRAIL-M, a’ ceadachadh cleachdadh malairteach.
Tha dà roghainn mhodail rim faighinn airson an luchdachadh sìos: SVD (Stable Video Diffusion) airson frèamaichean 14 a ghineadh le rùn de 576 × 1024 stèidhichte air ìomhaigh statach sònraichte agus SVD-XT airson frèamaichean 25 a ghineadh. Tha e comasach bhidio a ghineadh gun ghluasad no le cuairteachadh camara gu math slaodach, nach mair barrachd air 4 diogan. Chan eil smachd modail dìreach stèidhichte air tuairisgeul teacsa cànain nàdarra fhathast a’ faighinn taic, ach faodaidh tu an toiseach an ìomhaigh thùsail ullachadh a ’cleachdadh an t-seann mhodail Stable Diffusion 2.1 agus an uairsin a thionndadh gu bhidio a’ cleachdadh modal SVD.
Chan eil càileachd bhidio fhathast a’ toirt seachad photorealism air leth agus cinnteach gun tèid aghaidhean is daoine a thoirt seachad gu ceart. A thaobh coileanadh, tha am modail fosgailte a tha san amharc air thoiseach air analogues seilbh bho Runway agus Pika Labs. Faodar am modail atharrachadh gu furasta gus diofar dhuilgheadasan fhuasgladh, mar eisimpleir, faodar a chleachdadh gus figearan trì-thaobhach a chruthachadh.
A bharrachd air an sin, is urrainn dhuinn toirt fa-near foillseachadh an inneal ionnsachaidh inneal Video-LLaVA, a leigeas leat riochdachadh lèirsinneach aonaichte de nì a chruthachadh, air a chruthachadh stèidhichte air cleachdadh dhealbhan aig an aon àm agus clàraidhean bhidio de nithean rè trèanadh. Faodar an siostam a chleachdadh, mar eisimpleir, gus làthaireachd nan aon nithean aithneachadh ann an ìomhaighean agus bhideothan. Tha an còd sgrìobhte ann am Python agus air a chuairteachadh fo chead Apache 2.0.
Source: fosgailtenet.ru
