Kua whakaputaina e Stability AI tetahi tauira ako miihini e kiia nei ko Stable Video Diffusion ka taea te whakaputa ataata poto mai i nga whakaahua. Ka whakawhānuihia e te tauira nga kaha o te kaupapa Stable Diffusion, i whakawhäitihia i mua ki te whakahiato o nga whakaahua pateko. Ko te waehere mo te whakangungu whatunga neural me nga taputapu hanga whakaahua ka tuhia ki te Python ma te whakamahi i te anga PyTorch ka whakaputaina i raro i te raihana MIT. Kua tuwhera nga tauira kua whakangungua i raro i te raihana Creative ML OpenRAIL-M, ka taea te whakamahi arumoni.
E rua nga tauira tauira e waatea ana mo te tango: SVD (Stable Video Diffusion) mo te whakaputa i nga papa 14 me te taumira o te 576x1024 i runga i tetahi ahua pateko me te SVD-XT mo te whakaputa i nga papa 25. Ka taea te whakaputa ataata kaore he nekehanga, he puhoi ranei te hurihanga o nga kamera, kaua e neke ake i te 4 hēkona. Ko te mana tauira tika i runga i te whakaahuatanga kuputuhi reo maori kaore ano kia tautokohia, engari ka taea e koe te whakarite i te ahua taketake ma te whakamahi i te tauira Stable Diffusion 2.1 tawhito ka huri ki te ataata ma te whakamahi i te tauira SVD.
Ko te kounga o te ataata kaore ano kia whakarato i te whakaahua tino pai me te whakaatu tika i nga kanohi me nga tangata. I runga i nga mahi, ko te tauira tuwhera e whakaarohia ana kei mua ake i nga taarua rangatira mai i Runway me Pika Labs. Ka ngawari te urunga o te tauira ki te whakaoti rapanga huhua, hei tauira, ka taea te whakamahi hei hanga whika ahu-toru.
I tua atu, ka taea e matou te tuhi i te whakaputanga o te kete taputapu ako miihini Ataata-LLaVA, e taea ai e koe te hanga i tetahi whakaaturanga ataata kotahi o tetahi mea, i hangaia i runga i te whakamahi i nga whakaahua me nga rekoata ataata o nga taonga i te wa e whakangungu ana. Ka taea te whakamahi i te punaha, hei tauira, ki te mohio ki te noho o nga mea ano i roto i nga whakaahua me nga ataata. Ka tuhia te waehere ki te Python ka tohatohahia i raro i te raihana Apache 2.0.
Source: opennet.ru
