D'fhoilsigh Cobhsaíocht AI múnla meaisínfhoghlama ar a dtugtar Stable Video Diffusion a fhéadfaidh físeáin ghearr a ghiniúint ó íomhánna. Leathnaíonn an tsamhail cumais an tionscadail Idirleata Cobhsaí, a bhí teoranta roimhe seo do shintéis na n-íomhánna statacha. Tá an cód le haghaidh oiliúint líonra néarúil agus uirlisí giniúna íomhá scríofa i Python ag baint úsáide as an gcreat PyTorch agus foilsítear é faoi cheadúnas MIT. Tá múnlaí oilte cheana féin oscailte faoin gceadúnas ceadaitheach Creative ML OpenRAIL-M, a cheadaíonn úsáid tráchtála.
Tá dhá rogha samhail ar fáil le híoslódáil: SVD (Fís-idirleathadh Cobhsaí) chun 14 fráma a ghiniúint le taifeach 576 × 1024 bunaithe ar íomhá statach tugtha agus SVD-XT chun 25 fráma a ghiniúint. Is féidir físeán a ghiniúint gan gluaiseacht nó le rothlú ceamara an-mhall, nach mairfidh níos mó ná 4 soicind. Ní thacaítear fós le rialú múnla díreach bunaithe ar thuairisc téacs teanga nádúrtha, ach is féidir leat an íomhá bunaidh a ullmhú ar dtús ag baint úsáide as an sean-mhúnla Stable Diffusion 2.1 agus ansin é a thiontú go físeán ag baint úsáide as an tsamhail SVD.
Ní sholáthraíonn cáilíocht físeáin fótarealachas idéalach fós agus rindreáil ceart aghaidheanna agus daoine ráthaithe. I dtéarmaí feidhmíochta, tá an tsamhail oscailte atá beartaithe chun tosaigh ar analógacha dílseánaigh ó Rúidbhealach agus Pika Labs. Is féidir an tsamhail a oiriúnú go héasca chun fadhbanna éagsúla a réiteach, mar shampla, is féidir é a úsáid chun figiúirí tríthoiseach a fhoirmiú.
Ina theannta sin, is féidir linn a thabhairt faoi deara gur foilsíodh an fhoireann uirlisí meaisínfhoghlama Fís-LLaVA, a cheadaíonn duit léiriú amhairc aontaithe a chruthú de réad, a foirmíodh bunaithe ar úsáid ghrianghraif agus fhístaifeadtaí réada ag an am céanna le linn na hoiliúna. Is féidir an córas a úsáid, mar shampla, chun láithreacht na réad céanna in íomhánna agus físeáin a aithint. Tá an cód scríofa i Python agus a dháileadh faoi cheadúnas Apache 2.0.
Foinse: oscailtenet.ru
