Tha am pròiseact Riffusion a’ leasachadh dreach den t-siostam ionnsachaidh inneal Stable Diffusion, air atharrachadh gus ceòl a ghineadh an àite ìomhaighean. Faodar ceòl a cho-chur bho thuairisgeul teacsa ann an cànan nàdarrach no stèidhichte air teamplaid a thathar a’ moladh. Tha na pàirtean synthesis ciùil air an sgrìobhadh ann am Python a’ cleachdadh frèam PyTorch agus tha iad rim faighinn fo chead MIT. Tha an ceangal eadar-aghaidh air a chuir an gnìomh ann an TypeScript agus tha e cuideachd air a chuairteachadh fo chead MIT. Tha cead aig modalan le trèanadh fo chead ceadaichte Creative ML OpenRAIL-M airson cleachdadh malairteach.
Tha am pròiseact inntinneach leis gu bheil e a’ leantainn air adhart a’ cleachdadh nam modalan “teacsa-gu-ìomhaigh” agus “ìomhaigh-gu-ìomhaigh” gus ceòl a ghineadh, ach a’ làimhseachadh spectrograms mar ìomhaighean. Ann am faclan eile, tha clasaigeach Stable Diffusion air a thrèanadh chan ann air dealbhan agus dealbhan, ach air ìomhaighean de speactrograman a tha a’ nochdadh atharrachaidhean ann am tricead agus leudachd tonn fuaim thar ùine. Mar sin, tha spectrogram cuideachd air a chruthachadh aig an toradh, a tha an uairsin air a thionndadh gu riochdachadh claisneachd.
Faodar an dòigh a chleachdadh cuideachd gus na sgrìobhaidhean fuaim a th’ ann atharrachadh agus ceòl a cho-chur bho shampall, coltach ri atharrachadh ìomhaigh ann an Stable Diffusion. Mar eisimpleir, faodaidh ginealach spectrograms a shampall le stoidhle iomraidh, diofar stoidhlichean a chur còmhla, eadar-ghluasad rèidh a dhèanamh bho aon stoidhle gu stoidhle eile, no atharrachaidhean a dhèanamh air fuaim a th’ ann mar-thà gus fuasgladh fhaighinn air duilgheadasan leithid àrdachadh meud ionnstramaidean fa-leth, atharrachadh ruitheam, agus atharrachadh. ionnsramaidean. Bithear a’ cleachdadh sampaill cuideachd gus pìosan cluiche fada a ghineadh, air a dhèanamh suas de shreath de earrannan dlùth a tha ag atharrachadh beagan thar ùine. Tha earrannan air an cruthachadh air leth air an cur còmhla ann an sruth leantainneach a’ cleachdadh eadar-fhilleadh de pharamadairean a-staigh a’ mhodail.
Bithear a’ cleachdadh cruth-atharrachadh Fourier le uinneag gus spectrogram a chruthachadh bho fhuaim. Nuair a bhios tu ag ath-chruthachadh fuaim bho spectrogram, bidh duilgheadas ag èirigh le bhith a’ dearbhadh an ìre (chan eil ach tricead agus leudachd an làthair air an spectrogram), airson an ath-chruthachadh a thathas a’ cleachdadh algorithm tuairmseachaidh Griffin-Lim.
Source: fosgailtenet.ru