Hoʻokumu ka papahana Riffusion i kahi ʻano o ka ʻōnaehana aʻo mīkini Stable Diffusion i hoʻololi ʻia e hana i ke mele ma mua o nā kiʻi. Hiki ke hoʻohui ʻia ke mele me ka wehewehe kikokikona ma ka ʻōlelo kūlohelohe a i ʻole ma ke kumu hoʻohālike i manaʻo ʻia. Ua kākau ʻia nā ʻāpana synthesis mele ma Python me ka hoʻohana ʻana i ka framework PyTorch a loaʻa ma lalo o ka laikini MIT. Hoʻokomo ʻia ka hoʻopaʻa ʻana me ka interface ma ka ʻōlelo TypeScript a puʻunaue pū ʻia ma lalo o ka laikini MIT. Hoʻokuʻu ʻia nā kumu hoʻohālike i hoʻomaʻamaʻa ʻia ma lalo o ka laikini ʻae Creative ML OpenRAIL-M no ka hoʻohana pāʻoihana.
He mea hoihoi ka papahana i ka hoʻohana ʻana i nā hiʻohiʻona "text-to-image" a me "image-to-image" no ka hoʻokumu ʻana i nā mele, akā manipulates spectrograms e like me nā kiʻi. ʻO ia hoʻi, ʻaʻole i aʻo ʻia ka Stable Diffusion ma nā kiʻi a me nā kiʻi, akā ma nā kiʻi o nā spectrograms e hōʻike ana i ka hoʻololi ʻana i ka alapine a me ka amplitude o ka nalu kani i ka manawa. No laila, hoʻokumu ʻia kahi spectrogram ma ka hoʻopuka, a laila hoʻololi ʻia i hōʻike leo.
Hiki ke hoʻohana ʻia ke ʻano no ka hoʻololi ʻana i nā haku mele i loaʻa a me ka hoʻohālike mele synthesis, e like me ka hoʻololi kiʻi ma Stable Diffusion. No ka laʻana, hiki i ka hanauna ke hoʻonohonoho i nā spectrograms laʻana me kahi ʻano kuhikuhi, hoʻohui i nā ʻano like ʻole, hana i kahi hoʻololi maʻalahi mai kekahi ʻano a i kekahi, a i ʻole e hoʻololi i kahi kani e hoʻoponopono ai i nā pilikia e like me ka hoʻonui ʻana i ka leo o nā mea kani, hoʻololi i ke kani a pani i na mea kani. Hoʻohana ʻia nā hiʻohiʻona no ka hoʻokumu ʻana i nā haku mele lōʻihi, i haku ʻia me kahi ʻano o nā paukū e pili kokoke ana kekahi i kekahi, e loli iki ana i ka manawa. Hoʻohui ʻia nā ʻāpana i hoʻokaʻawale ʻia i loko o kahi kahawai mau ma o ka interpolating i nā ʻāpana kūloko o ke kumu hoʻohālike.
No ka hana ʻana i kahi spectrogram mai ke kani, hoʻohana ʻia kahi hoʻololi Fourier puka makani. I ka hana hou ʻana i ke kani mai kahi spectrogram, aia ka pilikia i ka hoʻoholo ʻana i ke kaʻina (ʻo ka pinepine a me ka amplitude wale nō ma ka spectrogram), no ke kūkulu hou ʻana i hoʻohana ʻia ai ka Griffin-Lim approximation algorithm.
Source: opennet.ru