Kei te whakawhanake te kaupapa Riffusion i tetahi putanga o te punaha ako miihini Stable Diffusion, i urutau ki te whakaputa puoro hei utu mo nga whakaahua. Ka taea te whakahiato waiata mai i te whakaahuatanga tuhinga i roto i te reo maori, i runga ranei i te tauira tauira e whakaarohia ana. Ko nga waahanga whakahiato puoro ka tuhia ki te Python ma te whakamahi i te anga PyTorch, ka waatea i raro i te raihana MIT. Ka whakatinanahia te hononga atanga ki TypeScript, ka tohaina hoki i raro i te raihana MIT. Kua raihanatia nga tauira kua whakangungua i raro i te raihana Creative ML OpenRAIL-M mo te whakamahi arumoni.
He rawe te kaupapa i te mea kei te whakamahi tonu ia i nga tauira "kuputuhi-ki-ahua" me "ahua-ahua-ahua" ki te whakaputa waiata, engari ka rawekehia nga spectrograms hei whakaahua. Arā, ka whakangunguhia te Stable Diffusion matarohia i runga i nga whakaahua me nga pikitia, engari i runga i nga whakaahua o nga spectrograms e whakaata ana i nga huringa o te auau me te kaha kaha o te ngaru oro i roto i te waa. Na reira, ka hangaia he spectrogram i te putanga, ka huri hei whakaaturanga ororongo.
Ka taea hoki te whakamahi i te tikanga ki te whakarereke i nga titonga oro o mua me te whakahiato puoro mai i tetahi tauira, he rite ki te whakarereke ahua i roto i te Stable Diffusion. Hei tauira, ka taea e te whakatipuranga te whakatauira i nga momo whakaata me te ahua tohutoro, te whakakotahi i nga momo momo, te whakawhiti maeneene mai i tetahi momo ki tetahi atu, ki te whakarereke ranei i tetahi oro o mua hei whakaoti rapanga penei i te whakanui ake i te rōrahi o ia taputapu, te huri i te manawataki, me te huri. taputapu. Ka whakamahia hoki nga tauira ki te whakaputa i nga titonga whakatangi-roa, i titoa mai i te raupapa o nga waahanga tata ka rereke te rereke o te waa. Ka whakakotahihia nga waahanga kua wehea ki roto i te awa haere tonu ma te whakamahi i te wawaotanga o nga tawhā o roto o te tauira.
Ka whakamahia te huringa Fourier matapihi ki te hanga i te tuorangi mai i te oro. I te wa e hanga ana i te oro mai i te spectrogram, ka puta he raru ki te whakatau i te waahanga (ko te auau me te kaha kaha kei runga i te spectrogram), mo te hanga ano e whakamahia ana te Griffin-Lim approximation algorithm.
Source: opennet.ru