Projeya Riffusion guhertoyek pergala fêrbûna makîneyê Stable Diffusion pêşve dike, ku ji bo afirandina muzîkê li şûna wêneyan hatî adaptekirin. Muzîk dikare ji ravekirina nivîsê ya bi zimanê xwezayî an li ser bingeha şablonek pêşniyarkirî were sentez kirin. Parçeyên senteza muzîkê di Python de bi karanîna çarçoveya PyTorch têne nivîsandin û di bin lîsansa MIT de peyda dibin. Girêdana navberê di TypeScriptê de tête bicîh kirin û di bin lîsansa MIT de jî tê belav kirin. Modelên perwerdekirî ji bo karanîna bazirganî di bin destûrnameyek destûrdar a Creative ML OpenRAIL-M de têne destûr kirin.
Proje balkêş e ku ew berdewam dike ku modelên "nivîs-bi-wêne" û "wêne-bi-image" bikar bîne da ku muzîkê çêbike, lê spektrograman wekî wêne manîpule dike. Bi gotinek din, Belavkirina Stable ya klasîk ne li ser wêne û wêneyan, lê li ser wêneyên spektrograman ku bi demê re guheztinên frekansa û mezinahiya pêlek deng vedibêjin têne perwerde kirin. Li gorî vê yekê, spektrogramek jî li dergehê çêdibe, ku paşê vediguhezîne nûnertiyek deng.
Rêbaz di heman demê de dikare were bikar anîn da ku berhevokên dengê heyî biguhezîne û muzîka ji nimûneyek hevrêz bike, mîna guheztina wêneyê ya di Belavbûna Stable de. Mînakî, nifş dikare bi şêwazek referansê spektrograman nimûne bike, şêwazên cihêreng berhev bike, ji şêwazek din veguhezîne, an jî di dengek heyî de guheztinan bike da ku pirsgirêkên wekî zêdekirina dengê amûrên takekesî, guheztina rîtmê, û guhartinê çareser bike. instruments. Nimûne di heman demê de têne bikar anîn da ku berhevokên lîstinên dirêj çêbibin, ku ji rêzek rêçên ji nêz ve ku bi demê re hinekî diguhezin pêk tê. Rêwiyên ku ji hev veqetandî têne hilberandin bi karanîna navgîniya pîvanên hundurîn ên modelê di nav çemek domdar de têne hev kirin.
Veguherîna Fourier a pencereyê ji bo afirandina spektrogramek ji deng tê bikar anîn. Dema ku dengek ji spektrogramê ji nû ve diafirîne, di destnîşankirina qonaxê de pirsgirêk derdikeve (tenê frekans û amplitude li ser spektrogramê hene), ji bo ji nû ve avakirina wê algorîtmaya nêzîkbûna Griffin-Lim tê bikar anîn.
Source: opennet.ru