{"id":106128,"date":"2022-12-16T15:36:45","date_gmt":"2022-12-16T13:36:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki"},"modified":"2022-12-16T15:36:45","modified_gmt":"2022-12-16T13:36:47","slug":"sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","title":{"rendered":"System uczenia maszynowego Stable Diffusion dostosowany do syntezy muzyki","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Projekt Riffusion rozwija wariant systemu uczenia maszynowego Stable Diffusion, dostosowany do generowania muzyki zamiast obraz\u00f3w. Muzyka mo\u017ce by\u0107 syntetyzowana na podstawie opisu w naturalnym j\u0119zyku lub zaproponowanego szablonu. Komponenty do syntezy muzyki s\u0105 napisane w j\u0119zyku Python z wykorzystaniem frameworka PyTorch i s\u0105 dost\u0119pne na licencji MIT. Interfejs zosta\u0142 zaimplementowany w TypeScript i r\u00f3wnie\u017c jest dystrybuowany na licencji MIT. Wytrenowane modele s\u0105 udost\u0119pniane na permissywnej licencji Creative ML OpenRAIL-M, zezwalaj\u0105cej na wykorzystanie w celach komercyjnych. <\/p>\n

Projekt jest interesuj\u0105cy, poniewa\u017c nadal wykorzystuje modele «z tekstu na obraz» i «z obrazu na obraz» do generowania muzyki, ale zamiast obraz\u00f3w manipuluje spektrogramami. Innymi s\u0142owy, klasyczny Stable Diffusion zosta\u0142 wytrenowany nie na fotografiach i obrazach, lecz na obrazach spektrogram\u00f3w, odzwierciedlaj\u0105cych zmiany cz\u0119stotliwo\u015bci i amplitudy fali d\u017awi\u0119kowej w czasie. Odpowiednio, na wyj\u015bciu r\u00f3wnie\u017c powstaje spektrogram, kt\u00f3ry nast\u0119pnie jest przekszta\u0142cany w reprezentacj\u0119 d\u017awi\u0119kow\u0105.

\"System<\/center> <\/p>\n

Metoda ta mo\u017ce r\u00f3wnie\u017c by\u0107 wykorzystywana do zmiany istniej\u0105cych kompozycji d\u017awi\u0119kowych i syntezy muzyki na podstawie wzorc\u00f3w, analogicznie do modyfikacji obraz\u00f3w w Stable Diffusion. Na przyk\u0142ad, podczas generacji mo\u017cna podawa\u0107 wzorce spektrogram\u00f3w w po\u017c\u0105danym stylu, \u0142\u0105czy\u0107 r\u00f3\u017cne style, realizowa\u0107 p\u0142ynne przej\u015bcie z jednego stylu do drugiego lub wprowadza\u0107 zmiany w istniej\u0105cym d\u017awi\u0119ku w celu rozwi\u0105zania takich problem\u00f3w, jak zwi\u0119kszenie g\u0142o\u015bno\u015bci poszczeg\u00f3lnych instrument\u00f3w, zmiana rytmu i zast\u0119powanie instrument\u00f3w. Wzorce s\u0105 r\u00f3wnie\u017c u\u017cywane do generowania d\u0142ugotrwa\u0142ych kompozycji, komponowanych z serii bliskich sobie fragment\u00f3w, kt\u00f3re nieco zmieniaj\u0105 si\u0119 w czasie. Oddzielnie generowane fragmenty \u0142\u0105czone s\u0105 w ci\u0105g\u0142y strumie\u0144 za pomoc\u0105 interpolacji wewn\u0119trznych parametr\u00f3w modelu.

\"System<\/center> <\/p>\n

Do tworzenia spektrogramu z d\u017awi\u0119ku stosuje si\u0119 okienkowe przekszta\u0142cenie Furiere'a. Podczas rekonstrukcji d\u017awi\u0119ku z spektrogramu pojawia si\u0119 problem z okre\u015bleniem fazy (na spektrogramie obecne s\u0105 tylko cz\u0119stotliwo\u015b\u0107 i amplituda), do rekonstrukcji kt\u00f3rej wykorzystywany jest algorytm aproksymacji Griffina-Lima.

<\/center>
<\/center>
\n
\u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u043e\u0435\u043a\u0442\u043e\u043c Riffusion \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0443\u0437\u044b\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041c\u0443\u0437\u044b\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043d\u0442\u0435\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0438\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430. \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0441\u0438\u043d\u0442\u0435\u0437\u0430 \u043c\u0443\u0437\u044b\u043a\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 Python \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 PyTorch \u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT. \u041e\u0431\u0432\u044f\u0437\u043a\u0430 \u0441 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 TypeScript \u0438 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":106129,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-106128","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47System uczenia maszynowego Stable Diffusion zosta\u0142 przystosowany do syntezy muzyki | ProHoster","description":"Projekt Riffusion rozwija wariant systemu uczenia maszynowego Stable Diffusion, przystosowany do generowania muzyki zamiast obraz\u00f3w.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u043b\u044f \u0441\u0438\u043d\u0442\u0435\u0437\u0430 \u043c\u0443\u0437\u044b\u043a\u0438 | ProHoster","og:description":"\u041f\u0440\u043e\u0435\u043a\u0442\u043e\u043c Riffusion \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0443\u0437\u044b\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2022-12-16T13:36:47+00:00","article:modified_time":"2022-12-16T13:36:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":[],"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/106128","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=106128"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/106128\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/106129"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=106128"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=106128"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=106128"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}