{"id":106128,"date":"2022-12-16T15:36:45","date_gmt":"2022-12-16T13:36:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki"},"modified":"2022-12-16T15:36:45","modified_gmt":"2022-12-16T13:36:47","slug":"sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","title":{"rendered":"Het machine learning-systeem Stable Diffusion is aangepast voor het synthetiseren van muziek","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Het Riffusion-project ontwikkelt een variant van het machine learning-systeem Stable Diffusion, aangepast voor het genereren van muziek in plaats van beelden. Muziek kan worden gesynthetiseerd op basis van een tekstuele beschrijving in natuurlijke taal of op basis van een voorgestelde sjabloon. De componenten voor muziek-synthese zijn geschreven in de programmeertaal Python met behulp van het PyTorch-framework en zijn beschikbaar onder de MIT-licentie. De interface-wrapper is gerealiseerd in TypeScript en wordt eveneens verspreid onder de MIT-licentie. De getrainde modellen zijn beschikbaar onder de permissieve Creative ML OpenRAIL-M-licentie, die gebruik voor commerci\u00eble doeleinden toestaat. <\/p>\n

Het project is interessant omdat het blijft voortbouwen op modellen voor het genereren van muziek die «van tekst naar afbeelding» en «van afbeelding naar afbeelding» zijn, maar in plaats van afbeeldingen wordt er gewerkt met spectrogrammen. Met andere woorden, de klassieke Stable Diffusion is niet getraind op foto's en plaatjes, maar op afbeeldingen van spectrogrammen die de veranderingen in frequentie en amplitude van een geluidsgolf in de tijd weerspiegelen. Het resultaat is ook een spectrogram, dat vervolgens wordt omgezet in een geluidsweergave.

\"Het<\/center> <\/p>\n

De methode kan ook worden gebruikt voor het wijzigen van bestaande geluidssamenstellingen en het synthetiseren van muziek op basis van een voorbeeld, vergelijkbaar met het aanpassen van afbeeldingen in Stable Diffusion. Bij het genereren kunnen voorbeeld-spectrogrammen met een referentiestijl worden opgegeven, verschillende stijlen kunnen worden gecombineerd, er kunnen vloeiende overgangen van de ene stijl naar de andere worden gemaakt of wijzigingen in een bestaand geluid worden aangebracht om taken te vervullen zoals het verhogen van het volume van afzonderlijke instrumenten, het wijzigen van het ritme en het vervangen van instrumenten. Voorbeelden worden ook gebruikt voor het genereren van langdurige composities, bestaande uit een reeks fragmenten die dicht bij elkaar liggen en in de loop van de tijd iets veranderen. afzonderlijk gegenereerde fragmenten worden middels interpolatie van interne modelparameters samengevoegd tot een continue stroom.

\"Het<\/center> <\/p>\n

Voor het cre\u00ebren van een spectrogram uit geluid wordt de venster-Fourier-transformatie gebruikt. Bij het opnieuw cre\u00ebren van geluid uit een spectrogram doet zich een probleem voor met het bepalen van de fase (in het spectrogram zijn alleen frequentie en amplitude aanwezig); voor de reconstructie daarvan wordt het Griffins-Lim-approximatie-algoritme toegepast.

<\/center>
<\/center>
\n
Bron: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041f\u0440\u043e\u0435\u043a\u0442\u043e\u043c Riffusion \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0443\u0437\u044b\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041c\u0443\u0437\u044b\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043d\u0442\u0435\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0438\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430. \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0441\u0438\u043d\u0442\u0435\u0437\u0430 \u043c\u0443\u0437\u044b\u043a\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 Python \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 PyTorch \u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 MIT. \u041e\u0431\u0432\u044f\u0437\u043a\u0430 \u0441 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 TypeScript \u0438 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":106129,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-106128","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Het machine learning-systeem Stable Diffusion is aangepast voor het synthetiseren van muziek | ProHoster","description":"Het Riffusion-project ontwikkelt een variant van het machine learning-systeem Stable Diffusion, aangepast voor het genereren van muziek in plaats van afbeeldingen.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u043b\u044f \u0441\u0438\u043d\u0442\u0435\u0437\u0430 \u043c\u0443\u0437\u044b\u043a\u0438 | ProHoster","og:description":"\u041f\u0440\u043e\u0435\u043a\u0442\u043e\u043c Riffusion \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Stable Diffusion, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u0443\u0437\u044b\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439.","og:url":"https:\/\/prohoster.info\/nl\/blog\/news\/sistema-mashinnogo-obucheniya-stable-diffusion-adaptirovana-dlya-sinteza-muzyki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2022-12-16T13:36:47+00:00","article:modified_time":"2022-12-16T13:36:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":[],"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/106128","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=106128"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/106128\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media\/106129"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=106128"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=106128"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=106128"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}