د ریفیوژن پروژه د ماشین زده کړې سیسټم سټیبل ډیفیوژن نسخه رامینځته کوي ، د عکسونو پرځای میوزیک رامینځته کولو لپاره تطابق شوی. میوزیک په طبیعي ژبه کې د متن توضیحاتو څخه ترکیب کیدی شي یا د وړاندیز شوي ټیمپلیټ پراساس. د میوزیک ترکیب اجزا د PyTorch چوکاټ په کارولو سره په Python کې لیکل شوي او د MIT جواز لاندې شتون لري. د انٹرفیس پابند په TypeScript کې پلي کیږي او د MIT جواز لاندې هم ویشل کیږي. روزل شوي ماډلونه د سوداګریزې کارونې لپاره د اجازې تخلیقي ML OpenRAIL-M جواز لاندې جواز لري.
پروژه په زړه پوري ده چې دا د میوزیک تولید لپاره د "متن څخه عکس" او "انځور څخه عکس" ماډلونو کارولو ته دوام ورکوي ، مګر د عکسونو په توګه سپیکٹروګرامونه اداره کوي. په بل عبارت، کلاسیک سټیبل ډیفیوژن په عکسونو او انځورونو کې نه روزل کیږي، مګر د سپیکٹروګرامونو په انځورونو کې چې د وخت په تیریدو سره د غږ څپې فریکونسۍ او طولیت کې بدلون منعکس کوي. په دې اساس، یو سپیکٹروګرام هم په محصول کې رامینځته کیږي، چې بیا په آډیو نمایش بدلیږي.
دا میتود د موجوده غږ ترکیبونو تعدیلولو او د نمونې څخه میوزیک ترکیب کولو لپاره هم کارول کیدی شي ، په سټیبل ډیفیوژن کې د عکس ترمیم ته ورته. د مثال په توګه، نسل کولی شي سپیکٹروګرامونه د حوالې سټایل سره نمونه کړي، مختلف سټایلونه سره یوځای کړي، له یو سټایل څخه بل ته اسانه لیږد رامینځته کړي، یا په موجوده غږ کې بدلون راولي ترڅو ستونزې حل کړي لکه د انفرادي وسایلو حجم زیاتول، د تال بدلول، او بدلون. وسایل نمونې د اوږدې لوبې کولو ترکیبونو رامینځته کولو لپاره هم کارول کیږي ، د نږدې فاصلو له لړۍ څخه جوړ شوي چې د وخت په تیریدو سره یو څه توپیر لري. په جلا توګه تولید شوي جریانونه د ماډل داخلي پیرامیټرو انټرپولیشن په کارولو سره په دوامداره جریان کې یوځای کیږي.
د وینډوز فویریر ټرانسفارم د غږ څخه د سپیکٹروګرام جوړولو لپاره کارول کیږي. کله چې د سپیکٹروګرام څخه غږ بیا جوړ کړئ، د مرحلې په ټاکلو کې ستونزه رامینځته کیږي (یوازې فریکونسۍ او طول په سپیکٹروګرام کې شتون لري)، د بیا رغونې لپاره چې د ګریفین - لیم اټکل الګوریتم کارول کیږي.
سرچینه: opennet.ru