સંગીત સંશ્લેષણ માટે અનુકૂલિત સ્થિર ડિફ્યુઝન મશીન લર્નિંગ સિસ્ટમ

રિફ્યુઝન પ્રોજેક્ટ મશીન લર્નિંગ સિસ્ટમ સ્ટેબલ ડિફ્યુઝનનું સંસ્કરણ વિકસાવી રહ્યું છે, જે છબીઓને બદલે સંગીત જનરેટ કરવા માટે અનુકૂળ છે. સંગીતને પ્રાકૃતિક ભાષામાં ટેક્સ્ટ વર્ણનમાંથી અથવા સૂચિત નમૂનાના આધારે સંશ્લેષણ કરી શકાય છે. સંગીત સંશ્લેષણ ઘટકો PyTorch ફ્રેમવર્કનો ઉપયોગ કરીને Python માં લખવામાં આવે છે અને MIT લાયસન્સ હેઠળ ઉપલબ્ધ છે. ઈન્ટરફેસ બાઈન્ડીંગ TypeScript માં લાગુ કરવામાં આવે છે અને MIT લાયસન્સ હેઠળ પણ વિતરિત કરવામાં આવે છે. પ્રશિક્ષિત મૉડલો વ્યાવસાયિક ઉપયોગ માટે અનુમતિશીલ ક્રિએટિવ ML OpenRAIL-M લાયસન્સ હેઠળ લાઇસન્સ આપવામાં આવે છે.

આ પ્રોજેક્ટ રસપ્રદ છે કે તે સંગીત જનરેટ કરવા માટે "ટેક્સ્ટ-ટુ-ઇમેજ" અને "ઇમેજ-ટુ-ઇમેજ" મોડલનો ઉપયોગ કરવાનું ચાલુ રાખે છે, પરંતુ સ્પેક્ટ્રોગ્રામને છબીઓ તરીકે મેનિપ્યુલેટ કરે છે. બીજા શબ્દોમાં કહીએ તો, ક્લાસિક સ્ટેબલ ડિફ્યુઝન ફોટોગ્રાફ્સ અને ચિત્રો પર નહીં, પરંતુ સ્પેક્ટ્રોગ્રામની છબીઓ પર તાલીમ આપવામાં આવે છે જે સમય જતાં ધ્વનિ તરંગની આવર્તન અને કંપનવિસ્તારમાં ફેરફારોને પ્રતિબિંબિત કરે છે. તદનુસાર, આઉટપુટ પર એક સ્પેક્ટ્રોગ્રામ પણ રચાય છે, જે પછી ઓડિયો રજૂઆતમાં રૂપાંતરિત થાય છે.

પદ્ધતિનો ઉપયોગ હાલની ધ્વનિ રચનાઓને સંશોધિત કરવા અને નમૂનામાંથી સંગીતને સંશ્લેષણ કરવા માટે પણ કરી શકાય છે, જે સ્થિર પ્રસારમાં ઇમેજ ફેરફારની જેમ છે. ઉદાહરણ તરીકે, જનરેશન સંદર્ભ શૈલી સાથે સ્પેક્ટ્રોગ્રામનો નમૂના લઈ શકે છે, વિવિધ શૈલીઓને જોડી શકે છે, એક શૈલીથી બીજી શૈલીમાં સરળ સંક્રમણ કરી શકે છે અથવા વ્યક્તિગત વાદ્યોનું પ્રમાણ વધારવું, લય બદલવું અને બદલાવ જેવી સમસ્યાઓ ઉકેલવા માટે અસ્તિત્વમાં છે તે અવાજમાં ફેરફાર કરી શકે છે. સાધનો લાંબા સમય સુધી ચાલતી રચનાઓ બનાવવા માટે પણ નમૂનાઓનો ઉપયોગ કરવામાં આવે છે, જે નજીકથી અંતરે આવેલા માર્ગોની શ્રેણીથી બનેલી હોય છે જે સમય જતાં થોડો બદલાય છે. મોડેલના આંતરિક પરિમાણોના પ્રક્ષેપણનો ઉપયોગ કરીને અલગથી જનરેટ થયેલા માર્ગોને સતત પ્રવાહમાં જોડવામાં આવે છે.

ધ્વનિમાંથી સ્પેક્ટ્રોગ્રામ બનાવવા માટે વિન્ડોવાળા ફોરિયર ટ્રાન્સફોર્મનો ઉપયોગ થાય છે. જ્યારે સ્પેક્ટ્રોગ્રામમાંથી ધ્વનિનું પુનઃનિર્માણ કરવામાં આવે છે, ત્યારે તબક્કો નક્કી કરવામાં સમસ્યા ઊભી થાય છે (સ્પેક્ટ્રોગ્રામ પર માત્ર આવર્તન અને કંપનવિસ્તાર હાજર હોય છે), જેના પુનઃનિર્માણ માટે ગ્રિફીન-લિમ એપ્રોક્સિમેશન અલ્ગોરિધમનો ઉપયોગ થાય છે.

સોર્સ: opennet.ru