ரிஃப்யூஷன் திட்டமானது மெஷின் லேர்னிங் சிஸ்டத்தின் ஸ்டேபிள் டிஃப்யூஷன் பதிப்பை உருவாக்கி வருகிறது, இது படங்களுக்குப் பதிலாக இசையை உருவாக்குவதற்கு ஏற்றது. இயற்கை மொழியில் உள்ள உரை விளக்கத்திலிருந்து அல்லது முன்மொழியப்பட்ட டெம்ப்ளேட்டின் அடிப்படையில் இசையை ஒருங்கிணைக்க முடியும். இசை தொகுப்பு கூறுகள் PyTorch கட்டமைப்பைப் பயன்படுத்தி பைத்தானில் எழுதப்பட்டு MIT உரிமத்தின் கீழ் கிடைக்கின்றன. இடைமுக பிணைப்பு டைப்ஸ்கிரிப்டில் செயல்படுத்தப்படுகிறது மற்றும் எம்ஐடி உரிமத்தின் கீழ் விநியோகிக்கப்படுகிறது. பயிற்சியளிக்கப்பட்ட மாதிரிகள் வணிகப் பயன்பாட்டிற்காக அனுமதிக்கப்பட்ட கிரியேட்டிவ் ML OpenRAIL-M உரிமத்தின் கீழ் உரிமம் பெற்றவை.
இசையை உருவாக்க "உரை-க்கு-படம்" மற்றும் "இமேஜ்-டு-இமேஜ்" மாதிரிகளைத் தொடர்ந்து பயன்படுத்துவதில் இந்த திட்டம் சுவாரஸ்யமானது, ஆனால் ஸ்பெக்ட்ரோகிராம்களை படங்களாகக் கையாளுகிறது. வேறு வார்த்தைகளில் கூறுவதானால், கிளாசிக் ஸ்டேபிள் டிஃப்யூஷன் என்பது புகைப்படங்கள் மற்றும் படங்களில் அல்ல, ஆனால் காலப்போக்கில் ஒலி அலையின் அதிர்வெண் மற்றும் அலைவீச்சில் ஏற்படும் மாற்றங்களை பிரதிபலிக்கும் ஸ்பெக்ட்ரோகிராம்களின் படங்களில் பயிற்சியளிக்கப்படுகிறது. அதன்படி, வெளியீட்டில் ஒரு ஸ்பெக்ட்ரோகிராம் உருவாகிறது, அது ஆடியோ பிரதிநிதித்துவமாக மாற்றப்படுகிறது.
நிலையான பரவலில் உள்ள பட மாற்றத்தைப் போலவே, ஏற்கனவே உள்ள ஒலி அமைப்புகளை மாற்றவும் மற்றும் ஒரு மாதிரியிலிருந்து இசையை ஒருங்கிணைக்கவும் இந்த முறை பயன்படுத்தப்படலாம். எடுத்துக்காட்டாக, தலைமுறை ஸ்பெக்ட்ரோகிராம்களை ஒரு குறிப்பு பாணியுடன் மாதிரி செய்யலாம், வெவ்வேறு பாணிகளை இணைக்கலாம், ஒரு பாணியிலிருந்து மற்றொரு பாணிக்கு சீரான மாற்றங்களைச் செய்யலாம் அல்லது தனிப்பட்ட கருவிகளின் அளவை அதிகரிப்பது, தாளத்தை மாற்றுவது மற்றும் மாற்றுவது போன்ற சிக்கல்களைத் தீர்க்க ஏற்கனவே உள்ள ஒலியில் மாற்றங்களைச் செய்யலாம். கருவிகள். காலப்போக்கில் சிறிது மாறுபடும் நெருக்க இடைவெளியுள்ள பத்திகளின் வரிசையைக் கொண்ட நீண்ட-விளையாடும் பாடல்களை உருவாக்கவும் மாதிரிகள் பயன்படுத்தப்படுகின்றன. தனித்தனியாக உருவாக்கப்பட்ட பத்திகள் மாதிரியின் உள் அளவுருக்களின் இடைக்கணிப்பைப் பயன்படுத்தி தொடர்ச்சியான ஸ்ட்ரீமில் இணைக்கப்படுகின்றன.
ஒலியிலிருந்து ஸ்பெக்ட்ரோகிராம் உருவாக்க ஒரு சாளர ஃபோரியர் உருமாற்றம் பயன்படுத்தப்படுகிறது. ஸ்பெக்ட்ரோகிராமிலிருந்து ஒலியை மீண்டும் உருவாக்கும்போது, கட்டத்தை தீர்மானிப்பதில் சிக்கல் எழுகிறது (ஸ்பெக்ட்ரோகிராமில் அதிர்வெண் மற்றும் அலைவீச்சு மட்டுமே உள்ளது), அதன் மறுகட்டமைப்புக்கு கிரிஃபின்-லிம் தோராய வழிமுறை பயன்படுத்தப்படுகிறது.
ஆதாரம்: opennet.ru