ರಿಫ್ಯೂಷನ್ ಪ್ರಾಜೆಕ್ಟ್ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಸಿಸ್ಟಮ್ ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್‌ನ ಆವೃತ್ತಿಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತಿದೆ, ಚಿತ್ರಗಳ ಬದಲಿಗೆ ಸಂಗೀತವನ್ನು ಉತ್ಪಾದಿಸಲು ಅಳವಡಿಸಲಾಗಿದೆ. ಸಂಗೀತವನ್ನು ನೈಸರ್ಗಿಕ ಭಾಷೆಯಲ್ಲಿನ ಪಠ್ಯ ವಿವರಣೆಯಿಂದ ಅಥವಾ ಪ್ರಸ್ತಾವಿತ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಆಧರಿಸಿ ಸಂಶ್ಲೇಷಿಸಬಹುದು. PyTorch ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಪೈಥಾನ್‌ನಲ್ಲಿ ಸಂಗೀತ ಸಂಶ್ಲೇಷಣೆಯ ಘಟಕಗಳನ್ನು ಬರೆಯಲಾಗಿದೆ ಮತ್ತು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಲಭ್ಯವಿದೆ. ಇಂಟರ್ಫೇಸ್ ಬೈಂಡಿಂಗ್ ಅನ್ನು ಟೈಪ್‌ಸ್ಕ್ರಿಪ್ಟ್‌ನಲ್ಲಿ ಅಳವಡಿಸಲಾಗಿದೆ ಮತ್ತು ಇದನ್ನು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ವಿತರಿಸಲಾಗುತ್ತದೆ. ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳು ವಾಣಿಜ್ಯ ಬಳಕೆಗಾಗಿ ಅನುಮತಿಸುವ ಕ್ರಿಯೇಟಿವ್ ML OpenRAIL-M ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಪರವಾನಗಿ ಪಡೆದಿವೆ.
ಯೋಜನೆಯು ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ, ಅದು ಸಂಗೀತವನ್ನು ಉತ್ಪಾದಿಸಲು "ಪಠ್ಯದಿಂದ ಚಿತ್ರಕ್ಕೆ" ಮತ್ತು "ಇಮೇಜ್-ಟು-ಇಮೇಜ್" ಮಾದರಿಗಳನ್ನು ಬಳಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತದೆ, ಆದರೆ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್‌ಗಳನ್ನು ಚಿತ್ರಗಳಾಗಿ ಕುಶಲತೆಯಿಂದ ನಿರ್ವಹಿಸುತ್ತದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಕ್ಲಾಸಿಕ್ ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ ಅನ್ನು ಛಾಯಾಚಿತ್ರಗಳು ಮತ್ತು ಚಿತ್ರಗಳ ಮೇಲೆ ಅಲ್ಲ, ಆದರೆ ಕಾಲಾನಂತರದಲ್ಲಿ ಧ್ವನಿ ತರಂಗದ ಆವರ್ತನ ಮತ್ತು ವೈಶಾಲ್ಯದ ಬದಲಾವಣೆಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ಗಳ ಚಿತ್ರಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ. ಅಂತೆಯೇ, ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ ಕೂಡ ರಚನೆಯಾಗುತ್ತದೆ, ನಂತರ ಅದನ್ನು ಆಡಿಯೊ ಪ್ರಾತಿನಿಧ್ಯವಾಗಿ ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ.
ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಧ್ವನಿ ಸಂಯೋಜನೆಗಳನ್ನು ಮಾರ್ಪಡಿಸಲು ಮತ್ತು ಮಾದರಿಯಿಂದ ಸಂಗೀತವನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ಈ ವಿಧಾನವನ್ನು ಬಳಸಬಹುದು, ಸ್ಥಿರ ಪ್ರಸರಣದಲ್ಲಿ ಇಮೇಜ್ ಮಾರ್ಪಾಡು ಮಾಡುವಂತೆಯೇ. ಉದಾಹರಣೆಗೆ, ಪೀಳಿಗೆಯು ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್‌ಗಳನ್ನು ಉಲ್ಲೇಖ ಶೈಲಿಯೊಂದಿಗೆ ಮಾದರಿ ಮಾಡಬಹುದು, ವಿಭಿನ್ನ ಶೈಲಿಗಳನ್ನು ಸಂಯೋಜಿಸಬಹುದು, ಒಂದು ಶೈಲಿಯಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಮೃದುವಾದ ಪರಿವರ್ತನೆಗಳನ್ನು ಮಾಡಬಹುದು ಅಥವಾ ಪ್ರತ್ಯೇಕ ವಾದ್ಯಗಳ ಪರಿಮಾಣವನ್ನು ಹೆಚ್ಚಿಸುವುದು, ಲಯವನ್ನು ಬದಲಾಯಿಸುವುದು ಮತ್ತು ಬದಲಾಯಿಸುವಂತಹ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಧ್ವನಿಗೆ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡಬಹುದು. ವಾದ್ಯಗಳು. ಮಾದರಿಗಳನ್ನು ದೀರ್ಘ-ಆಡುವ ಸಂಯೋಜನೆಗಳನ್ನು ರಚಿಸಲು ಸಹ ಬಳಸಲಾಗುತ್ತದೆ, ಕಾಲಾನಂತರದಲ್ಲಿ ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಬದಲಾಗುವ ನಿಕಟ ಅಂತರದ ಹಾದಿಗಳ ಸರಣಿಯನ್ನು ಸಂಯೋಜಿಸಲಾಗಿದೆ. ಮಾದರಿಯ ಆಂತರಿಕ ನಿಯತಾಂಕಗಳ ಇಂಟರ್ಪೋಲೇಷನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರತ್ಯೇಕವಾಗಿ ರಚಿಸಲಾದ ಹಾದಿಗಳನ್ನು ನಿರಂತರ ಸ್ಟ್ರೀಮ್ಗೆ ಸಂಯೋಜಿಸಲಾಗುತ್ತದೆ.
ಧ್ವನಿಯಿಂದ ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್ ರಚಿಸಲು ವಿಂಡೋಡ್ ಫೋರಿಯರ್ ರೂಪಾಂತರವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್‌ನಿಂದ ಧ್ವನಿಯನ್ನು ಮರುಸೃಷ್ಟಿಸುವಾಗ, ಹಂತವನ್ನು ನಿರ್ಧರಿಸುವಲ್ಲಿ ಸಮಸ್ಯೆ ಉಂಟಾಗುತ್ತದೆ (ಸ್ಪೆಕ್ಟ್ರೋಗ್ರಾಮ್‌ನಲ್ಲಿ ಆವರ್ತನ ಮತ್ತು ವೈಶಾಲ್ಯ ಮಾತ್ರ ಇರುತ್ತದೆ), ಇದರ ಪುನರ್ನಿರ್ಮಾಣಕ್ಕಾಗಿ ಗ್ರಿಫಿನ್-ಲಿಮ್ ಅಂದಾಜು ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ.
ಮೂಲ: opennet.ru