ಸ್ಟೆಬಿಲಿಟಿ AI, ಸ್ಟೇಬಲ್ ವಿಡಿಯೋ ಡಿಫ್ಯೂಷನ್ ಎಂಬ ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಯನ್ನು ಪ್ರಕಟಿಸಿದೆ, ಇದು ಚಿತ್ರಗಳಿಂದ ಸಣ್ಣ ವೀಡಿಯೊಗಳನ್ನು ರಚಿಸಬಹುದು. ಈ ಮಾದರಿಯು ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ ಯೋಜನೆಯ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ವಿಸ್ತರಿಸುತ್ತದೆ, ಇದು ಹಿಂದೆ ಸ್ಥಿರ ಚಿತ್ರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸುವುದಕ್ಕೆ ಸೀಮಿತವಾಗಿತ್ತು. ನರಮಂಡಲದ ನೆಟ್ವರ್ಕ್ ತರಬೇತಿ ಮತ್ತು ಇಮೇಜ್ ಜನರೇಷನ್ ಪರಿಕರಗಳ ಕೋಡ್ ಅನ್ನು ಪೈಥಾನ್ನಲ್ಲಿ ಪೈಟಾರ್ಚ್ ಫ್ರೇಮ್ವರ್ಕ್ ಬಳಸಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ. ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳನ್ನು ಕ್ರಿಯೇಟಿವ್ ML ಓಪನ್ರೈಲ್-ಎಂ ಅನುಮತಿ ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಮುಕ್ತ ಮೂಲದಲ್ಲಿ ಪಡೆಯಲಾಗಿದ್ದು, ವಾಣಿಜ್ಯ ಬಳಕೆಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ.
ಎರಡು ಮಾದರಿ ರೂಪಾಂತರಗಳು ಡೌನ್ಲೋಡ್ಗೆ ಲಭ್ಯವಿದೆ: ನಿರ್ದಿಷ್ಟ ಸ್ಥಿರ ಚಿತ್ರದ ಆಧಾರದ ಮೇಲೆ 576×1024 ರೆಸಲ್ಯೂಶನ್ನಲ್ಲಿ 14 ಫ್ರೇಮ್ಗಳನ್ನು ಉತ್ಪಾದಿಸುವ SVD (ಸ್ಟೇಬಲ್ ವಿಡಿಯೋ ಡಿಫ್ಯೂಷನ್) ಮತ್ತು 25 ಫ್ರೇಮ್ಗಳನ್ನು ಉತ್ಪಾದಿಸುವ SVD-XT. ವೀಡಿಯೊ ಉತ್ಪಾದನೆಯು ಚಲನರಹಿತ ಅಥವಾ ತುಂಬಾ ನಿಧಾನವಾದ ಕ್ಯಾಮೆರಾ ತಿರುಗುವಿಕೆಯೊಂದಿಗೆ ಸಾಧ್ಯ, ಇದು 4 ಸೆಕೆಂಡುಗಳಿಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಉಳಿಯುವುದಿಲ್ಲ. ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಪಠ್ಯವನ್ನು ಆಧರಿಸಿದ ಮಾದರಿಯ ನೇರ ನಿಯಂತ್ರಣವು ಇನ್ನೂ ಬೆಂಬಲಿತವಾಗಿಲ್ಲ, ಆದರೆ ಮೊದಲು ಹಳೆಯ ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ 2.1 ಮಾದರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಮೂಲ ಚಿತ್ರವನ್ನು ಸಿದ್ಧಪಡಿಸಲು ಮತ್ತು ನಂತರ ಅದನ್ನು SVD ಮಾದರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ವೀಡಿಯೊಗೆ ಪರಿವರ್ತಿಸಲು ಸಾಧ್ಯವಿದೆ.
ವೀಡಿಯೊ ಗುಣಮಟ್ಟವು ಇನ್ನೂ ಪರಿಪೂರ್ಣ ಫೋಟೊರಿಯಲಿಸಂ ಅಥವಾ ಮುಖಗಳು ಮತ್ತು ಜನರ ನಿಖರವಾದ ರೆಂಡರಿಂಗ್ ಅನ್ನು ಒದಗಿಸಿಲ್ಲ. ಕಾರ್ಯಕ್ಷಮತೆಯ ವಿಷಯದಲ್ಲಿ, ಪ್ರಸ್ತಾವಿತ ಓಪನ್-ಸೋರ್ಸ್ ಮಾದರಿಯು ರನ್ವೇ ಮತ್ತು ಪಿಕಾ ಲ್ಯಾಬ್ಗಳ ಸ್ವಾಮ್ಯದ ಅನಲಾಗ್ಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿದೆ. ಮೂರು ಆಯಾಮದ ಆಕೃತಿಗಳನ್ನು ರಚಿಸುವಂತಹ ವಿವಿಧ ಕಾರ್ಯಗಳಿಗೆ ಈ ಮಾದರಿಯನ್ನು ಸುಲಭವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು.
ವೀಡಿಯೊ-LLaVA ಯಂತ್ರ ಕಲಿಕಾ ಪರಿಕರಗಳ ಪ್ರಕಟಣೆಯೂ ಗಮನಾರ್ಹವಾಗಿದೆ, ಇದು ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ವಸ್ತುವಿನ ಛಾಯಾಚಿತ್ರಗಳು ಮತ್ತು ವೀಡಿಯೊ ರೆಕಾರ್ಡಿಂಗ್ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ರೂಪುಗೊಂಡ ವಸ್ತುವಿನ ಏಕೀಕೃತ ದೃಶ್ಯ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ರಚಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಚಿತ್ರಗಳು ಮತ್ತು ವೀಡಿಯೊಗಳಲ್ಲಿ ಒಂದೇ ವಸ್ತುಗಳ ಉಪಸ್ಥಿತಿಯನ್ನು ಗುರುತಿಸಲು ಈ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸಬಹುದು. ಕೋಡ್ ಅನ್ನು ಪೈಥಾನ್ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು ಅಪಾಚೆ 2.0 ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ವಿತರಿಸಲಾಗಿದೆ.
ಮೂಲ: opennet.ru
