ಸ್ಟೆಬಿಲಿಟಿ AI ಸ್ಥಿರ ಪ್ರಸರಣ ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಯ ಎರಡನೇ ಆವೃತ್ತಿಯನ್ನು ಪ್ರಕಟಿಸಿದೆ, ಇದು ಸೂಚಿಸಿದ ಮಾದರಿ ಅಥವಾ ನೈಸರ್ಗಿಕ ಭಾಷೆಯ ಪಠ್ಯ ವಿವರಣೆಯನ್ನು ಆಧರಿಸಿ ಚಿತ್ರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ಮತ್ತು ಮಾರ್ಪಡಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ. ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ತರಬೇತಿ ಮತ್ತು ಇಮೇಜ್ ನಿರ್ಮಾಣಕ್ಕಾಗಿ ಪರಿಕರಗಳ ಕೋಡ್ ಅನ್ನು ಪೈಟಾರ್ಚ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಪೈಥಾನ್‌ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ. ಈಗಾಗಲೇ ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳು ಕ್ರಿಯೇಟಿವ್ ML OpenRAIL-M ಅನುಮತಿ ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ತೆರೆದಿರುತ್ತವೆ, ಇದು ವಾಣಿಜ್ಯ ಬಳಕೆಯನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಡೆಮೊ ಆನ್‌ಲೈನ್ ಇಮೇಜ್ ಜನರೇಟರ್ ಲಭ್ಯವಿದೆ.
ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್‌ನ ಹೊಸ ಆವೃತ್ತಿಯಲ್ಲಿ ಪ್ರಮುಖ ಸುಧಾರಣೆಗಳು:
- ಪಠ್ಯ ವಿವರಣೆಯ ಆಧಾರದ ಮೇಲೆ ಚಿತ್ರ ಸಂಶ್ಲೇಷಣೆಗಾಗಿ ಹೊಸ ಮಾದರಿಯನ್ನು ರಚಿಸಲಾಗಿದೆ - SD2.0-v - ಇದು 768×768 ರೆಸಲ್ಯೂಶನ್ ಹೊಂದಿರುವ ಚಿತ್ರಗಳ ಉತ್ಪಾದನೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಪಠ್ಯ ವಿವರಣೆಗಳೊಂದಿಗೆ 5 ಶತಕೋಟಿ ಚಿತ್ರಗಳ LAION-5.85B ಸಂಗ್ರಹವನ್ನು ಬಳಸಿಕೊಂಡು ಹೊಸ ಮಾದರಿಯನ್ನು ತರಬೇತಿ ಮಾಡಲಾಗಿದೆ. ಮಾದರಿಯು ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ 1.5 ಮಾದರಿಯಂತೆ ಅದೇ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೆ ಮೂಲಭೂತವಾಗಿ ವಿಭಿನ್ನವಾದ OpenCLIP-ViT/H ಎನ್‌ಕೋಡರ್ ಅನ್ನು ಬಳಸುವ ಪರಿವರ್ತನೆಯಿಂದ ಭಿನ್ನವಾಗಿದೆ, ಇದು ಫಲಿತಾಂಶದ ಚಿತ್ರಗಳ ಗುಣಮಟ್ಟವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಸುಧಾರಿಸಲು ಸಾಧ್ಯವಾಗಿಸಿತು.
- SD2.0-ಬೇಸ್‌ನ ಸರಳೀಕೃತ ಆವೃತ್ತಿಯನ್ನು ಸಿದ್ಧಪಡಿಸಲಾಗಿದೆ, ಶಾಸ್ತ್ರೀಯ ಶಬ್ದ ಮುನ್ಸೂಚನೆ ಮಾದರಿಯನ್ನು ಬಳಸಿಕೊಂಡು 256×256 ಚಿತ್ರಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ ಮತ್ತು 512×512 ರೆಸಲ್ಯೂಶನ್‌ನೊಂದಿಗೆ ಇಮೇಜ್ ಉತ್ಪಾದನೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
- ಪ್ರಾದೇಶಿಕ ಸ್ಕೇಲಿಂಗ್ ಮತ್ತು ವಿವರಗಳ ಪುನರ್ನಿರ್ಮಾಣಕ್ಕಾಗಿ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಗುಣಮಟ್ಟವನ್ನು ಕಡಿಮೆ ಮಾಡದೆ ಮೂಲ ಚಿತ್ರದ ರೆಸಲ್ಯೂಶನ್ ಅನ್ನು ಹೆಚ್ಚಿಸಲು ಸೂಪರ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ (ಸೂಪರ್ ರೆಸಲ್ಯೂಶನ್) ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಳಸುವ ಸಾಧ್ಯತೆಯನ್ನು ಒದಗಿಸಲಾಗಿದೆ. ಒದಗಿಸಿದ ಇಮೇಜ್ ಪ್ರೊಸೆಸಿಂಗ್ ಮಾಡೆಲ್ (SD20-upscaler) 2048x ಅಪ್‌ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇದು 2048×XNUMX ರೆಸಲ್ಯೂಶನ್‌ನೊಂದಿಗೆ ಚಿತ್ರಗಳನ್ನು ರಚಿಸಬಹುದು.
- SD2.0-depth2img ಮಾದರಿಯನ್ನು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ, ಇದು ವಸ್ತುಗಳ ಆಳ ಮತ್ತು ಪ್ರಾದೇಶಿಕ ವ್ಯವಸ್ಥೆಯನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. MiDaS ವ್ಯವಸ್ಥೆಯನ್ನು ಮೊನೊಕ್ಯುಲರ್ ಡೆಪ್ತ್ ಅಂದಾಜುಗಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ. ಮಾದರಿಯು ಮತ್ತೊಂದು ಚಿತ್ರವನ್ನು ಟೆಂಪ್ಲೇಟ್ ಆಗಿ ಬಳಸಿಕೊಂಡು ಹೊಸ ಚಿತ್ರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ, ಇದು ಮೂಲದಿಂದ ಆಮೂಲಾಗ್ರವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತದೆ, ಆದರೆ ಒಟ್ಟಾರೆ ಸಂಯೋಜನೆ ಮತ್ತು ಆಳವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ನೀವು ಅದೇ ಭಂಗಿಯಲ್ಲಿ ಮತ್ತೊಂದು ಪಾತ್ರವನ್ನು ರೂಪಿಸಲು ಫೋಟೋದಲ್ಲಿ ವ್ಯಕ್ತಿಯ ಭಂಗಿಯನ್ನು ಬಳಸಬಹುದು.
- ಚಿತ್ರಗಳನ್ನು ಮಾರ್ಪಡಿಸುವ ಮಾದರಿಯನ್ನು ನವೀಕರಿಸಲಾಗಿದೆ - SD 2.0-ಇನ್‌ಪೇಂಟಿಂಗ್, ಇದು ಪಠ್ಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಚಿತ್ರದ ಭಾಗಗಳನ್ನು ಬದಲಾಯಿಸಲು ಮತ್ತು ಬದಲಾಯಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.
- ಒಂದೇ GPU ನೊಂದಿಗೆ ಸಾಂಪ್ರದಾಯಿಕ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಬಳಸಲು ಮಾದರಿಗಳನ್ನು ಹೊಂದುವಂತೆ ಮಾಡಲಾಗಿದೆ.
ಮೂಲ: opennet.ru