ಚಿತ್ರ ಸಂಶ್ಲೇಷಣೆ ಮತ್ತು ರಾತ್ರಿ ಫೋಟೋಗಳಲ್ಲಿ ಶಬ್ದ ಕಡಿತಕ್ಕಾಗಿ ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಗಳು

ಸ್ಟೆಬಿಲಿಟಿ ಎಐ ಸ್ಥಿರ ಪ್ರಸರಣ ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಗಾಗಿ ಸಿದ್ಧ ಮಾದರಿಗಳನ್ನು ಪ್ರಕಟಿಸಿದೆ, ನೈಸರ್ಗಿಕ ಭಾಷೆಯಲ್ಲಿ ಪಠ್ಯ ವಿವರಣೆಯನ್ನು ಆಧರಿಸಿ ಚಿತ್ರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸುವ ಮತ್ತು ಮಾರ್ಪಡಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ. ವಾಣಿಜ್ಯ ಬಳಕೆಗಾಗಿ ಅನುಮತಿಸುವ ಕ್ರಿಯೇಟಿವ್ ML OpenRAIL-M ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಮಾದರಿಗಳು ಪರವಾನಗಿ ಪಡೆದಿವೆ. ಸಿಸ್ಟಮ್ ಅನ್ನು ತರಬೇತಿ ಮಾಡಲು, 4000 NVIDIA A100 Ezra-1 GPU ಗಳ ಕ್ಲಸ್ಟರ್ ಮತ್ತು ಪಠ್ಯ ವಿವರಣೆಗಳೊಂದಿಗೆ 5 ಶತಕೋಟಿ ಚಿತ್ರಗಳನ್ನು ಒಳಗೊಂಡಂತೆ LAION-5.85B ಸಂಗ್ರಹವನ್ನು ಬಳಸಲಾಯಿತು. ಹಿಂದೆ, ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗೆ ತರಬೇತಿ ನೀಡುವ ಮತ್ತು ಚಿತ್ರಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಸಾಧನಗಳ ಕೋಡ್ ಅನ್ನು MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ಮುಕ್ತ ಮೂಲದಿಂದ ಪಡೆಯಲಾಗಿದೆ.

ಸಿದ್ಧ ಮಾದರಿಯ ಲಭ್ಯತೆ ಮತ್ತು ಪ್ರಮಾಣಿತ GPU ಗಳೊಂದಿಗೆ PC ಯಲ್ಲಿ ಪ್ರಯೋಗಗಳನ್ನು ಪ್ರಾರಂಭಿಸಲು ಅನುಮತಿಸುವ ಸಾಕಷ್ಟು ಸಾಧಾರಣ ಸಿಸ್ಟಮ್ ಅಗತ್ಯತೆಗಳು ಹಲವಾರು ಸಂಬಂಧಿತ ಯೋಜನೆಗಳ ಹೊರಹೊಮ್ಮುವಿಕೆಗೆ ಕಾರಣವಾಗಿವೆ:

• ಪಠ್ಯ-ವಿಲೋಮ (ಕೋಡ್) - ಕೊಟ್ಟಿರುವ ಅಕ್ಷರ, ವಸ್ತು ಅಥವಾ ಶೈಲಿಯೊಂದಿಗೆ ಚಿತ್ರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುವ ಆಡ್-ಆನ್. ಮೂಲ ಸ್ಥಿರ ಪ್ರಸರಣದಲ್ಲಿ, ಸಂಶ್ಲೇಷಿತ ಚಿತ್ರಗಳಲ್ಲಿನ ವಸ್ತುಗಳು ಯಾದೃಚ್ಛಿಕ ಮತ್ತು ನಿಯಂತ್ರಿಸಲಾಗದವು. ಪ್ರಸ್ತಾವಿತ ಆಡ್-ಆನ್ ನಿಮ್ಮ ಸ್ವಂತ ದೃಶ್ಯ ವಸ್ತುಗಳನ್ನು ಸೇರಿಸಲು, ಅವುಗಳನ್ನು ಕೀವರ್ಡ್‌ಗಳಿಗೆ ಬಂಧಿಸಲು ಮತ್ತು ಅವುಗಳನ್ನು ಸಂಶ್ಲೇಷಣೆಯಲ್ಲಿ ಬಳಸಲು ಅನುಮತಿಸುತ್ತದೆ.

  ಉದಾಹರಣೆಗೆ, ನಿಯಮಿತ ಸ್ಥಿರ ಪ್ರಸರಣದಲ್ಲಿ ನೀವು "ದೋಣಿಯಲ್ಲಿ ಬೆಕ್ಕು" ಯೊಂದಿಗೆ ಚಿತ್ರವನ್ನು ರಚಿಸಲು ಸಿಸ್ಟಮ್ ಅನ್ನು ಕೇಳಬಹುದು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ನೀವು ಬೆಕ್ಕು ಮತ್ತು ದೋಣಿಯ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಸ್ಪಷ್ಟಪಡಿಸಬಹುದು, ಆದರೆ ಯಾವ ಬೆಕ್ಕು ಮತ್ತು ದೋಣಿಯನ್ನು ಸಂಶ್ಲೇಷಿಸಲಾಗುತ್ತದೆ ಎಂಬುದು ಅನಿರೀಕ್ಷಿತವಾಗಿದೆ. ಪಠ್ಯ-ವಿಲೋಮವು ನಿಮ್ಮ ಬೆಕ್ಕು ಅಥವಾ ದೋಣಿಯ ಚಿತ್ರದ ಮೇಲೆ ಸಿಸ್ಟಮ್ ಅನ್ನು ತರಬೇತಿ ಮಾಡಲು ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಬೆಕ್ಕು ಅಥವಾ ದೋಣಿಯೊಂದಿಗೆ ಚಿತ್ರವನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಅದೇ ರೀತಿಯಲ್ಲಿ, ಇದು ಚಿತ್ರದ ಅಂಶಗಳನ್ನು ಕೆಲವು ವಸ್ತುಗಳೊಂದಿಗೆ ಬದಲಾಯಿಸಬಹುದು, ಸಂಶ್ಲೇಷಣೆಗಾಗಿ ದೃಶ್ಯ ಶೈಲಿಯ ಉದಾಹರಣೆಯನ್ನು ಹೊಂದಿಸಬಹುದು ಮತ್ತು ಪರಿಕಲ್ಪನೆಗಳನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸಬಹುದು (ಉದಾಹರಣೆಗೆ, ಸಂಪೂರ್ಣ ವೈವಿಧ್ಯಮಯ ವೈದ್ಯರಿಂದ, ನೀವು ಹೆಚ್ಚು ನಿಖರವಾದ ಮತ್ತು ಉತ್ತಮ-ಗುಣಮಟ್ಟದ ಆಯ್ಕೆಯನ್ನು ಬಳಸಬಹುದು. ಬಯಸಿದ ಶೈಲಿಯಲ್ಲಿ).

  

• ಸ್ಥಿರ-ಪ್ರಸರಣ-ಅನಿಮೇಷನ್ - ಸ್ಥಿರ ಪ್ರಸರಣದಲ್ಲಿ ರಚಿಸಲಾದ ಚಿತ್ರಗಳ ನಡುವಿನ ಪ್ರಕ್ಷೇಪಣದ ಆಧಾರದ ಮೇಲೆ ಅನಿಮೇಟೆಡ್ (ಚಲಿಸುವ) ಚಿತ್ರಗಳ ರಚನೆ.
• stable_diffusion.openvino (ಕೋಡ್) - ಸ್ಥಿರ ಪ್ರಸರಣ ಪೋರ್ಟ್, ಇದು CPU ಅನ್ನು ಲೆಕ್ಕಾಚಾರಗಳಿಗೆ ಮಾತ್ರ ಬಳಸುತ್ತದೆ, ಇದು ಶಕ್ತಿಯುತ GPUಗಳಿಲ್ಲದ ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಪ್ರಯೋಗವನ್ನು ಅನುಮತಿಸುತ್ತದೆ. OpenVINO ಲೈಬ್ರರಿಯಲ್ಲಿ ಬೆಂಬಲಿತ ಪ್ರೊಸೆಸರ್ ಅಗತ್ಯವಿದೆ. ಅಧಿಕೃತವಾಗಿ, OpenVINO AVX2, AVX-512, AVX512_BF16 ಮತ್ತು SSE ವಿಸ್ತರಣೆಗಳೊಂದಿಗೆ ಇಂಟೆಲ್ ಪ್ರೊಸೆಸರ್‌ಗಳಿಗೆ ಪ್ಲಗಿನ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಹಾಗೆಯೇ Raspberry Pi 4 ಮಾಡೆಲ್ B, Apple Mac mini ಮತ್ತು NVIDIA Jetson Nano ಬೋರ್ಡ್‌ಗಳಿಗೆ. ಅನಧಿಕೃತವಾಗಿ, AMD Ryzen ಪ್ರೊಸೆಸರ್‌ಗಳಲ್ಲಿ OpenVINO ಅನ್ನು ಬಳಸಲು ಸಾಧ್ಯವಿದೆ.
• sdamd ಎಎಮ್‌ಡಿ ಜಿಪಿಯುಗಳಿಗೆ ಪೋರ್ಟ್ ಆಗಿದೆ.
• ವೀಡಿಯೊ ಸಂಶ್ಲೇಷಣೆಯ ಆರಂಭಿಕ ಅನುಷ್ಠಾನ.
• ಸ್ಥಿರ-ಪ್ರಸರಣ-gui, ಸ್ಥಿರ-ಪ್ರಸರಣ-ui, ಆರ್ಟ್‌ಬ್ರೀಡರ್ ಕೊಲಾಜ್, ಡಿಫ್ಯೂಸ್-ದಿ-ರೆಸ್ಟ್ - ಸ್ಥಿರ ಪ್ರಸರಣವನ್ನು ಬಳಸಿಕೊಂಡು ಚಿತ್ರಗಳನ್ನು ರಚಿಸಲು ಚಿತ್ರಾತ್ಮಕ ಇಂಟರ್ಫೇಸ್‌ಗಳು.
• beta.dreamstudio.ai, ಹಗ್ಗಿಂಗ್ ಫೇಸ್ ಸ್ಪೇಸ್‌ಗಳು, hlky ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ WebUI - ಸ್ಟೇಬಲ್ ಡಿಫ್ಯೂಷನ್ ಬಳಸಿ ಇಮೇಜ್ ಸಿಂಥೆಸಿಸ್‌ಗಾಗಿ ವೆಬ್ ಇಂಟರ್ಫೇಸ್‌ಗಳು.
• GIMP, Figma, ಬ್ಲೆಂಡರ್ ಮತ್ತು ಫೋಟೋಶಾಪ್‌ನೊಂದಿಗೆ ಸ್ಥಿರವಾದ ಪ್ರಸರಣವನ್ನು ಸಂಯೋಜಿಸಲು ಪ್ಲಗಿನ್‌ಗಳು.

ಹೆಚ್ಚುವರಿಯಾಗಿ, ನಾವು Google ನಿಂದ RawNeRF (RAW ನ್ಯೂರಲ್ ರೇಡಿಯನ್ಸ್ ಫೀಲ್ಡ್ಸ್) ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಯ ಕೋಡ್‌ನ ಪ್ರಕಟಣೆಯನ್ನು ಗಮನಿಸಬಹುದು, ಇದು ಹಲವಾರು RAW ಚಿತ್ರಗಳ ಡೇಟಾವನ್ನು ಆಧರಿಸಿ, ಕತ್ತಲೆಯಲ್ಲಿ ಮತ್ತು ಒಳಗೆ ತೆಗೆದ ಹೆಚ್ಚು ಗದ್ದಲದ ಚಿತ್ರಗಳ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಕಳಪೆ ಬೆಳಕು. ಶಬ್ದವನ್ನು ತೆಗೆದುಹಾಕುವುದರ ಜೊತೆಗೆ, ಯೋಜನೆಯು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಸಾಧನಗಳು ವಿವರಗಳನ್ನು ಹೆಚ್ಚಿಸಲು, ಪ್ರಜ್ವಲಿಸುವಿಕೆಯನ್ನು ತೊಡೆದುಹಾಕಲು, HDR ಅನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ಮತ್ತು ಛಾಯಾಚಿತ್ರಗಳಲ್ಲಿ ಒಟ್ಟಾರೆ ಬೆಳಕನ್ನು ಬದಲಾಯಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ, ಜೊತೆಗೆ ವಿವಿಧ ಕೋನಗಳಿಂದ ಹಲವಾರು ಛಾಯಾಚಿತ್ರಗಳನ್ನು ಬಳಸಿಕೊಂಡು ವಸ್ತುಗಳ ಮೂರು ಆಯಾಮದ ಸ್ಥಾನವನ್ನು ಮರುಸೃಷ್ಟಿಸುತ್ತದೆ, ದೃಷ್ಟಿಕೋನವನ್ನು ಬದಲಿಸಿ, ಗಮನವನ್ನು ಕುಶಲತೆಯಿಂದ ಮತ್ತು ಚಲಿಸುವ ಚಿತ್ರಗಳನ್ನು ರಚಿಸಿ.

ಮೂಲ: opennet.ru