ಓಪನ್ ಡಾಟಾ ಹಬ್ ಯೋಜನೆಯು Red Hat OpenShift ಅನ್ನು ಆಧರಿಸಿದ ತೆರೆದ ಯಂತ್ರ ಕಲಿಕೆಯ ವೇದಿಕೆಯಾಗಿದೆ

ಭವಿಷ್ಯವು ಬಂದಿದೆ, ಮತ್ತು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಈಗಾಗಲೇ ನಿಮ್ಮ ನೆಚ್ಚಿನ ಅಂಗಡಿಗಳು, ಸಾರಿಗೆ ಕಂಪನಿಗಳು ಮತ್ತು ಟರ್ಕಿ ಫಾರ್ಮ್‌ಗಳು ಯಶಸ್ವಿಯಾಗಿ ಬಳಸುತ್ತಿವೆ.

ಮತ್ತು ಏನಾದರೂ ಅಸ್ತಿತ್ವದಲ್ಲಿದ್ದರೆ, ಇಂಟರ್ನೆಟ್ನಲ್ಲಿ ಅದರ ಬಗ್ಗೆ ಈಗಾಗಲೇ ಏನಾದರೂ ಇದೆ ... ಮುಕ್ತ ಯೋಜನೆ! ಹೊಸ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಅಳೆಯಲು ಮತ್ತು ಅನುಷ್ಠಾನದ ಸವಾಲುಗಳನ್ನು ತಪ್ಪಿಸಲು ಓಪನ್ ಡೇಟಾ ಹಬ್ ನಿಮಗೆ ಹೇಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡಿ.

ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ (AI) ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ (ML) ನ ಎಲ್ಲಾ ಅನುಕೂಲಗಳೊಂದಿಗೆ, ಸಂಸ್ಥೆಗಳು ಈ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಸ್ಕೇಲಿಂಗ್ ಮಾಡಲು ಸಾಮಾನ್ಯವಾಗಿ ಕಷ್ಟಪಡುತ್ತವೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ ಮುಖ್ಯ ಸಮಸ್ಯೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಕೆಳಕಂಡಂತಿವೆ:

• ಮಾಹಿತಿ ವಿನಿಮಯ ಮತ್ತು ಸಹಕಾರ - ಸಲೀಸಾಗಿ ಮಾಹಿತಿಯನ್ನು ವಿನಿಮಯ ಮಾಡಿಕೊಳ್ಳುವುದು ಮತ್ತು ಕ್ಷಿಪ್ರ ಪುನರಾವರ್ತನೆಗಳಲ್ಲಿ ಸಹಕರಿಸುವುದು ಅಸಾಧ್ಯ.
• ಡೇಟಾ ಪ್ರವೇಶ - ಪ್ರತಿ ಕಾರ್ಯಕ್ಕಾಗಿ ಅದನ್ನು ಹೊಸದಾಗಿ ಮತ್ತು ಹಸ್ತಚಾಲಿತವಾಗಿ ನಿರ್ಮಿಸಬೇಕಾಗಿದೆ, ಇದು ಸಾಕಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ.
• ಬೇಡಿಕೆಯ ಮೇರೆಗೆ ಪ್ರವೇಶ - ಯಂತ್ರ ಕಲಿಕಾ ಪರಿಕರಗಳು ಮತ್ತು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್, ಹಾಗೆಯೇ ಕಂಪ್ಯೂಟಿಂಗ್ ಮೂಲಸೌಕರ್ಯಗಳಿಗೆ ಬೇಡಿಕೆಯ ಪ್ರವೇಶವನ್ನು ಪಡೆಯಲು ಯಾವುದೇ ಮಾರ್ಗವಿಲ್ಲ.
• ಉತ್ಪಾದನೆ - ಮಾದರಿಗಳು ಮೂಲಮಾದರಿಯ ಹಂತದಲ್ಲಿ ಉಳಿಯುತ್ತವೆ ಮತ್ತು ಕೈಗಾರಿಕಾ ಬಳಕೆಗೆ ತರಲಾಗುವುದಿಲ್ಲ.
• AI ಫಲಿತಾಂಶಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ ಮತ್ತು ವಿವರಿಸಿ - AI/ML ಫಲಿತಾಂಶಗಳ ಪುನರುತ್ಪಾದನೆ, ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು ವಿವರಣೆ ಕಷ್ಟ.

ಗಮನಹರಿಸದೆ ಬಿಟ್ಟರೆ, ಈ ಸಮಸ್ಯೆಗಳು ಬೆಲೆಬಾಳುವ ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳ ವೇಗ, ದಕ್ಷತೆ ಮತ್ತು ಉತ್ಪಾದಕತೆಯ ಮೇಲೆ ಋಣಾತ್ಮಕ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ. ಇದು ಅವರ ಹತಾಶೆ, ಅವರ ಕೆಲಸದಲ್ಲಿ ನಿರಾಶೆಗೆ ಕಾರಣವಾಗುತ್ತದೆ ಮತ್ತು ಇದರ ಪರಿಣಾಮವಾಗಿ, AI/ML ಗೆ ಸಂಬಂಧಿಸಿದ ವ್ಯಾಪಾರ ನಿರೀಕ್ಷೆಗಳು ವ್ಯರ್ಥವಾಗುತ್ತವೆ.

ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವ ಜವಾಬ್ದಾರಿಯು ಐಟಿ ತಜ್ಞರ ಮೇಲೆ ಬೀಳುತ್ತದೆ, ಅವರು ಡೇಟಾ ವಿಶ್ಲೇಷಕರನ್ನು ಒದಗಿಸಬೇಕು - ಅದು ಸರಿ, ಮೋಡದಂತೆಯೇ. ಹೆಚ್ಚು ವಿವರವಾಗಿ, ನಮಗೆ ಆಯ್ಕೆಯ ಸ್ವಾತಂತ್ರ್ಯವನ್ನು ನೀಡುವ ಮತ್ತು ಅನುಕೂಲಕರವಾದ, ಸುಲಭವಾದ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿರುವ ವೇದಿಕೆಯ ಅಗತ್ಯವಿದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಇದು ವೇಗವಾಗಿರುತ್ತದೆ, ಸುಲಭವಾಗಿ ಮರುಸಂರಚಿಸಬಹುದು, ಬೇಡಿಕೆಯ ಮೇಲೆ ಸ್ಕೇಲೆಬಲ್ ಮತ್ತು ವೈಫಲ್ಯಗಳಿಗೆ ನಿರೋಧಕವಾಗಿದೆ. ತೆರೆದ ಮೂಲ ತಂತ್ರಜ್ಞಾನಗಳಲ್ಲಿ ಅಂತಹ ವೇದಿಕೆಯನ್ನು ನಿರ್ಮಿಸುವುದು ಮಾರಾಟಗಾರರ ಲಾಕ್-ಇನ್ ಅನ್ನು ತಪ್ಪಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ ಮತ್ತು ವೆಚ್ಚ ನಿಯಂತ್ರಣದ ವಿಷಯದಲ್ಲಿ ದೀರ್ಘಾವಧಿಯ ಕಾರ್ಯತಂತ್ರದ ಪ್ರಯೋಜನವನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುತ್ತದೆ.

ಕೆಲವು ವರ್ಷಗಳ ಹಿಂದೆ, ಅಪ್ಲಿಕೇಶನ್ ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ ಇದೇ ರೀತಿಯ ಏನಾದರೂ ನಡೆಯುತ್ತಿದೆ ಮತ್ತು ಮೈಕ್ರೋ ಸರ್ವೀಸ್, ಹೈಬ್ರಿಡ್ ಕ್ಲೌಡ್‌ಗಳು, ಐಟಿ ಆಟೊಮೇಷನ್ ಮತ್ತು ಅಗೈಲ್ ಪ್ರಕ್ರಿಯೆಗಳ ಹೊರಹೊಮ್ಮುವಿಕೆಗೆ ಕಾರಣವಾಯಿತು. ಇದೆಲ್ಲವನ್ನೂ ನಿಭಾಯಿಸಲು, ಐಟಿ ವೃತ್ತಿಪರರು ಕಂಟೈನರ್, ಕುಬರ್ನೆಟ್ಸ್ ಮತ್ತು ತೆರೆದ ಹೈಬ್ರಿಡ್ ಮೋಡಗಳತ್ತ ಮುಖ ಮಾಡಿದ್ದಾರೆ.

ಅಲ್‌ನ ಸವಾಲುಗಳಿಗೆ ಉತ್ತರಿಸಲು ಈ ಅನುಭವವನ್ನು ಈಗ ಅನ್ವಯಿಸಲಾಗುತ್ತಿದೆ. ಅದಕ್ಕಾಗಿಯೇ IT ವೃತ್ತಿಪರರು ಕಂಟೈನರ್ ಆಧಾರಿತ ವೇದಿಕೆಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದಾರೆ, ಚುರುಕುಬುದ್ಧಿಯ ಪ್ರಕ್ರಿಯೆಗಳಲ್ಲಿ AI/ML ಸೇವೆಗಳ ರಚನೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತಾರೆ, ನಾವೀನ್ಯತೆಯನ್ನು ವೇಗಗೊಳಿಸುತ್ತಾರೆ ಮತ್ತು ಹೈಬ್ರಿಡ್ ಕ್ಲೌಡ್‌ನತ್ತ ದೃಷ್ಟಿಯಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ.

ನಾವು ಇಂತಹ ವೇದಿಕೆಯನ್ನು Red Hat OpenShift ನೊಂದಿಗೆ ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ, ಹೈಬ್ರಿಡ್ ಕ್ಲೌಡ್‌ಗಾಗಿ ನಮ್ಮ ಕಂಟೈನರೈಸ್ಡ್ ಕುಬರ್ನೆಟ್ಸ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್, ಇದು ಸಾಫ್ಟ್‌ವೇರ್ ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ML ಪರಿಹಾರಗಳ (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ಇತ್ಯಾದಿ) ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯನ್ನು ಹೊಂದಿದೆ. BMW ಗ್ರೂಪ್, ExxonMobil ಮತ್ತು ಇತರ Red Hat ನ ಕೆಲವು ಗ್ರಾಹಕರು ಈಗಾಗಲೇ ತಮ್ಮ ML ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳನ್ನು ಉತ್ಪಾದನೆಗೆ ತರಲು ಮತ್ತು ಡೇಟಾ ವಿಶ್ಲೇಷಕರ ಕೆಲಸವನ್ನು ವೇಗಗೊಳಿಸಲು ವೇದಿಕೆ ಮತ್ತು ಅದರ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ಮೇಲ್ಭಾಗದಲ್ಲಿ ಕಂಟೈನರೈಸ್ಡ್ ML ಟೂಲ್‌ಚೇನ್‌ಗಳು ಮತ್ತು DevOps ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ನಿಯೋಜಿಸಿದ್ದಾರೆ.

ನಾವು ಓಪನ್ ಡಾಟಾ ಹಬ್ ಪ್ರಾಜೆಕ್ಟ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಲು ಇನ್ನೊಂದು ಕಾರಣವೆಂದರೆ ಹಲವಾರು ಓಪನ್ ಸೋರ್ಸ್ ಸಾಫ್ಟ್‌ವೇರ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ವಾಸ್ತುಶಿಲ್ಪದ ಉದಾಹರಣೆಯನ್ನು ಪ್ರದರ್ಶಿಸುವುದು ಮತ್ತು ಓಪನ್‌ಶಿಫ್ಟ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಆಧಾರಿತ ಎಂಎಲ್ ಪರಿಹಾರದ ಸಂಪೂರ್ಣ ಜೀವನ ಚಕ್ರವನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುವುದು.

ಡೇಟಾ ಹಬ್ ಪ್ರಾಜೆಕ್ಟ್ ತೆರೆಯಿರಿ

ಇದು ಓಪನ್ ಸೋರ್ಸ್ ಪ್ರಾಜೆಕ್ಟ್ ಆಗಿದ್ದು, ಅನುಗುಣವಾದ ಅಭಿವೃದ್ಧಿ ಸಮುದಾಯದಲ್ಲಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಗಳ ಪೂರ್ಣ ಚಕ್ರವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ - ಆರಂಭಿಕ ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಪರಿವರ್ತಿಸುವುದರಿಂದ ಹಿಡಿದು ಮಾದರಿಯನ್ನು ಉತ್ಪಾದಿಸುವುದು, ತರಬೇತಿ ಮಾಡುವುದು ಮತ್ತು ನಿರ್ವಹಿಸುವುದು - AI / ML ಸಮಸ್ಯೆಗಳನ್ನು OpenShift ನಲ್ಲಿ ಕಂಟೈನರ್‌ಗಳು ಮತ್ತು ಕುಬರ್ನೆಟ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪರಿಹರಿಸುವಾಗ. ವೇದಿಕೆ. ಈ ಯೋಜನೆಯನ್ನು ಉಲ್ಲೇಖದ ಅನುಷ್ಠಾನವೆಂದು ಪರಿಗಣಿಸಬಹುದು, OpenShift ಮತ್ತು ಸಂಬಂಧಿತ ತೆರೆದ ಮೂಲ ಪರಿಕರಗಳಾದ Tensorflow, JupyterHub, Spark ಮತ್ತು ಇತರವುಗಳ ಆಧಾರದ ಮೇಲೆ ತೆರೆದ AI/ML-ಸೇವೆಯ ಪರಿಹಾರವನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂಬುದರ ಉದಾಹರಣೆಯಾಗಿದೆ. Red Hat ಸ್ವತಃ ತನ್ನ AI/ML ಸೇವೆಗಳನ್ನು ಒದಗಿಸಲು ಈ ಯೋಜನೆಯನ್ನು ಬಳಸುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯವಾಗಿದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, OpenShift NVIDIA, Seldon, Starbust ಮತ್ತು ಇತರ ಮಾರಾಟಗಾರರಿಂದ ಪ್ರಮುಖ ಸಾಫ್ಟ್‌ವೇರ್ ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ML ಪರಿಹಾರಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸುತ್ತದೆ, ಇದು ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ಚಲಾಯಿಸಲು ಸುಲಭವಾಗುತ್ತದೆ.

ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಯು ಈ ಕೆಳಗಿನ ವರ್ಗಗಳ ಬಳಕೆದಾರರು ಮತ್ತು ಬಳಕೆಯ ಪ್ರಕರಣಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿದೆ:

• ಸ್ವಯಂ ಸೇವಾ ಕಾರ್ಯಗಳೊಂದಿಗೆ ಕ್ಲೌಡ್‌ನಂತೆ ಆಯೋಜಿಸಲಾದ ML ಯೋಜನೆಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಪರಿಹಾರದ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ.
• ಇತ್ತೀಚಿನ ತೆರೆದ ಮೂಲ AI/ML ಪರಿಕರಗಳು ಮತ್ತು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಿಂದ ಗರಿಷ್ಠ ಆಯ್ಕೆಯ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ.
• ಮಾದರಿಗಳನ್ನು ತರಬೇತಿ ಮಾಡುವಾಗ ಡೇಟಾ ಮೂಲಗಳಿಗೆ ಪ್ರವೇಶದ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ.
• ಕಂಪ್ಯೂಟಿಂಗ್ ಸಂಪನ್ಮೂಲಗಳಿಗೆ (CPU, GPU, ಮೆಮೊರಿ) ಪ್ರವೇಶದ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ.
• ಸಹೋದ್ಯೋಗಿಗಳೊಂದಿಗೆ ಸಹಯೋಗ ಮತ್ತು ಕೆಲಸವನ್ನು ಹಂಚಿಕೊಳ್ಳಲು, ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸ್ವೀಕರಿಸಲು ಮತ್ತು ತ್ವರಿತ ಪುನರಾವರ್ತನೆಯಲ್ಲಿ ಸುಧಾರಣೆಗಳನ್ನು ಮಾಡುವ ಸಾಮರ್ಥ್ಯದ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ.
• ಡೆವಲಪರ್‌ಗಳೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ಬಯಸುವ ಡೇಟಾ ವಿಶ್ಲೇಷಕ (ಮತ್ತು ಡೆವೊಪ್ಸ್ ತಂಡಗಳು) ಇದರಿಂದ ಅವರ ML ಮಾದರಿಗಳು ಮತ್ತು ಕೆಲಸದ ಫಲಿತಾಂಶಗಳು ಉತ್ಪಾದನೆಗೆ ಹೋಗುತ್ತವೆ.
• ನಿಯಂತ್ರಕ ಮತ್ತು ಭದ್ರತಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಅನುಸರಿಸುವಾಗ ವಿವಿಧ ಡೇಟಾ ಮೂಲಗಳಿಗೆ ಪ್ರವೇಶದೊಂದಿಗೆ ಡೇಟಾ ವಿಶ್ಲೇಷಕರನ್ನು ಒದಗಿಸುವ ಅಗತ್ಯವಿರುವ ಡೇಟಾ ಎಂಜಿನಿಯರ್.
• ತೆರೆದ ಮೂಲ ಘಟಕಗಳು ಮತ್ತು ತಂತ್ರಜ್ಞಾನಗಳ ಜೀವನಚಕ್ರವನ್ನು (ಸ್ಥಾಪನೆ, ಕಾನ್ಫಿಗರೇಶನ್, ಅಪ್‌ಗ್ರೇಡ್) ಸಲೀಸಾಗಿ ನಿರ್ವಹಿಸುವ ಸಾಮರ್ಥ್ಯದ ಅಗತ್ಯವಿರುವ ಐಟಿ ಸಿಸ್ಟಮ್ಸ್ ನಿರ್ವಾಹಕರು/ಆಪರೇಟರ್. ನಮಗೆ ಸೂಕ್ತವಾದ ನಿರ್ವಹಣೆ ಮತ್ತು ಕೋಟಾ ಪರಿಕರಗಳ ಅಗತ್ಯವಿದೆ.

ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಯು AI/ML ಕಾರ್ಯಾಚರಣೆಗಳ ಪೂರ್ಣ ಚಕ್ರವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ತೆರೆದ ಮೂಲ ಪರಿಕರಗಳ ಶ್ರೇಣಿಯನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ದತ್ತಾಂಶ ವಿಶ್ಲೇಷಣೆಗಾಗಿ ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್ ಅನ್ನು ಇಲ್ಲಿ ಮುಖ್ಯ ಕಾರ್ಯ ಸಾಧನವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ. ಟೂಲ್‌ಕಿಟ್ ಇಂದು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಲ್ಲಿ ವ್ಯಾಪಕವಾಗಿ ಜನಪ್ರಿಯವಾಗಿದೆ ಮತ್ತು ಅಂತರ್ನಿರ್ಮಿತ ಜುಪಿಟರ್‌ಹಬ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್ ಕಾರ್ಯಸ್ಥಳಗಳನ್ನು ಸುಲಭವಾಗಿ ರಚಿಸಲು ಮತ್ತು ನಿರ್ವಹಿಸಲು ಓಪನ್ ಡೇಟಾ ಹಬ್ ಅನುಮತಿಸುತ್ತದೆ. ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್‌ಗಳನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಆಮದು ಮಾಡಿಕೊಳ್ಳುವುದರ ಜೊತೆಗೆ, ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಯು AI ಲೈಬ್ರರಿಯ ರೂಪದಲ್ಲಿ ಹಲವಾರು ರೆಡಿಮೇಡ್ ನೋಟ್‌ಬುಕ್‌ಗಳನ್ನು ಸಹ ಒಳಗೊಂಡಿದೆ.

ಈ ಗ್ರಂಥಾಲಯವು ತೆರೆದ ಮೂಲ ಯಂತ್ರ ಕಲಿಕೆಯ ಘಟಕಗಳ ಸಂಗ್ರಹವಾಗಿದೆ ಮತ್ತು ಕ್ಷಿಪ್ರ ಮೂಲಮಾದರಿಯನ್ನು ಸರಳಗೊಳಿಸುವ ಸಾಮಾನ್ಯ ಸನ್ನಿವೇಶಗಳಿಗೆ ಪರಿಹಾರವಾಗಿದೆ. JupyterHub ಅನ್ನು OpenShift ನ RBAC ಪ್ರವೇಶ ಮಾದರಿಯೊಂದಿಗೆ ಸಂಯೋಜಿಸಲಾಗಿದೆ, ಇದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ OpenShift ಖಾತೆಗಳನ್ನು ಬಳಸಲು ಮತ್ತು ಏಕ ಸೈನ್-ಆನ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಜೊತೆಗೆ, JupyterHub ಬಳಕೆದಾರ ಸ್ನೇಹಿ ಬಳಕೆದಾರ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಸ್ಪಾನರ್ ಎಂದು ನೀಡುತ್ತದೆ, ಅದರ ಮೂಲಕ ಬಳಕೆದಾರರು ಆಯ್ಕೆ ಮಾಡಿದ ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್‌ಗಾಗಿ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಂಪನ್ಮೂಲಗಳ (CPU ಕೋರ್‌ಗಳು, ಮೆಮೊರಿ, GPU) ಪ್ರಮಾಣವನ್ನು ಸುಲಭವಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು.

ಡೇಟಾ ವಿಶ್ಲೇಷಕರು ಲ್ಯಾಪ್‌ಟಾಪ್ ಅನ್ನು ರಚಿಸಿದ ನಂತರ ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ ನಂತರ, ಅದರ ಬಗ್ಗೆ ಎಲ್ಲಾ ಇತರ ಕಾಳಜಿಗಳನ್ನು ಓಪನ್‌ಶಿಫ್ಟ್‌ನ ಭಾಗವಾಗಿರುವ ಕುಬರ್ನೆಟ್ಸ್ ಶೆಡ್ಯೂಲರ್ ನೋಡಿಕೊಳ್ಳುತ್ತದೆ. ಬಳಕೆದಾರರು ತಮ್ಮ ಪ್ರಯೋಗಗಳನ್ನು ಮಾತ್ರ ಕೈಗೊಳ್ಳಬಹುದು, ಅವರ ಕೆಲಸದ ಫಲಿತಾಂಶಗಳನ್ನು ಉಳಿಸಬಹುದು ಮತ್ತು ಹಂಚಿಕೊಳ್ಳಬಹುದು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಮುಂದುವರಿದ ಬಳಕೆದಾರರು ನೇರವಾಗಿ ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್‌ಗಳಿಂದ ನೇರವಾಗಿ ಓಪನ್‌ಶಿಫ್ಟ್ ಸಿಎಲ್‌ಐ ಶೆಲ್ ಅನ್ನು ಪ್ರವೇಶಿಸಬಹುದು ಮತ್ತು ಕುಬರ್ನೆಟ್ಸ್ ಆದಿಮಗಳಾದ ಜಾಬ್ ಅಥವಾ ಟೆಕ್ಟಾನ್ ಅಥವಾ ನೇಟಿವ್‌ನಂತಹ ಓಪನ್‌ಶಿಫ್ಟ್ ಕಾರ್ಯವನ್ನು ನಿಯಂತ್ರಿಸಬಹುದು. ಅಥವಾ ಇದಕ್ಕಾಗಿ ನೀವು OpenShift ನ ಅನುಕೂಲಕರ GUI ಅನ್ನು ಬಳಸಬಹುದು, ಇದನ್ನು "OpenShift ವೆಬ್ ಕನ್ಸೋಲ್" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

ಮುಂದಿನ ಹಂತಕ್ಕೆ ಹೋಗುವಾಗ, ಓಪನ್ ಡೇಟಾ ಹಬ್ ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ. ಇದಕ್ಕಾಗಿ, Ceph ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಇದನ್ನು S3-ಹೊಂದಾಣಿಕೆಯ ವಸ್ತು ಡೇಟಾ ಸಂಗ್ರಹಣೆಯಾಗಿ ಒದಗಿಸಲಾಗುತ್ತದೆ. ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಬಾಹ್ಯ ಮೂಲಗಳಿಂದ ಡೇಟಾ ಸ್ಟ್ರೀಮಿಂಗ್ ಅಥವಾ ಅಂತರ್ನಿರ್ಮಿತ Ceph S3 ಸಂಗ್ರಹಣೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಾಥಮಿಕ ಡೇಟಾ ರೂಪಾಂತರಗಳನ್ನು ಮಾಡಲು ಸಹ ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಅಪಾಚೆ ಕಾಫ್ಕಾ ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳ ಸುಧಾರಿತ ನಿರ್ವಹಣೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ (ಅಲ್ಲಿ ಡೇಟಾವನ್ನು ಅನೇಕ ಬಾರಿ ಲೋಡ್ ಮಾಡಬಹುದು, ಹಾಗೆಯೇ ಡೇಟಾ ರೂಪಾಂತರ, ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ನಿರಂತರ ಕಾರ್ಯಾಚರಣೆಗಳು).

ಆದ್ದರಿಂದ, ಡೇಟಾ ವಿಶ್ಲೇಷಕರು ಡೇಟಾವನ್ನು ಪ್ರವೇಶಿಸಿದರು ಮತ್ತು ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸಿದರು. ಈಗ ಅವರು ಸಹೋದ್ಯೋಗಿಗಳು ಅಥವಾ ಅಪ್ಲಿಕೇಶನ್ ಡೆವಲಪರ್‌ಗಳೊಂದಿಗೆ ಪಡೆದ ಫಲಿತಾಂಶಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ಬಯಸುತ್ತಾರೆ ಮತ್ತು ಸೇವೆಯ ತತ್ವಗಳ ಮೇಲೆ ಅವರ ಮಾದರಿಯನ್ನು ಅವರಿಗೆ ಒದಗಿಸುತ್ತಾರೆ. ಇದಕ್ಕೆ ಒಂದು ತೀರ್ಮಾನದ ಸರ್ವರ್ ಅಗತ್ಯವಿರುತ್ತದೆ ಮತ್ತು ಓಪನ್ ಡೇಟಾ ಹಬ್ ಅಂತಹ ಸರ್ವರ್ ಅನ್ನು ಹೊಂದಿದೆ, ಇದನ್ನು ಸೆಲ್ಡಾನ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ ಮತ್ತು ಮಾದರಿಯನ್ನು RESTful ಸೇವೆಯಾಗಿ ಪ್ರಕಟಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.

ಕೆಲವು ಹಂತದಲ್ಲಿ, ಸೆಲ್ಡಾನ್ ಸರ್ವರ್ನಲ್ಲಿ ಅಂತಹ ಹಲವಾರು ಮಾದರಿಗಳಿವೆ, ಮತ್ತು ಅವುಗಳನ್ನು ಹೇಗೆ ಬಳಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಅವಶ್ಯಕತೆಯಿದೆ. ಇದನ್ನು ಸಾಧಿಸಲು, Open Data Hub ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಓಪನ್ ಸೋರ್ಸ್ ಮಾನಿಟರಿಂಗ್ ಪರಿಕರಗಳ ಆಧಾರದ ಮೇಲೆ ಸಂಬಂಧಿತ ಮೆಟ್ರಿಕ್‌ಗಳ ಸಂಗ್ರಹ ಮತ್ತು ವರದಿ ಮಾಡುವ ಎಂಜಿನ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ Prometheus ಮತ್ತು Grafana. ಪರಿಣಾಮವಾಗಿ, ನಿರ್ದಿಷ್ಟವಾಗಿ ಉತ್ಪಾದನಾ ಪರಿಸರದಲ್ಲಿ AI ಮಾದರಿಗಳ ಬಳಕೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ನಾವು ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸ್ವೀಕರಿಸುತ್ತೇವೆ.

ಈ ರೀತಿಯಾಗಿ, ಓಪನ್ ಡೇಟಾ ಹಬ್ ಸಂಪೂರ್ಣ AI/ML ಜೀವನಚಕ್ರದಾದ್ಯಂತ ಕ್ಲೌಡ್ ತರಹದ ವಿಧಾನವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಡೇಟಾ ಪ್ರವೇಶ ಮತ್ತು ತಯಾರಿಕೆಯಿಂದ ಮಾದರಿ ತರಬೇತಿ ಮತ್ತು ಉತ್ಪಾದನೆಯವರೆಗೆ.

ಎಲ್ಲವನ್ನೂ ಒಟ್ಟಿಗೆ ಸೇರಿಸಲಾಗುತ್ತಿದೆ

ಓಪನ್‌ಶಿಫ್ಟ್ ನಿರ್ವಾಹಕರಿಗೆ ಇದೆಲ್ಲವನ್ನೂ ಹೇಗೆ ಸಂಘಟಿಸುವುದು ಎಂಬ ಪ್ರಶ್ನೆ ಈಗ ಉದ್ಭವಿಸುತ್ತದೆ. ಮತ್ತು ಇಲ್ಲಿ ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಗಳಿಗಾಗಿ ವಿಶೇಷ ಕುಬರ್ನೆಟ್ಸ್ ಆಪರೇಟರ್ ಕಾರ್ಯರೂಪಕ್ಕೆ ಬರುತ್ತದೆ.

ಜೂಪಿಟರ್‌ಹಬ್, ಸೆಫ್, ಸ್ಪಾರ್ಕ್, ಕಾಫ್ಕಾ, ಸೆಲ್ಡನ್, ಪ್ರೊಮೆಥಿಯಸ್ ಮತ್ತು ಗ್ರಾಫಾನಾ ಮುಂತಾದ ಮೇಲೆ ತಿಳಿಸಲಾದ ಪರಿಕರಗಳ ನಿಯೋಜನೆ ಸೇರಿದಂತೆ ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಯ ಸ್ಥಾಪನೆ, ಕಾನ್ಫಿಗರೇಶನ್ ಮತ್ತು ಜೀವನಚಕ್ರವನ್ನು ಈ ಆಪರೇಟರ್ ನಿರ್ವಹಿಸುತ್ತದೆ. ಓಪನ್ ಡಾಟಾ ಹಬ್ ಪ್ರಾಜೆಕ್ಟ್ ಅನ್ನು ಓಪನ್ ಶಿಫ್ಟ್ ವೆಬ್ ಕನ್ಸೋಲ್‌ನಲ್ಲಿ ಸಮುದಾಯ ನಿರ್ವಾಹಕರ ವಿಭಾಗದಲ್ಲಿ ಕಾಣಬಹುದು. ಹೀಗಾಗಿ, OpenShift ನಿರ್ವಾಹಕರು ಅನುಗುಣವಾದ OpenShift ಯೋಜನೆಗಳನ್ನು "ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆ" ಎಂದು ವರ್ಗೀಕರಿಸಲಾಗಿದೆ ಎಂದು ಸೂಚಿಸಬಹುದು. ಇದನ್ನು ಒಮ್ಮೆ ಮಾಡಲಾಗುತ್ತದೆ. ಇದರ ನಂತರ, ಡೇಟಾ ವಿಶ್ಲೇಷಕನು OpenShift ವೆಬ್ ಕನ್ಸೋಲ್ ಮೂಲಕ ತನ್ನ ಪ್ರಾಜೆಕ್ಟ್ ಜಾಗಕ್ಕೆ ಲಾಗ್ ಇನ್ ಮಾಡುತ್ತಾನೆ ಮತ್ತು ಅನುಗುಣವಾದ ಕುಬರ್ನೆಟ್ಸ್ ಆಪರೇಟರ್ ಅನ್ನು ಸ್ಥಾಪಿಸಲಾಗಿದೆ ಮತ್ತು ಅವನ ಯೋಜನೆಗಳಿಗೆ ಲಭ್ಯವಿದೆ ಎಂದು ನೋಡುತ್ತಾನೆ. ನಂತರ ಅವರು ಒಂದು ಕ್ಲಿಕ್‌ನಲ್ಲಿ ಓಪನ್ ಡೇಟಾ ಹಬ್ ಪ್ರಾಜೆಕ್ಟ್ ನಿದರ್ಶನವನ್ನು ರಚಿಸುತ್ತಾರೆ ಮತ್ತು ತಕ್ಷಣವೇ ಮೇಲೆ ವಿವರಿಸಿದ ಪರಿಕರಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿರುತ್ತಾರೆ. ಮತ್ತು ಹೆಚ್ಚಿನ ಲಭ್ಯತೆ ಮತ್ತು ದೋಷ ಸಹಿಷ್ಣುತೆ ಮೋಡ್‌ನಲ್ಲಿ ಇವೆಲ್ಲವನ್ನೂ ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು.

ನಿಮಗಾಗಿ ಓಪನ್ ಡೇಟಾ ಹಬ್ ಯೋಜನೆಯನ್ನು ಪ್ರಯತ್ನಿಸಲು ನೀವು ಬಯಸಿದರೆ, ಪ್ರಾರಂಭಿಸಿ ಅನುಸ್ಥಾಪನಾ ಸೂಚನೆಗಳು ಮತ್ತು ಪರಿಚಯಾತ್ಮಕ ಟ್ಯುಟೋರಿಯಲ್. ಓಪನ್ ಡೇಟಾ ಹಬ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ತಾಂತ್ರಿಕ ವಿವರಗಳನ್ನು ಕಾಣಬಹುದು ಇಲ್ಲಿ, ಯೋಜನೆಯ ಅಭಿವೃದ್ಧಿ ಯೋಜನೆಗಳು - ಇಲ್ಲಿ. ಭವಿಷ್ಯದಲ್ಲಿ, ನಾವು Kubeflow ಜೊತೆಗೆ ಹೆಚ್ಚುವರಿ ಏಕೀಕರಣವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಯೋಜಿಸುತ್ತೇವೆ, ಡೇಟಾ ನಿಯಂತ್ರಣ ಮತ್ತು ಭದ್ರತೆಯೊಂದಿಗೆ ಹಲವಾರು ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುತ್ತೇವೆ ಮತ್ತು ನಿಯಮ-ಆಧಾರಿತ ವ್ಯವಸ್ಥೆಗಳಾದ Drools ಮತ್ತು Optaplanner ನೊಂದಿಗೆ ಏಕೀಕರಣವನ್ನು ಆಯೋಜಿಸುತ್ತೇವೆ. ನಿಮ್ಮ ಅಭಿಪ್ರಾಯವನ್ನು ವ್ಯಕ್ತಪಡಿಸಿ ಮತ್ತು ಯೋಜನೆಯಲ್ಲಿ ಪಾಲ್ಗೊಳ್ಳಿ ಡೇಟಾ ಹಬ್ ತೆರೆಯಿರಿ ಪುಟದಲ್ಲಿ ಸಾಧ್ಯ ಸಮುದಾಯ.

ರೀಕ್ಯಾಪ್ ಮಾಡಲು: ಗಂಭೀರ ಸ್ಕೇಲಿಂಗ್ ಸವಾಲುಗಳು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆಯ ಸಂಪೂರ್ಣ ಸಾಮರ್ಥ್ಯವನ್ನು ಅರಿತುಕೊಳ್ಳುವುದನ್ನು ಸಂಸ್ಥೆಗಳನ್ನು ತಡೆಯುತ್ತಿವೆ. Red Hat OpenShift ಅನ್ನು ಸಾಫ್ಟ್‌ವೇರ್ ಉದ್ಯಮದಲ್ಲಿ ಇದೇ ರೀತಿಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ದೀರ್ಘಕಾಲ ಯಶಸ್ವಿಯಾಗಿ ಬಳಸಲಾಗಿದೆ. ಓಪನ್ ಡಾಟಾ ಹಬ್ ಪ್ರಾಜೆಕ್ಟ್, ಓಪನ್ ಸೋರ್ಸ್ ಡೆವಲಪ್‌ಮೆಂಟ್ ಕಮ್ಯುನಿಟಿಯಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆ, ಓಪನ್‌ಶಿಫ್ಟ್ ಹೈಬ್ರಿಡ್ ಕ್ಲೌಡ್‌ನ ಆಧಾರದ ಮೇಲೆ AI/ML ಕಾರ್ಯಾಚರಣೆಗಳ ಪೂರ್ಣ ಚಕ್ರವನ್ನು ಸಂಘಟಿಸಲು ರೆಫರೆನ್ಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ನೀಡುತ್ತದೆ. ಈ ಯೋಜನೆಯ ಅಭಿವೃದ್ಧಿಗಾಗಿ ನಾವು ಸ್ಪಷ್ಟ ಮತ್ತು ಚಿಂತನಶೀಲ ಯೋಜನೆಯನ್ನು ಹೊಂದಿದ್ದೇವೆ ಮತ್ತು ಅದರ ಸುತ್ತಲೂ ಓಪನ್‌ಶಿಫ್ಟ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿ ಮುಕ್ತ AI ಪರಿಹಾರಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಸಕ್ರಿಯ ಮತ್ತು ಫಲಪ್ರದ ಸಮುದಾಯವನ್ನು ರಚಿಸುವ ಬಗ್ಗೆ ನಾವು ಗಂಭೀರವಾಗಿರುತ್ತೇವೆ.

ಮೂಲ: www.habr.com