ಬೇರೆ ಯಾವ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಬಹುದು ಎಂಬುದರ ಕುರಿತು ಆಲೋಚನೆಗಳು ಮತ್ತು ಸಭೆಗಳು ಪ್ರತಿದಿನ ವಿವಿಧ ಗಾತ್ರದ ವ್ಯವಹಾರಗಳಲ್ಲಿ ಉದ್ಭವಿಸುತ್ತವೆ. ಆದರೆ ಮಾದರಿಯನ್ನು ರಚಿಸಲು ಸಾಕಷ್ಟು ಸಮಯವನ್ನು ಕಳೆಯಬಹುದು ಎಂಬ ಅಂಶದ ಜೊತೆಗೆ, ನೀವು ಅದನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಮತ್ತು ಪಡೆದ ಫಲಿತಾಂಶವು ಯಾದೃಚ್ಛಿಕವಾಗಿಲ್ಲ ಎಂದು ಪರಿಶೀಲಿಸಲು ಖರ್ಚು ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಅನುಷ್ಠಾನದ ನಂತರ, ಯಾವುದೇ ಮಾದರಿಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬೇಕು ಮತ್ತು ನಿಯತಕಾಲಿಕವಾಗಿ ಪರಿಶೀಲಿಸಬೇಕು.
ಮತ್ತು ಇವುಗಳು ಯಾವುದೇ ಕಂಪನಿಯಲ್ಲಿ ಅದರ ಗಾತ್ರವನ್ನು ಲೆಕ್ಕಿಸದೆ ಪೂರ್ಣಗೊಳಿಸಬೇಕಾದ ಎಲ್ಲಾ ಹಂತಗಳಾಗಿವೆ. ನಾವು ಸ್ಬೆರ್ಬ್ಯಾಂಕ್ನ ಪ್ರಮಾಣ ಮತ್ತು ಪರಂಪರೆಯ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತಿದ್ದರೆ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಸಂಖ್ಯೆಯು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ. 2019 ರ ಅಂತ್ಯದ ವೇಳೆಗೆ, Sber ಈಗಾಗಲೇ 2000 ಕ್ಕೂ ಹೆಚ್ಚು ಮಾದರಿಗಳನ್ನು ಬಳಸಿದೆ. ಮಾದರಿಯನ್ನು ಸರಳವಾಗಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಸಾಕಾಗುವುದಿಲ್ಲ; ಕೈಗಾರಿಕಾ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಏಕೀಕರಿಸುವುದು, ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸಲು ಡೇಟಾ ಮಾರ್ಟ್ಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವುದು ಮತ್ತು ಕ್ಲಸ್ಟರ್ನಲ್ಲಿ ಅದರ ಕಾರ್ಯಾಚರಣೆಯ ನಿಯಂತ್ರಣವನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು ಅವಶ್ಯಕ.
ನಮ್ಮ ತಂಡವು Sber.DS ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತಿದೆ. ಇದು ಯಂತ್ರ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ, ಊಹೆಗಳನ್ನು ಪರೀಕ್ಷಿಸುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ, ತಾತ್ವಿಕವಾಗಿ ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಮತ್ತು ಮೌಲ್ಯೀಕರಿಸುವ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸರಳಗೊಳಿಸುತ್ತದೆ ಮತ್ತು PROM ನಲ್ಲಿ ಮಾದರಿಯ ಫಲಿತಾಂಶವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ.
ನಿಮ್ಮ ನಿರೀಕ್ಷೆಗಳನ್ನು ಮೋಸಗೊಳಿಸದಿರಲು, ಈ ಪೋಸ್ಟ್ ಪರಿಚಯಾತ್ಮಕವಾಗಿದೆ ಎಂದು ನಾನು ಮುಂಚಿತವಾಗಿ ಹೇಳಲು ಬಯಸುತ್ತೇನೆ ಮತ್ತು ಕಟ್ ಅಡಿಯಲ್ಲಿ, ಆರಂಭಿಕರಿಗಾಗಿ, ನಾವು ತಾತ್ವಿಕವಾಗಿ, Sber.DS ಪ್ಲಾಟ್ಫಾರ್ಮ್ನ ಹುಡ್ ಅಡಿಯಲ್ಲಿ ಏನು ಮಾತನಾಡುತ್ತೇವೆ. ಸೃಷ್ಟಿಯಿಂದ ಅನುಷ್ಠಾನಕ್ಕೆ ಮಾದರಿಯ ಜೀವನ ಚಕ್ರದ ಬಗ್ಗೆ ನಾವು ಪ್ರತ್ಯೇಕವಾಗಿ ಕಥೆಯನ್ನು ಹೇಳುತ್ತೇವೆ.
Sber.DS ಹಲವಾರು ಘಟಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರಮುಖವಾದವುಗಳೆಂದರೆ ಗ್ರಂಥಾಲಯ, ಅಭಿವೃದ್ಧಿ ವ್ಯವಸ್ಥೆ ಮತ್ತು ಮಾದರಿ ಕಾರ್ಯಗತಗೊಳಿಸುವ ವ್ಯವಸ್ಥೆ.
ಮಾದರಿಯ ಜೀವನ ಚಕ್ರವನ್ನು ಲೈಬ್ರರಿಯು ಅದನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಕಲ್ಪನೆಯು ಕಾಣಿಸಿಕೊಂಡ ಕ್ಷಣದಿಂದ PROM ನಲ್ಲಿ ಅದರ ಅನುಷ್ಠಾನ, ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಸ್ಥಗಿತಗೊಳಿಸುವವರೆಗೆ ನಿಯಂತ್ರಿಸುತ್ತದೆ. ಅನೇಕ ಗ್ರಂಥಾಲಯದ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ನಿಯಂತ್ರಕ ನಿಯಮಗಳಿಂದ ನಿರ್ದೇಶಿಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ, ತರಬೇತಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾದರಿಗಳ ವರದಿ ಮತ್ತು ಸಂಗ್ರಹಣೆ. ವಾಸ್ತವವಾಗಿ, ಇದು ನಮ್ಮ ಎಲ್ಲಾ ಮಾದರಿಗಳ ರಿಜಿಸ್ಟರ್ ಆಗಿದೆ.
ಅಭಿವೃದ್ಧಿ ವ್ಯವಸ್ಥೆಯನ್ನು ಮಾದರಿಗಳು ಮತ್ತು ಮೌಲ್ಯೀಕರಣ ತಂತ್ರಗಳ ದೃಶ್ಯ ಅಭಿವೃದ್ಧಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಮಾದರಿಗಳು ಆರಂಭಿಕ ಮೌಲ್ಯೀಕರಣಕ್ಕೆ ಒಳಗಾಗುತ್ತವೆ ಮತ್ತು ಅವುಗಳ ವ್ಯವಹಾರ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಕಾರ್ಯಗತಗೊಳಿಸುವ ವ್ಯವಸ್ಥೆಗೆ ಸರಬರಾಜು ಮಾಡಲಾಗುತ್ತದೆ. ಅಲ್ಲದೆ, ರನ್‌ಟೈಮ್ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ, ಅದರ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ನಿಯತಕಾಲಿಕವಾಗಿ ಮೌಲ್ಯೀಕರಣ ತಂತ್ರಗಳನ್ನು ಪ್ರಾರಂಭಿಸುವ ಉದ್ದೇಶಕ್ಕಾಗಿ ಮಾದರಿಯನ್ನು ಮಾನಿಟರ್‌ನಲ್ಲಿ ಇರಿಸಬಹುದು.
ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಹಲವಾರು ರೀತಿಯ ನೋಡ್‌ಗಳಿವೆ. ಕೆಲವು ವಿವಿಧ ಡೇಟಾ ಮೂಲಗಳಿಗೆ ಸಂಪರ್ಕಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಇತರವು ಮೂಲ ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸಲು ಮತ್ತು ಅದನ್ನು ಉತ್ಕೃಷ್ಟಗೊಳಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ (ಮಾರ್ಕ್ಅಪ್). ವಿವಿಧ ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸಲು ಹಲವು ನೋಡ್‌ಗಳು ಮತ್ತು ಅವುಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಲು ನೋಡ್‌ಗಳಿವೆ. ಡೆವಲಪರ್ ಯಾವುದೇ ಮೂಲದಿಂದ ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡಬಹುದು, ಪರಿವರ್ತಿಸಬಹುದು, ಫಿಲ್ಟರ್ ಮಾಡಬಹುದು, ಮಧ್ಯಂತರ ಡೇಟಾವನ್ನು ದೃಶ್ಯೀಕರಿಸಬಹುದು ಮತ್ತು ಅದನ್ನು ಭಾಗಗಳಾಗಿ ವಿಭಜಿಸಬಹುದು.
ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಸಿದ್ಧ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ಸಹ ಹೊಂದಿದೆ, ಅದನ್ನು ಎಳೆಯಬಹುದು ಮತ್ತು ವಿನ್ಯಾಸ ಪ್ರದೇಶಕ್ಕೆ ಬಿಡಬಹುದು. ಎಲ್ಲಾ ಕ್ರಿಯೆಗಳನ್ನು ದೃಶ್ಯೀಕರಿಸಿದ ಇಂಟರ್ಫೇಸ್ ಬಳಸಿ ನಡೆಸಲಾಗುತ್ತದೆ. ವಾಸ್ತವವಾಗಿ, ನೀವು ಒಂದೇ ಸಾಲಿನ ಕೋಡ್ ಇಲ್ಲದೆ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಬಹುದು.
ಅಂತರ್ನಿರ್ಮಿತ ಸಾಮರ್ಥ್ಯಗಳು ಸಾಕಷ್ಟಿಲ್ಲದಿದ್ದರೆ, ನಿಮ್ಮ ಸ್ವಂತ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ತ್ವರಿತವಾಗಿ ರಚಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಸಿಸ್ಟಮ್ ಒದಗಿಸುತ್ತದೆ. ನಾವು ಆಧರಿಸಿ ಸಮಗ್ರ ಅಭಿವೃದ್ಧಿ ಕ್ರಮವನ್ನು ಮಾಡಿದ್ದೇವೆ ಮೊದಲಿನಿಂದ ಹೊಸ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ರಚಿಸುವವರಿಗೆ.
Sber.DS ನ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಮೈಕ್ರೊ ಸರ್ವಿಸ್‌ಗಳಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಮೈಕ್ರೋ ಸರ್ವಿಸ್ ಎಂದರೇನು ಎಂಬುದರ ಕುರಿತು ಹಲವು ಅಭಿಪ್ರಾಯಗಳಿವೆ. ಏಕಶಿಲೆಯ ಕೋಡ್ ಅನ್ನು ಭಾಗಗಳಾಗಿ ವಿಭಜಿಸಲು ಸಾಕು ಎಂದು ಕೆಲವರು ಭಾವಿಸುತ್ತಾರೆ, ಆದರೆ ಅದೇ ಸಮಯದಲ್ಲಿ ಅವರು ಇನ್ನೂ ಅದೇ ಡೇಟಾಬೇಸ್ಗೆ ಹೋಗುತ್ತಾರೆ. ನಮ್ಮ ಮೈಕ್ರೊ ಸರ್ವಿಸ್ REST API ಮೂಲಕ ಮಾತ್ರ ಮತ್ತೊಂದು ಮೈಕ್ರೋಸರ್ವಿಸ್‌ನೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಬೇಕು. ಡೇಟಾಬೇಸ್ ಅನ್ನು ನೇರವಾಗಿ ಪ್ರವೇಶಿಸಲು ಯಾವುದೇ ಪರಿಹಾರಗಳಿಲ್ಲ.
ಸೇವೆಗಳು ತುಂಬಾ ದೊಡ್ಡದಾಗಿ ಮತ್ತು ನಾಜೂಕಿಲ್ಲದಂತೆ ನಾವು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಪ್ರಯತ್ನಿಸುತ್ತೇವೆ: ಒಂದು ನಿದರ್ಶನವು 4-8 ಗಿಗಾಬೈಟ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು RAM ಅನ್ನು ಬಳಸಬಾರದು ಮತ್ತು ಹೊಸ ನಿದರ್ಶನಗಳನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೂಲಕ ವಿನಂತಿಗಳನ್ನು ಅಡ್ಡಲಾಗಿ ಅಳೆಯುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಒದಗಿಸಬೇಕು. ಪ್ರತಿಯೊಂದು ಸೇವೆಯು REST API ಮೂಲಕ ಮಾತ್ರ ಇತರರೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸುತ್ತದೆ () ಸೇವೆಗೆ ಜವಾಬ್ದಾರರಾಗಿರುವ ತಂಡವು ಅದನ್ನು ಬಳಸುವ ಕೊನೆಯ ಕ್ಲೈಂಟ್ ತನಕ API ಅನ್ನು ಹಿಮ್ಮುಖವಾಗಿ ಹೊಂದಾಣಿಕೆ ಮಾಡಿಕೊಳ್ಳುವ ಅಗತ್ಯವಿದೆ.
ಸ್ಪ್ರಿಂಗ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಅಪ್ಲಿಕೇಶನ್‌ನ ಕೋರ್ ಅನ್ನು ಜಾವಾದಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ. ಕ್ಲೌಡ್ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ತ್ವರಿತ ನಿಯೋಜನೆಗಾಗಿ ಪರಿಹಾರವನ್ನು ಆರಂಭದಲ್ಲಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿತ್ತು, ಆದ್ದರಿಂದ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಕಂಟೈನರೈಸೇಶನ್ ಸಿಸ್ಟಮ್ ಬಳಸಿ ನಿರ್ಮಿಸಲಾಗಿದೆ () ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ನಿರಂತರವಾಗಿ ವಿಕಸನಗೊಳ್ಳುತ್ತಿದೆ, ವ್ಯಾಪಾರ ಕಾರ್ಯವನ್ನು ಹೆಚ್ಚಿಸುವ ವಿಷಯದಲ್ಲಿ (ಹೊಸ ಕನೆಕ್ಟರ್‌ಗಳು, ಆಟೋಎಂಎಲ್ ಅನ್ನು ಸೇರಿಸಲಾಗುತ್ತಿದೆ) ಮತ್ತು ತಾಂತ್ರಿಕ ದಕ್ಷತೆಯ ದೃಷ್ಟಿಯಿಂದ.
ನಮ್ಮ ಪ್ಲಾಟ್ಫಾರ್ಮ್ನ ಒಂದು ವೈಶಿಷ್ಟ್ಯವೆಂದರೆ ನಾವು ಯಾವುದೇ ಸ್ಬೆರ್‌ಬ್ಯಾಂಕ್ ಮಾಡೆಲ್ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ ದೃಶ್ಯ ಇಂಟರ್ಫೇಸ್‌ನಲ್ಲಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಕೋಡ್ ಅನ್ನು ರನ್ ಮಾಡಬಹುದು. ಈಗ ಅವುಗಳಲ್ಲಿ ಎರಡು ಇವೆ: ಒಂದು ಹಡೂಪ್‌ನಲ್ಲಿ, ಇನ್ನೊಂದು ಓಪನ್‌ಶಿಫ್ಟ್‌ನಲ್ಲಿ (ಡಾಕರ್). ನಾವು ಅಲ್ಲಿ ನಿಲ್ಲುವುದಿಲ್ಲ ಮತ್ತು ಆನ್-ಪ್ರಿಮೈಸ್ ಮತ್ತು ಕ್ಲೌಡ್ ಸೇರಿದಂತೆ ಯಾವುದೇ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಕೋಡ್ ಅನ್ನು ರನ್ ಮಾಡಲು ಏಕೀಕರಣ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ರಚಿಸುವುದಿಲ್ಲ. Sberbank ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಪರಿಣಾಮಕಾರಿ ಏಕೀಕರಣದ ಸಾಧ್ಯತೆಗಳ ಬಗ್ಗೆ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮರಣದಂಡನೆ ಪರಿಸರದೊಂದಿಗೆ ಕೆಲಸವನ್ನು ಬೆಂಬಲಿಸಲು ನಾವು ಯೋಜಿಸುತ್ತೇವೆ. ಭವಿಷ್ಯದಲ್ಲಿ, ಪರಿಹಾರವನ್ನು ಯಾವುದೇ ಸಂಸ್ಥೆಯ ಯಾವುದೇ ಭೂದೃಶ್ಯಕ್ಕೆ "ಪೆಟ್ಟಿಗೆಯಿಂದ ಹೊರಗೆ" ಮೃದುವಾಗಿ ಸಂಯೋಜಿಸಬಹುದು.
PROM ನಲ್ಲಿ Hadoop ನಲ್ಲಿ ಪೈಥಾನ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡುವ ಪರಿಹಾರವನ್ನು ಬೆಂಬಲಿಸಲು ಪ್ರಯತ್ನಿಸಿದವರಿಗೆ, ಪ್ರತಿ ಡೇಟಾನೋಡ್‌ಗೆ ಪೈಥಾನ್ ಬಳಕೆದಾರ ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸಲು ಮತ್ತು ತಲುಪಿಸಲು ಸಾಕಾಗುವುದಿಲ್ಲ ಎಂದು ತಿಳಿದಿದೆ. ಪೈಥಾನ್ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ಬಳಸುವ ಯಂತ್ರ ಕಲಿಕೆಗಾಗಿ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ C/C++ ಲೈಬ್ರರಿಗಳು ನಿಮಗೆ ಸುಲಭವಾಗಿ ವಿಶ್ರಾಂತಿ ಪಡೆಯಲು ಅನುಮತಿಸುವುದಿಲ್ಲ. ಹೊಸ ಲೈಬ್ರರಿಗಳು ಅಥವಾ ಸರ್ವರ್‌ಗಳನ್ನು ಸೇರಿಸುವಾಗ ಪ್ಯಾಕೇಜುಗಳನ್ನು ನವೀಕರಿಸಲು ನಾವು ನೆನಪಿನಲ್ಲಿಟ್ಟುಕೊಳ್ಳಬೇಕು, ಆದರೆ ಈಗಾಗಲೇ ಅಳವಡಿಸಲಾಗಿರುವ ಮಾದರಿ ಕೋಡ್‌ನೊಂದಿಗೆ ಹಿಂದುಳಿದ ಹೊಂದಾಣಿಕೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳಬೇಕು.
ಇದನ್ನು ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ಹಲವಾರು ವಿಧಾನಗಳಿವೆ. ಉದಾಹರಣೆಗೆ, ಆಗಾಗ್ಗೆ ಬಳಸುವ ಹಲವಾರು ಗ್ರಂಥಾಲಯಗಳನ್ನು ಮುಂಚಿತವಾಗಿ ತಯಾರಿಸಿ ಮತ್ತು ಅವುಗಳನ್ನು PROM ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಿ. ಕ್ಲೌಡೆರಾ ಅವರ ಹಡೂಪ್ ವಿತರಣೆಯಲ್ಲಿ, ಅವರು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸುತ್ತಾರೆ . ಅಲ್ಲದೆ ಈಗ ಹಡೂಪ್ ನಲ್ಲಿ ಓಡಲು ಸಾಧ್ಯವಾಗಿದೆ - ಕಂಟೈನರ್ಗಳು. ಕೆಲವು ಸರಳ ಸಂದರ್ಭಗಳಲ್ಲಿ ಪ್ಯಾಕೇಜ್ ಜೊತೆಗೆ ಕೋಡ್ ಅನ್ನು ತಲುಪಿಸಲು ಸಾಧ್ಯವಿದೆ .
ಥರ್ಡ್-ಪಾರ್ಟಿ ಕೋಡ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡುವ ಸುರಕ್ಷತೆಯನ್ನು ಬ್ಯಾಂಕ್ ಗಂಭೀರವಾಗಿ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಆದ್ದರಿಂದ ನಾವು Linux ಕರ್ನಲ್‌ನ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಹೆಚ್ಚು ಬಳಸಿಕೊಳ್ಳುತ್ತೇವೆ, ಅಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಯು ಪ್ರತ್ಯೇಕ ಪರಿಸರದಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿದೆ. , ನೀವು ಮಿತಿಗೊಳಿಸಬಹುದು, ಉದಾಹರಣೆಗೆ, ನೆಟ್ವರ್ಕ್ ಮತ್ತು ಸ್ಥಳೀಯ ಡಿಸ್ಕ್ಗೆ ಪ್ರವೇಶ, ಇದು ದುರುದ್ದೇಶಪೂರಿತ ಕೋಡ್ನ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಪ್ರತಿ ಇಲಾಖೆಯ ಡೇಟಾ ಪ್ರದೇಶಗಳನ್ನು ರಕ್ಷಿಸಲಾಗಿದೆ ಮತ್ತು ಈ ಡೇಟಾದ ಮಾಲೀಕರಿಗೆ ಮಾತ್ರ ಪ್ರವೇಶಿಸಬಹುದಾಗಿದೆ. ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮೂಲಗಳಿಗೆ ಪ್ರವೇಶದಿಂದ ಗುರಿ ಅಂಗಡಿಯ ಮುಂಭಾಗದಲ್ಲಿ ಡೇಟಾ ಲ್ಯಾಂಡಿಂಗ್‌ವರೆಗೆ ಎಲ್ಲಾ ಹಂತಗಳಲ್ಲಿ ನಿಯಂತ್ರಣದೊಂದಿಗೆ ಡೇಟಾ ಪ್ರಕಾಶನ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲಕ ಮಾತ್ರ ಒಂದು ಪ್ರದೇಶದಿಂದ ಮತ್ತೊಂದು ಪ್ರದೇಶವನ್ನು ತಲುಪಬಹುದು ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ.
ಈ ವರ್ಷ ನಾವು ಹಡೂಪ್‌ನಲ್ಲಿ ಪೈಥಾನ್/ಆರ್/ಜಾವಾದಲ್ಲಿ ಬರೆಯಲಾದ ಮಾದರಿಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ MVP ಅನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಯೋಜಿಸಿದ್ದೇವೆ. ನಮ್ಮ ಪ್ಲಾಟ್ಫಾರ್ಮ್ನ ಬಳಕೆದಾರರನ್ನು ಯಾವುದೇ ರೀತಿಯಲ್ಲಿ ಮಿತಿಗೊಳಿಸದಂತೆ ಹಡೂಪ್‌ನಲ್ಲಿ ಯಾವುದೇ ಕಸ್ಟಮ್ ಪರಿಸರವನ್ನು ಹೇಗೆ ಚಲಾಯಿಸಬೇಕು ಎಂಬುದನ್ನು ಕಲಿಯುವ ಮಹತ್ವಾಕಾಂಕ್ಷೆಯ ಕಾರ್ಯವನ್ನು ನಾವು ಹೊಂದಿದ್ದೇವೆ.
ಹೆಚ್ಚುವರಿಯಾಗಿ, ಇದು ಬದಲಾದಂತೆ, ಅನೇಕ ಡಿಎಸ್ ತಜ್ಞರು ಗಣಿತ ಮತ್ತು ಅಂಕಿಅಂಶಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮರಾಗಿದ್ದಾರೆ, ತಂಪಾದ ಮಾದರಿಗಳನ್ನು ಮಾಡುತ್ತಾರೆ, ಆದರೆ ದೊಡ್ಡ ಡೇಟಾ ರೂಪಾಂತರಗಳಲ್ಲಿ ಹೆಚ್ಚು ಪಾರಂಗತರಾಗಿರುವುದಿಲ್ಲ ಮತ್ತು ತರಬೇತಿ ಮಾದರಿಗಳನ್ನು ತಯಾರಿಸಲು ನಮ್ಮ ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳ ಸಹಾಯದ ಅಗತ್ಯವಿದೆ. ನಮ್ಮ ಸಹೋದ್ಯೋಗಿಗಳಿಗೆ ಸಹಾಯ ಮಾಡಲು ಮತ್ತು ಸ್ಪಾರ್ಕ್ ಎಂಜಿನ್‌ನಲ್ಲಿನ ಮಾದರಿಗಳಿಗೆ ಗುಣಮಟ್ಟದ ರೂಪಾಂತರ ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳ ತಯಾರಿಕೆಗಾಗಿ ಅನುಕೂಲಕರ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ರಚಿಸಲು ನಾವು ನಿರ್ಧರಿಸಿದ್ದೇವೆ. ಇದು ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಕಳೆಯಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ ಮತ್ತು ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ಗಳು ಹೊಸ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಸಿದ್ಧಪಡಿಸುವವರೆಗೆ ಕಾಯುವುದಿಲ್ಲ.
ನಾವು ವಿವಿಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಜ್ಞಾನ ಹೊಂದಿರುವ ಜನರನ್ನು ನೇಮಿಸಿಕೊಳ್ಳುತ್ತೇವೆ: Linux ಮತ್ತು DevOps, Hadoop ಮತ್ತು Spark, Java and Spring, Scala ಮತ್ತು Akka, OpenShift ಮತ್ತು Kubernetes. ಮುಂದಿನ ಬಾರಿ ನಾವು ಮಾದರಿ ಗ್ರಂಥಾಲಯದ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತೇವೆ, ಮಾದರಿಯು ಕಂಪನಿಯೊಳಗಿನ ಜೀವನ ಚಕ್ರದ ಮೂಲಕ ಹೇಗೆ ಹೋಗುತ್ತದೆ, ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಅನುಷ್ಠಾನವು ಹೇಗೆ ಸಂಭವಿಸುತ್ತದೆ.
ಮೂಲ: www.habr.com