ನೀವು ಹಲವಾರು ರೆಡಿಮೇಡ್ ಓಪನ್ ಸೋರ್ಸ್ ಪರಿಕರಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಮತ್ತು ಸುಲಭವಾಗಿ ಸಂಪರ್ಕಿಸಬಹುದಾದ ಅದ್ಭುತ ಸಮಯದಲ್ಲಿ ನಾವು ವಾಸಿಸುತ್ತಿದ್ದೇವೆ, "ಬಹು ಅಕ್ಷರಗಳನ್ನು" ಪರಿಶೀಲಿಸದೆ, ಸ್ಟಾಕ್ ಓವರ್‌ಫ್ಲೋ ಸಲಹೆಯ ಪ್ರಕಾರ ನಿಮ್ಮ "ಪ್ರಜ್ಞೆ ಆಫ್ ಮಾಡಲಾಗಿದೆ" ಮತ್ತು ಪ್ರಾರಂಭಿಸಬಹುದು ಅವುಗಳನ್ನು ವಾಣಿಜ್ಯ ಕಾರ್ಯಾಚರಣೆಗೆ. ಮತ್ತು ನೀವು ನವೀಕರಿಸಲು/ವಿಸ್ತರಿಸಲು ಅಥವಾ ಯಾರಾದರೂ ಆಕಸ್ಮಿಕವಾಗಿ ಒಂದೆರಡು ಯಂತ್ರಗಳನ್ನು ರೀಬೂಟ್ ಮಾಡಿದಾಗ - ಕೆಲವು ರೀತಿಯ ಗೀಳಿನ ಕೆಟ್ಟ ಕನಸು ಪ್ರಾರಂಭವಾಗಿದೆ ಎಂದು ನೀವು ಅರ್ಥಮಾಡಿಕೊಂಡಿದ್ದೀರಿ, ಗುರುತಿಸಲಾಗದಷ್ಟು ಎಲ್ಲವೂ ನಾಟಕೀಯವಾಗಿ ಜಟಿಲವಾಗಿದೆ, ಹಿಂತಿರುಗುವುದು ಇಲ್ಲ, ಭವಿಷ್ಯವು ಅಸ್ಪಷ್ಟ ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿದೆ, ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಬದಲಿಗೆ, ಜೇನುನೊಣಗಳನ್ನು ತಳಿ ಮಾಡಿ ಮತ್ತು ಚೀಸ್ ಮಾಡಿ.
ಹೆಚ್ಚು ಅನುಭವಿ ಸಹೋದ್ಯೋಗಿಗಳು, ತಮ್ಮ ತಲೆಯು ದೋಷಗಳಿಂದ ಆವೃತವಾಗಿದೆ ಮತ್ತು ಆದ್ದರಿಂದ ಈಗಾಗಲೇ ಬೂದುಬಣ್ಣವನ್ನು ಹೊಂದಿದ್ದು, "ಫ್ಯಾಶನ್ ಭಾಷೆಗಳಲ್ಲಿ" ಅಂತರ್ನಿರ್ಮಿತ ಬೆಂಬಲದೊಂದಿಗೆ "ಘನಗಳಲ್ಲಿ" ಡಜನ್ಗಟ್ಟಲೆ ಸರ್ವರ್‌ಗಳಲ್ಲಿ "ಕಂಟೇನರ್‌ಗಳ" ಪ್ಯಾಕ್‌ಗಳನ್ನು ನಂಬಲಾಗದಷ್ಟು ವೇಗವಾಗಿ ನಿಯೋಜಿಸುವುದನ್ನು ಆಲೋಚಿಸುತ್ತಿದ್ದಾರೆ. ಅಸಮಕಾಲಿಕ ತಡೆರಹಿತ I/O, ಸಾಧಾರಣವಾಗಿ ಕಿರುನಗೆ . ಮತ್ತು ಅವರು ಮೌನವಾಗಿ "ಮ್ಯಾನ್ ಪಿಎಸ್" ಅನ್ನು ಮರು-ಓದುವುದನ್ನು ಮುಂದುವರೆಸುತ್ತಾರೆ, ಅವರ ಕಣ್ಣುಗಳು ರಕ್ತಸ್ರಾವವಾಗುವವರೆಗೆ "nginx" ಮೂಲ ಕೋಡ್ ಅನ್ನು ಪರಿಶೀಲಿಸುತ್ತಾರೆ ಮತ್ತು ಯುನಿಟ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಬರೆಯುತ್ತಾರೆ, ಬರೆಯುತ್ತಾರೆ, ಬರೆಯುತ್ತಾರೆ. ಹೊಸ ವರ್ಷದ ಮುನ್ನಾದಿನದಂದು "ಇದೆಲ್ಲವೂ" ಒಂದು ದಿನ ರಾತ್ರಿಯಲ್ಲಿ ಪಣಕ್ಕಿಟ್ಟಾಗ ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕ ವಿಷಯ ಬರುತ್ತದೆ ಎಂದು ಸಹೋದ್ಯೋಗಿಗಳಿಗೆ ತಿಳಿದಿದೆ. ಮತ್ತು ಯುನಿಕ್ಸ್‌ನ ಸ್ವರೂಪ, ಕಂಠಪಾಠ ಮಾಡಿದ TCP/IP ಸ್ಟೇಟ್ ಟೇಬಲ್ ಮತ್ತು ಮೂಲ ವಿಂಗಡಣೆ-ಹುಡುಕಾಟ ಅಲ್ಗಾರಿದಮ್‌ಗಳ ಆಳವಾದ ತಿಳುವಳಿಕೆಯಿಂದ ಮಾತ್ರ ಅವರಿಗೆ ಸಹಾಯವಾಗುತ್ತದೆ. ಚೈಮ್ಸ್ ಮುಷ್ಕರದಂತೆ ವ್ಯವಸ್ಥೆಯನ್ನು ಮತ್ತೆ ಜೀವಂತಗೊಳಿಸಲು.
ಓಹ್, ನಾನು ಸ್ವಲ್ಪ ವಿಚಲಿತನಾಗಿದ್ದೇನೆ, ಆದರೆ ನಾನು ನಿರೀಕ್ಷೆಯ ಸ್ಥಿತಿಯನ್ನು ತಿಳಿಸಲು ನಿರ್ವಹಿಸುತ್ತಿದ್ದೇನೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ.
ಇಂದು ನಾನು DataLake ಗಾಗಿ ಅನುಕೂಲಕರ ಮತ್ತು ಅಗ್ಗದ ಸ್ಟಾಕ್ ಅನ್ನು ನಿಯೋಜಿಸುವಲ್ಲಿ ನಮ್ಮ ಅನುಭವವನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ಬಯಸುತ್ತೇನೆ, ಇದು ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನವಾದ ರಚನಾತ್ಮಕ ವಿಭಾಗಗಳಿಗೆ ಕಂಪನಿಯಲ್ಲಿನ ಬಹುಪಾಲು ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಕಾರ್ಯಗಳನ್ನು ಪರಿಹರಿಸುತ್ತದೆ.
ಕೆಲವು ಸಮಯದ ಹಿಂದೆ, ಕಂಪನಿಗಳಿಗೆ ಉತ್ಪನ್ನ ಮತ್ತು ತಾಂತ್ರಿಕ ವಿಶ್ಲೇಷಣೆಗಳ ಹಣ್ಣುಗಳು (ಯಂತ್ರ ಕಲಿಕೆಯ ರೂಪದಲ್ಲಿ ಕೇಕ್ ಮೇಲಿನ ಐಸಿಂಗ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಬಾರದು) ಮತ್ತು ಪ್ರವೃತ್ತಿಗಳು ಮತ್ತು ಅಪಾಯಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಹೆಚ್ಚು ಅಗತ್ಯವಿದೆ ಎಂದು ನಾವು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತೇವೆ - ನಾವು ಸಂಗ್ರಹಿಸಿ ವಿಶ್ಲೇಷಿಸಬೇಕಾಗಿದೆ. ಹೆಚ್ಚು ಹೆಚ್ಚು ಮೆಟ್ರಿಕ್‌ಗಳು.
Bitrix24 ನಲ್ಲಿ ಮೂಲಭೂತ ತಾಂತ್ರಿಕ ವಿಶ್ಲೇಷಣೆಗಳು
ಹಲವಾರು ವರ್ಷಗಳ ಹಿಂದೆ, ಬಿಟ್ರಿಕ್ಸ್ 24 ಸೇವೆಯನ್ನು ಪ್ರಾರಂಭಿಸುವುದರೊಂದಿಗೆ, ಮೂಲಸೌಕರ್ಯದಲ್ಲಿನ ಸಮಸ್ಯೆಗಳನ್ನು ತ್ವರಿತವಾಗಿ ನೋಡಲು ಮತ್ತು ಮುಂದಿನ ಹಂತವನ್ನು ಯೋಜಿಸಲು ಸಹಾಯ ಮಾಡುವ ಸರಳ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ವೇದಿಕೆಯನ್ನು ರಚಿಸಲು ನಾವು ಸಮಯ ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಸಕ್ರಿಯವಾಗಿ ಹೂಡಿಕೆ ಮಾಡಿದ್ದೇವೆ. ಸಹಜವಾಗಿ, ಸಾಧ್ಯವಾದಷ್ಟು ಸರಳ ಮತ್ತು ಅರ್ಥವಾಗುವಂತಹ ಸಿದ್ಧ ಸಾಧನಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದು ಸೂಕ್ತವಾಗಿದೆ. ಪರಿಣಾಮವಾಗಿ, ನ್ಯಾಜಿಯೋಸ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆಗಾಗಿ ಮತ್ತು ಮುನಿನ್ ಅನ್ನು ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ದೃಶ್ಯೀಕರಣಕ್ಕಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾಯಿತು. ಈಗ ನಾವು ನ್ಯಾಜಿಯೊಗಳಲ್ಲಿ ಸಾವಿರಾರು ಚೆಕ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ, ಮುನಿನ್‌ನಲ್ಲಿ ನೂರಾರು ಚಾರ್ಟ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ ಮತ್ತು ನಮ್ಮ ಸಹೋದ್ಯೋಗಿಗಳು ಅವುಗಳನ್ನು ಪ್ರತಿದಿನ ಯಶಸ್ವಿಯಾಗಿ ಬಳಸುತ್ತಾರೆ. ಮೆಟ್ರಿಕ್‌ಗಳು ಸ್ಪಷ್ಟವಾಗಿದೆ, ಗ್ರಾಫ್‌ಗಳು ಸ್ಪಷ್ಟವಾಗಿವೆ, ಸಿಸ್ಟಮ್ ಹಲವಾರು ವರ್ಷಗಳಿಂದ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಮತ್ತು ಹೊಸ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಗ್ರಾಫ್‌ಗಳನ್ನು ನಿಯಮಿತವಾಗಿ ಅದಕ್ಕೆ ಸೇರಿಸಲಾಗುತ್ತದೆ: ನಾವು ಹೊಸ ಸೇವೆಯನ್ನು ಕಾರ್ಯರೂಪಕ್ಕೆ ತಂದಾಗ, ನಾವು ಹಲವಾರು ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಗ್ರಾಫ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಒಳ್ಳೆಯದಾಗಲಿ.
ಪಲ್ಸ್ ಮೇಲೆ ಬೆರಳು - ಸುಧಾರಿತ ತಾಂತ್ರಿಕ ವಿಶ್ಲೇಷಣೆ
"ಸಾಧ್ಯವಾದಷ್ಟು ಬೇಗ" ಸಮಸ್ಯೆಗಳ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ಪಡೆಯುವ ಬಯಕೆಯು ಸರಳ ಮತ್ತು ಅರ್ಥವಾಗುವ ಸಾಧನಗಳೊಂದಿಗೆ ಸಕ್ರಿಯ ಪ್ರಯೋಗಗಳಿಗೆ ಕಾರಣವಾಯಿತು - pinba ಮತ್ತು xhprof.
PHP ಯಲ್ಲಿನ ವೆಬ್ ಪುಟಗಳ ಭಾಗಗಳ ಕಾರ್ಯಾಚರಣೆಯ ವೇಗದ ಕುರಿತು UDP ಪ್ಯಾಕೆಟ್‌ಗಳಲ್ಲಿ Pinba ನಮಗೆ ಅಂಕಿಅಂಶಗಳನ್ನು ಕಳುಹಿಸಿದೆ ಮತ್ತು ನಾವು MySQL ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ನೋಡಬಹುದು (ವೇಗದ ಈವೆಂಟ್ ವಿಶ್ಲೇಷಣೆಗಾಗಿ Pinba ತನ್ನದೇ ಆದ MySQL ಎಂಜಿನ್ನೊಂದಿಗೆ ಬರುತ್ತದೆ) ಸಮಸ್ಯೆಗಳ ಕಿರು ಪಟ್ಟಿಯನ್ನು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯಿಸಬಹುದು ಅವರು. ಮತ್ತು xhprof ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕ್ಲೈಂಟ್‌ಗಳಿಂದ ನಿಧಾನವಾದ PHP ಪುಟಗಳ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯ ಗ್ರಾಫ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಇದಕ್ಕೆ ಏನು ಕಾರಣವಾಗಬಹುದು ಎಂಬುದನ್ನು ವಿಶ್ಲೇಷಿಸಲು ನಮಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಟ್ಟಿತು - ಶಾಂತವಾಗಿ, ಚಹಾ ಅಥವಾ ಬಲವಾದದ್ದನ್ನು ಸುರಿಯುವುದು.
ಕೆಲವು ಸಮಯದ ಹಿಂದೆ, ರಿವರ್ಸ್ ಇಂಡೆಕ್ಸಿಂಗ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಆಧರಿಸಿ ಟೂಲ್ಕಿಟ್ ಅನ್ನು ಮತ್ತೊಂದು ಸರಳವಾದ ಮತ್ತು ಅರ್ಥವಾಗುವ ಎಂಜಿನ್ನೊಂದಿಗೆ ಮರುಪೂರಣಗೊಳಿಸಲಾಯಿತು, ಇದು ಪೌರಾಣಿಕ ಲುಸೀನ್ ಲೈಬ್ರರಿ - ಎಲಾಸ್ಟಿಕ್ / ಕಿಬಾನಾದಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಅಳವಡಿಸಲಾಗಿದೆ. ಲಾಗ್‌ಗಳಲ್ಲಿನ ಘಟನೆಗಳ ಆಧಾರದ ಮೇಲೆ ವಿಲೋಮ ಲ್ಯೂಸೀನ್ ಸೂಚ್ಯಂಕಕ್ಕೆ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಮಲ್ಟಿ-ಥ್ರೆಡ್ ರೆಕಾರ್ಡಿಂಗ್‌ನ ಸರಳ ಕಲ್ಪನೆ ಮತ್ತು ಮುಖ ವಿಭಾಗವನ್ನು ಬಳಸಿಕೊಂಡು ಅವುಗಳ ಮೂಲಕ ತ್ವರಿತ ಹುಡುಕಾಟವು ನಿಜವಾಗಿಯೂ ಉಪಯುಕ್ತವಾಗಿದೆ.
"ಬಕೆಟ್" "ಮೇಲಕ್ಕೆ ಹರಿಯುವ" ಮತ್ತು ಇನ್ನೂ ಸಂಪೂರ್ಣವಾಗಿ ಮರೆತುಹೋಗದ ಸಂಬಂಧಿತ ಬೀಜಗಣಿತದ ಮರುಶೋಧಿಸಿದ ಭಾಷೆಯಂತಹ ಕಡಿಮೆ-ಮಟ್ಟದ ಪರಿಕಲ್ಪನೆಗಳೊಂದಿಗೆ ಕಿಬಾನಾದಲ್ಲಿ ದೃಶ್ಯೀಕರಣಗಳ ತಾಂತ್ರಿಕ ನೋಟದ ಹೊರತಾಗಿಯೂ, ಉಪಕರಣವು ಈ ಕೆಳಗಿನ ಕಾರ್ಯಗಳಲ್ಲಿ ನಮಗೆ ಉತ್ತಮವಾಗಿ ಸಹಾಯ ಮಾಡಲು ಪ್ರಾರಂಭಿಸಿತು:
- ಕಳೆದ ಗಂಟೆಯಲ್ಲಿ ಬಿಟ್ರಿಕ್ಸ್ 24 ಕ್ಲೈಂಟ್ p1 ಪೋರ್ಟಲ್‌ನಲ್ಲಿ ಎಷ್ಟು PHP ದೋಷಗಳನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಯಾವುದು? ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ, ಕ್ಷಮಿಸಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಪಡಿಸಿ.
- ಹಿಂದಿನ 24 ಗಂಟೆಗಳಲ್ಲಿ ಜರ್ಮನಿಯ ಪೋರ್ಟಲ್‌ಗಳಲ್ಲಿ ಎಷ್ಟು ವೀಡಿಯೊ ಕರೆಗಳನ್ನು ಮಾಡಲಾಗಿದೆ, ಯಾವ ಗುಣಮಟ್ಟದೊಂದಿಗೆ ಮತ್ತು ಚಾನಲ್/ನೆಟ್‌ವರ್ಕ್‌ನಲ್ಲಿ ಯಾವುದೇ ತೊಂದರೆಗಳಿವೆಯೇ?
- ಇತ್ತೀಚಿನ ಸೇವಾ ಅಪ್‌ಡೇಟ್‌ನಲ್ಲಿ ಮೂಲದಿಂದ ಕಂಪೈಲ್ ಮಾಡಲಾದ ಮತ್ತು ಕ್ಲೈಂಟ್‌ಗಳಿಗೆ ಹೊರತಂದಿರುವ ಸಿಸ್ಟಂ ಕಾರ್ಯಚಟುವಟಿಕೆ (PHP ಗಾಗಿ ನಮ್ಮ C ವಿಸ್ತರಣೆ) ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ? ಸೆಗ್‌ಫಾಲ್ಟ್‌ಗಳಿವೆಯೇ?
- ಗ್ರಾಹಕರ ಡೇಟಾವು PHP ಮೆಮೊರಿಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆಯೇ? ಪ್ರಕ್ರಿಯೆಗಳಿಗೆ ನಿಯೋಜಿಸಲಾದ ಮೆಮೊರಿಯನ್ನು ಮೀರುವ ಬಗ್ಗೆ ಯಾವುದೇ ದೋಷಗಳಿವೆಯೇ: "ಮೆಮೊರಿಯಿಂದ ಹೊರಗಿದೆ"? ಹುಡುಕಿ ಮತ್ತು ತಟಸ್ಥಗೊಳಿಸಿ.
ಕಾಂಕ್ರೀಟ್ ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ. ಸಂಪೂರ್ಣ ಮತ್ತು ಬಹು-ಹಂತದ ಪರೀಕ್ಷೆಯ ಹೊರತಾಗಿಯೂ, ಕ್ಲೈಂಟ್, ಪ್ರಮಾಣಿತವಲ್ಲದ ಪ್ರಕರಣ ಮತ್ತು ಹಾನಿಗೊಳಗಾದ ಇನ್ಪುಟ್ ಡೇಟಾದೊಂದಿಗೆ, ಕಿರಿಕಿರಿ ಮತ್ತು ಅನಿರೀಕ್ಷಿತ ದೋಷವನ್ನು ಪಡೆದರು, ಸೈರನ್ ಸದ್ದು ಮಾಡಿತು ಮತ್ತು ಅದನ್ನು ತ್ವರಿತವಾಗಿ ಸರಿಪಡಿಸುವ ಪ್ರಕ್ರಿಯೆಯು ಪ್ರಾರಂಭವಾಯಿತು:
ಹೆಚ್ಚುವರಿಯಾಗಿ, ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಈವೆಂಟ್‌ಗಳಿಗಾಗಿ ಅಧಿಸೂಚನೆಗಳನ್ನು ಸಂಘಟಿಸಲು ಕಿಬಾನಾ ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ, ಮತ್ತು ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಕಂಪನಿಯಲ್ಲಿನ ಉಪಕರಣವನ್ನು ವಿವಿಧ ಇಲಾಖೆಗಳ ಡಜನ್ಗಟ್ಟಲೆ ಉದ್ಯೋಗಿಗಳು ಬಳಸಲು ಪ್ರಾರಂಭಿಸಿದರು - ತಾಂತ್ರಿಕ ಬೆಂಬಲ ಮತ್ತು ಅಭಿವೃದ್ಧಿಯಿಂದ QA ವರೆಗೆ.
ಕಂಪನಿಯೊಳಗಿನ ಯಾವುದೇ ವಿಭಾಗದ ಚಟುವಟಿಕೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ಮತ್ತು ಅಳೆಯಲು ಅನುಕೂಲಕರವಾಗಿದೆ - ಸರ್ವರ್‌ಗಳಲ್ಲಿ ಲಾಗ್‌ಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ವಿಶ್ಲೇಷಿಸುವ ಬದಲು, ನೀವು ಒಮ್ಮೆ ಪಾರ್ಸಿಂಗ್ ಲಾಗ್‌ಗಳನ್ನು ಹೊಂದಿಸಬೇಕು ಮತ್ತು ಅವುಗಳನ್ನು ಆನಂದಿಸಲು ಸ್ಥಿತಿಸ್ಥಾಪಕ ಕ್ಲಸ್ಟರ್‌ಗೆ ಕಳುಹಿಸಬೇಕು, ಉದಾಹರಣೆಗೆ, ಕಿಬಾನಾದಲ್ಲಿ ಆಲೋಚಿಸುವುದು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಕಳೆದ ಚಂದ್ರನ ತಿಂಗಳಿಗೆ 3-ಡಿ ಪ್ರಿಂಟರ್‌ನಲ್ಲಿ ಮುದ್ರಿಸಲಾದ ಎರಡು-ತಲೆಯ ಉಡುಗೆಗಳ ಸಂಖ್ಯೆ.
ಮೂಲ ವ್ಯಾಪಾರ ವಿಶ್ಲೇಷಣೆ
ಕಂಪನಿಗಳಲ್ಲಿನ ವ್ಯವಹಾರ ವಿಶ್ಲೇಷಣೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಎಕ್ಸೆಲ್‌ನ ಅತ್ಯಂತ ಸಕ್ರಿಯ ಬಳಕೆಯಿಂದ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಎಂದು ಪ್ರತಿಯೊಬ್ಬರಿಗೂ ತಿಳಿದಿದೆ. ಆದರೆ ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ಅದು ಅಲ್ಲಿಗೆ ಕೊನೆಗೊಳ್ಳುವುದಿಲ್ಲ. ಕ್ಲೌಡ್-ಆಧಾರಿತ Google Analytics ಸಹ ಬೆಂಕಿಗೆ ಇಂಧನವನ್ನು ಸೇರಿಸುತ್ತದೆ - ನೀವು ಬೇಗನೆ ಒಳ್ಳೆಯ ವಿಷಯವನ್ನು ಬಳಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ.
ನಮ್ಮ ಸಾಮರಸ್ಯದಿಂದ ಅಭಿವೃದ್ಧಿ ಹೊಂದುತ್ತಿರುವ ಕಂಪನಿಯಲ್ಲಿ, ಇಲ್ಲಿ ಮತ್ತು ಅಲ್ಲಿ ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಹೆಚ್ಚು ತೀವ್ರವಾದ ಕೆಲಸದ "ಪ್ರವಾದಿಗಳು" ಕಾಣಿಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸಿದರು. ಹೆಚ್ಚು ಆಳವಾದ ಮತ್ತು ಬಹುಮುಖಿ ವರದಿಗಳ ಅಗತ್ಯವು ನಿಯಮಿತವಾಗಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸಿತು, ಮತ್ತು ವಿವಿಧ ವಿಭಾಗಗಳ ಹುಡುಗರ ಪ್ರಯತ್ನಗಳ ಮೂಲಕ, ಸ್ವಲ್ಪ ಸಮಯದ ಹಿಂದೆ ಸರಳ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಪರಿಹಾರವನ್ನು ಆಯೋಜಿಸಲಾಯಿತು - ಕ್ಲಿಕ್‌ಹೌಸ್ ಮತ್ತು ಪವರ್‌ಬಿಐ ಸಂಯೋಜನೆ.
ಸಾಕಷ್ಟು ಸಮಯದವರೆಗೆ, ಈ ಹೊಂದಿಕೊಳ್ಳುವ ಪರಿಹಾರವು ಬಹಳಷ್ಟು ಸಹಾಯ ಮಾಡಿತು, ಆದರೆ ಕ್ರಮೇಣ ಕ್ಲಿಕ್‌ಹೌಸ್ ರಬ್ಬರ್ ಅಲ್ಲ ಮತ್ತು ಹಾಗೆ ಅಪಹಾಸ್ಯ ಮಾಡಲಾಗುವುದಿಲ್ಲ ಎಂಬ ತಿಳುವಳಿಕೆ ಬರಲು ಪ್ರಾರಂಭಿಸಿತು.
ಇಲ್ಲಿ ಕ್ಲಿಕ್‌ಹೌಸ್, ಡ್ರೂಯಿಡ್, ವರ್ಟಿಕಾ, ಅಮೆಜಾನ್ ರೆಡ್‌ಶಿಫ್ಟ್ (ಪೋಸ್ಟ್‌ಗ್ರೆಸ್ ಅನ್ನು ಆಧರಿಸಿದೆ) ನಂತಹ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಎಂಜಿನ್ಗಳು ಸಾಕಷ್ಟು ಅನುಕೂಲಕರವಾದ ವಿಶ್ಲೇಷಣೆಗಳಿಗೆ (ಮೊತ್ತಗಳು, ಒಟ್ಟುಗೂಡಿಸುವಿಕೆಗಳು, ಕಾಲಮ್‌ನಿಂದ ಕನಿಷ್ಠ-ಗರಿಷ್ಠ ಮತ್ತು ಕೆಲವು ಸಂಭವನೀಯ ಸೇರ್ಪಡೆಗಳು) ಹೊಂದುವಂತೆ ಚೆನ್ನಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಬಹಳ ಮುಖ್ಯ. ), ಏಕೆಂದರೆ MySQL ಮತ್ತು ನಮಗೆ ತಿಳಿದಿರುವ ಇತರ (ಸಾಲು-ಆಧಾರಿತ) ಡೇಟಾಬೇಸ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ ಸಂಬಂಧಿತ ಕೋಷ್ಟಕಗಳ ಕಾಲಮ್‌ಗಳ ಸಮರ್ಥ ಸಂಗ್ರಹಣೆಗಾಗಿ ಆಯೋಜಿಸಲಾಗಿದೆ.
ಮೂಲಭೂತವಾಗಿ, ಕ್ಲಿಕ್‌ಹೌಸ್ ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯದ “ಡೇಟಾಬೇಸ್” ಆಗಿದ್ದು, ಹೆಚ್ಚು ಅನುಕೂಲಕರ ಪಾಯಿಂಟ್-ಬೈ-ಪಾಯಿಂಟ್ ಅಳವಡಿಕೆಯೊಂದಿಗೆ (ಅದು ಹೇಗೆ ಉದ್ದೇಶಿಸಲಾಗಿದೆ, ಎಲ್ಲವೂ ಸರಿಯಾಗಿದೆ), ಆದರೆ ಆಹ್ಲಾದಕರ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಆಸಕ್ತಿದಾಯಕ ಶಕ್ತಿಯುತ ಕಾರ್ಯಗಳ ಒಂದು ಸೆಟ್. ಹೌದು, ನೀವು ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಸಹ ರಚಿಸಬಹುದು - ಆದರೆ ಸೂಕ್ಷ್ಮದರ್ಶಕದೊಂದಿಗೆ ಉಗುರುಗಳನ್ನು ಹೊಡೆಯುವುದು ಸಂಪೂರ್ಣವಾಗಿ ಸರಿಯಾಗಿಲ್ಲ ಎಂದು ನೀವು ಅರ್ಥಮಾಡಿಕೊಂಡಿದ್ದೀರಿ ಮತ್ತು ನಾವು ಇತರ ಪರಿಹಾರಗಳನ್ನು ಹುಡುಕಲು ಪ್ರಾರಂಭಿಸಿದ್ದೇವೆ.
ಹೆಬ್ಬಾವು ಮತ್ತು ವಿಶ್ಲೇಷಕರಿಗೆ ಬೇಡಿಕೆ
ನಮ್ಮ ಕಂಪನಿಯು PHP, JavaScript, C#, C/C++, Java, Go, Rust, Python, Bash ನಲ್ಲಿ 10-20 ವರ್ಷಗಳವರೆಗೆ ಪ್ರತಿದಿನ ಕೋಡ್ ಬರೆಯುವ ಅನೇಕ ಡೆವಲಪರ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಅಂಕಿಅಂಶಗಳ ನಿಯಮಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗದ ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಸಂಪೂರ್ಣವಾಗಿ ನಂಬಲಾಗದ ವಿಪತ್ತುಗಳನ್ನು ಅನುಭವಿಸಿದ ಅನೇಕ ಅನುಭವಿ ಸಿಸ್ಟಮ್ ನಿರ್ವಾಹಕರು ಸಹ ಇದ್ದಾರೆ (ಉದಾಹರಣೆಗೆ, ದಾಳಿ -10 ನಲ್ಲಿನ ಹೆಚ್ಚಿನ ಡಿಸ್ಕ್ಗಳು ಬಲವಾದ ಮಿಂಚಿನ ಹೊಡೆತದಿಂದ ನಾಶವಾದಾಗ). ಅಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ, "ಪೈಥಾನ್ ವಿಶ್ಲೇಷಕ" ಏನೆಂದು ದೀರ್ಘಕಾಲದವರೆಗೆ ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ. ಪೈಥಾನ್ PHP ಯಂತಿದೆ, ಹೆಸರು ಮಾತ್ರ ಸ್ವಲ್ಪ ಉದ್ದವಾಗಿದೆ ಮತ್ತು ಇಂಟರ್ಪ್ರಿಟರ್‌ನ ಮೂಲ ಕೋಡ್‌ನಲ್ಲಿ ಮನಸ್ಸನ್ನು ಬದಲಾಯಿಸುವ ಪದಾರ್ಥಗಳ ಕುರುಹುಗಳು ಸ್ವಲ್ಪ ಕಡಿಮೆ ಇವೆ. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚು ಹೆಚ್ಚು ವಿಶ್ಲೇಷಣಾತ್ಮಕ ವರದಿಗಳು ರಚಿಸಲ್ಪಟ್ಟಂತೆ, ಅನುಭವಿ ಡೆವಲಪರ್‌ಗಳು ನಂಬಿ, ಪಾಂಡಾಗಳು, ಮ್ಯಾಟ್‌ಪ್ಲಾಟ್‌ಲಿಬ್, ಸೀಬಾರ್ನ್‌ನಂತಹ ಸಾಧನಗಳಲ್ಲಿ ಕಿರಿದಾದ ವಿಶೇಷತೆಯ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಹೆಚ್ಚು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸಿದರು.
"ಲಾಜಿಸ್ಟಿಕ್ ರಿಗ್ರೆಷನ್" ಪದಗಳ ಸಂಯೋಜನೆಯಿಂದ ನೌಕರರ ಹಠಾತ್ ಮೂರ್ಛೆ ಮತ್ತು ಹೌದು, ಹೌದು, ಪಿಸ್ಪಾರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ದೊಡ್ಡ ಡೇಟಾದ ಮೇಲೆ ಪರಿಣಾಮಕಾರಿ ವರದಿ ಮಾಡುವಿಕೆಯ ಪ್ರದರ್ಶನದಿಂದ ನಿರ್ಣಾಯಕ ಪಾತ್ರವನ್ನು ವಹಿಸಲಾಗಿದೆ.
ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್, ಸಂಬಂಧಿತ ಬೀಜಗಣಿತವು ಸಂಪೂರ್ಣವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವ ಅದರ ಕ್ರಿಯಾತ್ಮಕ ಮಾದರಿ, ಮತ್ತು ಅದರ ಸಾಮರ್ಥ್ಯಗಳು MySQL ಗೆ ಒಗ್ಗಿಕೊಂಡಿರುವ ಡೆವಲಪರ್‌ಗಳ ಮೇಲೆ ಅಂತಹ ಪ್ರಭಾವ ಬೀರಿತು, ಅನುಭವಿ ವಿಶ್ಲೇಷಕರೊಂದಿಗೆ ಶ್ರೇಣಿಯನ್ನು ಬಲಪಡಿಸುವ ಅಗತ್ಯವು ದಿನದಂತೆ ಸ್ಪಷ್ಟವಾಯಿತು.
ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್/ಹಡೂಪ್‌ನ ಮತ್ತಷ್ಟು ಪ್ರಯತ್ನಗಳು ಟೇಕಾಫ್ ಆಗಲು ಮತ್ತು ಸ್ಕ್ರಿಪ್ಟ್‌ಗೆ ಅನುಗುಣವಾಗಿ ಏನು ನಡೆಯಲಿಲ್ಲ
ಆದಾಗ್ಯೂ, ಸ್ಪಾರ್ಕ್‌ನೊಂದಿಗೆ ವ್ಯವಸ್ಥಿತವಾಗಿ ಏನಾದರೂ ಸರಿಯಾಗಿಲ್ಲ ಎಂದು ಶೀಘ್ರದಲ್ಲೇ ಸ್ಪಷ್ಟವಾಯಿತು, ಅಥವಾ ನಿಮ್ಮ ಕೈಗಳನ್ನು ಉತ್ತಮವಾಗಿ ತೊಳೆಯುವುದು ಅವಶ್ಯಕ. Hadoop/MapReduce/Lucene ಸ್ಟಾಕ್ ಅನ್ನು ಸಾಕಷ್ಟು ಅನುಭವಿ ಪ್ರೋಗ್ರಾಮರ್‌ಗಳು ತಯಾರಿಸಿದ್ದರೆ, ನೀವು ಜಾವಾದಲ್ಲಿನ ಮೂಲ ಕೋಡ್ ಅಥವಾ ಲುಸಿನ್‌ನಲ್ಲಿನ ಡೌಗ್ ಕಟಿಂಗ್‌ನ ಆಲೋಚನೆಗಳನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಗಮನಿಸಿದರೆ, ಸ್ಪಾರ್ಕ್ ಅನ್ನು ಇದ್ದಕ್ಕಿದ್ದಂತೆ ವಿಲಕ್ಷಣ ಭಾಷೆ ಸ್ಕಲಾದಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ. ಪ್ರಾಯೋಗಿಕತೆಯ ದೃಷ್ಟಿಕೋನದಿಂದ ಬಹಳ ವಿವಾದಾತ್ಮಕವಾಗಿದೆ ಮತ್ತು ಪ್ರಸ್ತುತ ಅಭಿವೃದ್ಧಿಯಾಗುತ್ತಿಲ್ಲ. ಮತ್ತು ಕಡಿಮೆ ಕಾರ್ಯಾಚರಣೆಗಳಿಗಾಗಿ ಮೆಮೊರಿ ಹಂಚಿಕೆಯೊಂದಿಗೆ ತರ್ಕಬದ್ಧವಲ್ಲದ ಮತ್ತು ಹೆಚ್ಚು ಪಾರದರ್ಶಕವಲ್ಲದ ಕೆಲಸದಿಂದಾಗಿ ಸ್ಪಾರ್ಕ್ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿನ ಲೆಕ್ಕಾಚಾರಗಳಲ್ಲಿನ ನಿಯಮಿತ ಕುಸಿತವು (ಹಲವು ಕೀಗಳು ಒಂದೇ ಬಾರಿಗೆ ಬರುತ್ತವೆ) ಅದರ ಸುತ್ತಲೂ ಬೆಳೆಯಲು ಸ್ಥಳಾವಕಾಶವಿರುವ ಯಾವುದೋ ಒಂದು ಪ್ರಭಾವಲಯವನ್ನು ಸೃಷ್ಟಿಸಿದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ವಿಚಿತ್ರ ತೆರೆದ ಪೋರ್ಟ್‌ಗಳು, ಹೆಚ್ಚು ಗ್ರಹಿಸಲಾಗದ ಸ್ಥಳಗಳಲ್ಲಿ ಬೆಳೆಯುತ್ತಿರುವ ತಾತ್ಕಾಲಿಕ ಫೈಲ್‌ಗಳು ಮತ್ತು ಜಾರ್ ಅವಲಂಬನೆಗಳ ನರಕದಿಂದ ಪರಿಸ್ಥಿತಿಯು ಉಲ್ಬಣಗೊಂಡಿತು - ಇದು ಸಿಸ್ಟಮ್ ನಿರ್ವಾಹಕರು ಬಾಲ್ಯದಿಂದಲೂ ತಿಳಿದಿರುವ ಒಂದು ಭಾವನೆಯನ್ನು ಹೊಂದಲು ಕಾರಣವಾಯಿತು: ಉಗ್ರ ದ್ವೇಷ (ಅಥವಾ ಬಹುಶಃ ಅವರು ತಮ್ಮ ಕೈಗಳನ್ನು ಸಾಬೂನಿನಿಂದ ತೊಳೆಯಬೇಕಾಗಬಹುದು).
ಪರಿಣಾಮವಾಗಿ, ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ (ಸ್ಪಾರ್ಕ್ ಸ್ಟ್ರೀಮಿಂಗ್, ಸ್ಪಾರ್ಕ್ SQL ಸೇರಿದಂತೆ) ಮತ್ತು ಹಡೂಪ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆ (ಮತ್ತು ಹೀಗೆ ಇತ್ಯಾದಿ) ಸಕ್ರಿಯವಾಗಿ ಬಳಸುವ ಹಲವಾರು ಆಂತರಿಕ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಯೋಜನೆಗಳನ್ನು ನಾವು "ಬದುಕುಳಿದಿದ್ದೇವೆ". ಕಾಲಾನಂತರದಲ್ಲಿ ನಾವು “ಅದನ್ನು” ಚೆನ್ನಾಗಿ ತಯಾರಿಸಲು ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಕಲಿತಿದ್ದೇವೆ ಮತ್ತು ಡೇಟಾದ ಸ್ವರೂಪದಲ್ಲಿನ ಬದಲಾವಣೆಗಳು ಮತ್ತು ಏಕರೂಪದ ಆರ್‌ಡಿಡಿ ಹ್ಯಾಶಿಂಗ್‌ನ ಅಸಮತೋಲನದಿಂದಾಗಿ “ಇದು” ಪ್ರಾಯೋಗಿಕವಾಗಿ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಕ್ರ್ಯಾಶ್ ಆಗುವುದನ್ನು ನಿಲ್ಲಿಸಿದೆ, ಈಗಾಗಲೇ ಸಿದ್ಧವಾಗಿರುವ ಏನನ್ನಾದರೂ ತೆಗೆದುಕೊಳ್ಳುವ ಬಯಕೆ , ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಎಲ್ಲೋ ಅಪ್‌ಡೇಟ್ ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಆಡಳಿತವು ಬಲವಾಗಿ ಮತ್ತು ಬಲವಾಗಿ ಬೆಳೆಯಿತು. ಈ ಸಮಯದಲ್ಲಿ ನಾವು ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳ ರೆಡಿಮೇಡ್ ಕ್ಲೌಡ್ ಅಸೆಂಬ್ಲಿಯನ್ನು ಬಳಸಲು ಪ್ರಯತ್ನಿಸಿದ್ದೇವೆ - ಮತ್ತು, ತರುವಾಯ, ಅದನ್ನು ಬಳಸಿಕೊಂಡು ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಪ್ರಯತ್ನಿಸಿದರು. EMR ಎಂಬುದು ಕ್ಲೌಡೆರಾ/ಹಾರ್ಟನ್‌ವರ್ಕ್ಸ್ ಬಿಲ್ಡ್‌ಗಳಂತೆಯೇ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಿಂದ ಹೆಚ್ಚುವರಿ ಸಾಫ್ಟ್‌ವೇರ್‌ನೊಂದಿಗೆ ಅಮೆಜಾನ್ ಸಿದ್ಧಪಡಿಸಿದ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಆಗಿದೆ.
ವಿಶ್ಲೇಷಣೆಗಾಗಿ ರಬ್ಬರ್ ಫೈಲ್ ಸಂಗ್ರಹಣೆಯು ತುರ್ತು ಅಗತ್ಯವಾಗಿದೆ
ದೇಹದ ವಿವಿಧ ಭಾಗಗಳಿಗೆ ಸುಟ್ಟಗಾಯಗಳೊಂದಿಗೆ ಹಡೂಪ್ / ಸ್ಪಾರ್ಕ್ ಅನ್ನು "ಅಡುಗೆ" ಮಾಡುವ ಅನುಭವವು ವ್ಯರ್ಥವಾಗಲಿಲ್ಲ. ಹಾರ್ಡ್‌ವೇರ್ ವೈಫಲ್ಯಗಳಿಗೆ ನಿರೋಧಕವಾಗಿರುವ ಏಕೈಕ, ಅಗ್ಗದ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ಫೈಲ್ ಸಂಗ್ರಹಣೆಯನ್ನು ರಚಿಸುವ ಅಗತ್ಯತೆ ಮತ್ತು ಇದರಲ್ಲಿ ಫೈಲ್‌ಗಳನ್ನು ವಿವಿಧ ಸಿಸ್ಟಮ್‌ಗಳಿಂದ ವಿಭಿನ್ನ ಸ್ವರೂಪಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಈ ಡೇಟಾದಿಂದ ವರದಿಗಳಿಗಾಗಿ ಸಮರ್ಥ ಮತ್ತು ಸಮಯ-ಪರಿಣಾಮಕಾರಿ ಮಾದರಿಗಳನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಮಾಡುವುದು ಹೆಚ್ಚಾಯಿತು. ಸ್ಪಷ್ಟ.
ಈ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ನವೀಕರಿಸುವುದು 20-ಪುಟದ ಜಾವಾ ಟ್ರೇಸ್‌ಗಳನ್ನು ಓದುವುದರೊಂದಿಗೆ ಮತ್ತು ಸ್ಪಾರ್ಕ್ ಹಿಸ್ಟರಿ ಸರ್ವರ್ ಮತ್ತು ಬ್ಯಾಕ್‌ಲಿಟ್ ಭೂತಗನ್ನಡಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಕ್ಲಸ್ಟರ್‌ನ ಕಿಲೋಮೀಟರ್ ಉದ್ದದ ವಿವರವಾದ ಲಾಗ್‌ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸುವುದರೊಂದಿಗೆ ಹೊಸ ವರ್ಷದ ದುಃಸ್ವಪ್ನವಾಗಿ ಬದಲಾಗಬಾರದು ಎಂದು ನಾನು ಬಯಸುತ್ತೇನೆ. ಸರಿಯಾಗಿ ಆಯ್ಕೆ ಮಾಡದ ಮೂಲ ಡೇಟಾ ವಿಭಜನಾ ಅಲ್ಗಾರಿದಮ್‌ನಿಂದಾಗಿ ರಿಡ್ಡ್ ಡೇಟಾ ವರ್ಕರ್ ಮೆಮೊರಿಯಿಂದ ಹೊರಬಿದ್ದಾಗ ಡೆವಲಪರ್‌ನ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಮ್ಯಾಪ್‌ರೆಡ್ಯೂಸ್ ವಿನಂತಿಯು ಕಾರ್ಯಗತಗೊಳ್ಳುವುದನ್ನು ನಿಲ್ಲಿಸಿದರೆ ಹುಡ್ ಅಡಿಯಲ್ಲಿ ನಿಯಮಿತ ಡೈವಿಂಗ್ ಅಗತ್ಯವಿಲ್ಲದ ಸರಳ ಮತ್ತು ಪಾರದರ್ಶಕ ಸಾಧನವನ್ನು ಹೊಂದಲು ನಾನು ಬಯಸುತ್ತೇನೆ.
DataLake ಗೆ Amazon S3 ಅಭ್ಯರ್ಥಿಯೇ?
Hadoop/MapReduce ನೊಂದಿಗಿನ ಅನುಭವವು ನಮಗೆ ಸ್ಕೇಲೆಬಲ್, ವಿಶ್ವಾಸಾರ್ಹ ಫೈಲ್ ಸಿಸ್ಟಮ್ ಮತ್ತು ಅದರ ಮೇಲೆ ಸ್ಕೇಲೆಬಲ್ ಕೆಲಸಗಾರರ ಅಗತ್ಯವಿದೆ ಎಂದು ನಮಗೆ ಕಲಿಸಿತು, ನೆಟ್‌ವರ್ಕ್‌ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಚಲಾಯಿಸದಂತೆ ಡೇಟಾಗೆ ಹತ್ತಿರ "ಬರುತ್ತಿದೆ". ಕೆಲಸಗಾರರು ವಿವಿಧ ಸ್ವರೂಪಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ಓದಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಆದರೆ ಮೇಲಾಗಿ ಅನಗತ್ಯ ಮಾಹಿತಿಯನ್ನು ಓದಬಾರದು ಮತ್ತು ಕಾರ್ಮಿಕರಿಗೆ ಅನುಕೂಲಕರವಾದ ಸ್ವರೂಪಗಳಲ್ಲಿ ಮುಂಚಿತವಾಗಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ಮತ್ತೊಮ್ಮೆ, ಮೂಲ ಕಲ್ಪನೆ. ಒಂದೇ ಕ್ಲಸ್ಟರ್ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಎಂಜಿನ್‌ಗೆ ದೊಡ್ಡ ಡೇಟಾವನ್ನು "ಸುರಿಯಲು" ಯಾವುದೇ ಬಯಕೆ ಇಲ್ಲ, ಅದು ಬೇಗ ಅಥವಾ ನಂತರ ಉಸಿರುಗಟ್ಟಿಸುತ್ತದೆ ಮತ್ತು ನೀವು ಅದನ್ನು ಕೊಳಕು ಚೂರು ಮಾಡಬೇಕಾಗುತ್ತದೆ. ನಾನು ಫೈಲ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ಬಯಸುತ್ತೇನೆ, ಕೇವಲ ಫೈಲ್‌ಗಳು, ಅರ್ಥವಾಗುವ ರೂಪದಲ್ಲಿ ಮತ್ತು ವಿಭಿನ್ನ ಆದರೆ ಅರ್ಥವಾಗುವ ಸಾಧನಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಅವುಗಳ ಮೇಲೆ ಪರಿಣಾಮಕಾರಿ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು. ಮತ್ತು ವಿವಿಧ ಸ್ವರೂಪಗಳಲ್ಲಿ ಹೆಚ್ಚು ಹೆಚ್ಚು ಫೈಲ್‌ಗಳು ಇರುತ್ತವೆ. ಮತ್ತು ಎಂಜಿನ್ ಅಲ್ಲ, ಆದರೆ ಮೂಲ ಡೇಟಾವನ್ನು ಚೂರು ಮಾಡುವುದು ಉತ್ತಮ. ನಮಗೆ ವಿಸ್ತರಿಸಬಹುದಾದ ಮತ್ತು ಸಾರ್ವತ್ರಿಕ ಡೇಟಾಲೇಕ್ ಅಗತ್ಯವಿದೆ, ನಾವು ನಿರ್ಧರಿಸಿದ್ದೇವೆ...
ಹಡೂಪ್‌ನಿಂದ ನಿಮ್ಮ ಸ್ವಂತ ಚಾಪ್‌ಗಳನ್ನು ಸಿದ್ಧಪಡಿಸದೆಯೇ ನೀವು ಪರಿಚಿತ ಮತ್ತು ಪ್ರಸಿದ್ಧವಾದ ಸ್ಕೇಲೆಬಲ್ ಕ್ಲೌಡ್ ಸ್ಟೋರೇಜ್ Amazon S3 ನಲ್ಲಿ ಫೈಲ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿದರೆ ಏನು?
ವೈಯಕ್ತಿಕ ಡೇಟಾವು "ಕಡಿಮೆ" ಎಂದು ಸ್ಪಷ್ಟವಾಗಿದೆ, ಆದರೆ ನಾವು ಅದನ್ನು ಅಲ್ಲಿಗೆ ತೆಗೆದುಕೊಂಡು "ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಚಾಲನೆ ಮಾಡಿದರೆ" ಇತರ ಡೇಟಾದ ಬಗ್ಗೆ ಏನು?
ಕ್ಲಸ್ಟರ್-ಬಿಗ್‌ಡೇಟಾ-ಅನಾಲಿಟಿಕ್ಸ್ ಎಕೋಸಿಸ್ಟಮ್ ಆಫ್ ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳು - ಸರಳ ಪದಗಳಲ್ಲಿ
AWS ನೊಂದಿಗಿನ ನಮ್ಮ ಅನುಭವದ ಮೂಲಕ ನಿರ್ಣಯಿಸುವುದು, Apache Hadoop/MapReduce ಅನ್ನು ದೀರ್ಘಕಾಲದವರೆಗೆ ವಿವಿಧ ಸಾಸ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಸಕ್ರಿಯವಾಗಿ ಬಳಸಲಾಗಿದೆ, ಉದಾಹರಣೆಗೆ ಡೇಟಾಪೈಪ್‌ಲೈನ್ ಸೇವೆಯಲ್ಲಿ (ನಾನು ನನ್ನ ಸಹೋದ್ಯೋಗಿಗಳನ್ನು ಅಸೂಯೆಪಡುತ್ತೇನೆ, ಅವರು ಅದನ್ನು ಹೇಗೆ ಸರಿಯಾಗಿ ತಯಾರಿಸಬೇಕೆಂದು ಕಲಿತರು). ಇಲ್ಲಿ ನಾವು ಡೈನಮೊಡಿಬಿ ಕೋಷ್ಟಕಗಳಿಂದ ವಿವಿಧ ಸೇವೆಗಳಿಂದ ಬ್ಯಾಕಪ್‌ಗಳನ್ನು ಹೊಂದಿಸುತ್ತೇವೆ:
ಮತ್ತು ಅವರು ಹಲವಾರು ವರ್ಷಗಳಿಂದ ಕ್ಲಾಕ್‌ವರ್ಕ್‌ನಂತಹ ಎಂಬೆಡೆಡ್ ಹಡೂಪ್/ಮ್ಯಾಪ್‌ರೆಡ್ಯೂಸ್ ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ನಿಯಮಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದ್ದಾರೆ. "ಅದನ್ನು ಹೊಂದಿಸಿ ಮತ್ತು ಮರೆತುಬಿಡಿ":
ವಿಶ್ಲೇಷಕರಿಗೆ ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಜುಪಿಟರ್ ಲ್ಯಾಪ್‌ಟಾಪ್‌ಗಳನ್ನು ಹೊಂದಿಸುವ ಮೂಲಕ ಮತ್ತು AI ಮಾದರಿಗಳನ್ನು ತರಬೇತಿ ನೀಡಲು ಮತ್ತು ಯುದ್ಧಕ್ಕೆ ನಿಯೋಜಿಸಲು AWS ಸೇಜ್‌ಮೇಕರ್ ಸೇವೆಯನ್ನು ಬಳಸುವ ಮೂಲಕ ನೀವು ಡೇಟಾ ಪೈಶಾಚಿಕತೆಯಲ್ಲಿ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ತೊಡಗಿಸಿಕೊಳ್ಳಬಹುದು. ಇದು ನಮಗೆ ಹೇಗೆ ಕಾಣುತ್ತದೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
ಮತ್ತು ಹೌದು, ನೀವು ನಿಮಗಾಗಿ ಲ್ಯಾಪ್‌ಟಾಪ್ ಅನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು ಅಥವಾ ಕ್ಲೌಡ್‌ನಲ್ಲಿ ವಿಶ್ಲೇಷಕರನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು ಮತ್ತು ಅದನ್ನು ಹಡೂಪ್/ಸ್ಪಾರ್ಕ್ ಕ್ಲಸ್ಟರ್‌ಗೆ ಲಗತ್ತಿಸಬಹುದು, ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಮಾಡಿ ಮತ್ತು ನಂತರ ಎಲ್ಲವನ್ನೂ ಕೆಳಗೆ ಮಾಡಬಹುದು:
ವೈಯಕ್ತಿಕ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಯೋಜನೆಗಳಿಗೆ ನಿಜವಾಗಿಯೂ ಅನುಕೂಲಕರವಾಗಿದೆ ಮತ್ತು ಕೆಲವರಿಗೆ ನಾವು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಲೆಕ್ಕಾಚಾರಗಳು ಮತ್ತು ವಿಶ್ಲೇಷಣೆಗಳಿಗಾಗಿ EMR ಸೇವೆಯನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಬಳಸಿದ್ದೇವೆ. DataLake ಗಾಗಿ ಸಿಸ್ಟಮ್ ಪರಿಹಾರದ ಬಗ್ಗೆ ಏನು, ಅದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆಯೇ? ಈ ಕ್ಷಣದಲ್ಲಿ ನಾವು ಭರವಸೆ ಮತ್ತು ಹತಾಶೆಯ ಅಂಚಿನಲ್ಲಿದ್ದೇವೆ ಮತ್ತು ಹುಡುಕಾಟವನ್ನು ಮುಂದುವರೆಸಿದ್ದೇವೆ.
AWS ಅಂಟು - ಸ್ಟೀರಾಯ್ಡ್‌ಗಳ ಮೇಲೆ ಅಂದವಾಗಿ ಪ್ಯಾಕ್ ಮಾಡಲಾದ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್
AWS ತನ್ನದೇ ಆದ "ಹೈವ್ / ಪಿಗ್ / ಸ್ಪಾರ್ಕ್" ಸ್ಟಾಕ್ನ ಆವೃತ್ತಿಯನ್ನು ಹೊಂದಿದೆ ಎಂದು ಅದು ಬದಲಾಯಿತು. ಜೇನುಗೂಡಿನ ಪಾತ್ರ, ಅಂದರೆ. ಡೇಟಾಲೇಕ್‌ನಲ್ಲಿನ ಫೈಲ್‌ಗಳ ಕ್ಯಾಟಲಾಗ್ ಮತ್ತು ಅವುಗಳ ಪ್ರಕಾರಗಳನ್ನು "ಡೇಟಾ ಕ್ಯಾಟಲಾಗ್" ಸೇವೆಯಿಂದ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ, ಇದು ಅಪಾಚೆ ಹೈವ್ ಸ್ವರೂಪದೊಂದಿಗೆ ಅದರ ಹೊಂದಾಣಿಕೆಯನ್ನು ಮರೆಮಾಡುವುದಿಲ್ಲ. ನಿಮ್ಮ ಫೈಲ್‌ಗಳು ಎಲ್ಲಿವೆ ಮತ್ತು ಅವು ಯಾವ ಸ್ವರೂಪದಲ್ಲಿವೆ ಎಂಬುದರ ಕುರಿತು ನೀವು ಈ ಸೇವೆಗೆ ಮಾಹಿತಿಯನ್ನು ಸೇರಿಸುವ ಅಗತ್ಯವಿದೆ. ಡೇಟಾವು s3 ನಲ್ಲಿ ಮಾತ್ರವಲ್ಲ, ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿರಬಹುದು, ಆದರೆ ಅದು ಈ ಪೋಸ್ಟ್‌ನ ವಿಷಯವಲ್ಲ. ನಮ್ಮ DataLake ಡೇಟಾ ಡೈರೆಕ್ಟರಿಯನ್ನು ಹೇಗೆ ಆಯೋಜಿಸಲಾಗಿದೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
ಫೈಲ್‌ಗಳನ್ನು ನೋಂದಾಯಿಸಲಾಗಿದೆ, ಅದ್ಭುತವಾಗಿದೆ. ಫೈಲ್‌ಗಳನ್ನು ನವೀಕರಿಸಿದ್ದರೆ, ನಾವು ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಅಥವಾ ವೇಳಾಪಟ್ಟಿಯಲ್ಲಿ ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ, ಅದು ಸರೋವರದಿಂದ ಅವುಗಳ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ನವೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಅವುಗಳನ್ನು ಉಳಿಸುತ್ತದೆ. ನಂತರ ಸರೋವರದ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಎಲ್ಲೋ ಅಪ್ಲೋಡ್ ಮಾಡಬಹುದು. ಸರಳವಾದ ಸಂದರ್ಭದಲ್ಲಿ, ನಾವು s3 ಗೆ ಅಪ್ಲೋಡ್ ಮಾಡುತ್ತೇವೆ. ಡೇಟಾ ಸಂಸ್ಕರಣೆಯನ್ನು ಎಲ್ಲಿ ಬೇಕಾದರೂ ಮಾಡಬಹುದು, ಆದರೆ AWS ಗ್ಲು API ಮೂಲಕ ಸುಧಾರಿತ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು Apache Spark ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ನೀವು ಸಂಸ್ಕರಣೆಯನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಸೂಚಿಸಲಾಗಿದೆ. ವಾಸ್ತವವಾಗಿ, ನೀವು ಪಿಸ್ಪಾರ್ಕ್ ಲೈಬ್ರರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಉತ್ತಮ ಹಳೆಯ ಮತ್ತು ಪರಿಚಿತ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು ಮತ್ತು ಹಡೂಪ್‌ನ ಧೈರ್ಯವನ್ನು ಅಗೆಯದೆ ಮತ್ತು ಡಾಕರ್-ಮೋಕರ್ ಕಂಟೈನರ್‌ಗಳನ್ನು ಎಳೆಯದೆ ಮತ್ತು ಅವಲಂಬನೆ ಸಂಘರ್ಷಗಳನ್ನು ನಿವಾರಿಸದೆ, ಮೇಲ್ವಿಚಾರಣೆಯೊಂದಿಗೆ ಕೆಲವು ಸಾಮರ್ಥ್ಯದ ಕ್ಲಸ್ಟರ್‌ನ N ನೋಡ್‌ಗಳಲ್ಲಿ ಅದರ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು. .
ಮತ್ತೊಮ್ಮೆ, ಒಂದು ಸರಳ ಉಪಾಯ. Apache Spark ಅನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡುವ ಅಗತ್ಯವಿಲ್ಲ, ನೀವು pyspark ಗಾಗಿ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ಬರೆಯಬೇಕು, ಅದನ್ನು ನಿಮ್ಮ ಡೆಸ್ಕ್‌ಟಾಪ್‌ನಲ್ಲಿ ಸ್ಥಳೀಯವಾಗಿ ಪರೀಕ್ಷಿಸಿ ಮತ್ತು ನಂತರ ಅದನ್ನು ಕ್ಲೌಡ್‌ನಲ್ಲಿ ದೊಡ್ಡ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ರನ್ ಮಾಡಿ, ಮೂಲ ಡೇಟಾ ಎಲ್ಲಿದೆ ಮತ್ತು ಫಲಿತಾಂಶವನ್ನು ಎಲ್ಲಿ ಹಾಕಬೇಕು ಎಂಬುದನ್ನು ಸೂಚಿಸಿ. ಕೆಲವೊಮ್ಮೆ ಇದು ಅವಶ್ಯಕ ಮತ್ತು ಉಪಯುಕ್ತವಾಗಿದೆ, ಮತ್ತು ನಾವು ಅದನ್ನು ಹೇಗೆ ಹೊಂದಿಸುತ್ತೇವೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
ಹೀಗಾಗಿ, ನೀವು s3 ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಬಳಸಿಕೊಂಡು ಸ್ಪಾರ್ಕ್ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಏನನ್ನಾದರೂ ಲೆಕ್ಕಾಚಾರ ಮಾಡಬೇಕಾದರೆ, ನಾವು ಪೈಥಾನ್/ಪೈಸ್ಪಾರ್ಕ್‌ನಲ್ಲಿ ಕೋಡ್ ಅನ್ನು ಬರೆಯುತ್ತೇವೆ, ಅದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ ಮತ್ತು ಕ್ಲೌಡ್‌ಗೆ ಶುಭವಾಗಲಿ.
ವಾದ್ಯವೃಂದದ ಬಗ್ಗೆ ಏನು? ಕಾರ್ಯ ಬಿದ್ದು ಮಾಯವಾದರೆ? ಹೌದು, ಅಪಾಚೆ ಪಿಗ್ ಶೈಲಿಯಲ್ಲಿ ಸುಂದರವಾದ ಪೈಪ್‌ಲೈನ್ ಮಾಡಲು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ ಮತ್ತು ನಾವು ಅವುಗಳನ್ನು ಸಹ ಪ್ರಯತ್ನಿಸಿದ್ದೇವೆ, ಆದರೆ ಸದ್ಯಕ್ಕೆ ನಾವು ನಮ್ಮ ಆಳವಾದ ಕಸ್ಟಮೈಸ್ ಮಾಡಿದ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಅನ್ನು ಪಿಎಚ್‌ಪಿ ಮತ್ತು ಜಾವಾಸ್ಕ್ರಿಪ್ಟ್‌ನಲ್ಲಿ ಬಳಸಲು ನಿರ್ಧರಿಸಿದ್ದೇವೆ (ನನಗೆ ಅರ್ಥವಾಗಿದೆ, ಅರಿವಿನ ಅಪಶ್ರುತಿ ಇದೆ, ಆದರೆ ಅದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ವರ್ಷಗಳು ಮತ್ತು ದೋಷಗಳಿಲ್ಲದೆ).
ಸರೋವರದಲ್ಲಿ ಸಂಗ್ರಹವಾಗಿರುವ ಫೈಲ್‌ಗಳ ಸ್ವರೂಪವು ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಪ್ರಮುಖವಾಗಿದೆ
ಇನ್ನೂ ಎರಡು ಪ್ರಮುಖ ಅಂಶಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಬಹಳ ಮುಖ್ಯ. ಸರೋವರದಲ್ಲಿನ ಫೈಲ್ ಡೇಟಾದ ಮೇಲಿನ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಬೇಗ ಕಾರ್ಯಗತಗೊಳಿಸಲು ಮತ್ತು ಹೊಸ ಮಾಹಿತಿಯನ್ನು ಸೇರಿಸಿದಾಗ ಕಾರ್ಯಕ್ಷಮತೆ ಕುಸಿಯದಂತೆ ಮಾಡಲು, ನೀವು ಹೀಗೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ:
- ಫೈಲ್‌ಗಳ ಕಾಲಮ್ಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಸಂಗ್ರಹಿಸಿ (ಇದರಿಂದಾಗಿ ಕಾಲಮ್‌ಗಳಲ್ಲಿ ಏನಿದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನೀವು ಎಲ್ಲಾ ಸಾಲುಗಳನ್ನು ಓದಬೇಕಾಗಿಲ್ಲ). ಇದಕ್ಕಾಗಿ ನಾವು ಸಂಕೋಚನದೊಂದಿಗೆ ಪ್ಯಾರ್ಕ್ವೆಟ್ ಸ್ವರೂಪವನ್ನು ತೆಗೆದುಕೊಂಡಿದ್ದೇವೆ
- ಭಾಷೆ, ವರ್ಷ, ತಿಂಗಳು, ದಿನ, ವಾರ ಮುಂತಾದ ಫೋಲ್ಡರ್ಗಳಲ್ಲಿ ಫೈಲ್‌ಗಳನ್ನು ಚೂರು ಮಾಡುವುದು ಬಹಳ ಮುಖ್ಯ. ಈ ರೀತಿಯ ಶರ್ಡಿಂಗ್ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಎಂಜಿನ್ಗಳು ಸತತವಾಗಿ ಎಲ್ಲಾ ಡೇಟಾವನ್ನು ಶೋಧಿಸದೆ, ಅಗತ್ಯ ಫೋಲ್ಡರ್ಗಳಲ್ಲಿ ಮಾತ್ರ ನೋಡುತ್ತವೆ.
ಮೂಲಭೂತವಾಗಿ, ಈ ರೀತಿಯಾಗಿ, ಮೇಲ್ಭಾಗದಲ್ಲಿ ತೂಗುಹಾಕಲಾದ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಎಂಜಿನ್‌ಗಳಿಗಾಗಿ ನೀವು ಮೂಲ ಡೇಟಾವನ್ನು ಅತ್ಯಂತ ಪರಿಣಾಮಕಾರಿ ರೂಪದಲ್ಲಿ ಇಡುತ್ತೀರಿ, ಇದು ಚೂರುಚೂರು ಫೋಲ್ಡರ್‌ಗಳಲ್ಲಿಯೂ ಸಹ ಫೈಲ್‌ಗಳಿಂದ ಅಗತ್ಯವಾದ ಕಾಲಮ್ಗಳನ್ನು ಮಾತ್ರ ಆಯ್ದವಾಗಿ ನಮೂದಿಸಬಹುದು ಮತ್ತು ಓದಬಹುದು. ನೀವು ಎಲ್ಲಿಯಾದರೂ ಡೇಟಾವನ್ನು "ಭರ್ತಿ ಮಾಡುವ" ಅಗತ್ಯವಿಲ್ಲ (ಸಂಗ್ರಹಣೆಯು ಸರಳವಾಗಿ ಸಿಡಿಯುತ್ತದೆ) - ತಕ್ಷಣವೇ ಬುದ್ಧಿವಂತಿಕೆಯಿಂದ ಅದನ್ನು ಸರಿಯಾದ ಸ್ವರೂಪದಲ್ಲಿ ಫೈಲ್ ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ ಇರಿಸಿ. ಸಹಜವಾಗಿ, ಡೇಟಾಲೇಕ್‌ನಲ್ಲಿ ಬೃಹತ್ csv ಫೈಲ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಇಲ್ಲಿ ಸ್ಪಷ್ಟವಾಗಿರಬೇಕು, ಕಾಲಮ್ಗಳನ್ನು ಹೊರತೆಗೆಯಲು ಕ್ಲಸ್ಟರ್‌ನಿಂದ ಸಾಲಿನಿಂದ ಸಾಲನ್ನು ಮೊದಲು ಓದಬೇಕು, ಇದು ತುಂಬಾ ಸೂಕ್ತವಲ್ಲ. ಇದೆಲ್ಲ ಏಕೆ ನಡೆಯುತ್ತಿದೆ ಎಂಬುದು ಇನ್ನೂ ಸ್ಪಷ್ಟವಾಗಿಲ್ಲದಿದ್ದರೆ ಮೇಲಿನ ಎರಡು ಅಂಶಗಳ ಬಗ್ಗೆ ಮತ್ತೊಮ್ಮೆ ಯೋಚಿಸಿ.
AWS ಅಥೇನಾ - ದಿ ಜಾಕ್-ಇನ್-ದಿ-ಬಾಕ್ಸ್
ತದನಂತರ, ಸರೋವರವನ್ನು ರಚಿಸುವಾಗ, ನಾವು ಹೇಗಾದರೂ ಆಕಸ್ಮಿಕವಾಗಿ ಅಮೆಜಾನ್ ಅಥೇನಾವನ್ನು ನೋಡಿದ್ದೇವೆ. ನಮ್ಮ ಬೃಹತ್ ಲಾಗ್ ಫೈಲ್‌ಗಳನ್ನು ಸರಿಯಾದ (ಪಾರ್ಕ್ವೆಟ್) ಕಾಲಮ್ ಫಾರ್ಮ್ಯಾಟ್‌ನಲ್ಲಿ ಫೋಲ್ಡರ್ ಚೂರುಗಳಾಗಿ ಎಚ್ಚರಿಕೆಯಿಂದ ಜೋಡಿಸುವ ಮೂಲಕ, ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್/ಗ್ಲೂ ಕ್ಲಸ್ಟರ್ ಇಲ್ಲದೆಯೇ ನೀವು ಅವುಗಳಿಂದ ಅತ್ಯಂತ ಮಾಹಿತಿಯುಕ್ತ ಆಯ್ಕೆಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಮಾಡಬಹುದು ಮತ್ತು ವರದಿಗಳನ್ನು ರಚಿಸಬಹುದು.
s3 ನಲ್ಲಿನ ಡೇಟಾದಿಂದ ನಡೆಸಲ್ಪಡುವ ಅಥೇನಾ ಎಂಜಿನ್ ಪೌರಾಣಿಕವನ್ನು ಆಧರಿಸಿದೆ - MPP (ಬೃಹತ್ ಸಮಾನಾಂತರ ಸಂಸ್ಕರಣೆ) ದತ್ತಾಂಶ ಸಂಸ್ಕರಣೆಯ ವಿಧಾನಗಳ ಕುಟುಂಬದ ಪ್ರತಿನಿಧಿ, ಅದು ಇರುವಲ್ಲಿ ಡೇಟಾವನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದು, s3 ಮತ್ತು Hadoop ನಿಂದ Cassandra ಮತ್ತು ಸಾಮಾನ್ಯ ಪಠ್ಯ ಫೈಲ್‌ಗಳು. SQL ಪ್ರಶ್ನೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ನೀವು ಅಥೇನಾವನ್ನು ಕೇಳಬೇಕಾಗಿದೆ, ತದನಂತರ ಎಲ್ಲವೂ "ಶೀಘ್ರವಾಗಿ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ." ಅಥೇನಾ "ಸ್ಮಾರ್ಟ್" ಎಂದು ಗಮನಿಸುವುದು ಮುಖ್ಯ, ಇದು ಅಗತ್ಯವಾದ ಚೂರುಚೂರು ಫೋಲ್ಡರ್ಗಳಿಗೆ ಮಾತ್ರ ಹೋಗುತ್ತದೆ ಮತ್ತು ವಿನಂತಿಯಲ್ಲಿ ಅಗತ್ಯವಿರುವ ಕಾಲಮ್ಗಳನ್ನು ಮಾತ್ರ ಓದುತ್ತದೆ.
ಅಥೇನಾಗೆ ವಿನಂತಿಗಳ ಬೆಲೆ ಕೂಡ ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ. ನಾವು ಪಾವತಿಸುತ್ತೇವೆ . ಆ. ಪ್ರತಿ ನಿಮಿಷಕ್ಕೆ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿರುವ ಯಂತ್ರಗಳ ಸಂಖ್ಯೆಗೆ ಅಲ್ಲ, ಆದರೆ... ವಾಸ್ತವವಾಗಿ 100-500 ಯಂತ್ರಗಳಲ್ಲಿ ಸ್ಕ್ಯಾನ್ ಮಾಡಿದ ಡೇಟಾಕ್ಕಾಗಿ, ವಿನಂತಿಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಅಗತ್ಯವಿರುವ ಡೇಟಾ ಮಾತ್ರ.
ಮತ್ತು ಸರಿಯಾಗಿ ಹಂಚಿದ ಫೋಲ್ಡರ್‌ಗಳಿಂದ ಅಗತ್ಯವಾದ ಕಾಲಮ್ಗಳನ್ನು ಮಾತ್ರ ವಿನಂತಿಸುವ ಮೂಲಕ, ಅಥೇನಾ ಸೇವೆಯು ನಮಗೆ ತಿಂಗಳಿಗೆ ಹತ್ತಾರು ಡಾಲರ್‌ಗಳನ್ನು ವೆಚ್ಚ ಮಾಡುತ್ತದೆ ಎಂದು ಅದು ಬದಲಾಯಿತು. ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿನ ವಿಶ್ಲೇಷಣೆಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, ಉತ್ತಮವಾಗಿದೆ, ಬಹುತೇಕ ಉಚಿತವಾಗಿದೆ!
ಅಂದಹಾಗೆ, ನಾವು s3 ನಲ್ಲಿ ನಮ್ಮ ಡೇಟಾವನ್ನು ಹೇಗೆ ಹಂಚಿಕೊಳ್ಳುತ್ತೇವೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
ಇದರ ಪರಿಣಾಮವಾಗಿ, ಅಲ್ಪಾವಧಿಯಲ್ಲಿ, ಮಾಹಿತಿ ಭದ್ರತೆಯಿಂದ ವಿಶ್ಲೇಷಣೆಯವರೆಗೆ ಕಂಪನಿಯಲ್ಲಿನ ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನ ವಿಭಾಗಗಳು ಅಥೇನಾಗೆ ಸಕ್ರಿಯವಾಗಿ ವಿನಂತಿಗಳನ್ನು ಮಾಡಲು ಪ್ರಾರಂಭಿಸಿದವು ಮತ್ತು ತ್ವರಿತವಾಗಿ, ಸೆಕೆಂಡುಗಳಲ್ಲಿ, ಸಾಕಷ್ಟು ದೀರ್ಘಾವಧಿಯಲ್ಲಿ "ದೊಡ್ಡ" ಡೇಟಾದಿಂದ ಉಪಯುಕ್ತ ಉತ್ತರಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತವೆ: ತಿಂಗಳುಗಳು, ಅರ್ಧ ವರ್ಷ, ಇತ್ಯಾದಿ. ಪಿ.
ಆದರೆ ನಾವು ಮುಂದೆ ಹೋಗಿ ಉತ್ತರಗಳಿಗಾಗಿ ಮೋಡದ ಕಡೆಗೆ ಹೋಗಲು ಪ್ರಾರಂಭಿಸಿದೆವು : ಒಬ್ಬ ವಿಶ್ಲೇಷಕನು ಪರಿಚಿತ ಕನ್ಸೋಲ್‌ನಲ್ಲಿ SQL ಪ್ರಶ್ನೆಯನ್ನು ಬರೆಯುತ್ತಾನೆ, ಇದು 100-500 ಯಂತ್ರಗಳಲ್ಲಿ “ಪೆನ್ನಿಗಳಿಗಾಗಿ” ಡೇಟಾವನ್ನು s3 ಗೆ ಕಳುಹಿಸುತ್ತದೆ ಮತ್ತು ಉತ್ತರವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಕೆಲವು ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಹಿಂತಿರುಗಿಸುತ್ತದೆ. ಆರಾಮದಾಯಕ. ಮತ್ತು ವೇಗವಾಗಿ. ನನಗೆ ಇನ್ನೂ ನಂಬಲಾಗುತ್ತಿಲ್ಲ.
ಪರಿಣಾಮವಾಗಿ, s3 ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ನಿರ್ಧರಿಸಿದ ನಂತರ, ಸಮರ್ಥ ಸ್ತಂಭಾಕಾರದ ರೂಪದಲ್ಲಿ ಮತ್ತು ಫೋಲ್ಡರ್ಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ಸಮಂಜಸವಾದ ಹಂಚಿಕೆಯೊಂದಿಗೆ ... ನಾವು DataLake ಮತ್ತು ವೇಗದ ಮತ್ತು ಅಗ್ಗದ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಎಂಜಿನ್ ಅನ್ನು ಸ್ವೀಕರಿಸಿದ್ದೇವೆ - ಉಚಿತವಾಗಿ. ಮತ್ತು ಅವರು ಕಂಪನಿಯಲ್ಲಿ ಬಹಳ ಜನಪ್ರಿಯರಾದರು, ಏಕೆಂದರೆ ... SQL ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಪ್ರಾರಂಭಿಸುವುದು/ನಿಲ್ಲಿಸುವುದು/ಹೊಂದಿಸುವುದಕ್ಕಿಂತ ವೇಗವಾಗಿ ಮ್ಯಾಗ್ನಿಟ್ಯೂಡ್‌ನ ಆದೇಶಗಳನ್ನು ಕೆಲಸ ಮಾಡುತ್ತದೆ. "ಮತ್ತು ಫಲಿತಾಂಶವು ಒಂದೇ ಆಗಿದ್ದರೆ, ಏಕೆ ಹೆಚ್ಚು ಪಾವತಿಸಬೇಕು?"
ಅಥೇನಾಗೆ ವಿನಂತಿಯು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ. ಬಯಸಿದಲ್ಲಿ, ಸಹಜವಾಗಿ, ನೀವು ಸಾಕಷ್ಟು ರೂಪಿಸಬಹುದು , ಆದರೆ ನಾವು ಸರಳವಾದ ಗುಂಪಿಗೆ ನಮ್ಮನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತೇವೆ. ವೆಬ್ ಸರ್ವರ್ ಲಾಗ್‌ಗಳಲ್ಲಿ ಕ್ಲೈಂಟ್ ಕೆಲವು ವಾರಗಳ ಹಿಂದೆ ಯಾವ ಪ್ರತಿಕ್ರಿಯೆ ಕೋಡ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದಾನೆ ಎಂಬುದನ್ನು ನೋಡೋಣ ಮತ್ತು ಯಾವುದೇ ದೋಷಗಳಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ:
ಸಂಶೋಧನೆಗಳು
ದೀರ್ಘವಾದ, ಆದರೆ ನೋವಿನ ಮಾರ್ಗವನ್ನು ಹೇಳದೆ, ನಿರಂತರವಾಗಿ ಅಪಾಯಗಳು ಮತ್ತು ಸಂಕೀರ್ಣತೆಯ ಮಟ್ಟವನ್ನು ಮತ್ತು ಬೆಂಬಲದ ವೆಚ್ಚವನ್ನು ಸಮರ್ಪಕವಾಗಿ ನಿರ್ಣಯಿಸುತ್ತಾ, ನಾವು ಡೇಟಾಲೇಕ್ ಮತ್ತು ವಿಶ್ಲೇಷಣೆಗಳಿಗೆ ಪರಿಹಾರವನ್ನು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ, ಅದು ವೇಗ ಮತ್ತು ಮಾಲೀಕತ್ವದ ವೆಚ್ಚ ಎರಡರಲ್ಲೂ ನಮ್ಮನ್ನು ಮೆಚ್ಚಿಸಲು ಎಂದಿಗೂ ನಿಲ್ಲುವುದಿಲ್ಲ.
ಕಂಪನಿಯ ಸಂಪೂರ್ಣವಾಗಿ ವಿಭಿನ್ನ ವಿಭಾಗಗಳ ಅಗತ್ಯಗಳಿಗಾಗಿ ಡಾಟಾಲೇಕ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು ಪರಿಣಾಮಕಾರಿ, ವೇಗದ ಮತ್ತು ಅಗ್ಗದ ನಿರ್ಮಾಣವು ವಾಸ್ತುಶಿಲ್ಪಿಗಳಾಗಿ ಎಂದಿಗೂ ಕೆಲಸ ಮಾಡದ ಮತ್ತು ಚೌಕಗಳ ಮೇಲೆ ಚೌಕಗಳನ್ನು ಹೇಗೆ ಸೆಳೆಯುವುದು ಎಂದು ತಿಳಿದಿಲ್ಲದ ಅನುಭವಿ ಡೆವಲಪರ್‌ಗಳ ಸಾಮರ್ಥ್ಯಗಳಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಇದೆ ಎಂದು ಅದು ಬದಲಾಯಿತು. ಬಾಣಗಳು ಮತ್ತು ಹಡೂಪ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಿಂದ 50 ಪದಗಳನ್ನು ತಿಳಿಯಿರಿ.
ಪ್ರಯಾಣದ ಆರಂಭದಲ್ಲಿ, ತೆರೆದ ಮತ್ತು ಮುಚ್ಚಿದ ಸಾಫ್ಟ್‌ವೇರ್‌ನ ಅನೇಕ ಕಾಡು ಪ್ರಾಣಿಸಂಗ್ರಹಾಲಯಗಳು ಮತ್ತು ವಂಶಸ್ಥರಿಗೆ ಜವಾಬ್ದಾರಿಯ ಹೊರೆಯ ತಿಳುವಳಿಕೆಯಿಂದ ನನ್ನ ತಲೆ ಬೇರ್ಪಟ್ಟಿತು. ಸರಳ ಸಾಧನಗಳಿಂದ ನಿಮ್ಮ ಡೇಟಾಲೇಕ್ ಅನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿ: ನಾಗಿಯೋಸ್/ಮುನಿನ್ -> ಎಲಾಸ್ಟಿಕ್/ಕಿಬಾನಾ -> ಹಡೂಪ್/ಸ್ಪಾರ್ಕ್/ಎಸ್3..., ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಮತ್ತು ನಡೆಯುತ್ತಿರುವ ಪ್ರಕ್ರಿಯೆಗಳ ಭೌತಶಾಸ್ತ್ರವನ್ನು ಆಳವಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು. ಎಲ್ಲವೂ ಸಂಕೀರ್ಣ ಮತ್ತು ಮರ್ಕಿ - ಅದನ್ನು ಶತ್ರುಗಳು ಮತ್ತು ಸ್ಪರ್ಧಿಗಳಿಗೆ ನೀಡಿ.
ನೀವು ಕ್ಲೌಡ್‌ಗೆ ಹೋಗಲು ಬಯಸದಿದ್ದರೆ ಮತ್ತು ಓಪನ್ ಸೋರ್ಸ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಲು, ನವೀಕರಿಸಲು ಮತ್ತು ಪ್ಯಾಚ್ ಮಾಡಲು ಬಯಸಿದರೆ, ನೀವು ಸ್ಥಳೀಯವಾಗಿ ನಮ್ಮಂತೆಯೇ ಸ್ಕೀಮ್ ಅನ್ನು ನಿರ್ಮಿಸಬಹುದು, ಹಡೂಪ್ ಮತ್ತು ಪ್ರೆಸ್ಟೋ ಜೊತೆಗೆ ದುಬಾರಿಯಲ್ಲದ ಕಚೇರಿ ಯಂತ್ರಗಳಲ್ಲಿ. ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ನಿಲ್ಲಿಸುವುದು ಮತ್ತು ಮುಂದುವರಿಯುವುದು ಅಲ್ಲ, ಎಣಿಕೆ ಮಾಡಿ, ಸರಳ ಮತ್ತು ಸ್ಪಷ್ಟ ಪರಿಹಾರಗಳಿಗಾಗಿ ನೋಡಿ, ಮತ್ತು ಎಲ್ಲವೂ ಖಂಡಿತವಾಗಿಯೂ ಕೆಲಸ ಮಾಡುತ್ತದೆ! ಎಲ್ಲರಿಗೂ ಶುಭವಾಗಲಿ ಮತ್ತು ಮತ್ತೆ ನಿಮ್ಮನ್ನು ಭೇಟಿ ಮಾಡುತ್ತೇವೆ!
ಮೂಲ: www.habr.com