ಎಲ್ಲರಿಗೂ ನಮಸ್ಕಾರ, ನನ್ನ ಹೆಸರು ಅಲೆಕ್ಸಾಂಡರ್, ಮತ್ತು ನಾನು ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್ ಆಗಿದ್ದೇನೆ ಮತ್ತು ಅದರ ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸುತ್ತೇನೆ. ಈ ಲೇಖನವು ನಾನು ಇದಕ್ಕೆ ಹೇಗೆ ಬಂದಿದ್ದೇನೆ ಮತ್ತು 2020 ರಲ್ಲಿ ಈ ಪರೀಕ್ಷೆಯ ಕ್ಷೇತ್ರವು ಅಲೆಯ ತುದಿಯಲ್ಲಿ ಏಕೆ ಇತ್ತು ಎಂಬುದರ ಕುರಿತು ಮಾತನಾಡುತ್ತದೆ.
ಜಾಗತಿಕ ಪ್ರವೃತ್ತಿ
ಇಂದಿನ ಪ್ರಪಂಚವು ಮತ್ತೊಂದು ತಾಂತ್ರಿಕ ಕ್ರಾಂತಿಯನ್ನು ಅನುಭವಿಸುತ್ತಿದೆ, ಅದರ ಒಂದು ಅಂಶವೆಂದರೆ ಎಲ್ಲಾ ರೀತಿಯ ಕಂಪನಿಗಳು ತಮ್ಮ ಸ್ವಂತ ಮಾರಾಟ, ಲಾಭಗಳು ಮತ್ತು PR ಅನ್ನು ಉತ್ತೇಜಿಸಲು ಸಂಗ್ರಹವಾದ ಡೇಟಾವನ್ನು ಬಳಸುವುದು. ಉತ್ತಮ (ಗುಣಮಟ್ಟದ) ಡೇಟಾದ ಉಪಸ್ಥಿತಿ, ಹಾಗೆಯೇ ಅದರಿಂದ ಹಣವನ್ನು ಗಳಿಸುವ ನುರಿತ ಮಿದುಳುಗಳು (ಸರಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವುದು, ದೃಶ್ಯೀಕರಿಸುವುದು, ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಇತ್ಯಾದಿ) ಇಂದು ಅನೇಕರಿಗೆ ಯಶಸ್ಸಿನ ಕೀಲಿಯಾಗಿದೆ ಎಂದು ತೋರುತ್ತದೆ. 15-20 ವರ್ಷಗಳ ಹಿಂದೆ ದೊಡ್ಡ ಕಂಪನಿಗಳು ಮುಖ್ಯವಾಗಿ ಡೇಟಾ ಕ್ರೋಢೀಕರಣ ಮತ್ತು ಹಣಗಳಿಕೆಯೊಂದಿಗೆ ತೀವ್ರವಾದ ಕೆಲಸದಲ್ಲಿ ತೊಡಗಿಸಿಕೊಂಡಿದ್ದರೆ, ಇಂದು ಇದು ಬಹುತೇಕ ಎಲ್ಲಾ ವಿವೇಕದ ಜನರ ಬಹಳಷ್ಟು ಆಗಿದೆ.
ಈ ನಿಟ್ಟಿನಲ್ಲಿ, ಹಲವಾರು ವರ್ಷಗಳ ಹಿಂದೆ, ಪ್ರಪಂಚದಾದ್ಯಂತದ ಉದ್ಯೋಗ ಹುಡುಕಾಟಗಳಿಗೆ ಮೀಸಲಾದ ಎಲ್ಲಾ ಪೋರ್ಟಲ್‌ಗಳು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಖಾಲಿ ಹುದ್ದೆಗಳಿಂದ ತುಂಬಲು ಪ್ರಾರಂಭಿಸಿದವು, ಏಕೆಂದರೆ ಅಂತಹ ತಜ್ಞರನ್ನು ನೇಮಿಸಿಕೊಂಡ ನಂತರ, ಅವರು ಯಂತ್ರ ಕಲಿಕೆಯ ಸೂಪರ್ ಮಾಡೆಲ್ ಅನ್ನು ನಿರ್ಮಿಸಬಹುದು, ಭವಿಷ್ಯವನ್ನು ಊಹಿಸಬಹುದು ಎಂದು ಎಲ್ಲರೂ ನಂಬಿದ್ದರು. ಮತ್ತು ಕಂಪನಿಗಾಗಿ "ಕ್ವಾಂಟಮ್ ಲೀಪ್" ಅನ್ನು ನಿರ್ವಹಿಸಿ. ಕಾಲಾನಂತರದಲ್ಲಿ, ಈ ವಿಧಾನವು ಎಲ್ಲಿಯೂ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ ಎಂದು ಜನರು ಅರಿತುಕೊಂಡರು, ಏಕೆಂದರೆ ಅಂತಹ ತಜ್ಞರ ಕೈಗೆ ಬರುವ ಎಲ್ಲಾ ಡೇಟಾವು ತರಬೇತಿ ಮಾದರಿಗಳಿಗೆ ಸೂಕ್ತವಲ್ಲ.
ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಂದ ವಿನಂತಿಗಳು ಪ್ರಾರಂಭವಾದವು: “ಇವುಗಳಿಂದ ಹೆಚ್ಚಿನ ಡೇಟಾವನ್ನು ಖರೀದಿಸೋಣ...”, “ನಮ್ಮಲ್ಲಿ ಸಾಕಷ್ಟು ಡೇಟಾ ಇಲ್ಲ...”, “ನಮಗೆ ಇನ್ನೂ ಕೆಲವು ಡೇಟಾ ಬೇಕು, ಮೇಲಾಗಿ ಉತ್ತಮ ಗುಣಮಟ್ಟದ...” . ಈ ವಿನಂತಿಗಳ ಆಧಾರದ ಮೇಲೆ, ಒಂದು ಅಥವಾ ಇನ್ನೊಂದು ಡೇಟಾವನ್ನು ಹೊಂದಿರುವ ಕಂಪನಿಗಳ ನಡುವೆ ಹಲವಾರು ಸಂವಹನಗಳನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿತು. ಸ್ವಾಭಾವಿಕವಾಗಿ, ಇದಕ್ಕೆ ಈ ಪ್ರಕ್ರಿಯೆಯ ತಾಂತ್ರಿಕ ಸಂಘಟನೆಯ ಅಗತ್ಯವಿದೆ - ಡೇಟಾ ಮೂಲಕ್ಕೆ ಸಂಪರ್ಕಿಸುವುದು, ಅದನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡುವುದು, ಪೂರ್ಣವಾಗಿ ಲೋಡ್ ಮಾಡಲಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುವುದು ಇತ್ಯಾದಿ. ಅಂತಹ ಪ್ರಕ್ರಿಯೆಗಳ ಸಂಖ್ಯೆಯು ಬೆಳೆಯಲು ಪ್ರಾರಂಭಿಸಿತು, ಮತ್ತು ಇಂದು ನಮಗೆ ಮತ್ತೊಂದು ರೀತಿಯ ದೊಡ್ಡ ಅವಶ್ಯಕತೆಯಿದೆ. ತಜ್ಞರು - ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಎಂಜಿನಿಯರ್‌ಗಳು - ಸಿಸ್ಟಮ್‌ನಲ್ಲಿನ ಡೇಟಾದ ಹರಿವನ್ನು (ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳು), ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿ ಡೇಟಾದ ಗುಣಮಟ್ಟವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವವರು ಮತ್ತು ಅವರ ಸಮರ್ಪಕತೆ, ಸಮಗ್ರತೆ ಮತ್ತು ಇತರ ಗುಣಲಕ್ಷಣಗಳ ಬಗ್ಗೆ ತೀರ್ಮಾನಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತಾರೆ.
ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ಗಳ ಪ್ರವೃತ್ತಿಯು ಯುಎಸ್‌ಎಯಿಂದ ನಮಗೆ ಬಂದಿತು, ಅಲ್ಲಿ, ಬಂಡವಾಳಶಾಹಿಯ ಉಲ್ಬಣಗೊಳ್ಳುತ್ತಿರುವ ಯುಗದ ಮಧ್ಯೆ, ಡೇಟಾಕ್ಕಾಗಿ ಯುದ್ಧವನ್ನು ಕಳೆದುಕೊಳ್ಳಲು ಯಾರೂ ಸಿದ್ಧರಿಲ್ಲ. US ನಲ್ಲಿ ಎರಡು ಜನಪ್ರಿಯ ಉದ್ಯೋಗ ಹುಡುಕಾಟ ಸೈಟ್‌ಗಳಿಂದ ನಾನು ಕೆಳಗೆ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳನ್ನು ಒದಗಿಸಿದ್ದೇನೆ: и — ಇದು ಮಾರ್ಚ್ 17, 2020 ರಂತೆ ಕೀವರ್ಡ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಸ್ವೀಕರಿಸಿದ ಪೋಸ್ಟ್ ಮಾಡಿದ ಖಾಲಿ ಹುದ್ದೆಗಳ ಸಂಖ್ಯೆಯ ಡೇಟಾವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ: ಡೇಟಾ ಗುಣಮಟ್ಟ ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿ.
ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು - 21416 ಖಾಲಿ ಹುದ್ದೆಗಳು
ಡೇಟಾ ಗುಣಮಟ್ಟ - 41104 ಖಾಲಿ ಹುದ್ದೆಗಳು
ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು - 404 ಖಾಲಿ ಹುದ್ದೆಗಳು
ಡೇಟಾ ಗುಣಮಟ್ಟ - 2020 ಖಾಲಿ ಹುದ್ದೆಗಳು
ನಿಸ್ಸಂಶಯವಾಗಿ, ಈ ವೃತ್ತಿಗಳು ಯಾವುದೇ ರೀತಿಯಲ್ಲಿ ಪರಸ್ಪರ ಸ್ಪರ್ಧಿಸುವುದಿಲ್ಲ. ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳೊಂದಿಗೆ, ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ಗಳ ವಿನಂತಿಗಳ ವಿಷಯದಲ್ಲಿ ಕಾರ್ಮಿಕ ಮಾರುಕಟ್ಟೆಯಲ್ಲಿ ಪ್ರಸ್ತುತ ಪರಿಸ್ಥಿತಿಯನ್ನು ವಿವರಿಸಲು ನಾನು ಬಯಸುತ್ತೇನೆ, ಅವರಲ್ಲಿ ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗಿಂತ ಈಗ ಹೆಚ್ಚಿನ ಅಗತ್ಯವಿದೆ.
ಜೂನ್ 2019 ರಲ್ಲಿ, EPAM, ಆಧುನಿಕ IT ಮಾರುಕಟ್ಟೆಯ ಅಗತ್ಯಗಳಿಗೆ ಸ್ಪಂದಿಸುತ್ತಾ, ಡೇಟಾ ಗುಣಮಟ್ಟವನ್ನು ಪ್ರತ್ಯೇಕ ಅಭ್ಯಾಸವಾಗಿ ಪ್ರತ್ಯೇಕಿಸಿತು. ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ಗಳು, ತಮ್ಮ ದೈನಂದಿನ ಕೆಲಸದ ಸಂದರ್ಭದಲ್ಲಿ, ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸುತ್ತಾರೆ, ಹೊಸ ಪರಿಸ್ಥಿತಿಗಳು ಮತ್ತು ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಅದರ ನಡವಳಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸುತ್ತಾರೆ, ಡೇಟಾದ ಪ್ರಸ್ತುತತೆ, ಅದರ ಸಮರ್ಪಕತೆ ಮತ್ತು ಪ್ರಸ್ತುತತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಾರೆ. ಈ ಎಲ್ಲದರ ಜೊತೆಗೆ, ಪ್ರಾಯೋಗಿಕ ಅರ್ಥದಲ್ಲಿ, ಡಾಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ಗಳು ನಿಜವಾಗಿಯೂ ಶಾಸ್ತ್ರೀಯ ಕ್ರಿಯಾತ್ಮಕ ಪರೀಕ್ಷೆಗೆ ಸ್ವಲ್ಪ ಸಮಯವನ್ನು ವಿನಿಯೋಗಿಸುತ್ತಾರೆ, ಆದರೆ ಇದು ಯೋಜನೆಯ ಮೇಲೆ ಹೆಚ್ಚು ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ (ನಾನು ಕೆಳಗಿನ ಉದಾಹರಣೆಯನ್ನು ನೀಡುತ್ತೇನೆ).
ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ನ ಜವಾಬ್ದಾರಿಗಳು ಡೇಟಾಬೇಸ್ ಕೋಷ್ಟಕಗಳಲ್ಲಿನ "ಶೂನ್ಯಗಳು, ಎಣಿಕೆಗಳು ಮತ್ತು ಮೊತ್ತ" ಗಾಗಿ ದಿನನಿತ್ಯದ ಕೈಪಿಡಿ/ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳಿಗೆ ಮಾತ್ರ ಸೀಮಿತವಾಗಿಲ್ಲ, ಆದರೆ ಗ್ರಾಹಕರ ವ್ಯವಹಾರ ಅಗತ್ಯಗಳ ಆಳವಾದ ತಿಳುವಳಿಕೆ ಮತ್ತು ಅದರ ಪ್ರಕಾರ, ಲಭ್ಯವಿರುವ ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸುವ ಸಾಮರ್ಥ್ಯದ ಅಗತ್ಯವಿರುತ್ತದೆ. ಉಪಯುಕ್ತ ವ್ಯಾಪಾರ ಮಾಹಿತಿ.
ಡೇಟಾ ಗುಣಮಟ್ಟ ಸಿದ್ಧಾಂತ
ಅಂತಹ ಎಂಜಿನಿಯರ್ ಪಾತ್ರವನ್ನು ಹೆಚ್ಚು ಸಂಪೂರ್ಣವಾಗಿ ಊಹಿಸಲು, ಸಿದ್ಧಾಂತದಲ್ಲಿ ಡೇಟಾ ಗುಣಮಟ್ಟ ಏನೆಂದು ಲೆಕ್ಕಾಚಾರ ಮಾಡೋಣ.
ಡೇಟಾ ಗುಣಮಟ್ಟ — ಡೇಟಾ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್‌ನ ಹಂತಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ (ನಿಮ್ಮ ಸ್ವಂತ ಅಧ್ಯಯನಕ್ಕಾಗಿ ನಾವು ಇಡೀ ಪ್ರಪಂಚವನ್ನು ಬಿಡುತ್ತೇವೆ) ಮತ್ತು ಈ ಕೆಳಗಿನ ಮಾನದಂಡಗಳ ಪ್ರಕಾರ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಿಸುವ ಜವಾಬ್ದಾರಿಯನ್ನು ಹೊಂದಿದೆ:
ಪ್ರತಿಯೊಂದು ಬಿಂದುಗಳನ್ನು ಅರ್ಥೈಸಿಕೊಳ್ಳುವ ಅಗತ್ಯವಿಲ್ಲ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ (ಸಿದ್ಧಾಂತದಲ್ಲಿ ಅವುಗಳನ್ನು "ಡೇಟಾ ಆಯಾಮಗಳು" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ), ಅವುಗಳನ್ನು ಚಿತ್ರದಲ್ಲಿ ಚೆನ್ನಾಗಿ ವಿವರಿಸಲಾಗಿದೆ. ಆದರೆ ಪರೀಕ್ಷಾ ಪ್ರಕ್ರಿಯೆಯು ಈ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಪರೀಕ್ಷಾ ಸಂದರ್ಭಗಳಲ್ಲಿ ಕಟ್ಟುನಿಟ್ಟಾಗಿ ನಕಲಿಸುವುದನ್ನು ಮತ್ತು ಅವುಗಳನ್ನು ಪರಿಶೀಲಿಸುವುದನ್ನು ಸೂಚಿಸುವುದಿಲ್ಲ. ಡೇಟಾ ಗುಣಮಟ್ಟದಲ್ಲಿ, ಯಾವುದೇ ರೀತಿಯ ಪರೀಕ್ಷೆಯಂತೆ, ಮೊದಲನೆಯದಾಗಿ, ವ್ಯವಹಾರ ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ಯೋಜನೆಯಲ್ಲಿ ಭಾಗವಹಿಸುವವರೊಂದಿಗೆ ಒಪ್ಪಿಕೊಂಡ ಡೇಟಾ ಗುಣಮಟ್ಟದ ಅವಶ್ಯಕತೆಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಅವಶ್ಯಕ.
ಡೇಟಾ ಗುಣಮಟ್ಟ ಯೋಜನೆಗೆ ಅನುಗುಣವಾಗಿ, ಎಂಜಿನಿಯರ್ ವಿಭಿನ್ನ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಬಹುದು: ಡೇಟಾ ಗುಣಮಟ್ಟದ ಮೇಲ್ನೋಟದ ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ಸಾಮಾನ್ಯ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಪರೀಕ್ಷಕರಿಂದ, ಮೇಲಿನ ಮಾನದಂಡಗಳ ಪ್ರಕಾರ ಡೇಟಾದ ಆಳವಾದ ಪ್ರೊಫೈಲಿಂಗ್ ನಡೆಸುವ ವ್ಯಕ್ತಿಗೆ.
ಎಂಬ ಪುಸ್ತಕದಲ್ಲಿ ಡೇಟಾ ನಿರ್ವಹಣೆ, ಡೇಟಾ ಗುಣಮಟ್ಟ ಮತ್ತು ಸಂಬಂಧಿತ ಪ್ರಕ್ರಿಯೆಗಳ ವಿವರವಾದ ವಿವರಣೆಯನ್ನು ಚೆನ್ನಾಗಿ ವಿವರಿಸಲಾಗಿದೆ "DAMA-DMBOK: ಡೇಟಾ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ ಬಾಡಿ ಆಫ್ ನಾಲೆಡ್ಜ್: 2 ನೇ ಆವೃತ್ತಿ". ಈ ವಿಷಯದ ಪರಿಚಯವಾಗಿ ನಾನು ಈ ಪುಸ್ತಕವನ್ನು ಹೆಚ್ಚು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ (ಲೇಖನದ ಕೊನೆಯಲ್ಲಿ ನೀವು ಅದರ ಲಿಂಕ್ ಅನ್ನು ಕಾಣಬಹುದು).
ನನ್ನ ಕಥೆ
IT ಉದ್ಯಮದಲ್ಲಿ, ನಾನು ಉತ್ಪನ್ನ ಕಂಪನಿಗಳಲ್ಲಿ ಜೂನಿಯರ್ ಪರೀಕ್ಷಕರಿಂದ EPAM ನಲ್ಲಿ ಲೀಡ್ ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್ ಆಗಿ ಕೆಲಸ ಮಾಡಿದ್ದೇನೆ. ಪರೀಕ್ಷಕನಾಗಿ ಕೆಲಸ ಮಾಡಿದ ಸುಮಾರು ಎರಡು ವರ್ಷಗಳ ನಂತರ, ನಾನು ಸಂಪೂರ್ಣವಾಗಿ ಎಲ್ಲಾ ರೀತಿಯ ಪರೀಕ್ಷೆಗಳನ್ನು ಮಾಡಿದ್ದೇನೆ ಎಂದು ನನಗೆ ದೃಢವಾದ ನಂಬಿಕೆ ಇತ್ತು: ಹಿಂಜರಿಕೆ, ಕ್ರಿಯಾತ್ಮಕ, ಒತ್ತಡ, ಸ್ಥಿರತೆ, ಭದ್ರತೆ, UI, ಇತ್ಯಾದಿ - ಮತ್ತು ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಪರೀಕ್ಷಾ ಸಾಧನಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿದೆ. ಮೂರು ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಅದೇ ಸಮಯದಲ್ಲಿ ಕೆಲಸ ಮಾಡಿದೆ: ಜಾವಾ, ಸ್ಕಾಲಾ, ಪೈಥಾನ್.
ಹಿಂತಿರುಗಿ ನೋಡಿದಾಗ, ನನ್ನ ಕೌಶಲ್ಯದ ಸೆಟ್ ಏಕೆ ವೈವಿಧ್ಯಮಯವಾಗಿದೆ ಎಂದು ನಾನು ಅರ್ಥಮಾಡಿಕೊಂಡಿದ್ದೇನೆ - ನಾನು ದೊಡ್ಡ ಮತ್ತು ಸಣ್ಣ ಡೇಟಾ-ಚಾಲಿತ ಯೋಜನೆಗಳಲ್ಲಿ ತೊಡಗಿಸಿಕೊಂಡಿದ್ದೇನೆ. ಇದು ನನ್ನನ್ನು ಅನೇಕ ಪರಿಕರಗಳು ಮತ್ತು ಬೆಳವಣಿಗೆಗೆ ಅವಕಾಶಗಳ ಜಗತ್ತಿನಲ್ಲಿ ತಂದಿತು.
ಹೊಸ ಜ್ಞಾನ ಮತ್ತು ಕೌಶಲ್ಯಗಳನ್ನು ಪಡೆಯಲು ವಿವಿಧ ಪರಿಕರಗಳು ಮತ್ತು ಅವಕಾಶಗಳನ್ನು ಶ್ಲಾಘಿಸಲು, ಕೆಳಗಿನ ಚಿತ್ರವನ್ನು ನೋಡಿ, ಅದು "ಡೇಟಾ ಮತ್ತು AI" ಪ್ರಪಂಚದಲ್ಲಿ ಹೆಚ್ಚು ಜನಪ್ರಿಯವಾದವುಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.
ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿಯಿಂದ ಬರುವ ಪ್ರಸಿದ್ಧ ಸಾಹಸೋದ್ಯಮ ಬಂಡವಾಳಗಾರರಾದ ಮ್ಯಾಟ್ ಟರ್ಕ್‌ನಿಂದ ಈ ರೀತಿಯ ವಿವರಣೆಯನ್ನು ವಾರ್ಷಿಕವಾಗಿ ಸಂಕಲಿಸಲಾಗುತ್ತದೆ. ಇಲ್ಲಿ ಅವರ ಬ್ಲಾಗ್‌ಗೆ ಮತ್ತು , ಅಲ್ಲಿ ಅವರು ಪಾಲುದಾರರಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ.
ನಾನು ಪ್ರಾಜೆಕ್ಟ್‌ನಲ್ಲಿ ಏಕೈಕ ಪರೀಕ್ಷಕನಾಗಿದ್ದಾಗ ಅಥವಾ ಕನಿಷ್ಠ ಯೋಜನೆಯ ಆರಂಭದಲ್ಲಿ ನಾನು ವೃತ್ತಿಪರವಾಗಿ ವಿಶೇಷವಾಗಿ ವೇಗವಾಗಿ ಬೆಳೆದೆ. ಅಂತಹ ಕ್ಷಣದಲ್ಲಿ ನೀವು ಸಂಪೂರ್ಣ ಪರೀಕ್ಷೆಯ ಪ್ರಕ್ರಿಯೆಗೆ ಜವಾಬ್ದಾರರಾಗಿರಬೇಕು ಮತ್ತು ನಿಮಗೆ ಹಿಮ್ಮೆಟ್ಟಲು ಯಾವುದೇ ಅವಕಾಶವಿಲ್ಲ, ಮುಂದಕ್ಕೆ ಮಾತ್ರ. ಮೊದಲಿಗೆ ಇದು ಭಯಾನಕವಾಗಿತ್ತು, ಆದರೆ ಈಗ ಅಂತಹ ಪರೀಕ್ಷೆಯ ಎಲ್ಲಾ ಅನುಕೂಲಗಳು ನನಗೆ ಸ್ಪಷ್ಟವಾಗಿವೆ:
- ಸಂವಹನಕ್ಕಾಗಿ ಯಾವುದೇ ಪ್ರಾಕ್ಸಿ ಇಲ್ಲದಿರುವುದರಿಂದ ನೀವು ಇಡೀ ತಂಡದೊಂದಿಗೆ ಹಿಂದೆಂದಿಗಿಂತಲೂ ಸಂವಹನ ನಡೆಸಲು ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ: ಪರೀಕ್ಷಾ ವ್ಯವಸ್ಥಾಪಕರಾಗಲೀ ಅಥವಾ ಸಹ ಪರೀಕ್ಷಕರಾಗಲೀ ಅಲ್ಲ.
- ಯೋಜನೆಯಲ್ಲಿ ಇಮ್ಮರ್ಶನ್ ವಿಸ್ಮಯಕಾರಿಯಾಗಿ ಆಳವಾದ ಆಗುತ್ತದೆ, ಮತ್ತು ನೀವು ಎಲ್ಲಾ ಘಟಕಗಳ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿದ್ದೀರಿ, ಸಾಮಾನ್ಯವಾಗಿ ಮತ್ತು ವಿವರವಾಗಿ.
- ಡೆವಲಪರ್‌ಗಳು ನಿಮ್ಮನ್ನು "ಅವರು ಏನು ಮಾಡುತ್ತಿದ್ದಾರೆಂದು ತಿಳಿದಿಲ್ಲದ ವ್ಯಕ್ತಿಯನ್ನು ಪರೀಕ್ಷಿಸುವ ವ್ಯಕ್ತಿ" ಎಂದು ನೋಡುವುದಿಲ್ಲ, ಬದಲಿಗೆ ಅವರ ಸ್ವಯಂಚಾಲಿತ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಘಟಕದಲ್ಲಿ ದೋಷಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುವ ನಿರೀಕ್ಷೆಯೊಂದಿಗೆ ತಂಡಕ್ಕೆ ನಂಬಲಾಗದ ಪ್ರಯೋಜನಗಳನ್ನು ಉಂಟುಮಾಡುವ ಸಮಾನರಾಗಿ ನೋಡುತ್ತಾರೆ. ಉತ್ಪನ್ನ.
- ಪರಿಣಾಮವಾಗಿ, ನೀವು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿ, ಹೆಚ್ಚು ಅರ್ಹತೆ ಮತ್ತು ಬೇಡಿಕೆಯಲ್ಲಿ ಹೆಚ್ಚು.
ಯೋಜನೆಯು ಬೆಳೆದಂತೆ, 100% ಪ್ರಕರಣಗಳಲ್ಲಿ ನಾನು ಹೊಸ ಪರೀಕ್ಷಕರಿಗೆ ಮಾರ್ಗದರ್ಶಕನಾಗಿದ್ದೇನೆ, ಅವರಿಗೆ ಕಲಿಸುತ್ತೇನೆ ಮತ್ತು ನಾನು ಕಲಿತ ಜ್ಞಾನವನ್ನು ರವಾನಿಸುತ್ತೇನೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಯೋಜನೆಯನ್ನು ಅವಲಂಬಿಸಿ, ನಾನು ಯಾವಾಗಲೂ ನಿರ್ವಹಣೆಯಿಂದ ಅತ್ಯುನ್ನತ ಮಟ್ಟದ ಸ್ವಯಂ ಪರೀಕ್ಷಾ ತಜ್ಞರನ್ನು ಸ್ವೀಕರಿಸಲಿಲ್ಲ ಮತ್ತು ಅವರಿಗೆ ಯಾಂತ್ರೀಕೃತಗೊಂಡ (ಆಸಕ್ತರಿಗೆ) ತರಬೇತಿ ನೀಡುವ ಅಥವಾ ದೈನಂದಿನ ಚಟುವಟಿಕೆಗಳಲ್ಲಿ (ಉಪಕರಣಗಳ) ಬಳಕೆಗಾಗಿ ಉಪಕರಣಗಳನ್ನು ರಚಿಸುವ ಅಗತ್ಯವಿತ್ತು. ಡೇಟಾವನ್ನು ಉತ್ಪಾದಿಸಲು ಮತ್ತು ಸಿಸ್ಟಮ್‌ಗೆ ಲೋಡ್ ಮಾಡಲು , ಲೋಡ್ ಪರೀಕ್ಷೆ / ಸ್ಥಿರತೆ ಪರೀಕ್ಷೆಯನ್ನು "ತ್ವರಿತವಾಗಿ" ನಿರ್ವಹಿಸುವ ಸಾಧನ, ಇತ್ಯಾದಿ).
ನಿರ್ದಿಷ್ಟ ಯೋಜನೆಯ ಉದಾಹರಣೆ
ದುರದೃಷ್ಟವಶಾತ್, ಬಹಿರಂಗಪಡಿಸದ ಕಟ್ಟುಪಾಡುಗಳಿಂದಾಗಿ, ನಾನು ಕೆಲಸ ಮಾಡಿದ ಯೋಜನೆಗಳ ಬಗ್ಗೆ ವಿವರವಾಗಿ ಮಾತನಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ, ಆದರೆ ಯೋಜನೆಗಳಲ್ಲಿ ಒಂದಾದ ಡೇಟಾ ಗುಣಮಟ್ಟ ಎಂಜಿನಿಯರ್‌ನ ವಿಶಿಷ್ಟ ಕಾರ್ಯಗಳ ಉದಾಹರಣೆಗಳನ್ನು ನಾನು ನೀಡುತ್ತೇನೆ.
ಅದರ ಆಧಾರದ ಮೇಲೆ ತರಬೇತಿ ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳಿಗೆ ಡೇಟಾವನ್ನು ಸಿದ್ಧಪಡಿಸುವ ವೇದಿಕೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ಯೋಜನೆಯ ಮೂಲತತ್ವವಾಗಿದೆ. ಗ್ರಾಹಕರು USA ನಿಂದ ದೊಡ್ಡ ಔಷಧೀಯ ಕಂಪನಿಯಾಗಿದ್ದರು. ತಾಂತ್ರಿಕವಾಗಿ ಇದು ಒಂದು ಕ್ಲಸ್ಟರ್ ಆಗಿತ್ತು , ಗೆ ಏರುತ್ತಿದೆ ನಿದರ್ಶನಗಳು, ಹಲವಾರು ಮೈಕ್ರೋ ಸರ್ವೀಸ್‌ಗಳು ಮತ್ತು EPAM ನ ಆಧಾರವಾಗಿರುವ ಮುಕ್ತ ಮೂಲ ಯೋಜನೆಯೊಂದಿಗೆ - , ನಿರ್ದಿಷ್ಟ ಗ್ರಾಹಕರ ಅಗತ್ಯಗಳಿಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳಲಾಗಿದೆ (ಈಗ ಯೋಜನೆಯು ಮರುಜನ್ಮ ಪಡೆದಿದೆ ) ETL ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಆಯೋಜಿಸಲಾಗಿದೆ ಮತ್ತು ಡೇಟಾವನ್ನು ಸರಿಸಲಾಗಿದೆ ರಲ್ಲಿ ಗ್ರಾಹಕ ವ್ಯವಸ್ಥೆಗಳು ಬಕೆಟ್‌ಗಳು. ಮುಂದೆ, ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಮಾದರಿಯ ಡಾಕರ್ ಚಿತ್ರವನ್ನು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿ ನಿಯೋಜಿಸಲಾಯಿತು, ಇದು ತಾಜಾ ಡೇಟಾದ ಮೇಲೆ ತರಬೇತಿ ಪಡೆಯಿತು ಮತ್ತು REST API ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು, ವ್ಯವಹಾರಕ್ಕೆ ಆಸಕ್ತಿಯಿರುವ ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವ ಮುನ್ನೋಟಗಳನ್ನು ತಯಾರಿಸಿತು.
ದೃಷ್ಟಿಗೋಚರವಾಗಿ, ಎಲ್ಲವೂ ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:
ಈ ಯೋಜನೆಯಲ್ಲಿ ಸಾಕಷ್ಟು ಕ್ರಿಯಾತ್ಮಕ ಪರೀಕ್ಷೆಗಳಿವೆ, ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳ ಅಭಿವೃದ್ಧಿಯ ವೇಗ ಮತ್ತು ಬಿಡುಗಡೆಯ ಚಕ್ರದ ವೇಗವನ್ನು (ಎರಡು ವಾರಗಳ ಸ್ಪ್ರಿಂಟ್‌ಗಳು) ಕಾಪಾಡಿಕೊಳ್ಳುವ ಅಗತ್ಯವನ್ನು ಗಮನಿಸಿದರೆ, ಅತ್ಯಂತ ನಿರ್ಣಾಯಕ ಘಟಕಗಳ ಸ್ವಯಂಚಾಲಿತ ಪರೀಕ್ಷೆಯ ಬಗ್ಗೆ ತಕ್ಷಣವೇ ಯೋಚಿಸುವುದು ಅಗತ್ಯವಾಗಿತ್ತು. ವ್ಯವಸ್ಥೆ. ಕುಬರ್ನೆಟ್ಸ್-ಆಧಾರಿತ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಬಹುಪಾಲು ಸ್ವಯಂಪರೀಕ್ಷೆಗಳನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ + ಪೈಥಾನ್, ಆದರೆ ಅವುಗಳನ್ನು ಬೆಂಬಲಿಸಲು ಮತ್ತು ವಿಸ್ತರಿಸಲು ಸಹ ಅಗತ್ಯವಾಗಿತ್ತು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಗ್ರಾಹಕರ ಅನುಕೂಲಕ್ಕಾಗಿ, ಕ್ಲಸ್ಟರ್‌ಗೆ ನಿಯೋಜಿಸಲಾದ ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಗಳನ್ನು ನಿರ್ವಹಿಸಲು GUI ಅನ್ನು ರಚಿಸಲಾಗಿದೆ, ಜೊತೆಗೆ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲು ಡೇಟಾವನ್ನು ಎಲ್ಲಿ ಮತ್ತು ಎಲ್ಲಿ ವರ್ಗಾಯಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸುವ ಸಾಮರ್ಥ್ಯ. ಈ ವ್ಯಾಪಕವಾದ ಸೇರ್ಪಡೆಯು ಸ್ವಯಂಚಾಲಿತ ಕ್ರಿಯಾತ್ಮಕ ಪರೀಕ್ಷೆಯ ವಿಸ್ತರಣೆಯನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ, ಇದನ್ನು ಹೆಚ್ಚಾಗಿ REST API ಕರೆಗಳು ಮತ್ತು ಕಡಿಮೆ ಸಂಖ್ಯೆಯ ಅಂತ್ಯ-2-ಅಂತ್ಯ UI ಪರೀಕ್ಷೆಗಳ ಮೂಲಕ ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಎಲ್ಲಾ ಆಂದೋಲನದ ಸಮಭಾಜಕದ ಸುತ್ತಲೂ, ಉತ್ಪನ್ನ ಆವೃತ್ತಿಗಳ ಸ್ವೀಕಾರ ಪರೀಕ್ಷೆ ಮತ್ತು ಮುಂದಿನ ಬಿಡುಗಡೆಯ ಸ್ವೀಕಾರದ ಬಗ್ಗೆ ಗ್ರಾಹಕರೊಂದಿಗೆ ಸಂವಹನ ಮಾಡುವ ಮೂಲಕ ಅತ್ಯುತ್ತಮವಾದ ಕೆಲಸವನ್ನು ಮಾಡಿದ ಹಸ್ತಚಾಲಿತ ಪರೀಕ್ಷಕರಿಂದ ನಾವು ಸೇರಿಕೊಂಡಿದ್ದೇವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಹೊಸ ತಜ್ಞರ ಆಗಮನದಿಂದಾಗಿ, ನಮ್ಮ ಕೆಲಸವನ್ನು ದಾಖಲಿಸಲು ಮತ್ತು ತಕ್ಷಣವೇ ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಲು ಕಷ್ಟಕರವಾದ ಹಲವಾರು ಪ್ರಮುಖ ಹಸ್ತಚಾಲಿತ ಚೆಕ್‌ಗಳನ್ನು ಸೇರಿಸಲು ನಮಗೆ ಸಾಧ್ಯವಾಯಿತು.
ಮತ್ತು ಅಂತಿಮವಾಗಿ, ನಾವು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮತ್ತು ಅದರ ಮೇಲೆ GUI ಆಡ್-ಆನ್‌ನಿಂದ ಸ್ಥಿರತೆಯನ್ನು ಸಾಧಿಸಿದ ನಂತರ, ನಾವು Apache Airflow DAG ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ETL ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿದ್ದೇವೆ. ಇಟಿಎಲ್ ಪ್ರಕ್ರಿಯೆಯ ಫಲಿತಾಂಶಗಳ ಆಧಾರದ ಮೇಲೆ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸುವ ವಿಶೇಷ ಏರ್‌ಫ್ಲೋ ಡಿಎಜಿಗಳನ್ನು ಬರೆಯುವ ಮೂಲಕ ಸ್ವಯಂಚಾಲಿತ ಡೇಟಾ ಗುಣಮಟ್ಟ ಪರಿಶೀಲನೆಯನ್ನು ನಡೆಸಲಾಯಿತು. ಈ ಯೋಜನೆಯ ಭಾಗವಾಗಿ, ನಾವು ಅದೃಷ್ಟವಂತರು ಮತ್ತು ನಾವು ಪರೀಕ್ಷಿಸಿದ ಅನಾಮಧೇಯ ಡೇಟಾ ಸೆಟ್‌ಗಳಿಗೆ ಗ್ರಾಹಕರು ನಮಗೆ ಪ್ರವೇಶವನ್ನು ನೀಡಿದ್ದಾರೆ. ಪ್ರಕಾರಗಳ ಅನುಸರಣೆ, ಮುರಿದ ಡೇಟಾದ ಉಪಸ್ಥಿತಿ, ಮೊದಲು ಮತ್ತು ನಂತರದ ಒಟ್ಟು ದಾಖಲೆಗಳ ಸಂಖ್ಯೆ, ಒಟ್ಟುಗೂಡಿಸುವಿಕೆಗಾಗಿ ETL ಪ್ರಕ್ರಿಯೆಯಿಂದ ಮಾಡಿದ ರೂಪಾಂತರಗಳ ಹೋಲಿಕೆ, ಕಾಲಮ್ ಹೆಸರುಗಳನ್ನು ಬದಲಾಯಿಸುವುದು ಮತ್ತು ಇತರ ವಿಷಯಗಳ ಅನುಸರಣೆಗಾಗಿ ನಾವು ಸಾಲಿನ ಮೂಲಕ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸಿದ್ದೇವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಈ ತಪಾಸಣೆಗಳನ್ನು ವಿವಿಧ ಡೇಟಾ ಮೂಲಗಳಿಗೆ ಮಾಪನ ಮಾಡಲಾಗಿದೆ, ಉದಾಹರಣೆಗೆ, ಸೇಲ್ಸ್‌ಫೋರ್ಸ್ ಜೊತೆಗೆ, MySQL ಗೆ ಸಹ.
ಅಂತಿಮ ಡೇಟಾ ಗುಣಮಟ್ಟದ ಪರಿಶೀಲನೆಗಳನ್ನು ಈಗಾಗಲೇ S3 ಮಟ್ಟದಲ್ಲಿ ನಡೆಸಲಾಗಿದೆ, ಅಲ್ಲಿ ಅವುಗಳನ್ನು ಸಂಗ್ರಹಿಸಲಾಗಿದೆ ಮತ್ತು ತರಬೇತಿ ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳಿಗೆ ಬಳಸಲು ಸಿದ್ಧವಾಗಿದೆ. S3 ಬಕೆಟ್‌ನಲ್ಲಿರುವ ಅಂತಿಮ CSV ಫೈಲ್‌ನಿಂದ ಡೇಟಾವನ್ನು ಪಡೆಯಲು ಮತ್ತು ಅದನ್ನು ಮೌಲ್ಯೀಕರಿಸಲು, ಕೋಡ್ ಅನ್ನು ಬಳಸಿ ಬರೆಯಲಾಗಿದೆ .
ಡೇಟಾದ ಭಾಗವನ್ನು ಒಂದು S3 ಬಕೆಟ್‌ನಲ್ಲಿ ಮತ್ತು ಭಾಗವನ್ನು ಇನ್ನೊಂದರಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಗ್ರಾಹಕರಿಂದ ಅವಶ್ಯಕತೆಯಿದೆ. ಅಂತಹ ವಿಂಗಡಣೆಯ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ಹೆಚ್ಚುವರಿ ಚೆಕ್‌ಗಳನ್ನು ಬರೆಯುವ ಅಗತ್ಯವಿದೆ.
ಇತರ ಯೋಜನೆಗಳಿಂದ ಸಾಮಾನ್ಯ ಅನುಭವ
ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ನ ಚಟುವಟಿಕೆಗಳ ಸಾಮಾನ್ಯ ಪಟ್ಟಿಯ ಉದಾಹರಣೆ:
- ಸ್ವಯಂಚಾಲಿತ ಉಪಕರಣದ ಮೂಲಕ ಪರೀಕ್ಷಾ ಡೇಟಾವನ್ನು (ಮಾನ್ಯ ಅಮಾನ್ಯ ದೊಡ್ಡ ಚಿಕ್ಕದು) ತಯಾರಿಸಿ.
- ಸಿದ್ಧಪಡಿಸಿದ ಡೇಟಾ ಸೆಟ್ ಅನ್ನು ಮೂಲ ಮೂಲಕ್ಕೆ ಅಪ್‌ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಅದು ಬಳಕೆಗೆ ಸಿದ್ಧವಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
- ನಿರ್ದಿಷ್ಟ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಮೂಲ ಸಂಗ್ರಹಣೆಯಿಂದ ಅಂತಿಮ ಅಥವಾ ಮಧ್ಯಂತರ ಸಂಗ್ರಹಣೆಗೆ ಡೇಟಾದ ಗುಂಪನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ETL ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಪ್ರಾರಂಭಿಸಿ (ಸಾಧ್ಯವಾದರೆ, ETL ಕಾರ್ಯಕ್ಕಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದಾದ ನಿಯತಾಂಕಗಳನ್ನು ಹೊಂದಿಸಿ).
- ಅದರ ಗುಣಮಟ್ಟ ಮತ್ತು ವ್ಯಾಪಾರದ ಅಗತ್ಯತೆಗಳ ಅನುಸರಣೆಗಾಗಿ ETL ಪ್ರಕ್ರಿಯೆಯಿಂದ ಸಂಸ್ಕರಿಸಿದ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸಿ.
ಅದೇ ಸಮಯದಲ್ಲಿ, ತಪಾಸಣೆಗಳ ಮುಖ್ಯ ಗಮನವು ವ್ಯವಸ್ಥೆಯಲ್ಲಿನ ಡೇಟಾ ಹರಿವು ತಾತ್ವಿಕವಾಗಿ ಕೆಲಸ ಮಾಡಿದೆ ಮತ್ತು ಪೂರ್ಣಗೊಂಡಿದೆ (ಇದು ಕ್ರಿಯಾತ್ಮಕ ಪರೀಕ್ಷೆಯ ಭಾಗವಾಗಿದೆ), ಆದರೆ ಹೆಚ್ಚಾಗಿ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸುವುದು ಮತ್ತು ಮೌಲ್ಯೀಕರಿಸುವುದು ಎಂಬುದರ ಮೇಲೆ ಮಾತ್ರ ಇರಬೇಕು. ನಿರೀಕ್ಷಿತ ಅವಶ್ಯಕತೆಗಳ ಅನುಸರಣೆ, ವೈಪರೀತ್ಯಗಳು ಮತ್ತು ಇತರ ವಿಷಯಗಳನ್ನು ಗುರುತಿಸುವುದು.
ಪರಿಕರಗಳು
ಅಂತಹ ಡೇಟಾ ನಿಯಂತ್ರಣದ ತಂತ್ರಗಳಲ್ಲಿ ಒಂದಾದ ದತ್ತಾಂಶ ಸಂಸ್ಕರಣೆಯ ಪ್ರತಿ ಹಂತದಲ್ಲಿ ಸರಣಿ ತಪಾಸಣೆಗಳ ಸಂಘಟನೆಯಾಗಿರಬಹುದು, ಸಾಹಿತ್ಯದಲ್ಲಿ "ಡೇಟಾ ಚೈನ್" ಎಂದು ಕರೆಯಲ್ಪಡುವ - ಮೂಲದಿಂದ ಅಂತಿಮ ಬಳಕೆಯ ಹಂತದವರೆಗೆ ಡೇಟಾದ ನಿಯಂತ್ರಣ. ಈ ರೀತಿಯ ಚೆಕ್‌ಗಳನ್ನು ಹೆಚ್ಚಾಗಿ SQL ಪ್ರಶ್ನೆಗಳನ್ನು ಪರಿಶೀಲಿಸುವ ಮೂಲಕ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗುತ್ತದೆ. ಅಂತಹ ಪ್ರಶ್ನೆಗಳು ಸಾಧ್ಯವಾದಷ್ಟು ಹಗುರವಾಗಿರಬೇಕು ಮತ್ತು ಡೇಟಾ ಗುಣಮಟ್ಟದ ಪ್ರತ್ಯೇಕ ತುಣುಕುಗಳನ್ನು ಪರಿಶೀಲಿಸಿ (ಕೋಷ್ಟಕಗಳ ಮೆಟಾಡೇಟಾ, ಖಾಲಿ ರೇಖೆಗಳು, NULL ಗಳು, ಸಿಂಟ್ಯಾಕ್ಸ್‌ನಲ್ಲಿನ ದೋಷಗಳು - ಪರಿಶೀಲಿಸಲು ಅಗತ್ಯವಿರುವ ಇತರ ಗುಣಲಕ್ಷಣಗಳು) ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿದೆ.
ರೆಡಿಮೇಡ್ (ಬದಲಾಯಿಸಲಾಗದ, ಸ್ವಲ್ಪ ಬದಲಾಯಿಸಬಹುದಾದ) ಡೇಟಾ ಸೆಟ್‌ಗಳನ್ನು ಬಳಸುವ ರಿಗ್ರೆಶನ್ ಪರೀಕ್ಷೆಯ ಸಂದರ್ಭದಲ್ಲಿ, ಗುಣಮಟ್ಟದ (ನಿರೀಕ್ಷಿತ ಟೇಬಲ್ ಮೆಟಾಡೇಟಾದ ವಿವರಣೆಗಳು; ಸಾಲು ಮಾದರಿ ವಸ್ತುಗಳು) ಅನುಸರಣೆಗಾಗಿ ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸಲು ಆಟೋಟೆಸ್ಟ್ ಕೋಡ್ ರೆಡಿಮೇಡ್ ಟೆಂಪ್ಲೆಟ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸಬಹುದು. ಪರೀಕ್ಷೆಯ ಸಮಯದಲ್ಲಿ ಯಾದೃಚ್ಛಿಕವಾಗಿ ಆಯ್ಕೆಮಾಡಲಾಗಿದೆ, ಇತ್ಯಾದಿ. ).
ಅಲ್ಲದೆ, ಪರೀಕ್ಷೆಯ ಸಮಯದಲ್ಲಿ, ನೀವು ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ, ನಂತಹ ಚೌಕಟ್ಟುಗಳನ್ನು ಬಳಸಿಕೊಂಡು ETL ಪರೀಕ್ಷಾ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಬರೆಯಬೇಕು. ಅಥವಾ ಕಪ್ಪು-ಪೆಟ್ಟಿಗೆಯ ಮೋಡದ ಪ್ರಕಾರದ ಉಪಕರಣವೂ ಸಹ , ಮತ್ತು ಇತ್ಯಾದಿ. ಈ ಸನ್ನಿವೇಶವು ಪರೀಕ್ಷಾ ಇಂಜಿನಿಯರ್ ಅನ್ನು ಮೇಲಿನ ಪರಿಕರಗಳ ಕಾರ್ಯಾಚರಣೆಯ ತತ್ವಗಳಲ್ಲಿ ಮುಳುಗುವಂತೆ ಒತ್ತಾಯಿಸುತ್ತದೆ ಮತ್ತು ಇನ್ನೂ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಎರಡೂ ಕ್ರಿಯಾತ್ಮಕ ಪರೀಕ್ಷೆಯನ್ನು ನಡೆಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, ಯೋಜನೆಯಲ್ಲಿ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಇಟಿಎಲ್ ಪ್ರಕ್ರಿಯೆಗಳು) ಮತ್ತು ಡೇಟಾವನ್ನು ಪರಿಶೀಲಿಸಲು ಅವುಗಳನ್ನು ಬಳಸಿ. ನಿರ್ದಿಷ್ಟವಾಗಿ, ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಜನಪ್ರಿಯ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಡೇಟಾಬೇಸ್‌ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಸಿದ್ಧ ನಿರ್ವಾಹಕರನ್ನು ಹೊಂದಿದೆ, ಉದಾಹರಣೆಗೆ . ಅದರ ಬಳಕೆಯ ಅತ್ಯಂತ ಮೂಲಭೂತ ಉದಾಹರಣೆಯನ್ನು ಈಗಾಗಲೇ ವಿವರಿಸಲಾಗಿದೆ , ಹಾಗಾಗಿ ನಾನು ಪುನರಾವರ್ತಿಸುವುದಿಲ್ಲ.
ಸಿದ್ಧ ಪರಿಹಾರಗಳನ್ನು ಹೊರತುಪಡಿಸಿ, ನಿಮ್ಮ ಸ್ವಂತ ತಂತ್ರಗಳು ಮತ್ತು ಸಾಧನಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ಯಾರೂ ನಿಮ್ಮನ್ನು ನಿಷೇಧಿಸುವುದಿಲ್ಲ. ಇದು ಪ್ರಾಜೆಕ್ಟ್‌ಗೆ ಮಾತ್ರ ಪ್ರಯೋಜನಕಾರಿಯಾಗುವುದಿಲ್ಲ, ಆದರೆ ಸ್ವತಃ ಡೇಟಾ ಕ್ವಾಲಿಟಿ ಇಂಜಿನಿಯರ್‌ಗೂ ಸಹ, ಅವರು ತಮ್ಮ ತಾಂತ್ರಿಕ ಪರಿಧಿಗಳು ಮತ್ತು ಕೋಡಿಂಗ್ ಕೌಶಲ್ಯಗಳನ್ನು ಸುಧಾರಿಸುತ್ತಾರೆ.
ನಿಜವಾದ ಯೋಜನೆಯಲ್ಲಿ ಇದು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ
"ಡೇಟಾ ಚೈನ್", ಇಟಿಎಲ್ ಮತ್ತು ಸರ್ವತ್ರ ಚೆಕ್‌ಗಳ ಕುರಿತು ಕೊನೆಯ ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳ ಉತ್ತಮ ವಿವರಣೆಯು ನೈಜ ಯೋಜನೆಗಳಲ್ಲಿ ಒಂದರಿಂದ ಈ ಕೆಳಗಿನ ಪ್ರಕ್ರಿಯೆಯಾಗಿದೆ:
ಇಲ್ಲಿ, ವಿವಿಧ ಡೇಟಾ (ನೈಸರ್ಗಿಕವಾಗಿ, ನಾವು ಸಿದ್ಧಪಡಿಸಿದ) ನಮ್ಮ ಸಿಸ್ಟಮ್‌ನ ಇನ್‌ಪುಟ್ “ಫನಲ್” ಅನ್ನು ನಮೂದಿಸಿ: ಮಾನ್ಯ, ಅಮಾನ್ಯ, ಮಿಶ್ರ, ಇತ್ಯಾದಿ, ನಂತರ ಅವುಗಳನ್ನು ಫಿಲ್ಟರ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಮಧ್ಯಂತರ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ, ನಂತರ ಅವು ಮತ್ತೆ ರೂಪಾಂತರಗಳ ಸರಣಿಗೆ ಒಳಗಾಗುತ್ತವೆ. ಮತ್ತು ಅಂತಿಮ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಇರಿಸಲಾಗುತ್ತದೆ, ಇದರಿಂದ, ವಿಶ್ಲೇಷಣೆಗಳು, ಡೇಟಾ ಮಾರ್ಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಮತ್ತು ವ್ಯಾಪಾರದ ಒಳನೋಟಗಳಿಗಾಗಿ ಹುಡುಕಾಟವನ್ನು ಕೈಗೊಳ್ಳಲಾಗುತ್ತದೆ. ಅಂತಹ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ, ETL ಪ್ರಕ್ರಿಯೆಗಳ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಪರಿಶೀಲಿಸದೆ, ನಾವು ರೂಪಾಂತರಗಳ ಮೊದಲು ಮತ್ತು ನಂತರದ ಡೇಟಾದ ಗುಣಮಟ್ಟವನ್ನು ಮತ್ತು ವಿಶ್ಲೇಷಣೆಗೆ ಔಟ್ಪುಟ್ ಅನ್ನು ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ.
ಮೇಲಿನದನ್ನು ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಹೇಳುವುದಾದರೆ, ನಾನು ಕೆಲಸ ಮಾಡಿದ ಸ್ಥಳಗಳನ್ನು ಲೆಕ್ಕಿಸದೆ, ಈ ಕೆಳಗಿನ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಹಂಚಿಕೊಂಡಿರುವ ಡೇಟಾ ಯೋಜನೆಗಳಲ್ಲಿ ನಾನು ತೊಡಗಿಸಿಕೊಂಡಿದ್ದೇನೆ:
- ಯಾಂತ್ರೀಕರಣದ ಮೂಲಕ ಮಾತ್ರ ನೀವು ಕೆಲವು ಪ್ರಕರಣಗಳನ್ನು ಪರೀಕ್ಷಿಸಬಹುದು ಮತ್ತು ವ್ಯವಹಾರಕ್ಕೆ ಸ್ವೀಕಾರಾರ್ಹವಾದ ಬಿಡುಗಡೆಯ ಚಕ್ರವನ್ನು ಸಾಧಿಸಬಹುದು.
- ಅಂತಹ ಯೋಜನೆಯಲ್ಲಿ ಪರೀಕ್ಷಕರು ತಂಡದ ಅತ್ಯಂತ ಗೌರವಾನ್ವಿತ ಸದಸ್ಯರಲ್ಲಿ ಒಬ್ಬರು, ಏಕೆಂದರೆ ಇದು ಪ್ರತಿಯೊಬ್ಬ ಭಾಗವಹಿಸುವವರಿಗೆ ಉತ್ತಮ ಪ್ರಯೋಜನಗಳನ್ನು ತರುತ್ತದೆ (ಪರೀಕ್ಷೆಯ ವೇಗವರ್ಧನೆ, ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಂದ ಉತ್ತಮ ಡೇಟಾ, ಆರಂಭಿಕ ಹಂತಗಳಲ್ಲಿ ದೋಷಗಳ ಗುರುತಿಸುವಿಕೆ).
- ನೀವು ನಿಮ್ಮ ಸ್ವಂತ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಅಥವಾ ಮೋಡಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದೀರಾ ಎಂಬುದು ಅಪ್ರಸ್ತುತವಾಗುತ್ತದೆ - ಎಲ್ಲಾ ಸಂಪನ್ಮೂಲಗಳನ್ನು Hortonworks, Cloudera, Mesos, Kubernetes, ಇತ್ಯಾದಿಗಳಂತಹ ಕ್ಲಸ್ಟರ್‌ಗೆ ಅಮೂರ್ತಗೊಳಿಸಲಾಗುತ್ತದೆ.
- ಪ್ರಾಜೆಕ್ಟ್‌ಗಳನ್ನು ಮೈಕ್ರೋ ಸರ್ವಿಸ್ ವಿಧಾನದಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ, ವಿತರಿಸಲಾಗಿದೆ ಮತ್ತು ಸಮಾನಾಂತರ ಕಂಪ್ಯೂಟಿಂಗ್ ಮೇಲುಗೈ ಸಾಧಿಸುತ್ತದೆ.
ಡೇಟಾ ಗುಣಮಟ್ಟ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪರೀಕ್ಷೆಯನ್ನು ಮಾಡುವಾಗ, ಪರೀಕ್ಷಾ ತಜ್ಞರು ತಮ್ಮ ವೃತ್ತಿಪರ ಗಮನವನ್ನು ಉತ್ಪನ್ನದ ಕೋಡ್ ಮತ್ತು ಬಳಸಿದ ಸಾಧನಗಳಿಗೆ ಬದಲಾಯಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಾನು ಗಮನಿಸಲು ಬಯಸುತ್ತೇನೆ.
ಡೇಟಾ ಗುಣಮಟ್ಟ ಪರೀಕ್ಷೆಯ ವಿಶಿಷ್ಟ ಲಕ್ಷಣಗಳು
ಹೆಚ್ಚುವರಿಯಾಗಿ, ನನಗಾಗಿ, ನಾನು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಗುರುತಿಸಿದ್ದೇನೆ (ಅವುಗಳು ಬಹಳ ಸಾಮಾನ್ಯೀಕರಿಸಲ್ಪಟ್ಟಿವೆ ಮತ್ತು ಪ್ರತ್ಯೇಕವಾಗಿ ವ್ಯಕ್ತಿನಿಷ್ಠವಾಗಿವೆ ಎಂದು ನಾನು ತಕ್ಷಣವೇ ಕಾಯ್ದಿರಿಸುತ್ತೇನೆ) ಡೇಟಾ (ದೊಡ್ಡ ಡೇಟಾ) ಯೋಜನೆಗಳು (ಸಿಸ್ಟಮ್‌ಗಳು) ಮತ್ತು ಇತರ ಕ್ಷೇತ್ರಗಳಲ್ಲಿನ ಪರೀಕ್ಷೆಯ ವಿಶಿಷ್ಟ ಲಕ್ಷಣಗಳು:
ಉಪಯುಕ್ತ ಕೊಂಡಿಗಳು
- ಸಿದ್ಧಾಂತ: .
- ಇಪಿಎಎಂ
- ಆರಂಭಿಕ ಡೇಟಾ ಗುಣಮಟ್ಟ ಎಂಜಿನಿಯರ್‌ಗಾಗಿ ಶಿಫಾರಸು ಮಾಡಲಾದ ವಸ್ತುಗಳು:
- ಸ್ಟೆಪಿಕ್‌ನಲ್ಲಿ ಉಚಿತ ಕೋರ್ಸ್: .
- ಲಿಂಕ್ಡ್‌ಇನ್ ಕಲಿಕೆಯ ಕೋರ್ಸ್: .
- ಲೇಖನಗಳು:
- ;
- ;
- ;
- ವೀಡಿಯೊ:
- ;
- ;
ತೀರ್ಮಾನಕ್ಕೆ
ಡೇಟಾ ಗುಣಮಟ್ಟ ಇದು ಅತ್ಯಂತ ಕಿರಿಯ ಭರವಸೆಯ ನಿರ್ದೇಶನವಾಗಿದೆ, ಇದರ ಭಾಗವಾಗುವುದು ಎಂದರೆ ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ನ ಭಾಗವಾಗುವುದು. ಒಮ್ಮೆ ಡೇಟಾ ಗುಣಮಟ್ಟದಲ್ಲಿ, ನೀವು ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಆಧುನಿಕ, ಬೇಡಿಕೆಯಲ್ಲಿರುವ ತಂತ್ರಜ್ಞಾನಗಳಲ್ಲಿ ಮುಳುಗುತ್ತೀರಿ, ಆದರೆ ಮುಖ್ಯವಾಗಿ, ನಿಮ್ಮ ಆಲೋಚನೆಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸಲು ನಿಮಗೆ ಅಗಾಧವಾದ ಅವಕಾಶಗಳು ತೆರೆದುಕೊಳ್ಳುತ್ತವೆ. ನೀವು ಯೋಜನೆಯಲ್ಲಿ ಮಾತ್ರ ನಿರಂತರ ಸುಧಾರಣೆ ವಿಧಾನವನ್ನು ಬಳಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಆದರೆ ನಿಮಗಾಗಿ, ನಿರಂತರವಾಗಿ ತಜ್ಞರಾಗಿ ಅಭಿವೃದ್ಧಿ ಹೊಂದುತ್ತೀರಿ.
ಮೂಲ: www.habr.com