ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ವೃತ್ತಿಗಳು ಹೆಚ್ಚಾಗಿ ಗೊಂದಲಕ್ಕೊಳಗಾಗುತ್ತವೆ. ಪ್ರತಿಯೊಂದು ಕಂಪನಿಯು ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವ ತನ್ನದೇ ಆದ ನಿರ್ದಿಷ್ಟತೆಗಳನ್ನು ಹೊಂದಿದೆ, ಅವುಗಳ ವಿಶ್ಲೇಷಣೆಗೆ ವಿಭಿನ್ನ ಗುರಿಗಳನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಯಾವ ತಜ್ಞರು ಕೆಲಸದ ಯಾವ ಭಾಗವನ್ನು ಮಾಡಬೇಕೆಂಬುದರ ಬಗ್ಗೆ ವಿಭಿನ್ನ ಆಲೋಚನೆಗಳನ್ನು ಹೊಂದಿದೆ, ಆದ್ದರಿಂದ ಪ್ರತಿಯೊಂದಕ್ಕೂ ತನ್ನದೇ ಆದ ಅವಶ್ಯಕತೆಗಳಿವೆ.
ಈ ತಜ್ಞರ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು, ಅವರು ಯಾವ ವ್ಯವಹಾರ ಕಾರ್ಯಗಳನ್ನು ಪರಿಹರಿಸುತ್ತಾರೆ, ಅವರು ಯಾವ ಕೌಶಲ್ಯಗಳನ್ನು ಹೊಂದಿದ್ದಾರೆ ಮತ್ತು ಅವರು ಎಷ್ಟು ಗಳಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಾವು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತೇವೆ. ವಸ್ತುವು ದೊಡ್ಡದಾಗಿದೆ, ಆದ್ದರಿಂದ ನಾವು ಅದನ್ನು ಎರಡು ಪ್ರಕಟಣೆಗಳಾಗಿ ವಿಂಗಡಿಸಿದ್ದೇವೆ.
ಮೊದಲ ಲೇಖನದಲ್ಲಿ, ಅಧ್ಯಾಪಕರ ಮುಖ್ಯಸ್ಥೆ ಎಲೆನಾ ಗೆರಾಸಿಮೋವಾ,» ನೆಟಾಲಜಿಯಲ್ಲಿ, ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸ ಮತ್ತು ಅವರು ಯಾವ ಪರಿಕರಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಎಂಜಿನಿಯರ್ಗಳು ಮತ್ತು ವಿಜ್ಞಾನಿಗಳ ಪಾತ್ರಗಳು ಹೇಗೆ ಭಿನ್ನವಾಗಿವೆ
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಎಂದರೆ ಒಂದೆಡೆ ಡೇಟಾ ಮೂಲಸೌಕರ್ಯವನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ, ಪರೀಕ್ಷಿಸುವ ಮತ್ತು ಬೆಂಬಲಿಸುವ ತಜ್ಞರು: ಡೇಟಾಬೇಸ್ಗಳು, ಸಂಗ್ರಹಣೆ ಮತ್ತು ಸಾಮೂಹಿಕ ಸಂಸ್ಕರಣಾ ವ್ಯವಸ್ಥೆಗಳು. ಮತ್ತೊಂದೆಡೆ, ವಿಶ್ಲೇಷಕರು ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು ಬಳಸಲು ಡೇಟಾವನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸುವ ಮತ್ತು "ಬಾಚಣಿಗೆ" ಮಾಡುವವರು, ಅಂದರೆ, ಡೇಟಾ ಸಂಸ್ಕರಣಾ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ರಚಿಸುವವರು ಅವರು.
ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಯಂತ್ರ ಕಲಿಕೆ ಅಲ್ಗಾರಿದಮ್ಗಳು ಮತ್ತು ನರಮಂಡಲಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಭವಿಷ್ಯಸೂಚಕ (ಮತ್ತು ಇತರ) ಮಾದರಿಗಳನ್ನು ರಚಿಸುತ್ತಾರೆ ಮತ್ತು ತರಬೇತಿ ನೀಡುತ್ತಾರೆ, ವ್ಯವಹಾರಗಳಿಗೆ ಗುಪ್ತ ಮಾದರಿಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು, ಭವಿಷ್ಯದ ಬೆಳವಣಿಗೆಗಳನ್ನು ಊಹಿಸಲು ಮತ್ತು ಪ್ರಮುಖ ವ್ಯವಹಾರ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತಾರೆ.
ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ನಡುವಿನ ಪ್ರಮುಖ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಅವರು ಸಾಮಾನ್ಯವಾಗಿ ವಿಭಿನ್ನ ಗುರಿಗಳನ್ನು ಹೊಂದಿರುತ್ತಾರೆ. ಡೇಟಾ ಪ್ರವೇಶಿಸಬಹುದಾದ ಮತ್ತು ಉತ್ತಮ ಗುಣಮಟ್ಟದ್ದಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಇಬ್ಬರೂ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ. ಆದರೆ ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ತಮ್ಮ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತಾರೆ ಮತ್ತು ಡೇಟಾ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ (ಉದಾ., ಹಡೂಪ್) ಊಹೆಗಳನ್ನು ಪರೀಕ್ಷಿಸುತ್ತಾರೆ, ಆದರೆ ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಅದೇ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯೊಳಗೆ ಸ್ಪಾರ್ಕ್ ಕ್ಲಸ್ಟರ್ನಲ್ಲಿ ಡೇಟಾ ವಿಜ್ಞಾನಿ ಬರೆದ ಯಂತ್ರ ಕಲಿಕೆ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಪೂರೈಸಲು ಪೈಪ್ಲೈನ್ ಅನ್ನು ರಚಿಸುತ್ತಾರೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ತಂಡದಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಮೂಲಕ ವ್ಯವಹಾರಕ್ಕೆ ಮೌಲ್ಯವನ್ನು ತರುತ್ತಾರೆ. ಅವರ ಕೆಲಸವೆಂದರೆ ವಿಭಿನ್ನ ಭಾಗವಹಿಸುವವರ ನಡುವೆ ಪ್ರಮುಖ ಕೊಂಡಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದು: ಡೆವಲಪರ್ಗಳಿಂದ ವರದಿ ಮಾಡುವ ವ್ಯವಹಾರ ಗ್ರಾಹಕರವರೆಗೆ ಮತ್ತು ವಿಶ್ಲೇಷಕರ ಉತ್ಪಾದಕತೆಯನ್ನು ಹೆಚ್ಚಿಸುವುದು - ಮಾರ್ಕೆಟಿಂಗ್ ಮತ್ತು ಉತ್ಪನ್ನದಿಂದ BI ವರೆಗೆ.
ಮತ್ತೊಂದೆಡೆ, ಡೇಟಾ ವಿಜ್ಞಾನಿಯೊಬ್ಬರು ಕಂಪನಿಯ ಕಾರ್ಯತಂತ್ರ ಮತ್ತು ಒಳನೋಟ ಹೊರತೆಗೆಯುವಿಕೆ, ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆ, ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಅಲ್ಗಾರಿದಮ್ಗಳ ಅನುಷ್ಠಾನ, ಮಾಡೆಲಿಂಗ್ ಮತ್ತು ಡೇಟಾದಿಂದ ಮೌಲ್ಯವನ್ನು ಉತ್ಪಾದಿಸುವಲ್ಲಿ ಸಕ್ರಿಯವಾಗಿ ಭಾಗವಹಿಸುತ್ತಾರೆ.
ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದು GIGO (ಕಸ ಒಳಗೆ — ಕಸ ಹೊರಗೆ) ತತ್ವಕ್ಕೆ ಒಳಪಟ್ಟಿರುತ್ತದೆ: ವಿಶ್ಲೇಷಕರು ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು ಸಿದ್ಧವಿಲ್ಲದ ಮತ್ತು ಸಂಭಾವ್ಯವಾಗಿ ತಪ್ಪಾದ ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸಿದರೆ, ಫಲಿತಾಂಶಗಳು, ಅತ್ಯಂತ ಅತ್ಯಾಧುನಿಕ ವಿಶ್ಲೇಷಣಾ ಅಲ್ಗಾರಿದಮ್ಗಳೊಂದಿಗೆ ಸಹ ತಪ್ಪಾಗಿರುತ್ತವೆ.
ದತ್ತಾಂಶವನ್ನು ಸಂಸ್ಕರಿಸುವುದು, ಸ್ವಚ್ಛಗೊಳಿಸುವುದು ಮತ್ತು ಪರಿವರ್ತಿಸಲು ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸುವ ಮೂಲಕ ಮತ್ತು ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಉತ್ತಮ ಗುಣಮಟ್ಟದ ದತ್ತಾಂಶದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಅನುವು ಮಾಡಿಕೊಡುವ ಮೂಲಕ ದತ್ತಾಂಶ ಎಂಜಿನಿಯರ್ಗಳು ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತಾರೆ.
ದತ್ತಾಂಶದ ಹೊರಹೊಮ್ಮುವಿಕೆಯಿಂದ ಹಿಡಿದು ಬೋರ್ಡ್ರೂಮ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ ಔಟ್ಪುಟ್ವರೆಗೆ ಪ್ರತಿಯೊಂದು ಹಂತವನ್ನು ಒಳಗೊಂಡಿರುವ ಅನೇಕ ದತ್ತಾಂಶ ಪರಿಕರಗಳು ಮಾರುಕಟ್ಟೆಯಲ್ಲಿವೆ. ಮತ್ತು ಅವುಗಳನ್ನು ಬಳಸುವ ನಿರ್ಧಾರವನ್ನು ಎಂಜಿನಿಯರ್ ತೆಗೆದುಕೊಳ್ಳುತ್ತಾರೆ ಎಂಬುದು ಮುಖ್ಯ - ಅದು ಫ್ಯಾಶನ್ ಆಗಿರುವುದರಿಂದ ಅಲ್ಲ, ಆದರೆ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಭಾಗವಹಿಸುವ ಇತರರಿಗೆ ಅವರ ಕೆಲಸದಲ್ಲಿ ಅವರು ನಿಜವಾಗಿಯೂ ಸಹಾಯ ಮಾಡುತ್ತಾರೆ.
ಷರತ್ತುಬದ್ಧವಾಗಿ: ಒಂದು ಕಂಪನಿಯು BI ಮತ್ತು ETL ನಡುವೆ ಸ್ನೇಹಿತರನ್ನು ಮಾಡಿಕೊಳ್ಳಬೇಕಾದರೆ - ಡೇಟಾ ಲೋಡಿಂಗ್ ಮತ್ತು ವರದಿ ನವೀಕರಣಗಳು, ಇದು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ವ್ಯವಹರಿಸಬೇಕಾದ ವಿಶಿಷ್ಟ ಪರಂಪರೆಯ ಅಡಿಪಾಯವಾಗಿದೆ (ತಂಡವು ವಾಸ್ತುಶಿಲ್ಪಿಯನ್ನು ಸಹ ಒಳಗೊಂಡಿದ್ದರೆ ಒಳ್ಳೆಯದು).
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಜವಾಬ್ದಾರಿಗಳು
- ದತ್ತಾಂಶ ಸಂಸ್ಕರಣಾ ಮೂಲಸೌಕರ್ಯಗಳ ಅಭಿವೃದ್ಧಿ, ನಿರ್ಮಾಣ ಮತ್ತು ನಿರ್ವಹಣೆ.
- ದೋಷಗಳನ್ನು ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹ ದತ್ತಾಂಶ ಸಂಸ್ಕರಣಾ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ರಚಿಸುವುದು.
- ವಿವಿಧ ಕ್ರಿಯಾತ್ಮಕ ಮೂಲಗಳಿಂದ ರಚನೆಯಿಲ್ಲದ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಕರು ಕೆಲಸ ಮಾಡಲು ಅಗತ್ಯವಿರುವ ರೂಪಕ್ಕೆ ತರುವುದು.
- ದತ್ತಾಂಶ ಸ್ಥಿರತೆ ಮತ್ತು ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಶಿಫಾರಸುಗಳನ್ನು ಒದಗಿಸುವುದು.
- ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳು ಮತ್ತು ದತ್ತಾಂಶ ವಿಶ್ಲೇಷಕರು ಬಳಸುವ ದತ್ತಾಂಶ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಒದಗಿಸುವುದು ಮತ್ತು ಬೆಂಬಲಿಸುವುದು.
- ಹತ್ತಾರು ಅಥವಾ ನೂರಾರು ಸರ್ವರ್ಗಳ ವಿತರಣಾ ಕ್ಲಸ್ಟರ್ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಸ್ಥಿರವಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿ ಮತ್ತು ಸಂಗ್ರಹಿಸಿ.
- ವೈಫಲ್ಯಗಳನ್ನು ಬದುಕಬಲ್ಲ ಸರಳ ಆದರೆ ದೃಢವಾದ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ರಚಿಸಲು ಪರಿಕರಗಳ ತಾಂತ್ರಿಕ ರಾಜಿ ವಿನಿಮಯವನ್ನು ನಿರ್ಣಯಿಸುವುದು.
- ದತ್ತಾಂಶ ಹರಿವುಗಳು ಮತ್ತು ಸಂಬಂಧಿತ ವ್ಯವಸ್ಥೆಗಳ ನಿಯಂತ್ರಣ ಮತ್ತು ಬೆಂಬಲ (ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಎಚ್ಚರಿಕೆಗಳನ್ನು ಸ್ಥಾಪಿಸುವುದು).
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಪಥದಲ್ಲಿ ಮತ್ತೊಂದು ವಿಶೇಷತೆ ಇದೆ - ಎಂಎಲ್ ಎಂಜಿನಿಯರ್. ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಹೇಳುವುದಾದರೆ, ಅಂತಹ ಎಂಜಿನಿಯರ್ಗಳು ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳನ್ನು ಕೈಗಾರಿಕಾ ಅನುಷ್ಠಾನ ಮತ್ತು ಬಳಕೆಗೆ ತರುವಲ್ಲಿ ಪರಿಣತಿ ಹೊಂದಿದ್ದಾರೆ. ಆಗಾಗ್ಗೆ, ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಂದ ಪಡೆದ ಮಾದರಿಯು ಸಂಶೋಧನೆಯ ಭಾಗವಾಗಿರುತ್ತದೆ ಮತ್ತು ಯುದ್ಧ ಪರಿಸ್ಥಿತಿಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸದಿರಬಹುದು.
ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳ ಜವಾಬ್ದಾರಿಗಳು
- ಯಂತ್ರ ಕಲಿಕೆ ಅಲ್ಗಾರಿದಮ್ಗಳನ್ನು ಅನ್ವಯಿಸಲು ಡೇಟಾದಿಂದ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಹೊರತೆಗೆಯುವುದು.
- ದತ್ತಾಂಶದಲ್ಲಿನ ಮಾದರಿಗಳನ್ನು ಊಹಿಸಲು ಮತ್ತು ವರ್ಗೀಕರಿಸಲು ವಿವಿಧ ಯಂತ್ರ ಕಲಿಕಾ ಸಾಧನಗಳನ್ನು ಬಳಸುವುದು.
- ಅಲ್ಗಾರಿದಮ್ಗಳನ್ನು ಉತ್ತಮಗೊಳಿಸುವ ಮತ್ತು ಅತ್ಯುತ್ತಮವಾಗಿಸುವ ಮೂಲಕ ಯಂತ್ರ ಕಲಿಕೆ ಅಲ್ಗಾರಿದಮ್ಗಳ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಸುಧಾರಿಸುವುದು.
- ಪರೀಕ್ಷಿಸಬೇಕಾದ ಕಂಪನಿಯ ಕಾರ್ಯತಂತ್ರಕ್ಕೆ ಅನುಗುಣವಾಗಿ "ಬಲವಾದ" ಊಹೆಗಳನ್ನು ರೂಪಿಸುವುದು.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಮತ್ತು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಇಬ್ಬರೂ ಸಾಮಾನ್ಯವಾಗಿ ಕಂಪನಿಯು ಹೆಚ್ಚುವರಿ ಲಾಭಗಳನ್ನು ಗಳಿಸಲು ಅಥವಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುವ ಡೇಟಾ ಸಂಸ್ಕೃತಿಯ ಅಭಿವೃದ್ಧಿಗೆ ಸ್ಪಷ್ಟವಾದ ಕೊಡುಗೆಯನ್ನು ಹೊಂದಿದ್ದಾರೆ.
ಎಂಜಿನಿಯರ್ಗಳು ಮತ್ತು ವಿಜ್ಞಾನಿಗಳು ಯಾವ ಭಾಷೆಗಳು ಮತ್ತು ಪರಿಕರಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ?
ಇಂದು, ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳ ನಿರೀಕ್ಷೆಗಳು ಬದಲಾಗಿವೆ. ಹಿಂದೆ, ಎಂಜಿನಿಯರ್ಗಳು ದೊಡ್ಡ SQL ಪ್ರಶ್ನೆಗಳನ್ನು ಜೋಡಿಸುತ್ತಿದ್ದರು, ಮ್ಯಾಪ್ರೆಡ್ಯೂಸ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಬರೆಯುತ್ತಿದ್ದರು ಮತ್ತು ಇನ್ಫಾರ್ಮ್ಯಾಟಿಕಾ ಇಟಿಎಲ್, ಪೆಂಟಾಹೊ ಇಟಿಎಲ್, ಟ್ಯಾಲೆಂಡ್ನಂತಹ ಪರಿಕರಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಡೇಟಾವನ್ನು ಸಂಸ್ಕರಿಸುತ್ತಿದ್ದರು.
2020 ರಲ್ಲಿ, ಪೈಥಾನ್ ಮತ್ತು ಆಧುನಿಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಪರಿಕರಗಳ (ಉದಾಹರಣೆಗೆ, ಏರ್ಫ್ಲೋ) ಜ್ಞಾನವಿಲ್ಲದೆ ತಜ್ಞರು ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ, ಕ್ಲೌಡ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವ ತತ್ವಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು (ಭದ್ರತಾ ತತ್ವಗಳನ್ನು ಗಮನಿಸುವಾಗ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಉಳಿಸಲು ಅವುಗಳನ್ನು ಬಳಸುವುದು).
SAP, Oracle, MySQL, Redis ದೊಡ್ಡ ಕಂಪನಿಗಳಲ್ಲಿ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಸಾಂಪ್ರದಾಯಿಕ ಸಾಧನಗಳಾಗಿವೆ. ಅವು ಒಳ್ಳೆಯದು, ಆದರೆ ಪರವಾನಗಿಗಳ ಬೆಲೆ ತುಂಬಾ ಹೆಚ್ಚಾಗಿದ್ದು, ಅವರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಕಲಿಯುವುದು ಕೈಗಾರಿಕಾ ಯೋಜನೆಗಳಲ್ಲಿ ಮಾತ್ರ ಅರ್ಥಪೂರ್ಣವಾಗಿರುತ್ತದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಪೋಸ್ಟ್ಗ್ರೆಸ್ ರೂಪದಲ್ಲಿ ಉಚಿತ ಪರ್ಯಾಯವಿದೆ - ಇದು ಉಚಿತ ಮತ್ತು ತರಬೇತಿಗೆ ಮಾತ್ರವಲ್ಲದೆ ಸೂಕ್ತವಾಗಿದೆ.
ಐತಿಹಾಸಿಕವಾಗಿ, ಜಾವಾ ಮತ್ತು ಸ್ಕಾಲಾಗೆ ಸಾಕಷ್ಟು ಬೇಡಿಕೆಯಿದೆ, ಆದಾಗ್ಯೂ ತಂತ್ರಜ್ಞಾನಗಳು ಮತ್ತು ವಿಧಾನಗಳು ವಿಕಸನಗೊಂಡಂತೆ, ಈ ಭಾಷೆಗಳು ಹಿನ್ನೆಲೆಗೆ ಮರೆಯಾಗುತ್ತಿವೆ.
ಆದಾಗ್ಯೂ, ಹಾರ್ಡ್ಕೋರ್ ಬಿಗ್ಡೇಟಾ: ಹಡೂಪ್, ಸ್ಪಾರ್ಕ್ ಮತ್ತು ಉಳಿದ ಮೃಗಾಲಯಗಳು ಇನ್ನು ಮುಂದೆ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗೆ ಅತ್ಯಗತ್ಯವಲ್ಲ, ಆದರೆ ಸಾಂಪ್ರದಾಯಿಕ ಇಟಿಎಲ್ ಪರಿಹರಿಸಲಾಗದ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಒಂದು ರೀತಿಯ ಸಾಧನಗಳಾಗಿವೆ.
ಭಾಷೆಯ ಜ್ಞಾನವಿಲ್ಲದೆ ಪರಿಕರಗಳನ್ನು ಬಳಸುವ ಸೇವೆಗಳು (ಉದಾಹರಣೆಗೆ, ಜಾವಾ ಜ್ಞಾನವಿಲ್ಲದ ಹಡೂಪ್), ಹಾಗೆಯೇ ಸ್ಟ್ರೀಮಿಂಗ್ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಸಿದ್ಧ ಸೇವೆಗಳನ್ನು ಒದಗಿಸುವುದು (ವೀಡಿಯೊದಲ್ಲಿ ಧ್ವನಿ ಅಥವಾ ಚಿತ್ರ ಗುರುತಿಸುವಿಕೆ) ಪ್ರವೃತ್ತಿಯಾಗಿದೆ.
SAS ಮತ್ತು SPSS ನಿಂದ ಕೈಗಾರಿಕಾ ಪರಿಹಾರಗಳು ಜನಪ್ರಿಯವಾಗಿವೆ, ಆದರೆ Tableau, Rapidminer, Stata ಮತ್ತು Julia ಗಳನ್ನು ಸ್ಥಳೀಯ ಕಾರ್ಯಗಳಿಗಾಗಿ ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು ವ್ಯಾಪಕವಾಗಿ ಬಳಸುತ್ತಾರೆ.
ನಿಮ್ಮದೇ ಆದ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸುವ ಸಾಮರ್ಥ್ಯವು ವಿಶ್ಲೇಷಕರು ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಒಂದೆರಡು ವರ್ಷಗಳಿಂದ ಮಾತ್ರ ಲಭ್ಯವಿದೆ: ಉದಾಹರಣೆಗೆ, ತುಲನಾತ್ಮಕವಾಗಿ ಸರಳವಾದ ಸ್ಕ್ರಿಪ್ಟ್ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪೋಸ್ಟ್ಗ್ರೆಸ್ಸ್ಕ್ಯೂಎಲ್-ಆಧಾರಿತ ಸಂಗ್ರಹಣೆಗೆ ಡೇಟಾವನ್ನು ಕಳುಹಿಸಲು ಈಗ ಸಾಧ್ಯವಿದೆ.
ಸಾಂಪ್ರದಾಯಿಕವಾಗಿ, ಪೈಪ್ಲೈನ್ಗಳು ಮತ್ತು ಸಂಯೋಜಿತ ದತ್ತಾಂಶ ರಚನೆಗಳ ಬಳಕೆ ದತ್ತಾಂಶ ಎಂಜಿನಿಯರ್ಗಳ ಜವಾಬ್ದಾರಿಯಾಗಿ ಉಳಿದಿದೆ. ಆದರೆ ಇಂದು, ಸಂಬಂಧಿತ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ವಿಶಾಲ ಸಾಮರ್ಥ್ಯ ಹೊಂದಿರುವ ಟಿ-ಆಕಾರದ ತಜ್ಞರ ಕಡೆಗೆ ಒಲವು ಎಂದಿಗಿಂತಲೂ ಪ್ರಬಲವಾಗಿದೆ, ಏಕೆಂದರೆ ಪರಿಕರಗಳನ್ನು ನಿರಂತರವಾಗಿ ಸರಳೀಕರಿಸಲಾಗುತ್ತಿದೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಮತ್ತು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಒಟ್ಟಿಗೆ ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತಾರೆ
ಎಂಜಿನಿಯರ್ಗಳೊಂದಿಗೆ ನಿಕಟವಾಗಿ ಕೆಲಸ ಮಾಡುವ ಮೂಲಕ, ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ಗಳು ವಸ್ತುಗಳ ಸಂಶೋಧನಾ ಭಾಗದತ್ತ ಗಮನಹರಿಸಬಹುದು, ಉತ್ಪಾದನೆಗೆ ಸಿದ್ಧವಾದ ಯಂತ್ರ ಕಲಿಕೆ ಅಲ್ಗಾರಿದಮ್ಗಳನ್ನು ರಚಿಸಬಹುದು.
ಮತ್ತು ಎಂಜಿನಿಯರ್ಗಳು ಸ್ಕೇಲೆಬಿಲಿಟಿ, ಡೇಟಾ ಮರುಬಳಕೆ ಮತ್ತು ಪ್ರತಿಯೊಂದು ಯೋಜನೆಯಲ್ಲಿನ ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಪೈಪ್ಲೈನ್ಗಳು ಜಾಗತಿಕ ವಾಸ್ತುಶಿಲ್ಪಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುವಂತೆ ನೋಡಿಕೊಳ್ಳುವತ್ತ ಗಮನಹರಿಸಬೇಕು.
ಜವಾಬ್ದಾರಿಗಳ ಈ ವಿಭಜನೆಯು ವಿಭಿನ್ನ ಯಂತ್ರ ಕಲಿಕೆ ಯೋಜನೆಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ತಂಡಗಳ ನಡುವೆ ಸ್ಥಿರತೆಯನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ.
ಸಹಯೋಗವು ಹೊಸ ಉತ್ಪನ್ನಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ರಚಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಎಲ್ಲರಿಗೂ ಸೇವೆಯನ್ನು ರಚಿಸುವುದು (ಜಾಗತಿಕ ಸಂಗ್ರಹಣೆ ಅಥವಾ ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಏಕೀಕರಣ) ಮತ್ತು ಪ್ರತಿಯೊಂದು ನಿರ್ದಿಷ್ಟ ಅಗತ್ಯ ಅಥವಾ ಯೋಜನೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವುದು (ಕಿರಿದಾದ ವಿಶೇಷ ಪೈಪ್ಲೈನ್, ಬಾಹ್ಯ ಮೂಲಗಳನ್ನು ಸಂಪರ್ಕಿಸುವುದು) ನಡುವೆ ಸಮತೋಲನಗೊಳಿಸುವ ಮೂಲಕ ವೇಗ ಮತ್ತು ಗುಣಮಟ್ಟವನ್ನು ಸಾಧಿಸಲಾಗುತ್ತದೆ.
ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳು ಮತ್ತು ವಿಶ್ಲೇಷಕರೊಂದಿಗೆ ನಿಕಟವಾಗಿ ಕೆಲಸ ಮಾಡುವುದರಿಂದ ಎಂಜಿನಿಯರ್ಗಳು ಉತ್ತಮ ಕೋಡ್ ಬರೆಯಲು ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಮತ್ತು ಪರಿಶೋಧನಾತ್ಮಕ ಕೌಶಲ್ಯಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ದತ್ತಾಂಶ ಗೋದಾಮು ಮತ್ತು ದತ್ತಾಂಶ ಸರೋವರ ಬಳಕೆದಾರರ ನಡುವೆ ಜ್ಞಾನ ಹಂಚಿಕೆ ಸುಧಾರಿಸುತ್ತದೆ, ಯೋಜನೆಗಳನ್ನು ಹೆಚ್ಚು ಚುರುಕಾಗಿ ಮಾಡುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚು ಸಮರ್ಥನೀಯ ದೀರ್ಘಕಾಲೀನ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ.
ದತ್ತಾಂಶ ಸಂಸ್ಕೃತಿಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಮತ್ತು ಅದರ ಆಧಾರದ ಮೇಲೆ ವ್ಯವಹಾರ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ಮಿಸುವ ಗುರಿಯನ್ನು ಹೊಂದಿರುವ ಕಂಪನಿಗಳಲ್ಲಿ, ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿ ಮತ್ತು ದತ್ತಾಂಶ ಎಂಜಿನಿಯರ್ ಪರಸ್ಪರ ಪೂರಕವಾಗಿ ಮತ್ತು ಪೂರ್ಣ ಪ್ರಮಾಣದ ದತ್ತಾಂಶ ವಿಶ್ಲೇಷಣಾ ವ್ಯವಸ್ಥೆಯನ್ನು ರಚಿಸುತ್ತಾರೆ.
ಮುಂದಿನ ಲೇಖನದಲ್ಲಿ, ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳು ಮತ್ತು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ಗಳು ಯಾವ ರೀತಿಯ ಶಿಕ್ಷಣವನ್ನು ಹೊಂದಿರಬೇಕು, ಅವರು ಯಾವ ಕೌಶಲ್ಯಗಳನ್ನು ಬೆಳೆಸಿಕೊಳ್ಳಬೇಕು ಮತ್ತು ಮಾರುಕಟ್ಟೆಯನ್ನು ಹೇಗೆ ರಚಿಸಲಾಗಿದೆ ಎಂಬುದರ ಕುರಿತು ಮಾತನಾಡುತ್ತೇವೆ.
ನೆಟಾಲಜಿಯ ಸಂಪಾದಕರಿಂದ
ನೀವು ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಅಥವಾ ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ವೃತ್ತಿಯನ್ನು ನೋಡುತ್ತಿದ್ದರೆ, ನಮ್ಮ ಕೋರ್ಸ್ ಕಾರ್ಯಕ್ರಮಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡಲು ನಾವು ನಿಮ್ಮನ್ನು ಆಹ್ವಾನಿಸುತ್ತೇವೆ:
- ವೃತ್ತಿ "».
- ವೃತ್ತಿ "».
ಮೂಲ: www.habr.com
