ಪ್ರಕಾರ , ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಪ್ರಸ್ತುತ ವೃತ್ತಿಯಾಗಿದ್ದು, ಅವರ ಬೇಡಿಕೆಯು ಇತರರಿಗಿಂತ ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ. ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಸಂಸ್ಥೆಯಲ್ಲಿ ನಿರ್ಣಾಯಕ ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತದೆ - ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು, ಪರಿವರ್ತಿಸಲು ಮತ್ತು ಸಂಗ್ರಹಿಸಲು ಬಳಸುವ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮತ್ತು ಡೇಟಾಬೇಸ್‌ಗಳನ್ನು ರಚಿಸುವುದು ಮತ್ತು ನಿರ್ವಹಿಸುವುದು. ಈ ವೃತ್ತಿಯ ಪ್ರತಿನಿಧಿಗಳಿಗೆ ಮೊದಲು ಯಾವ ಕೌಶಲ್ಯಗಳು ಬೇಕು? ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಅಗತ್ಯವಿರುವ ಪಟ್ಟಿಗಿಂತ ಭಿನ್ನವಾಗಿದೆಯೇ? ನನ್ನ ಲೇಖನದಿಂದ ನೀವು ಈ ಎಲ್ಲದರ ಬಗ್ಗೆ ಕಲಿಯುವಿರಿ.
ಯಾವ ತಂತ್ರಜ್ಞಾನ ಕೌಶಲ್ಯಗಳು ಹೆಚ್ಚು ಜನಪ್ರಿಯವಾಗಿವೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಜನವರಿ 2020 ರಲ್ಲಿ ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಹುದ್ದೆಯ ಖಾಲಿ ಹುದ್ದೆಗಳನ್ನು ನಾನು ವಿಶ್ಲೇಷಿಸಿದ್ದೇನೆ. ನಂತರ ನಾನು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಹುದ್ದೆಯ ಖಾಲಿ ಹುದ್ದೆಗಳ ಅಂಕಿಅಂಶಗಳೊಂದಿಗೆ ಫಲಿತಾಂಶಗಳನ್ನು ಹೋಲಿಸಿದೆ - ಮತ್ತು ಕೆಲವು ಆಸಕ್ತಿದಾಯಕ ವ್ಯತ್ಯಾಸಗಳು ಹೊರಹೊಮ್ಮಿದವು.
ಹೆಚ್ಚಿನ ಪೀಠಿಕೆ ಇಲ್ಲದೆ, ಉದ್ಯೋಗ ಪೋಸ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ಉಲ್ಲೇಖಿಸಲಾದ ಹತ್ತು ತಂತ್ರಜ್ಞಾನಗಳು ಇಲ್ಲಿವೆ:
2020 ರಲ್ಲಿ ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಹುದ್ದೆಗೆ ಖಾಲಿ ಇರುವ ತಂತ್ರಜ್ಞಾನಗಳ ಉಲ್ಲೇಖ
ಅದನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡೋಣ.
ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ನ ಜವಾಬ್ದಾರಿಗಳು
ಇಂದು, ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳು ಮಾಡುವ ಕೆಲಸವು ಸಂಸ್ಥೆಗಳಿಗೆ ಹೆಚ್ಚಿನ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಹೊಂದಿದೆ - ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಇತರ ಉದ್ಯೋಗಿಗಳು ಅದರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬಹುದಾದಂತಹ ರೂಪಕ್ಕೆ ತರಲು ಇವರು ಜವಾಬ್ದಾರರು. ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳು ಅನೇಕ ಮೂಲಗಳಿಂದ ಡೇಟಾವನ್ನು ಸ್ಟ್ರೀಮ್ ಮಾಡಲು ಅಥವಾ ಬ್ಯಾಚ್ ಮಾಡಲು ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಾರೆ. ಪೈಪ್‌ಲೈನ್‌ಗಳು ನಂತರ ಹೊರತೆಗೆಯುವಿಕೆ, ರೂಪಾಂತರ ಮತ್ತು ಲೋಡಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ (ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ETL ಪ್ರಕ್ರಿಯೆಗಳು), ಮತ್ತಷ್ಟು ಬಳಕೆಗೆ ಡೇಟಾವನ್ನು ಹೆಚ್ಚು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ. ಇದರ ನಂತರ, ಆಳವಾದ ಪ್ರಕ್ರಿಯೆಗಾಗಿ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಕರು ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಸಲ್ಲಿಸಲಾಗುತ್ತದೆ. ಅಂತಿಮವಾಗಿ, ಡೇಟಾವು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು, ವರದಿಗಳು ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆಯ ಮಾದರಿಗಳಲ್ಲಿ ತನ್ನ ಪ್ರಯಾಣವನ್ನು ಕೊನೆಗೊಳಿಸುತ್ತದೆ.
ಈ ಸಮಯದಲ್ಲಿ ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ನ ಕೆಲಸದಲ್ಲಿ ಯಾವ ತಂತ್ರಜ್ಞಾನಗಳು ಹೆಚ್ಚು ಬೇಡಿಕೆಯಲ್ಲಿವೆ ಎಂಬುದರ ಕುರಿತು ತೀರ್ಮಾನವನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ನನಗೆ ಅನುವು ಮಾಡಿಕೊಡುವ ಮಾಹಿತಿಯನ್ನು ನಾನು ಹುಡುಕುತ್ತಿದ್ದೆ.
ವಿಧಾನಗಳು
ನಾನು ಮೂರು ಉದ್ಯೋಗ ಹುಡುಕಾಟ ಸೈಟ್‌ಗಳಿಂದ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಿದೆ - , и ಮತ್ತು US ನಿವಾಸಿಗಳನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡ ಖಾಲಿ ಹುದ್ದೆಗಳ ಪಠ್ಯಗಳಲ್ಲಿ "ಡೇಟಾ ಇಂಜಿನಿಯರ್" ಜೊತೆಯಲ್ಲಿ ಯಾವ ಕೀವರ್ಡ್‌ಗಳು ಬಂದಿವೆ ಎಂಬುದನ್ನು ನೋಡಿದೆ. ಈ ಕಾರ್ಯಕ್ಕಾಗಿ ನಾನು ಎರಡು ಪೈಥಾನ್ ಲೈಬ್ರರಿಗಳನ್ನು ಬಳಸಿದ್ದೇನೆ - и . ಕೀವರ್ಡ್‌ಗಳಲ್ಲಿ, ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಹುದ್ದೆಯ ಖಾಲಿ ಹುದ್ದೆಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಹಿಂದಿನ ಪಟ್ಟಿಯಲ್ಲಿ ಸೇರಿಸಲಾದ ಮತ್ತು ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಉದ್ಯೋಗದ ಕೊಡುಗೆಗಳನ್ನು ಓದುವಾಗ ನಾನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಆಯ್ಕೆ ಮಾಡಿದ ಎರಡನ್ನೂ ಸೇರಿಸಿದ್ದೇನೆ. ಲಿಂಕ್ಡ್‌ಇನ್ ಅನ್ನು ಮೂಲಗಳ ಪಟ್ಟಿಯಲ್ಲಿ ಸೇರಿಸಲಾಗಿಲ್ಲ, ಏಕೆಂದರೆ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುವ ನನ್ನ ಕೊನೆಯ ಪ್ರಯತ್ನದ ನಂತರ ನನ್ನನ್ನು ಅಲ್ಲಿ ನಿಷೇಧಿಸಲಾಯಿತು.
ಪ್ರತಿ ಕೀವರ್ಡ್‌ಗಾಗಿ, ನಾನು ಪ್ರತಿ ಸೈಟ್‌ನಲ್ಲಿನ ಒಟ್ಟು ಪಠ್ಯಗಳ ಸಂಖ್ಯೆಯಿಂದ ಹಿಟ್‌ಗಳ ಶೇಕಡಾವಾರು ಪ್ರಮಾಣವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಲೆಕ್ಕ ಹಾಕಿದ್ದೇನೆ ಮತ್ತು ನಂತರ ಮೂರು ಮೂಲಗಳಿಗೆ ಸರಾಸರಿಯನ್ನು ಲೆಕ್ಕ ಹಾಕಿದ್ದೇನೆ.
ರೆಸೆಲ್ಯೂಟ್ಸ್
ಎಲ್ಲಾ ಮೂರು ಉದ್ಯೋಗ ಸೈಟ್‌ಗಳಲ್ಲಿ ಅತ್ಯಧಿಕ ಸ್ಕೋರ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಮೂವತ್ತು ತಾಂತ್ರಿಕ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪದಗಳು ಕೆಳಗಿವೆ.
ಮತ್ತು ಇಲ್ಲಿ ಅದೇ ಸಂಖ್ಯೆಗಳಿವೆ, ಆದರೆ ಟೇಬಲ್ ರೂಪದಲ್ಲಿ ಪ್ರಸ್ತುತಪಡಿಸಲಾಗಿದೆ:
ಕ್ರಮವಾಗಿ ಹೋಗೋಣ.
ಫಲಿತಾಂಶಗಳ ವಿಮರ್ಶೆ
SQL ಮತ್ತು ಪೈಥಾನ್ ಎರಡೂ ಪರಿಶೀಲಿಸಿದ ಉದ್ಯೋಗಾವಕಾಶಗಳಲ್ಲಿ ಮೂರನೇ ಎರಡರಷ್ಟು ಹೆಚ್ಚು ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ. ಈ ಎರಡು ತಂತ್ರಜ್ಞಾನಗಳು ಮೊದಲು ಅಧ್ಯಯನ ಮಾಡಲು ಅರ್ಥಪೂರ್ಣವಾಗಿದೆ. ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು, ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಬರೆಯಲು ಬಳಸಲಾಗುವ ಅತ್ಯಂತ ಜನಪ್ರಿಯ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಯಾಗಿದೆ. ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಕ್ವೆರಿ ಲಾಂಗ್ವೇಜ್ ಅನ್ನು ಸೂಚಿಸುತ್ತದೆ; ಇದು ಭಾಷೆಗಳ ಗುಂಪಿನಿಂದ ಜಾರಿಗೊಳಿಸಲಾದ ಮಾನದಂಡವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ ಮತ್ತು ಸಂಬಂಧಿತ ಡೇಟಾಬೇಸ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ಹಿಂಪಡೆಯಲು ಬಳಸಲಾಗುತ್ತದೆ. ಇದು ಬಹಳ ಹಿಂದೆಯೇ ಕಾಣಿಸಿಕೊಂಡಿತು ಮತ್ತು ಸ್ವತಃ ಹೆಚ್ಚು ನಿರೋಧಕವಾಗಿದೆ ಎಂದು ಸಾಬೀತಾಗಿದೆ.
ಸುಮಾರು ಅರ್ಧದಷ್ಟು ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿ ಸ್ಪಾರ್ಕ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ. "ಸ್ಟ್ರೀಮಿಂಗ್, SQL, ಯಂತ್ರ ಕಲಿಕೆ ಮತ್ತು ಗ್ರಾಫ್ ಪ್ರಕ್ರಿಯೆಗಾಗಿ ಅಂತರ್ನಿರ್ಮಿತ ಮಾಡ್ಯೂಲ್‌ಗಳೊಂದಿಗೆ ಏಕೀಕೃತ ದೊಡ್ಡ ಡೇಟಾ ವಿಶ್ಲೇಷಣಾ ಎಂಜಿನ್." ದೊಡ್ಡ ಡೇಟಾಬೇಸ್‌ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವವರಲ್ಲಿ ಇದು ವಿಶೇಷವಾಗಿ ಜನಪ್ರಿಯವಾಗಿದೆ.
ಸರಿಸುಮಾರು 45% ಉದ್ಯೋಗ ಪೋಸ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ AWS ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಇದು ಅಮೆಜಾನ್‌ನಿಂದ ತಯಾರಿಸಲ್ಪಟ್ಟ ಕ್ಲೌಡ್ ಕಂಪ್ಯೂಟಿಂಗ್ ವೇದಿಕೆಯಾಗಿದೆ; ಇದು ಎಲ್ಲಾ ಕ್ಲೌಡ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಲ್ಲಿ ಅತಿದೊಡ್ಡ ಮಾರುಕಟ್ಟೆ ಪಾಲನ್ನು ಹೊಂದಿದೆ.
ಮುಂದೆ ಜಾವಾ ಮತ್ತು ಹಡೂಪ್ ಬರುತ್ತವೆ - ಅವರ ಸಹೋದರನಿಗೆ 40% ಕ್ಕಿಂತ ಸ್ವಲ್ಪ ಹೆಚ್ಚು. ಇದು ವ್ಯಾಪಕವಾಗಿ ಮಾತನಾಡುವ, ಯುದ್ಧ-ಪರೀಕ್ಷಿತ ಭಾಷೆಯಾಗಿದೆ ಪ್ರೋಗ್ರಾಮರ್ಗಳಲ್ಲಿ ಭಯಾನಕತೆಯನ್ನು ಉಂಟುಮಾಡುವ ಭಾಷೆಗಳಲ್ಲಿ ಹತ್ತನೇ ಸ್ಥಾನವನ್ನು ನೀಡಲಾಯಿತು. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ಪೈಥಾನ್ ಎರಡನೇ ಅತ್ಯಂತ ಪ್ರೀತಿಪಾತ್ರ ಭಾಷೆಯಾಗಿದೆ. ಜಾವಾ ಭಾಷೆಯನ್ನು ಒರಾಕಲ್ ನಡೆಸುತ್ತಿದೆ ಮತ್ತು ಅದರ ಬಗ್ಗೆ ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕಾದ ಎಲ್ಲವನ್ನೂ ಜನವರಿ 2020 ರಿಂದ ಅಧಿಕೃತ ಪುಟದ ಈ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ನಿಂದ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬಹುದು.
ಇದು ಸಮಯ ಯಂತ್ರದಲ್ಲಿ ಸವಾರಿ ಮಾಡುವಂತಿದೆ
ದೊಡ್ಡ ಡೇಟಾಕ್ಕಾಗಿ ಸರ್ವರ್ ಕ್ಲಸ್ಟರ್‌ಗಳೊಂದಿಗೆ MapReduce ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಈಗ ಈ ಮಾದರಿಯನ್ನು ಹೆಚ್ಚು ಕೈಬಿಡಲಾಗುತ್ತಿದೆ.
ನಂತರ ನಾವು ಹೈವ್, ಸ್ಕಾಲಾ, ಕಾಫ್ಕಾ ಮತ್ತು NoSQL ಅನ್ನು ನೋಡುತ್ತೇವೆ - ಈ ಪ್ರತಿಯೊಂದು ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಸಲ್ಲಿಸಿದ ಖಾಲಿ ಹುದ್ದೆಗಳ ಕಾಲುಭಾಗದಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ. ಅಪಾಚೆ ಹೈವ್ ಡೇಟಾ ವೇರ್‌ಹೌಸ್ ಸಾಫ್ಟ್‌ವೇರ್ ಆಗಿದ್ದು ಅದು "SQL ಅನ್ನು ಬಳಸಿಕೊಂಡು ವಿತರಿಸಿದ ಅಂಗಡಿಗಳಲ್ಲಿ ವಾಸಿಸುವ ದೊಡ್ಡ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಓದಲು, ಬರೆಯಲು ಮತ್ತು ನಿರ್ವಹಿಸಲು ಸುಲಭಗೊಳಿಸುತ್ತದೆ." - ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಾಗ ಸಕ್ರಿಯವಾಗಿ ಬಳಸಲಾಗುವ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ, ಸ್ಕಾಲಾದಲ್ಲಿ ಸ್ಪಾರ್ಕ್ ಅನ್ನು ರಚಿಸಲಾಗಿದೆ. ಭಯಪಡುವ ಭಾಷೆಗಳ ಈಗಾಗಲೇ ಉಲ್ಲೇಖಿಸಲಾದ ಶ್ರೇಯಾಂಕದಲ್ಲಿ, ಸ್ಕಲಾ ಹನ್ನೊಂದನೇ ಸ್ಥಾನದಲ್ಲಿದೆ. - ಸ್ಟ್ರೀಮಿಂಗ್ ಸಂದೇಶಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ವಿತರಿಸಿದ ವೇದಿಕೆ. ಡೇಟಾ ಸ್ಟ್ರೀಮಿಂಗ್ ಸಾಧನವಾಗಿ ಬಹಳ ಜನಪ್ರಿಯವಾಗಿದೆ.
SQL ನೊಂದಿಗೆ ತದ್ವಿರುದ್ಧವಾಗಿ. ಅವು ಸಂಬಂಧವಿಲ್ಲದ, ರಚನೆಯಿಲ್ಲದ ಮತ್ತು ಅಡ್ಡಲಾಗಿ ಸ್ಕೇಲೆಬಲ್ ಆಗಿರುವಲ್ಲಿ ಅವು ಭಿನ್ನವಾಗಿರುತ್ತವೆ. NoSQL ಕೆಲವು ಜನಪ್ರಿಯತೆಯನ್ನು ಗಳಿಸಿದೆ, ಆದರೆ ಇದು SQL ಅನ್ನು ಪ್ರಬಲವಾದ ಶೇಖರಣಾ ಮಾದರಿಯಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ ಎಂಬ ಭವಿಷ್ಯವಾಣಿಯ ಹಂತಕ್ಕೂ ಈ ವಿಧಾನದ ವ್ಯಾಮೋಹವು ಮುಗಿದಿದೆ.
ಡೇಟಾ ವಿಜ್ಞಾನಿ ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿನ ನಿಯಮಗಳೊಂದಿಗೆ ಹೋಲಿಕೆ
ಡೇಟಾ ಸೈನ್ಸ್ ಉದ್ಯೋಗದಾತರಲ್ಲಿ ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿರುವ ಮೂವತ್ತು ತಂತ್ರಜ್ಞಾನ ಪದಗಳು ಇಲ್ಲಿವೆ. ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ಗಾಗಿ ಮೇಲೆ ವಿವರಿಸಿದಂತೆ ನಾನು ಈ ಪಟ್ಟಿಯನ್ನು ಪಡೆದುಕೊಂಡಿದ್ದೇನೆ.
2020 ರಲ್ಲಿ ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಹುದ್ದೆಗೆ ಖಾಲಿ ಇರುವ ಹುದ್ದೆಗಳಲ್ಲಿ ತಂತ್ರಜ್ಞಾನದ ಉಲ್ಲೇಖಗಳು
ನಾವು ಒಟ್ಟು ಸಂಖ್ಯೆಯ ಬಗ್ಗೆ ಮಾತನಾಡಿದರೆ, ಹಿಂದೆ ಪರಿಗಣಿಸಲಾದ ನೇಮಕಾತಿಗೆ ಹೋಲಿಸಿದರೆ, 28% ಹೆಚ್ಚು ಖಾಲಿ ಹುದ್ದೆಗಳಿವೆ (12 ವರ್ಸಸ್ 013). ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳಿಗಿಂತ ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳ ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿ ಯಾವ ತಂತ್ರಜ್ಞಾನಗಳು ಕಡಿಮೆ ಸಾಮಾನ್ಯವಾಗಿದೆ ಎಂದು ನೋಡೋಣ.
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ನಲ್ಲಿ ಹೆಚ್ಚು ಜನಪ್ರಿಯವಾಗಿದೆ
ಕೆಳಗಿನ ಗ್ರಾಫ್ 10% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಥವಾ -10% ಕ್ಕಿಂತ ಕಡಿಮೆ ಸರಾಸರಿ ವ್ಯತ್ಯಾಸದೊಂದಿಗೆ ಕೀವರ್ಡ್‌ಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.
ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳ ನಡುವಿನ ಕೀವರ್ಡ್ ಆವರ್ತನದಲ್ಲಿನ ದೊಡ್ಡ ವ್ಯತ್ಯಾಸಗಳು
AWS ಅತ್ಯಂತ ಗಮನಾರ್ಹವಾದ ಹೆಚ್ಚಳವನ್ನು ತೋರಿಸುತ್ತದೆ: ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ನಲ್ಲಿ ಇದು ಡೇಟಾ ಸೈನ್ಸ್‌ಗಿಂತ 25% ಹೆಚ್ಚು ನಿಯಮಿತವಾಗಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ (ಅಂದಾಜು 45% ಮತ್ತು ಒಟ್ಟು ಖಾಲಿ ಹುದ್ದೆಗಳ 20% ಅನುಕ್ರಮವಾಗಿ). ವ್ಯತ್ಯಾಸವು ಗಮನಾರ್ಹವಾಗಿದೆ!
ಸ್ವಲ್ಪ ವಿಭಿನ್ನವಾದ ಪ್ರಸ್ತುತಿಯಲ್ಲಿ ಅದೇ ಡೇಟಾ ಇಲ್ಲಿದೆ - ಗ್ರಾಫ್‌ನಲ್ಲಿ, ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಮತ್ತು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್ ಹುದ್ದೆಯ ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿ ಒಂದೇ ಕೀವರ್ಡ್‌ನ ಫಲಿತಾಂಶಗಳು ಅಕ್ಕಪಕ್ಕದಲ್ಲಿವೆ.
ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳ ನಡುವಿನ ಕೀವರ್ಡ್ ಆವರ್ತನದಲ್ಲಿನ ದೊಡ್ಡ ವ್ಯತ್ಯಾಸಗಳು
ನಾನು ಗಮನಿಸಿದ ಮುಂದಿನ ದೊಡ್ಡ ಜಂಪ್ ಸ್ಪಾರ್ಕ್‌ನಲ್ಲಿದೆ - ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಆಗಾಗ್ಗೆ ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬೇಕಾಗುತ್ತದೆ. 20% ರಷ್ಟು ಹೆಚ್ಚಾಗಿದೆ, ಅಂದರೆ ಡೇಟಾ ವಿಜ್ಞಾನಿ ಹುದ್ದೆಯ ಫಲಿತಾಂಶಕ್ಕೆ ಹೋಲಿಸಿದರೆ ಸುಮಾರು ನಾಲ್ಕು ಪಟ್ಟು ಹೆಚ್ಚಾಗಿದೆ. ಡೇಟಾ ವರ್ಗಾವಣೆಯು ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ನ ಪ್ರಮುಖ ಜವಾಬ್ದಾರಿಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ಅಂತಿಮವಾಗಿ, ಜಾವಾ, NoSQL, Redshift, SQL ಮತ್ತು Hadoop ಗಾಗಿ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಕ್ಷೇತ್ರದಲ್ಲಿ ಉಲ್ಲೇಖಗಳ ಸಂಖ್ಯೆ 15% ಹೆಚ್ಚಾಗಿದೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ನಲ್ಲಿ ಕಡಿಮೆ ಜನಪ್ರಿಯವಾಗಿದೆ
ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಹುದ್ದೆಗಳಲ್ಲಿ ಯಾವ ತಂತ್ರಜ್ಞಾನಗಳು ಕಡಿಮೆ ಜನಪ್ರಿಯವಾಗಿವೆ ಎಂಬುದನ್ನು ಈಗ ನೋಡೋಣ.
ದತ್ತಾಂಶ ವಿಜ್ಞಾನ ಕ್ಷೇತ್ರಕ್ಕೆ ಹೋಲಿಸಿದರೆ ತೀವ್ರ ಕುಸಿತ ಕಂಡುಬಂದಿದೆ : ಅಲ್ಲಿ ಅವರು ಸುಮಾರು 56% ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಂಡರು, ಇಲ್ಲಿ - 17% ರಲ್ಲಿ ಮಾತ್ರ. ಪ್ರಭಾವಶಾಲಿ. R ಎಂಬುದು ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಯಾಗಿದ್ದು ಅದು ವಿಜ್ಞಾನಿಗಳು ಮತ್ತು ಸಂಖ್ಯಾಶಾಸ್ತ್ರಜ್ಞರಿಂದ ಒಲವು ಹೊಂದಿದೆ ಮತ್ತು ಇದು ವಿಶ್ವದ ಎಂಟನೇ ಅತ್ಯಂತ ಭಯಭೀತ ಭಾಷೆಯಾಗಿದೆ.
ದತ್ತಾಂಶ ಇಂಜಿನಿಯರ್ ಹುದ್ದೆಯ ಖಾಲಿ ಹುದ್ದೆಗಳಲ್ಲಿ ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಬಾರಿ ಕಂಡುಬರುತ್ತದೆ - ವ್ಯತ್ಯಾಸವು 14% ಆಗಿದೆ. SAS ಎಂಬುದು ಅಂಕಿಅಂಶಗಳು ಮತ್ತು ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಸ್ವಾಮ್ಯದ ಭಾಷೆಯಾಗಿದೆ. ಕುತೂಹಲಕಾರಿ ಅಂಶ: ಫಲಿತಾಂಶಗಳ ಮೂಲಕ ನಿರ್ಣಯಿಸುವುದು , ಇದು ಇತ್ತೀಚೆಗೆ ಬಹಳಷ್ಟು ನೆಲವನ್ನು ಕಳೆದುಕೊಂಡಿದೆ-ಇತರ ತಂತ್ರಜ್ಞಾನಕ್ಕಿಂತ ಹೆಚ್ಚು.
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಡೇಟಾ ಸೈನ್ಸ್ ಎರಡರಲ್ಲೂ ಬೇಡಿಕೆಯಿದೆ
ಎರಡೂ ಸೆಟ್‌ಗಳಲ್ಲಿ ಮೊದಲ ಹತ್ತು ಸ್ಥಾನಗಳಲ್ಲಿ ಎಂಟು ಒಂದೇ ಆಗಿವೆ ಎಂದು ಗಮನಿಸಬೇಕು. SQL, Python, Spark, AWS, Java, Hadoop, Hive ಮತ್ತು Scala ದತ್ತಾಂಶ ಇಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಡೇಟಾ ಸೈನ್ಸ್ ಇಂಡಸ್ಟ್ರೀಸ್ ಎರಡಕ್ಕೂ ಅಗ್ರ ಹತ್ತರಲ್ಲಿ ಸ್ಥಾನ ಪಡೆದಿವೆ. ಕೆಳಗಿನ ಗ್ರಾಫ್‌ನಲ್ಲಿ ನೀವು ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಉದ್ಯೋಗದಾತರಲ್ಲಿ ಹದಿನೈದು ಅತ್ಯಂತ ಜನಪ್ರಿಯ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ನೋಡಬಹುದು ಮತ್ತು ಅವುಗಳ ಪಕ್ಕದಲ್ಲಿ ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗೆ ಅವರ ಖಾಲಿ ದರವಿದೆ.
ಶಿಫಾರಸುಗಳನ್ನು
ನೀವು ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ ಪ್ರವೇಶಿಸಲು ಬಯಸಿದರೆ, ಈ ಕೆಳಗಿನ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಕರಗತ ಮಾಡಿಕೊಳ್ಳಲು ನಾನು ನಿಮಗೆ ಸಲಹೆ ನೀಡುತ್ತೇನೆ - ನಾನು ಅವುಗಳನ್ನು ಅಂದಾಜು ಆದ್ಯತೆಯ ಕ್ರಮದಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡುತ್ತೇನೆ.
SQL ಕಲಿಯಿರಿ. ನಾನು PostgreSQL ಕಡೆಗೆ ಒಲವು ತೋರುತ್ತಿದ್ದೇನೆ ಏಕೆಂದರೆ ಅದು ಮುಕ್ತ ಮೂಲವಾಗಿದೆ, ಸಮುದಾಯದಲ್ಲಿ ಬಹಳ ಜನಪ್ರಿಯವಾಗಿದೆ ಮತ್ತು ಬೆಳವಣಿಗೆಯ ಹಂತದಲ್ಲಿದೆ. ನನ್ನ ಸ್ಮರಣೀಯ SQL ಪುಸ್ತಕದಿಂದ ಭಾಷೆಯನ್ನು ಹೇಗೆ ಬಳಸಬೇಕೆಂದು ನೀವು ಕಲಿಯಬಹುದು - ಅದರ ಪೈಲಟ್ ಆವೃತ್ತಿ ಲಭ್ಯವಿದೆ .
ಮಾಸ್ಟರ್ ಪೈಥಾನ್, ಅತ್ಯಂತ ಹಾರ್ಡ್‌ಕೋರ್ ಮಟ್ಟದಲ್ಲಿಲ್ಲದಿದ್ದರೂ ಸಹ. ನನ್ನ ಸ್ಮರಣೀಯ ಪೈಥಾನ್ ಅನ್ನು ಆರಂಭಿಕರಿಗಾಗಿ ವಿಶೇಷವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಇದನ್ನು ಖರೀದಿಸಬಹುದು , ಎಲೆಕ್ಟ್ರಾನಿಕ್ ಅಥವಾ ಭೌತಿಕ ನಕಲು, ನಿಮ್ಮ ಆಯ್ಕೆ, ಅಥವಾ pdf ಅಥವಾ epub ಸ್ವರೂಪದಲ್ಲಿ ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ .
ಒಮ್ಮೆ ನೀವು ಪೈಥಾನ್‌ನೊಂದಿಗೆ ಪರಿಚಿತರಾಗಿದ್ದರೆ, ಡೇಟಾ ಕ್ಲೀನಿಂಗ್ ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೆ ಬಳಸಲಾಗುವ ಪೈಥಾನ್ ಲೈಬ್ರರಿಯಾದ ಪಾಂಡಾಗಳಿಗೆ ತೆರಳಿ. ಪೈಥಾನ್‌ನಲ್ಲಿ ಬರೆಯುವ ಸಾಮರ್ಥ್ಯದ ಅಗತ್ಯವಿರುವ ಕಂಪನಿಯಲ್ಲಿ ನೀವು ಕೆಲಸ ಮಾಡುವ ಗುರಿಯನ್ನು ಹೊಂದಿದ್ದರೆ (ಮತ್ತು ಇದು ಅವುಗಳಲ್ಲಿ ಬಹುಪಾಲು), ಪಾಂಡಾಗಳ ಜ್ಞಾನವು ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಊಹಿಸಲ್ಪಡುತ್ತದೆ ಎಂದು ನೀವು ಖಚಿತವಾಗಿ ಹೇಳಬಹುದು. ನಾನು ಪ್ರಸ್ತುತ ಪಾಂಡಾಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಪರಿಚಯಾತ್ಮಕ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಮುಗಿಸುತ್ತಿದ್ದೇನೆ - ನೀವು ಮಾಡಬಹುದು ಆದ್ದರಿಂದ ಬಿಡುಗಡೆಯ ಕ್ಷಣವನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳಬಾರದು.
ಮಾಸ್ಟರ್ AWS. ನೀವು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಆಗಲು ಬಯಸಿದರೆ, ಸ್ಟ್ಯಾಶ್‌ನಲ್ಲಿ ಕ್ಲೌಡ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಇಲ್ಲದೆ ನೀವು ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ ಮತ್ತು AWS ಅವುಗಳಲ್ಲಿ ಅತ್ಯಂತ ಜನಪ್ರಿಯವಾಗಿದೆ. ಕೋರ್ಸ್‌ಗಳು ನನಗೆ ತುಂಬಾ ಸಹಾಯ ಮಾಡಿತು ನಾನು ಓದುತ್ತಿದ್ದಾಗ , ಅವರು AWS ನಲ್ಲಿ ಉತ್ತಮ ವಸ್ತುಗಳನ್ನು ಸಹ ಹೊಂದಿರುತ್ತಾರೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ.
ನೀವು ಈಗಾಗಲೇ ಈ ಸಂಪೂರ್ಣ ಪಟ್ಟಿಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ್ದರೆ ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಆಗಿ ಉದ್ಯೋಗದಾತರ ದೃಷ್ಟಿಯಲ್ಲಿ ಮತ್ತಷ್ಟು ಬೆಳೆಯಲು ಬಯಸಿದರೆ, ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಅನ್ನು ಸೇರಿಸಲು ನಾನು ಸಲಹೆ ನೀಡುತ್ತೇನೆ. ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿ ಹುದ್ದೆಯ ಕುರಿತು ನನ್ನ ಸಂಶೋಧನೆಯು ಆಸಕ್ತಿಯಲ್ಲಿ ಕುಸಿತವನ್ನು ತೋರಿಸಿದೆಯಾದರೂ, ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ಗಳಲ್ಲಿ ಇದು ಇನ್ನೂ ಪ್ರತಿ ಸೆಕೆಂಡ್ ಖಾಲಿ ಜಾಗದಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ.
ಕೊನೆಗೆ
ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಹೆಚ್ಚು ಬೇಡಿಕೆಯಲ್ಲಿರುವ ತಂತ್ರಜ್ಞಾನಗಳ ಈ ಅವಲೋಕನವು ನಿಮಗೆ ಉಪಯುಕ್ತವಾಗಿದೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ. ವಿಶ್ಲೇಷಕರ ಉದ್ಯೋಗಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆ ಎಂದು ನೀವು ಆಶ್ಚರ್ಯ ಪಡುತ್ತಿದ್ದರೆ, ಓದಿ . ಹ್ಯಾಪಿ ಇಂಜಿನಿಯರಿಂಗ್!
ಮೂಲ: www.habr.com