डेटा इंजीनियर पेशे में सबसे अधिक मांग वाले कौशल

के अनुसार सांख्यिकी 2019डेटा इंजीनियर वर्तमान में एक ऐसा पेशा है जिसकी मांग किसी भी अन्य की तुलना में तेजी से बढ़ रही है। एक डेटा इंजीनियर एक संगठन में एक महत्वपूर्ण भूमिका निभाता है - पाइपलाइनों और डेटाबेस को बनाना और बनाए रखना, जिनका उपयोग डेटा को संसाधित करने, बदलने और संग्रहीत करने के लिए किया जाता है। इस पेशे के प्रतिनिधियों को सबसे पहले किन कौशलों की आवश्यकता है? क्या यह सूची डेटा वैज्ञानिकों के लिए आवश्यक सूची से भिन्न है? इन सब के बारे में आप मेरे आर्टिकल से जानेंगे।

मैंने यह समझने के लिए कि कौन सी प्रौद्योगिकी कौशल सबसे लोकप्रिय हैं, डेटा इंजीनियर के पद के लिए जनवरी 2020 में रिक्तियों का विश्लेषण किया। फिर मैंने डेटा वैज्ञानिक पद के लिए रिक्तियों के आंकड़ों के साथ परिणामों की तुलना की - और कुछ दिलचस्प अंतर सामने आए।

अधिक प्रस्तावना के बिना, यहां शीर्ष दस प्रौद्योगिकियां दी गई हैं जिनका उल्लेख नौकरी पोस्टिंग में सबसे अधिक बार किया जाता है:

2020 में डेटा इंजीनियर पद के लिए रिक्तियों में प्रौद्योगिकियों का उल्लेख

चलिए इसका पता लगाते हैं।

एक डेटा इंजीनियर की जिम्मेदारियाँ

आज, डेटा इंजीनियर जो काम करते हैं वह संगठनों के लिए बहुत महत्वपूर्ण है - ये वे लोग हैं जो जानकारी संग्रहीत करने और इसे ऐसे रूप में लाने के लिए जिम्मेदार हैं कि अन्य कर्मचारी इसके साथ काम कर सकें। डेटा इंजीनियर कई स्रोतों से डेटा स्ट्रीम या बैच करने के लिए पाइपलाइन बनाते हैं। पाइपलाइन तब निष्कर्षण, परिवर्तन और लोडिंग ऑपरेशन (दूसरे शब्दों में, ईटीएल प्रक्रियाएं) करती हैं, जिससे डेटा आगे के उपयोग के लिए अधिक उपयुक्त हो जाता है। इसके बाद, डेटा को गहन प्रसंस्करण के लिए विश्लेषकों और डेटा वैज्ञानिकों को प्रस्तुत किया जाता है। अंत में, डेटा डैशबोर्ड, रिपोर्ट और मशीन लर्निंग मॉडल में अपनी यात्रा समाप्त करता है।

मैं ऐसी जानकारी की तलाश में था जो मुझे यह निष्कर्ष निकालने की अनुमति दे कि इस समय डेटा इंजीनियर के काम में कौन सी तकनीकों की सबसे अधिक मांग है।

तरीकों

मैंने तीन नौकरी खोज साइटों से जानकारी एकत्र की - SimplyHired, वास्तव में и राक्षस और देखा कि अमेरिकी निवासियों के लिए रिक्तियों के पाठ में "डेटा इंजीनियर" के साथ कौन से कीवर्ड सामने आए। इस कार्य के लिए मैंने दो पायथन पुस्तकालयों का उपयोग किया - अनुरोधों и सुंदर सूप. कीवर्ड के बीच, मैंने उन दोनों को शामिल किया जो डेटा वैज्ञानिक की स्थिति के लिए रिक्तियों का विश्लेषण करने के लिए पिछली सूची में शामिल थे, और जिन्हें मैंने डेटा इंजीनियरों के लिए नौकरी के प्रस्तावों को पढ़ते समय मैन्युअल रूप से चुना था। लिंक्डइन को स्रोतों की सूची में शामिल नहीं किया गया था, क्योंकि डेटा एकत्र करने के मेरे आखिरी प्रयास के बाद मुझे वहां प्रतिबंधित कर दिया गया था।

प्रत्येक कीवर्ड के लिए, मैंने प्रत्येक साइट पर टेक्स्ट की कुल संख्या से हिट के प्रतिशत की अलग से गणना की, और फिर तीन स्रोतों के औसत की गणना की।

निष्कर्ष

नीचे सभी तीन नौकरी साइटों पर उच्चतम स्कोर वाले तीस तकनीकी डेटा इंजीनियरिंग शब्द दिए गए हैं।

और यहां वही संख्याएं हैं, लेकिन तालिका के रूप में प्रस्तुत की गई हैं:

क्रम में चलते हैं।

परिणाम अवलोकन

समीक्षा की गई दो-तिहाई से अधिक नौकरियों में SQL और Python दोनों दिखाई देते हैं। ये दो प्रौद्योगिकियाँ हैं जिनका पहले अध्ययन करना उचित है। अजगर एक बहुत ही लोकप्रिय प्रोग्रामिंग भाषा है जिसका उपयोग डेटा के साथ काम करने, वेबसाइट बनाने और स्क्रिप्ट लिखने के लिए किया जाता है। एसक्यूएल संरचित क्वेरी भाषा के लिए खड़ा है; इसमें भाषाओं के समूह द्वारा कार्यान्वित एक मानक शामिल है और इसका उपयोग संबंधपरक डेटाबेस से डेटा पुनर्प्राप्त करने के लिए किया जाता है। यह बहुत समय पहले सामने आया था और इसने खुद को अत्यधिक प्रतिरोधी साबित कर दिया है।

करीब आधी भर्तियों में स्पार्क का जिक्र है. अपाचे स्पार्क एक "एकीकृत बड़ा डेटा एनालिटिक्स इंजन है जिसमें स्ट्रीमिंग, एसक्यूएल, मशीन लर्निंग और ग्राफ प्रोसेसिंग के लिए अंतर्निहित मॉड्यूल हैं।" यह उन लोगों के बीच विशेष रूप से लोकप्रिय है जो बड़े डेटाबेस के साथ काम करते हैं।

AWS लगभग 45% नौकरी पोस्टिंग में दिखाई देता है। यह अमेज़ॅन द्वारा निर्मित क्लाउड कंप्यूटिंग प्लेटफ़ॉर्म है; सभी क्लाउड प्लेटफार्मों के बीच इसकी बाजार हिस्सेदारी सबसे बड़ी है।
इसके बाद जावा और Hadoop आते हैं - अपने भाई के लिए 40% से थोड़ा अधिक। जावा यह एक व्यापक रूप से बोली जाने वाली, युद्ध-परीक्षित भाषा है 2019 स्टैक ओवरफ़्लो डेवलपर सर्वेक्षण प्रोग्रामर्स के बीच भय पैदा करने वाली भाषाओं में दसवें स्थान से सम्मानित किया गया। इसके विपरीत, पायथन दूसरी सबसे पसंदीदा भाषा थी। जावा भाषा Oracle द्वारा चलाई जाती है, और इसके बारे में आपको जो कुछ भी जानने की ज़रूरत है उसे जनवरी 2020 के आधिकारिक पृष्ठ के इस स्क्रीनशॉट से समझा जा सकता है।

यह टाइम मशीन में सवारी करने जैसा है
अपाचे होडोप बड़े डेटा के लिए सर्वर क्लस्टर के साथ MapReduce प्रोग्रामिंग मॉडल का उपयोग करता है। अब इस मॉडल को तेजी से त्यागा जा रहा है।

फिर हम हाइव, स्काला, काफ्का और नोएसक्यूएल देखते हैं - इनमें से प्रत्येक तकनीक का उल्लेख प्रस्तुत रिक्तियों के एक चौथाई में किया गया है। अपाचे हाइव एक डेटा वेयरहाउस सॉफ़्टवेयर है जो "एसक्यूएल का उपयोग करके वितरित स्टोर में रहने वाले बड़े डेटासेट को पढ़ना, लिखना और प्रबंधित करना आसान बनाता है।" स्काला - एक प्रोग्रामिंग भाषा जो बड़े डेटा के साथ काम करते समय सक्रिय रूप से उपयोग की जाती है। विशेष रूप से, स्पार्क स्काला में बनाया गया था। भयभीत भाषाओं की पहले से उल्लिखित रैंकिंग में, स्काला ग्यारहवें स्थान पर है। अपाचे काफ्का - स्ट्रीमिंग संदेशों को संसाधित करने के लिए एक वितरित मंच। डेटा स्ट्रीमिंग के साधन के रूप में बहुत लोकप्रिय है।

नोएसक्यूएल डेटाबेस स्वयं की तुलना SQL से करें। उनमें अंतर यह है कि वे गैर-संबंधपरक, असंरचित और क्षैतिज रूप से स्केलेबल हैं। NoSQL ने कुछ लोकप्रियता हासिल की है, लेकिन इस दृष्टिकोण के प्रति दीवानगी, यहां तक ​​कि भविष्यवाणी के बिंदु तक कि यह SQL को प्रमुख भंडारण प्रतिमान के रूप में प्रतिस्थापित कर देगा, खत्म होता दिख रहा है।

डेटा वैज्ञानिक रिक्तियों की शर्तों के साथ तुलना

यहां तीस प्रौद्योगिकी शब्द हैं जो डेटा विज्ञान नियोक्ताओं के बीच सबसे आम हैं। मैंने यह सूची उसी तरह प्राप्त की जैसे डेटा इंजीनियरिंग के लिए ऊपर वर्णित है।

2020 में डेटा वैज्ञानिक के पद के लिए रिक्तियों में प्रौद्योगिकी का उल्लेख

अगर कुल संख्या की बात करें तो पहले मानी गई भर्ती की तुलना में 28% अधिक रिक्तियां (12 बनाम 013) थीं। आइए देखें कि डेटा इंजीनियरों की तुलना में डेटा वैज्ञानिकों के लिए रिक्तियों में कौन सी तकनीकें कम आम हैं।

डेटा इंजीनियरिंग में अधिक लोकप्रिय

नीचे दिया गया ग्राफ़ 10% से अधिक या -10% से कम के औसत अंतर वाले कीवर्ड दिखाता है।

डेटा इंजीनियर और डेटा वैज्ञानिक के बीच कीवर्ड आवृत्ति में सबसे बड़ा अंतर

AWS सबसे महत्वपूर्ण वृद्धि दर्शाता है: डेटा इंजीनियरिंग में यह डेटा विज्ञान की तुलना में 25% अधिक नियमित रूप से दिखाई देता है (कुल रिक्तियों की संख्या का लगभग 45% और 20%)। अंतर ध्यान देने योग्य है!

यहां थोड़ी अलग प्रस्तुति में वही डेटा है - ग्राफ़ में, डेटा इंजीनियर और डेटा वैज्ञानिक की स्थिति के लिए रिक्तियों में एक ही कीवर्ड के परिणाम एक साथ स्थित हैं।

डेटा इंजीनियर और डेटा वैज्ञानिक के बीच कीवर्ड आवृत्ति में सबसे बड़ा अंतर

अगली सबसे बड़ी छलांग जो मैंने देखी वह स्पार्क में थी - एक डेटा इंजीनियर को अक्सर बड़े डेटा के साथ काम करना पड़ता है। काफ्का डेटा वैज्ञानिक रिक्तियों के परिणाम की तुलना में 20% की वृद्धि हुई, यानी लगभग चार गुना। डेटा ट्रांसफर एक डेटा इंजीनियर की प्रमुख जिम्मेदारियों में से एक है। अंततः, Java, NoSQL, Redshift, SQL और Hadoop के लिए डेटा इंजीनियरिंग के क्षेत्र में उल्लेखों की संख्या 15% अधिक थी।

डेटा इंजीनियरिंग में कम लोकप्रिय

अब आइए देखें कि डेटा इंजीनियर रिक्तियों में कौन सी तकनीकें कम लोकप्रिय हैं।
डेटा विज्ञान क्षेत्र की तुलना में सबसे तेज गिरावट आई R: वहां वह लगभग 56% रिक्तियों में उपस्थित हुए, यहां - केवल 17% में। प्रभावशाली। आर एक प्रोग्रामिंग भाषा है जिसे वैज्ञानिकों और सांख्यिकीविदों द्वारा पसंद किया जाता है, और यह दुनिया की आठवीं सबसे डरावनी भाषा है।

एसएएस डेटा इंजीनियर के पद के लिए रिक्तियां भी काफी कम पाई जाती हैं - अंतर 14% है। एसएएस एक मालिकाना भाषा है जिसे सांख्यिकी और डेटा के साथ काम करने के लिए डिज़ाइन किया गया है। दिलचस्प बात: परिणामों के आधार पर निर्णय लेना डेटा वैज्ञानिकों के लिए नौकरी के अवसरों पर मेरा शोध, इसने हाल ही में बहुत सारी जमीन खो दी है - किसी भी अन्य तकनीक से ज्यादा।

डेटा इंजीनियरिंग और डेटा साइंस दोनों में मांग है

यह ध्यान दिया जाना चाहिए कि दोनों सेटों में पहले दस स्थानों में से आठ समान हैं। SQL, Python, Spark, AWS, Java, Hadoop, Hive और Scala ने डेटा इंजीनियरिंग और डेटा साइंस दोनों उद्योगों के लिए शीर्ष दस में जगह बनाई। नीचे दिए गए ग्राफ़ में आप डेटा इंजीनियर नियोक्ताओं के बीच पंद्रह सबसे लोकप्रिय तकनीकों को देख सकते हैं, और उनके बगल में डेटा वैज्ञानिकों के लिए उनकी रिक्ति दर है।

अनुशंसाएँ

यदि आप डेटा इंजीनियरिंग में जाना चाहते हैं, तो मैं आपको निम्नलिखित तकनीकों में महारत हासिल करने की सलाह दूंगा - मैं उन्हें अनुमानित प्राथमिकता के क्रम में सूचीबद्ध करता हूं।

एसक्यूएल सीखें. मैं PostgreSQL की ओर झुक रहा हूं क्योंकि यह खुला स्रोत है, समुदाय में बहुत लोकप्रिय है, और विकास के चरण में है। आप माई मेमोरेबल एसक्यूएल पुस्तक से भाषा का उपयोग करना सीख सकते हैं - इसका पायलट संस्करण उपलब्ध है यहां.

मास्टर पायथन, भले ही सबसे कट्टर स्तर पर न हो। मेरा यादगार पायथन विशेष रूप से शुरुआती लोगों के लिए डिज़ाइन किया गया है। इसे यहां खरीदा जा सकता है वीरांगना, इलेक्ट्रॉनिक या भौतिक प्रतिलिपि, अपनी पसंद, या पीडीएफ या ईपीयूबी प्रारूप में डाउनलोड करें इस साइट पर.

एक बार जब आप पायथन से परिचित हो जाएं, तो पांडा की ओर बढ़ें, एक पायथन लाइब्रेरी जिसका उपयोग डेटा सफाई और प्रसंस्करण के लिए किया जाता है। यदि आप ऐसी कंपनी में काम करने का लक्ष्य बना रहे हैं जिसके लिए पायथन में लिखने की क्षमता की आवश्यकता है (और यह उनमें से अधिकांश है), तो आप निश्चिंत हो सकते हैं कि पांडा का ज्ञान डिफ़ॉल्ट रूप से माना जाएगा। मैं फिलहाल पांडा के साथ काम करने के लिए एक परिचयात्मक मार्गदर्शिका तैयार कर रहा हूं - आप कर सकते हैं सदस्यता लेंताकि रिहाई का क्षण छूट न जाए।

मास्टर एडब्लूएस. यदि आप डेटा इंजीनियर बनना चाहते हैं, तो आप क्लाउड प्लेटफ़ॉर्म के बिना ऐसा नहीं कर सकते, और AWS उनमें से सबसे लोकप्रिय है। पाठ्यक्रमों से मुझे बहुत मदद मिली लिनक्स अकादमीजब मैं पढ़ रहा था Google क्लाउड पर डेटा इंजीनियरिंग, मुझे लगता है कि उनके पास AWS पर भी अच्छी सामग्री होगी।

यदि आपने यह पूरी सूची पहले ही पूरी कर ली है और डेटा इंजीनियर के रूप में नियोक्ताओं की नजरों में आगे बढ़ना चाहते हैं, तो मैं बड़े डेटा के साथ काम करने के लिए अपाचे स्पार्क को जोड़ने का सुझाव देता हूं। हालाँकि डेटा वैज्ञानिक रिक्तियों पर मेरे शोध में रुचि में गिरावट देखी गई, डेटा इंजीनियरों के बीच यह अभी भी लगभग हर दूसरी रिक्ति में दिखाई देती है।

अन्त में

मुझे आशा है कि आपको डेटा इंजीनियरों के लिए सबसे अधिक मांग वाली प्रौद्योगिकियों का यह अवलोकन उपयोगी लगा होगा। यदि आप सोच रहे हैं कि विश्लेषक की नौकरियाँ कैसी चल रही हैं, तो पढ़ें मेरा दूसरा लेख. शुभ इंजीनियरिंग!

स्रोत: www.habr.com