डेटा अभियंता व्यवसायात सर्वाधिक मागणी असलेली कौशल्ये

मते आकडेवारी 2019, डेटा अभियंता सध्या एक व्यवसाय आहे ज्याची मागणी इतर कोणत्याही पेक्षा वेगाने वाढत आहे. डेटा अभियंता संस्थेमध्ये महत्त्वपूर्ण भूमिका बजावतो - डेटावर प्रक्रिया करण्यासाठी, रूपांतरित करण्यासाठी आणि संग्रहित करण्यासाठी वापरल्या जाणार्‍या पाइपलाइन आणि डेटाबेस तयार करणे आणि देखरेख करणे. या व्यवसायाच्या प्रतिनिधींना सर्वप्रथम कोणती कौशल्ये आवश्यक आहेत? डेटा वैज्ञानिकांना आवश्यक असलेल्या यादीपेक्षा ही यादी वेगळी आहे का? आपण माझ्या लेखातून या सर्व गोष्टी शिकू शकाल.

कोणती तंत्रज्ञान कौशल्ये सर्वात लोकप्रिय आहेत हे समजून घेण्यासाठी मी डेटा अभियंता पदासाठीच्या रिक्त पदांचे विश्लेषण केले कारण ते जानेवारी 2020 मध्ये आहेत. मग मी डेटा वैज्ञानिक पदासाठीच्या रिक्त पदांच्या आकडेवारीशी निकालांची तुलना केली - आणि काही मनोरंजक फरक दिसून आले.

जास्त प्रस्तावनेशिवाय, येथे शीर्ष दहा तंत्रज्ञान आहेत ज्यांचा नोकरीच्या पोस्टिंगमध्ये उल्लेख केला जातो:

2020 मध्ये डेटा अभियंता पदासाठी रिक्त पदांमधील तंत्रज्ञानाचा उल्लेख

चला हे समजू या.

डेटा इंजिनिअरच्या जबाबदाऱ्या

आज, डेटा अभियंते जे काम करतात ते संस्थांसाठी खूप महत्वाचे आहे - हे असे लोक आहेत जे माहिती संग्रहित करण्यासाठी आणि ती अशा स्वरूपात आणण्यासाठी जबाबदार आहेत की इतर कर्मचारी त्यासह कार्य करू शकतात. डेटा अभियंते एकाधिक स्त्रोतांकडून डेटा प्रवाहित करण्यासाठी किंवा बॅच करण्यासाठी पाइपलाइन तयार करतात. पाईपलाईन नंतर निष्कर्षण, परिवर्तन आणि लोडिंग ऑपरेशन्स करतात (दुसर्‍या शब्दात, ईटीएल प्रक्रिया), डेटा पुढील वापरासाठी अधिक योग्य बनवतात. यानंतर, डेटा सखोल प्रक्रियेसाठी विश्लेषक आणि डेटा वैज्ञानिकांना सबमिट केला जातो. शेवटी, डेटाचा प्रवास डॅशबोर्ड, अहवाल आणि मशीन लर्निंग मॉडेलमध्ये संपतो.

मी माहिती शोधत होतो ज्यामुळे मला या क्षणी डेटा अभियंत्याच्या कामात कोणत्या तंत्रज्ञानाची सर्वाधिक मागणी आहे याबद्दल निष्कर्ष काढता येईल.

पद्धती

मी तीन नोकरी शोध साइटवरून माहिती गोळा केली - सरळ सोडले, खरंच и राक्षस आणि यूएस रहिवाशांना उद्देशून असलेल्या रिक्त पदांच्या मजकुरात "डेटा अभियंता" च्या संयोगाने कोणते कीवर्ड आले ते पाहिले. या कार्यासाठी मी दोन पायथन लायब्ररी वापरल्या - विनंती и सुंदर सूप. कीवर्ड्समध्ये, डेटा सायंटिस्टच्या पदासाठीच्या रिक्त पदांचे विश्लेषण करण्यासाठी मागील यादीमध्ये समाविष्ट केलेल्या आणि डेटा अभियंत्यांच्या नोकरीच्या ऑफर वाचताना मी व्यक्तिचलितपणे निवडलेल्या दोन्हीचा मी समावेश केला. लिंक्डइन स्त्रोतांच्या सूचीमध्ये समाविष्ट केले गेले नाही, कारण डेटा गोळा करण्याच्या माझ्या शेवटच्या प्रयत्नानंतर मला तेथे बंदी घालण्यात आली होती.

प्रत्येक कीवर्डसाठी, मी प्रत्येक साइटवरील मजकुराच्या एकूण संख्येवरून हिटची टक्केवारी स्वतंत्रपणे मोजली आणि नंतर तीन स्त्रोतांसाठी सरासरी काढली.

निकाल

खाली तीस तांत्रिक डेटा अभियांत्रिकी अटी आहेत ज्या तीनही जॉब साइटवर सर्वाधिक स्कोअर आहेत.

आणि येथे समान संख्या आहेत, परंतु सारणी स्वरूपात सादर केल्या आहेत:

चला क्रमाने जाऊया.

परिणामांचे पुनरावलोकन

SQL आणि Python दोन्ही दोन तृतीयांश पेक्षा जास्त जॉब ओपनिंगमध्ये दिसतात. या दोन तंत्रज्ञानामुळेच प्रथम अभ्यास करण्यात अर्थ आहे. python ला डेटासह कार्य करण्यासाठी, वेबसाइट तयार करण्यासाठी आणि स्क्रिप्ट लिहिण्यासाठी वापरली जाणारी एक अतिशय लोकप्रिय प्रोग्रामिंग भाषा आहे. एस क्यू एल म्हणजे स्ट्रक्चर्ड क्वेरी लँग्वेज; यामध्ये भाषांच्या गटाद्वारे लागू केलेले मानक समाविष्ट आहे आणि रिलेशनल डेटाबेसमधून डेटा पुनर्प्राप्त करण्यासाठी वापरला जातो. हे बर्याच काळापूर्वी दिसले आणि स्वतःला अत्यंत प्रतिरोधक असल्याचे सिद्ध केले आहे.

सुमारे निम्म्या रिक्त पदांवर स्पार्कचा उल्लेख आहे. अपाचे स्पार्क स्ट्रीमिंग, SQL, मशीन लर्निंग आणि आलेख प्रक्रियेसाठी अंगभूत मॉड्यूल्ससह एक "युनिफाइड बिग डेटा अॅनालिटिक्स इंजिन" आहे. जे मोठ्या डेटाबेससह काम करतात त्यांच्यामध्ये हे विशेषतः लोकप्रिय आहे.

AWS अंदाजे 45% जॉब पोस्टिंगमध्ये दिसते. हे अॅमेझॉनद्वारे निर्मित क्लाउड कॉम्प्युटिंग प्लॅटफॉर्म आहे; सर्व क्लाउड प्लॅटफॉर्ममध्ये त्याचा सर्वात मोठा बाजार हिस्सा आहे.
पुढे जावा आणि हडूप येतात - त्यांच्या भावासाठी 40% पेक्षा थोडे जास्त. जावा ही एक व्यापकपणे बोलली जाणारी, युद्ध-चाचणी केलेली भाषा आहे 2019 स्टॅक ओव्हरफ्लो डेव्हलपर सर्वेक्षण प्रोग्रामरमध्ये भय निर्माण करणाऱ्या भाषांमध्ये दहावे स्थान देण्यात आले. याउलट, पायथन ही दुसरी सर्वात आवडती भाषा होती. Oracle द्वारे Java भाषा चालवली जाते आणि त्याबद्दल तुम्हाला जे काही माहित असणे आवश्यक आहे ते जानेवारी 2020 पासून अधिकृत पृष्ठाच्या या स्क्रीनशॉटवरून समजू शकते.

हे टाइम मशीनमध्ये चालण्यासारखे आहे
अपाचे हडोप मोठ्या डेटासाठी सर्व्हर क्लस्टरसह MapReduce प्रोग्रामिंग मॉडेल वापरते. आता हे मॉडेल वाढत्या प्रमाणात सोडले जात आहे.

मग आम्ही Hive, Scala, Kafka आणि NoSQL पाहतो - या प्रत्येक तंत्रज्ञानाचा उल्लेख सबमिट केलेल्या रिक्त जागांपैकी एक चतुर्थांश मध्ये केला आहे. Apache Hive हे डेटा वेअरहाऊस सॉफ्टवेअर आहे जे "SQL वापरून वितरित स्टोअरमध्ये राहणारे मोठे डेटासेट वाचणे, लिहिणे आणि व्यवस्थापित करणे सोपे करते." Scala - एक प्रोग्रामिंग भाषा जी मोठ्या डेटासह कार्य करताना सक्रियपणे वापरली जाते. विशेषतः, स्कालामध्ये स्पार्क तयार केला गेला. भीतीयुक्त भाषांच्या आधीच नमूद केलेल्या क्रमवारीत, स्काला अकराव्या क्रमांकावर आहे. अपाचे काफ्का - प्रवाहित संदेशांवर प्रक्रिया करण्यासाठी वितरित व्यासपीठ. डेटा प्रवाहित करण्याचे साधन म्हणून खूप लोकप्रिय.

NoSQL डेटाबेस एसक्यूएल सह स्वत: च्या विरोधाभास. ते भिन्न आहेत की ते संबंध नसलेले, असंरचित आणि क्षैतिजरित्या स्केलेबल आहेत. NoSQL ने काही प्रमाणात लोकप्रियता मिळवली आहे, परंतु या दृष्टिकोनाची क्रेझ, अगदी भविष्यवाण्यांपर्यंत की ते SQL ला प्रबळ स्टोरेज पॅराडाइम म्हणून बदलेल, असे दिसते.

डेटा सायंटिस्ट रिक्त पदांमधील अटींशी तुलना

डेटा सायन्स नियोक्त्यांमध्ये तीस तंत्रज्ञान संज्ञा सर्वात सामान्य आहेत. डेटा अभियांत्रिकीसाठी वर वर्णन केल्याप्रमाणे मी ही यादी प्राप्त केली आहे.

2020 मध्ये डेटा सायंटिस्टच्या पदासाठी रिक्त जागांमध्ये तंत्रज्ञानाचा उल्लेख

जर आपण एकूण संख्येबद्दल बोललो तर, पूर्वी मानल्या गेलेल्या भरतीच्या तुलनेत, 28% अधिक रिक्त जागा होत्या (12 विरुद्ध 013). डेटा अभियंत्यांच्या तुलनेत डेटा वैज्ञानिकांच्या रिक्त पदांमध्ये कोणते तंत्रज्ञान कमी आहे ते पाहू या.

डेटा अभियांत्रिकीमध्ये अधिक लोकप्रिय

खालील आलेख 10% पेक्षा जास्त किंवा -10% पेक्षा कमी सरासरी फरक असलेले कीवर्ड दर्शविते.

डेटा अभियंता आणि डेटा वैज्ञानिक यांच्यातील कीवर्ड वारंवारतामधील सर्वात मोठा फरक

AWS सर्वात लक्षणीय वाढ दर्शवते: डेटा अभियांत्रिकीमध्ये ते डेटा सायन्सच्या तुलनेत 25% अधिक नियमितपणे दिसून येते (अनुक्रमे एकूण रिक्त पदांच्या 45% आणि 20%). फरक लक्षात येतो!

येथे थोड्या वेगळ्या सादरीकरणात समान डेटा आहे - आलेखामध्ये, डेटा अभियंता आणि डेटा वैज्ञानिक या पदांसाठीच्या रिक्त पदांमधील समान कीवर्डचे परिणाम शेजारी शेजारी स्थित आहेत.

डेटा अभियंता आणि डेटा वैज्ञानिक यांच्यातील कीवर्ड वारंवारतामधील सर्वात मोठा फरक

मी लक्षात घेतलेली पुढची सर्वात मोठी उडी स्पार्कमध्ये होती - डेटा अभियंत्याला अनेकदा मोठ्या डेटासह काम करावे लागते. काफका डेटा सायंटिस्ट रिक्त पदांच्या निकालाच्या तुलनेत 20% ने देखील वाढ झाली आहे. डेटा ट्रान्सफर ही डेटा इंजिनिअरची प्रमुख जबाबदारी आहे. शेवटी, Java, NoSQL, Redshift, SQL आणि Hadoop साठी डेटा अभियांत्रिकी क्षेत्रात उल्लेखांची संख्या 15% जास्त होती.

डेटा अभियांत्रिकीमध्ये कमी लोकप्रिय

आता डेटा अभियंता रिक्त पदांमध्ये कोणते तंत्रज्ञान कमी लोकप्रिय आहेत ते पाहू.
डेटा सायन्स क्षेत्राच्या तुलनेत सर्वात तीव्र घसरण २०१५ मध्ये झाली R: तेथे तो अंदाजे 56% रिक्त पदांवर दिसला, येथे - फक्त 17% मध्ये. प्रभावशाली. R ही एक प्रोग्रामिंग भाषा आहे जी शास्त्रज्ञ आणि सांख्यिकीशास्त्रज्ञांनी पसंत केली आहे आणि जगातील आठव्या क्रमांकाची सर्वात भयंकर भाषा आहे.

एसएएस डेटा अभियंता पदाच्या रिक्त पदांमध्ये देखील लक्षणीयरीत्या कमी आढळतात - फरक 14% आहे. SAS ही एक मालकीची भाषा आहे जी आकडेवारी आणि डेटासह कार्य करण्यासाठी डिझाइन केलेली आहे. मनोरंजक मुद्दा: निकालांनुसार न्याय करणे डेटा वैज्ञानिकांसाठी नोकरीच्या संधींबद्दल माझे संशोधन, तो अलीकडे खूप जमीन गमावला आहे — इतर कोणत्याही तंत्रज्ञानापेक्षा जास्त.

डेटा अभियांत्रिकी आणि डेटा विज्ञान दोन्हीमध्ये मागणी आहे

हे लक्षात घ्यावे की दोन्ही संचातील पहिल्या दहापैकी आठ स्थाने समान आहेत. SQL, Python, Spark, AWS, Java, Hadoop, Hive आणि Scala ने डेटा अभियांत्रिकी आणि डेटा विज्ञान या दोन्ही उद्योगांसाठी टॉप टेनमध्ये स्थान मिळवले. खालील आलेखामध्ये तुम्ही डेटा अभियंता नियोक्त्यांमधील पंधरा सर्वात लोकप्रिय तंत्रज्ञान पाहू शकता आणि त्यांच्या पुढे डेटा वैज्ञानिकांसाठी त्यांचा रिक्तता दर आहे.

शिफारसी

तुम्हाला डेटा अभियांत्रिकीमध्ये प्रवेश घ्यायचा असल्यास, मी तुम्हाला खालील तंत्रज्ञानामध्ये प्रभुत्व मिळविण्याचा सल्ला देईन - मी त्यांना अंदाजे प्राधान्यक्रमानुसार सूचीबद्ध करतो.

SQL शिका. मी PostgreSQL कडे झुकत आहे कारण ते ओपन सोर्स आहे, समाजात खूप लोकप्रिय आहे आणि वाढीच्या टप्प्यात आहे. माय मेमोरेबल एसक्यूएल या पुस्तकातून तुम्ही भाषा कशी वापरायची ते शिकू शकता - त्याची पायलट आवृत्ती उपलब्ध आहे येथे.

मास्टर पायथन, अगदी हार्डकोर स्तरावर नसला तरीही. माझे संस्मरणीय पायथन विशेषतः नवशिक्यांसाठी डिझाइन केलेले आहे. येथे खरेदी करता येईल ऍमेझॉन, इलेक्ट्रॉनिक किंवा भौतिक प्रत, तुमची आवड, किंवा pdf किंवा epub स्वरूपात डाउनलोड करा या साइटवर.

एकदा तुम्ही Python शी परिचित झाल्यावर, pandas वर जा, Python लायब्ररी जी डेटा क्लीनिंग आणि प्रोसेसिंगसाठी वापरली जाते. जर तुम्‍ही अशा कंपनीत काम करण्‍याचे उद्दिष्ट ठेवत असाल जिला पायथनमध्‍ये लिहिण्‍याची क्षमता असणे आवश्‍यक आहे (आणि हे त्‍यातील बहुसंख्य आहे), तुम्‍ही खात्री बाळगू शकता की पांड्‍याचे ज्ञान डिफॉल्‍टपणे गृहीत धरले जाईल. मी सध्या पांडांसह काम करण्यासाठी एक परिचयात्मक मार्गदर्शक पूर्ण करत आहे - तुम्ही करू शकता सदस्यता घ्यासुटकेचा क्षण चुकवू नये म्हणून.

मास्टर AWS. तुम्हाला डेटा अभियंता बनायचे असल्यास, तुम्ही स्टॅशमध्ये क्लाउड प्लॅटफॉर्मशिवाय करू शकत नाही आणि AWS त्यापैकी सर्वात लोकप्रिय आहे. अभ्यासक्रमांनी मला खूप मदत केली लिनक्स अकादमीजेव्हा मी अभ्यास करत होतो Google Cloud वर डेटा अभियांत्रिकी, मला वाटते की त्यांच्याकडे AWS वर चांगले साहित्य देखील असेल.

जर तुम्ही ही संपूर्ण यादी आधीच पूर्ण केली असेल आणि डेटा अभियंता म्हणून नियोक्त्यांच्या नजरेत आणखी वाढ करू इच्छित असाल, तर मी मोठ्या डेटासह काम करण्यासाठी Apache Spark जोडण्याचा सल्ला देतो. डेटा सायंटिस्टच्या रिक्त पदांवरील माझ्या संशोधनाने स्वारस्य कमी केले असले तरी, डेटा अभियंत्यांमध्ये ते अजूनही जवळजवळ प्रत्येक सेकंदाच्या रिक्त जागेवर दिसून येते.

शेवटी

मला आशा आहे की डेटा अभियंत्यांसाठी सर्वात जास्त मागणी असलेल्या तंत्रज्ञानाचे हे विहंगावलोकन तुम्हाला उपयुक्त वाटले असेल. विश्लेषकांच्या नोकर्‍या कशा चालतात याबद्दल तुम्हाला आश्चर्य वाटत असल्यास, वाचा माझा दुसरा लेख. अभियांत्रिकीच्या शुभेच्छा!

स्त्रोत: www.habr.com