डेटा इंजीनियर और डेटा वैज्ञानिक: क्या अंतर है?

डेटा साइंटिस्ट और डेटा इंजीनियर के पेशे अक्सर भ्रमित होते हैं। प्रत्येक कंपनी के पास डेटा के साथ काम करने की अपनी विशिष्टताएं होती हैं, उनके विश्लेषण के लिए अलग-अलग उद्देश्य होते हैं और किस विशेषज्ञ को काम के किस हिस्से से निपटना चाहिए, इसका एक अलग विचार होता है, इसलिए प्रत्येक की अपनी आवश्यकताएं होती हैं। 

आइए जानें कि इन विशेषज्ञों के बीच क्या अंतर है, वे कौन सी व्यावसायिक समस्याएं हल करते हैं, उनके पास क्या कौशल हैं और वे कितना कमाते हैं। सामग्री बड़ी निकली, इसलिए हमने इसे दो प्रकाशनों में विभाजित कर दिया।

पहले लेख में, ऐलेना गेरासिमोवा, संकाय प्रमुख "डेटा साइंस और एनालिटिक्स"नेटोलॉजी में, यह बताता है कि डेटा साइंटिस्ट और डेटा इंजीनियर के बीच क्या अंतर है और वे किन उपकरणों के साथ काम करते हैं।

इंजीनियरों और वैज्ञानिकों की भूमिकाएँ किस प्रकार भिन्न हैं?

एक डेटा इंजीनियर एक विशेषज्ञ होता है, जो एक ओर, डेटा इंफ्रास्ट्रक्चर का विकास, परीक्षण और रखरखाव करता है: डेटाबेस, स्टोरेज और मास प्रोसेसिंग सिस्टम। दूसरी ओर, यह वह है जो विश्लेषकों और डेटा वैज्ञानिकों द्वारा उपयोग के लिए डेटा को साफ और "कंघी" करता है, यानी डेटा प्रोसेसिंग पाइपलाइन बनाता है।

डेटा साइंटिस्ट मशीन लर्निंग एल्गोरिदम और न्यूरल नेटवर्क का उपयोग करके भविष्य कहनेवाला (और अन्य) मॉडल बनाता है और प्रशिक्षित करता है, जिससे व्यवसायों को छिपे हुए पैटर्न खोजने, विकास की भविष्यवाणी करने और प्रमुख व्यावसायिक प्रक्रियाओं को अनुकूलित करने में मदद मिलती है।

डेटा साइंटिस्ट और डेटा इंजीनियर के बीच मुख्य अंतर यह है कि उनके पास आमतौर पर अलग-अलग लक्ष्य होते हैं। दोनों यह सुनिश्चित करने के लिए काम करते हैं कि डेटा पहुंच योग्य और उच्च गुणवत्ता वाला हो। लेकिन एक डेटा साइंटिस्ट अपने सवालों के जवाब ढूंढता है और डेटा इकोसिस्टम (उदाहरण के लिए, Hadoop पर आधारित) में परिकल्पनाओं का परीक्षण करता है, और एक डेटा इंजीनियर उसी के भीतर एक स्पार्क क्लस्टर में एक डेटा साइंटिस्ट द्वारा लिखी गई मशीन लर्निंग एल्गोरिदम की सर्विसिंग के लिए एक पाइपलाइन बनाता है। पारिस्थितिकी तंत्र। 

एक डेटा इंजीनियर एक टीम के हिस्से के रूप में काम करके किसी व्यवसाय में मूल्य लाता है। इसका कार्य विभिन्न प्रतिभागियों के बीच एक महत्वपूर्ण कड़ी के रूप में कार्य करना है: डेवलपर्स से लेकर रिपोर्टिंग के व्यावसायिक उपभोक्ताओं तक, और विपणन और उत्पाद से लेकर बीआई तक विश्लेषकों की उत्पादकता बढ़ाना। 

इसके विपरीत, एक डेटा वैज्ञानिक कंपनी की रणनीति और अंतर्दृष्टि निकालने, निर्णय लेने, स्वचालन एल्गोरिदम लागू करने, मॉडलिंग और डेटा से मूल्य उत्पन्न करने में सक्रिय भाग लेता है।


डेटा के साथ काम करना GIGO (कचरा अंदर - कचरा बाहर) सिद्धांत के अधीन है: यदि विश्लेषक और डेटा वैज्ञानिक अप्रस्तुत और संभावित रूप से गलत डेटा से निपटते हैं, तो सबसे परिष्कृत विश्लेषण एल्गोरिदम का उपयोग करने पर भी परिणाम गलत होंगे। 

डेटा इंजीनियर डेटा के प्रसंस्करण, सफाई और परिवर्तन के लिए पाइपलाइनों का निर्माण करके और डेटा वैज्ञानिकों को उच्च गुणवत्ता वाले डेटा के साथ काम करने की अनुमति देकर इस समस्या का समाधान करते हैं। 

डेटा के साथ काम करने के लिए बाज़ार में कई उपकरण हैं जो हर चरण को कवर करते हैं: डेटा की उपस्थिति से लेकर आउटपुट तक और निदेशक मंडल के लिए डैशबोर्ड तक। और यह महत्वपूर्ण है कि उनका उपयोग करने का निर्णय एक इंजीनियर द्वारा किया जाता है - इसलिए नहीं कि यह फैशनेबल है, बल्कि इसलिए कि वह वास्तव में इस प्रक्रिया में अन्य प्रतिभागियों के काम में मदद करेगा। 

परंपरागत रूप से: यदि किसी कंपनी को बीआई और ईटीएल के बीच कनेक्शन बनाने की आवश्यकता है - डेटा लोड करना और रिपोर्ट अपडेट करना, तो यहां एक विशिष्ट विरासत आधार है जिसे एक डेटा इंजीनियर को निपटना होगा (यह अच्छा है अगर टीम में एक आर्किटेक्ट भी है)।

एक डेटा इंजीनियर की जिम्मेदारियाँ

• डेटा प्रोसेसिंग बुनियादी ढांचे का विकास, निर्माण और रखरखाव।
• त्रुटियों को संभालना और विश्वसनीय डेटा प्रोसेसिंग पाइपलाइन बनाना।
• विभिन्न गतिशील स्रोतों से असंरचित डेटा को विश्लेषकों के कार्य के लिए आवश्यक रूप में लाना।
• डेटा स्थिरता और गुणवत्ता में सुधार के लिए सिफारिशें प्रदान करना।
• डेटा वैज्ञानिकों और डेटा विश्लेषकों द्वारा उपयोग किए जाने वाले डेटा आर्किटेक्चर को प्रदान करना और बनाए रखना।
• दसियों या सैकड़ों सर्वरों के वितरित क्लस्टर में डेटा को लगातार और कुशलता से संसाधित और संग्रहीत करें।
• सरल लेकिन मजबूत आर्किटेक्चर बनाने के लिए उपकरणों के तकनीकी व्यापार-बंद का मूल्यांकन करें जो व्यवधान से बच सकते हैं।
• डेटा प्रवाह और संबंधित प्रणालियों का नियंत्रण और समर्थन (निगरानी और अलर्ट स्थापित करना)।

डेटा इंजीनियर प्रक्षेपवक्र के भीतर एक और विशेषज्ञता है - एमएल इंजीनियर। संक्षेप में, ये इंजीनियर मशीन लर्निंग मॉडल को औद्योगिक कार्यान्वयन और उपयोग में लाने में माहिर हैं। अक्सर, डेटा वैज्ञानिक से प्राप्त मॉडल एक अध्ययन का हिस्सा होता है और युद्ध की स्थिति में काम नहीं कर सकता है।

एक डेटा वैज्ञानिक की जिम्मेदारियाँ

• मशीन लर्निंग एल्गोरिदम लागू करने के लिए डेटा से सुविधाएँ निकालना।
• डेटा में पैटर्न की भविष्यवाणी और वर्गीकरण करने के लिए विभिन्न मशीन लर्निंग टूल का उपयोग करना।
• एल्गोरिदम को फाइन-ट्यूनिंग और अनुकूलित करके मशीन लर्निंग एल्गोरिदम के प्रदर्शन और सटीकता में सुधार करना।
• कंपनी की रणनीति के अनुसार "मजबूत" परिकल्पनाओं का निर्माण, जिनका परीक्षण करने की आवश्यकता है।

डेटा इंजीनियर और डेटा साइंटिस्ट दोनों डेटा संस्कृति के विकास में एक ठोस योगदान साझा करते हैं, जिसके माध्यम से एक कंपनी अतिरिक्त लाभ उत्पन्न कर सकती है या लागत कम कर सकती है।

इंजीनियर और वैज्ञानिक किन भाषाओं और उपकरणों के साथ काम करते हैं?

आज डेटा वैज्ञानिकों की उम्मीदें बदल गई हैं। पहले, इंजीनियरों ने बड़ी SQL क्वेरीज़ एकत्र कीं, मैन्युअल रूप से MapReduce लिखा और Informatica ETL, Pentaho ETL, Talend जैसे टूल का उपयोग करके डेटा संसाधित किया। 

2020 में, एक विशेषज्ञ पायथन और आधुनिक गणना उपकरणों (उदाहरण के लिए, एयरफ्लो) के ज्ञान, क्लाउड प्लेटफार्मों के साथ काम करने के सिद्धांतों की समझ (सुरक्षा सिद्धांतों का पालन करते हुए हार्डवेयर पर बचत करने के लिए उनका उपयोग करना) के बिना नहीं कर सकता।

SAP, Oracle, MySQL, Redis बड़ी कंपनियों में डेटा इंजीनियरों के लिए पारंपरिक उपकरण हैं। वे अच्छे हैं, लेकिन लाइसेंस की लागत इतनी अधिक है कि उनके साथ काम करना सीखना केवल औद्योगिक परियोजनाओं में ही समझ में आता है। साथ ही, पोस्टग्रेज़ के रूप में एक मुफ़्त विकल्प भी है - यह मुफ़्त है और न केवल प्रशिक्षण के लिए उपयुक्त है। 

ऐतिहासिक रूप से, जावा और स्काला के लिए अनुरोध अक्सर पाए जाते हैं, हालाँकि जैसे-जैसे प्रौद्योगिकियाँ और दृष्टिकोण विकसित होते हैं, ये भाषाएँ पृष्ठभूमि में फीकी पड़ जाती हैं।

हालाँकि, हार्डकोर बिगडेटा: Hadoop, Spark और बाकी चिड़ियाघर अब डेटा इंजीनियर के लिए एक शर्त नहीं है, बल्कि उन समस्याओं को हल करने के लिए एक प्रकार का उपकरण है जिन्हें पारंपरिक ETL द्वारा हल नहीं किया जा सकता है। 

प्रवृत्ति उस भाषा के ज्ञान के बिना टूल का उपयोग करने की सेवाओं में है जिसमें वे लिखे गए हैं (उदाहरण के लिए, जावा के ज्ञान के बिना Hadoop), साथ ही स्ट्रीमिंग डेटा को संसाधित करने के लिए तैयार सेवाओं का प्रावधान (वीडियो पर आवाज पहचान या छवि पहचान) ).

एसएएस और एसपीएसएस के औद्योगिक समाधान लोकप्रिय हैं, जबकि टेबलू, रैपिडमिनर, स्टाटा और जूलिया का भी स्थानीय कार्यों के लिए डेटा वैज्ञानिकों द्वारा व्यापक रूप से उपयोग किया जाता है।

स्वयं पाइपलाइन बनाने की क्षमता विश्लेषकों और डेटा वैज्ञानिकों को कुछ साल पहले ही दिखाई दी थी: उदाहरण के लिए, अपेक्षाकृत सरल स्क्रिप्ट का उपयोग करके PostgreSQL-आधारित स्टोरेज में डेटा भेजना पहले से ही संभव है। 

आमतौर पर, पाइपलाइनों और एकीकृत डेटा संरचनाओं का उपयोग डेटा इंजीनियरों की जिम्मेदारी है। लेकिन आज, संबंधित क्षेत्रों में व्यापक दक्षता वाले टी-आकार के विशेषज्ञों की प्रवृत्ति पहले से कहीं अधिक मजबूत है, क्योंकि उपकरणों को लगातार सरल बनाया जा रहा है।

डेटा इंजीनियर और डेटा साइंटिस्ट एक साथ क्यों काम करते हैं?

इंजीनियरों के साथ मिलकर काम करके, डेटा वैज्ञानिक उत्पादन-तैयार मशीन लर्निंग एल्गोरिदम बनाकर अनुसंधान पक्ष पर ध्यान केंद्रित कर सकते हैं।
और इंजीनियरों को स्केलेबिलिटी, डेटा पुन: उपयोग और यह सुनिश्चित करने पर ध्यान केंद्रित करने की आवश्यकता है कि प्रत्येक व्यक्तिगत परियोजना में डेटा इनपुट और आउटपुट पाइपलाइन वैश्विक वास्तुकला का अनुपालन करती हैं।

जिम्मेदारियों का यह पृथक्करण विभिन्न मशीन लर्निंग परियोजनाओं पर काम करने वाली टीमों के बीच स्थिरता सुनिश्चित करता है। 

सहयोग नए उत्पादों को कुशलतापूर्वक बनाने में मदद करता है। गति और गुणवत्ता सभी के लिए एक सेवा बनाने (वैश्विक भंडारण या डैशबोर्ड का एकीकरण) और प्रत्येक विशिष्ट आवश्यकता या परियोजना (अत्यधिक विशिष्ट पाइपलाइन, बाहरी स्रोतों को जोड़ने) को लागू करने के बीच संतुलन के माध्यम से प्राप्त की जाती है। 

डेटा वैज्ञानिकों और विश्लेषकों के साथ मिलकर काम करने से इंजीनियरों को बेहतर कोड लिखने के लिए विश्लेषणात्मक और अनुसंधान कौशल विकसित करने में मदद मिलती है। वेयरहाउस और डेटा लेक उपयोगकर्ताओं के बीच ज्ञान साझा करने में सुधार होता है, जिससे परियोजनाएं अधिक सक्रिय हो जाती हैं और अधिक टिकाऊ दीर्घकालिक परिणाम प्रदान करती हैं।

उन कंपनियों में जिनका लक्ष्य डेटा के साथ काम करने और उनके आधार पर व्यावसायिक प्रक्रियाओं का निर्माण करने की संस्कृति विकसित करना है, डेटा साइंटिस्ट और डेटा इंजीनियर एक-दूसरे के पूरक हैं और एक संपूर्ण डेटा विश्लेषण प्रणाली बनाते हैं। 

अगले लेख में हम इस बारे में बात करेंगे कि एक डेटा इंजीनियर और डेटा वैज्ञानिकों के पास किस प्रकार की शिक्षा होनी चाहिए, उन्हें कौन से कौशल विकसित करने की आवश्यकता है और बाज़ार कैसे काम करता है।

नेटोलॉजी के संपादकों से

यदि आप डेटा इंजीनियर या डेटा साइंटिस्ट के पेशे पर विचार कर रहे हैं, तो हम आपको हमारे पाठ्यक्रम कार्यक्रमों का अध्ययन करने के लिए आमंत्रित करते हैं:

• पेशा "डेटा इंजीनियर'.  
• पेशा "डाटा वैज्ञानिक'.

स्रोत: www.habr.com