डाटा इन्जिनियर र डाटा वैज्ञानिक: के फरक छ?

डाटा वैज्ञानिक र डाटा इन्जिनियरका पेशाहरू प्रायः भ्रमित हुन्छन्। प्रत्येक कम्पनीको डेटासँग काम गर्ने आफ्नै विशिष्टताहरू छन्, तिनीहरूको विश्लेषणका लागि विभिन्न उद्देश्यहरू र कुन विशेषज्ञले कामको कुन भागसँग व्यवहार गर्नुपर्छ भन्ने फरक विचार छ, त्यसैले प्रत्येकको आफ्नै आवश्यकताहरू छन्। 

यी विशेषज्ञहरू बीच के भिन्नता छ, उनीहरूले कुन व्यवसायिक समस्याहरू समाधान गर्छन्, उनीहरूसँग कस्ता सीपहरू छन् र उनीहरूले कति कमाउँछन् भनेर पत्ता लगाउनुहोस्। सामग्री ठूलो भयो, त्यसैले हामीले यसलाई दुई प्रकाशनहरूमा विभाजित गर्यौं।

पहिलो लेखमा, एलेना गेरासिमोवा, संकायको प्रमुख "डाटा विज्ञान र विश्लेषण"Netology मा, डेटा वैज्ञानिक र डाटा इन्जिनियर बीच के भिन्नता छ र तिनीहरूले कुन उपकरणहरूसँग काम गर्छन् भनेर बताउँछ।

कसरी इन्जिनियर र वैज्ञानिकहरूको भूमिका फरक छ

एक डाटा इन्जिनियर एक विशेषज्ञ हो जसले, एकातिर, डाटा पूर्वाधार विकास, परीक्षण र रखरखाव गर्दछ: डाटाबेस, भण्डारण र मास प्रोसेसिंग प्रणाली। अर्कोतर्फ, यो एक हो जसले विश्लेषकहरू र डाटा वैज्ञानिकहरू द्वारा प्रयोगको लागि डाटा सफा र "कम्ब्स" गर्दछ, जुन डाटा प्रोसेसिंग पाइपलाइनहरू सिर्जना गर्दछ।

डाटा वैज्ञानिकले मेसिन लर्निङ एल्गोरिदम र न्यूरल नेटवर्कहरू प्रयोग गरेर भविष्यवाणी गर्ने (र अन्य) मोडेलहरू सिर्जना र तालिम दिन्छ, व्यवसायहरूलाई लुकेका ढाँचाहरू फेला पार्न, विकासहरू भविष्यवाणी गर्न र प्रमुख व्यापार प्रक्रियाहरूलाई अनुकूलन गर्न मद्दत गर्दछ।

डाटा वैज्ञानिक र डाटा इन्जिनियर बीचको मुख्य भिन्नता भनेको तिनीहरूसँग सामान्यतया फरक लक्ष्यहरू हुन्छन्। डेटा पहुँचयोग्य र उच्च गुणस्तरको छ भनी सुनिश्चित गर्न दुवै काम गर्छन्। तर डेटा वैज्ञानिकले आफ्ना प्रश्नहरूको जवाफ फेला पार्छन् र डेटा इकोसिस्टममा परिकल्पनाहरू परीक्षण गर्छन् (उदाहरणका लागि, हडूपमा आधारित), र डेटा इन्जिनियरले स्पार्क क्लस्टरमा डेटा वैज्ञानिकले लेखेको मेसिन लर्निङ एल्गोरिथ्म सेवाको लागि पाइपलाइन सिर्जना गर्दछ। इकोसिस्टम। 

डेटा इन्जिनियरले टोलीको भागको रूपमा काम गरेर व्यवसायमा मूल्य ल्याउँछ। यसको कार्य विभिन्न सहभागीहरू बीचको महत्त्वपूर्ण लिङ्कको रूपमा कार्य गर्नु हो: विकासकर्ताहरूदेखि लिएर रिपोर्टिङका ​​व्यावसायिक उपभोक्ताहरू, र विश्लेषकहरूको उत्पादकता बढाउन, मार्केटिङ र उत्पादनदेखि BI सम्म। 

एक डाटा वैज्ञानिक, यसको विपरित, कम्पनीको रणनीतिमा सक्रिय भाग लिन्छ र अन्तर्दृष्टि निकाल्छ, निर्णय लिन्छ, स्वचालन एल्गोरिदमहरू लागू गर्दछ, मोडेलिंग र डाटाबाट मूल्य उत्पन्न गर्दछ।


डाटासँग काम गर्नु GIGO (गार्बेज इन - गार्बेज आउट) सिद्धान्तको अधीनमा छ: यदि विश्लेषकहरू र डाटा वैज्ञानिकहरूले अप्रस्तुत र सम्भावित रूपमा गलत डाटासँग व्यवहार गर्छन् भने, सबैभन्दा परिष्कृत विश्लेषण एल्गोरिदमहरू प्रयोग गरेर पनि नतिजाहरू गलत हुनेछन्। 

डाटा इन्जिनियरहरूले डाटालाई प्रशोधन, सफाई र रूपान्तरणका लागि पाइपलाइनहरू निर्माण गरेर र डाटा वैज्ञानिकहरूलाई उच्च-गुणस्तरको डाटासँग काम गर्न अनुमति दिएर यो समस्या समाधान गर्छन्। 

बजारमा डाटासँग काम गर्नका लागि धेरै उपकरणहरू छन् जसले प्रत्येक चरणलाई कभर गर्दछ: डाटाको उपस्थितिदेखि आउटपुटसम्म निर्देशक बोर्डको लागि ड्यासबोर्डमा। र यो महत्त्वपूर्ण छ कि तिनीहरूलाई प्रयोग गर्ने निर्णय एक इन्जिनियर द्वारा बनाईएको हो - यो फैशनेबल भएको कारणले होइन, तर यो प्रक्रियामा अन्य सहभागीहरूको कामलाई मद्दत गर्नेछ। 

परम्परागत रूपमा: यदि कुनै कम्पनीले BI र ETL बीच जडान गर्न आवश्यक छ - डाटा लोड गर्दै र रिपोर्टहरू अद्यावधिक गर्दै, यहाँ एक विशिष्ट विरासत आधार हो जुन डेटा इन्जिनियरले सामना गर्नुपर्नेछ (यो राम्रो छ यदि टोलीमा वास्तुकार पनि छ भने)।

डाटा इन्जिनियरको जिम्मेवारी

• डाटा प्रोसेसिङ पूर्वाधारको विकास, निर्माण र मर्मतसम्भार।
• त्रुटिहरू ह्यान्डलिङ र विश्वसनीय डाटा प्रोसेसिंग पाइपलाइनहरू सिर्जना गर्नुहोस्।
• विश्लेषकहरूको कामको लागि आवश्यक फारममा विभिन्न गतिशील स्रोतहरूबाट असंरचित डेटा ल्याउने।
• डेटा स्थिरता र गुणस्तर सुधार गर्न सिफारिसहरू प्रदान गर्दै।
• डाटा वैज्ञानिकहरू र डाटा विश्लेषकहरू द्वारा प्रयोग गरिएको डाटा आर्किटेक्चर प्रदान गर्ने र कायम राख्ने।
• दशौं वा सयौं सर्भरहरूको वितरित क्लस्टरमा निरन्तर र प्रभावकारी रूपमा डाटा प्रक्रिया र भण्डार गर्नुहोस्।
• सरल तर बलियो आर्किटेक्चरहरू सिर्जना गर्न उपकरणहरूको प्राविधिक व्यापार-अफहरू मूल्याङ्कन गर्नुहोस् जुन अवरोधबाट बच्न सक्छ।
• डाटा प्रवाह र सम्बन्धित प्रणालीहरूको नियन्त्रण र समर्थन (अनुगमन र अलर्टहरू सेटअप)।

डाटा इन्जिनियर ट्र्याजेक्टोरी भित्र अर्को विशेषज्ञता छ - एमएल इन्जिनियर। छोटकरीमा, यी इन्जिनियरहरू औद्योगिक कार्यान्वयन र प्रयोगमा मेसिन लर्निङ मोडेलहरू ल्याउनमा विशेषज्ञ छन्। अक्सर, डेटा वैज्ञानिकबाट प्राप्त गरिएको मोडेल अध्ययनको अंश हो र लडाई परिस्थितिहरूमा काम नगर्न सक्छ।

डेटा वैज्ञानिकको जिम्मेवारी

• मेसिन लर्निङ एल्गोरिदमहरू लागू गर्न डेटाबाट सुविधाहरू निकाल्दै।
• डेटामा ढाँचाहरू भविष्यवाणी गर्न र वर्गीकरण गर्न विभिन्न मेसिन लर्निङ उपकरणहरू प्रयोग गर्दै।
• फाइन-ट्युनिङ र एल्गोरिदमहरू अनुकूलन गरेर मेसिन लर्निङ एल्गोरिदमहरूको प्रदर्शन र शुद्धता सुधार गर्दै।
• "बलियो" परिकल्पनाहरूको गठन कम्पनीको रणनीति अनुसार परीक्षण गर्न आवश्यक छ।

डेटा इन्जिनियर र डेटा वैज्ञानिक दुवैले डेटा संस्कृतिको विकासमा ठोस योगदान साझा गर्छन्, जसको माध्यमबाट कम्पनीले थप नाफा कमाउन वा लागत घटाउन सक्छ।

इन्जिनियरहरू र वैज्ञानिकहरूले कुन भाषा र उपकरणहरूसँग काम गर्छन्?

आज, डाटा वैज्ञानिकहरूका लागि अपेक्षाहरू परिवर्तन भएका छन्। पहिले, इन्जिनियरहरूले ठूला SQL प्रश्नहरू सङ्कलन गर्थे, म्यानुअल रूपमा MapReduce लेख्थे र Informatica ETL, Pentaho ETL, Talend जस्ता उपकरणहरू प्रयोग गरेर डेटा प्रशोधन गर्थे। 

2020 मा, एक विशेषज्ञले पाइथन र आधुनिक गणना उपकरणहरू (उदाहरणका लागि, एयरफ्लो), क्लाउड प्लेटफर्महरूसँग काम गर्ने सिद्धान्तहरूको ज्ञान बिना गर्न सक्दैन (सुरक्षा सिद्धान्तहरू अवलोकन गर्दा हार्डवेयरमा बचत गर्न तिनीहरूलाई प्रयोग गर्दै)।

SAP, Oracle, MySQL, Redis ठूला कम्पनीहरूमा डाटा इन्जिनियरहरूका लागि परम्परागत उपकरणहरू हुन्। तिनीहरू राम्रा छन्, तर इजाजतपत्रहरूको लागत यति उच्च छ कि तिनीहरूसँग काम गर्न सिक्नुले औद्योगिक परियोजनाहरूमा मात्र अर्थ राख्छ। एकै समयमा, Postgres को रूप मा एक नि: शुल्क विकल्प छ - यो नि: शुल्क र प्रशिक्षण को लागी मात्र उपयुक्त छैन। 

ऐतिहासिक रूपमा, जाभा र स्कालाका लागि अनुरोधहरू प्रायः पाइन्छ, यद्यपि प्रविधिहरू र दृष्टिकोणहरू विकास हुँदा, यी भाषाहरू पृष्ठभूमिमा फिक्का हुन्छन्।

यद्यपि, हार्डकोर BigData: Hadoop, Spark र चिडियाखानाको बाँकी भागहरू अब डेटा इन्जिनियरको लागि आवश्यक छैन, तर परम्परागत ETL द्वारा समाधान गर्न नसकिने समस्याहरू समाधान गर्नका लागि एक प्रकारको उपकरण हो। 

प्रवृति भनेको भाषाको ज्ञान बिना उपकरणहरू प्रयोग गर्ने सेवाहरू हो जसमा तिनीहरू लेखिएका छन् (उदाहरणका लागि, जाभाको ज्ञान बिना Hadoop), साथै स्ट्रिमिङ डाटा (आवाज पहिचान वा भिडियोमा छवि पहिचान) प्रशोधन गर्नका लागि तयार सेवाहरूको प्रावधान। )।

SAS र SPSS बाट औद्योगिक समाधानहरू लोकप्रिय छन्, जबकि Tableau, Rapidminer, Stata र Julia पनि स्थानीय कार्यहरूको लागि डाटा वैज्ञानिकहरूद्वारा व्यापक रूपमा प्रयोग गरिन्छ।

पाइपलाइनहरू आफैं निर्माण गर्ने क्षमता विश्लेषकहरू र डेटा वैज्ञानिकहरूलाई केही वर्ष अघि मात्र देखा पर्‍यो: उदाहरणका लागि, अपेक्षाकृत सरल लिपिहरू प्रयोग गरेर PostgreSQL-आधारित भण्डारणमा डाटा पठाउन सम्भव छ। 

सामान्यतया, पाइपलाइनहरू र एकीकृत डाटा संरचनाहरूको प्रयोग डाटा इन्जिनियरहरूको जिम्मेवारी रहन्छ। तर आज, सम्बन्धित क्षेत्रहरूमा व्यापक दक्षताहरू भएका T- आकारका विशेषज्ञहरूको प्रवृत्ति पहिले भन्दा बलियो छ, किनभने उपकरणहरू निरन्तर सरलीकृत भइरहेका छन्।

किन डाटा इन्जिनियर र डाटा वैज्ञानिक सँगै काम गर्छन्

इन्जिनियरहरूसँग नजिकबाट काम गरेर, डेटा वैज्ञानिकहरूले अनुसन्धान पक्षमा ध्यान केन्द्रित गर्न सक्छन्, उत्पादन-तयार मेसिन लर्निङ एल्गोरिदमहरू सिर्जना गर्न सक्छन्।
र ईन्जिनियरहरूले स्केलेबिलिटी, डेटा पुन: प्रयोग, र प्रत्येक व्यक्तिगत परियोजनामा ​​डाटा इनपुट र आउटपुट पाइपलाइनहरू विश्वव्यापी वास्तुकला अनुरूप छन् भनेर सुनिश्चित गर्नमा ध्यान केन्द्रित गर्न आवश्यक छ।

जिम्मेवारीहरूको यो विभाजनले विभिन्न मेसिन लर्निङ परियोजनाहरूमा काम गर्ने टोलीहरूमा एकरूपता सुनिश्चित गर्दछ। 

सहयोगले कुशलतापूर्वक नयाँ उत्पादनहरू सिर्जना गर्न मद्दत गर्दछ। गति र गुणस्तर सबैका लागि सेवा सिर्जना गर्न (ग्लोबल भण्डारण वा ड्यासबोर्डहरूको एकीकरण) र प्रत्येक विशिष्ट आवश्यकता वा परियोजना कार्यान्वयन (उच्च विशिष्ट पाइपलाइन, बाह्य स्रोतहरू जडान) बीचको सन्तुलन मार्फत प्राप्त गरिन्छ। 

डेटा वैज्ञानिकहरू र विश्लेषकहरूसँग नजिकबाट काम गर्दा इन्जिनियरहरूलाई राम्रो कोड लेख्न विश्लेषणात्मक र अनुसन्धान कौशल विकास गर्न मद्दत गर्दछ। गोदाम र डाटा लेक प्रयोगकर्ताहरू बीच ज्ञान साझेदारीले सुधार गर्दछ, परियोजनाहरूलाई थप चुस्त बनाउँछ र थप दिगो दीर्घकालीन परिणामहरू प्रदान गर्दछ।

कम्पनीहरूमा डाटासँग काम गर्ने संस्कृति विकास गर्ने र त्यसमा आधारित व्यवसाय प्रक्रियाहरू निर्माण गर्ने लक्ष्य राखेका कम्पनीहरूमा, डाटा वैज्ञानिक र डाटा इन्जिनियरहरू एकअर्काको पूरक हुन्छन् र पूर्ण डाटा विश्लेषण प्रणाली सिर्जना गर्छन्। 

अर्को लेखमा हामी डाटा इन्जिनियर र डाटा वैज्ञानिकहरूले कस्तो प्रकारको शिक्षा हुनुपर्छ, उनीहरूलाई कस्तो सीपहरू विकास गर्न आवश्यक छ र बजारले कसरी काम गर्छ भन्ने बारेमा कुरा गर्नेछौं।

नेटोलोजीका सम्पादकहरूबाट

यदि तपाईं डाटा इन्जिनियर वा डाटा वैज्ञानिकको पेशा हेर्दै हुनुहुन्छ भने, हामी तपाईंलाई हाम्रा पाठ्यक्रम कार्यक्रमहरू अध्ययन गर्न आमन्त्रित गर्दछौं:

• पेशा"डाटा इन्जिनियर"।  
• पेशा"डेटा वैज्ञानिक"।

स्रोत: www.habr.com