डेटा अभियंता आणि डेटा वैज्ञानिक: काय फरक आहे?

डेटा सायंटिस्ट आणि डेटा अभियंता यांचे व्यवसाय अनेकदा गोंधळलेले असतात. प्रत्येक कंपनीकडे डेटासह काम करण्याची स्वतःची वैशिष्ट्ये आहेत, त्यांच्या विश्लेषणासाठी भिन्न हेतू आहेत आणि कोणत्या तज्ञाने कामाचा कोणता भाग हाताळला पाहिजे याची भिन्न कल्पना आहे, म्हणून प्रत्येकाच्या स्वतःच्या आवश्यकता आहेत. 

या तज्ञांमध्ये काय फरक आहे, ते कोणत्या व्यावसायिक समस्या सोडवतात, त्यांच्याकडे कोणती कौशल्ये आहेत आणि ते किती कमावतात ते शोधूया. सामग्री मोठी असल्याचे दिसून आले, म्हणून आम्ही ते दोन प्रकाशनांमध्ये विभागले.

पहिल्या लेखात, एलेना गेरासिमोवा, प्राध्यापकांच्या प्रमुख “डेटा विज्ञान आणि विश्लेषण"नेटोलॉजीमध्ये, डेटा सायंटिस्ट आणि डेटा अभियंता यांच्यात काय फरक आहे आणि ते कोणत्या साधनांसह कार्य करतात ते सांगते.

अभियंते आणि शास्त्रज्ञांच्या भूमिका कशा वेगळ्या आहेत

डेटा अभियंता हा एक विशेषज्ञ असतो जो एकीकडे डेटा इन्फ्रास्ट्रक्चर विकसित करतो, चाचणी करतो आणि देखरेख करतो: डेटाबेस, स्टोरेज आणि मास प्रोसेसिंग सिस्टम. दुसरीकडे, हा तो आहे जो विश्लेषक आणि डेटा वैज्ञानिकांद्वारे वापरण्यासाठी डेटा साफ आणि "कंघी" करतो, म्हणजेच डेटा प्रोसेसिंग पाइपलाइन तयार करतो.

डेटा सायंटिस्ट मशीन लर्निंग अल्गोरिदम आणि न्यूरल नेटवर्क्सचा वापर करून भविष्यसूचक (आणि इतर) मॉडेल तयार करतो आणि प्रशिक्षित करतो, व्यवसायांना लपविलेले नमुने शोधण्यात मदत करतो, घडामोडींचा अंदाज लावतो आणि मुख्य व्यवसाय प्रक्रिया ऑप्टिमाइझ करतो.

डेटा सायंटिस्ट आणि डेटा अभियंता यांच्यातील मुख्य फरक हा आहे की त्यांची ध्येये सहसा भिन्न असतात. दोन्ही डेटा प्रवेशयोग्य आणि उच्च दर्जाचा आहे याची खात्री करण्यासाठी कार्य करतात. परंतु डेटा सायंटिस्ट त्याच्या प्रश्नांची उत्तरे शोधतो आणि डेटा इकोसिस्टममध्ये गृहीतके तपासतो (उदाहरणार्थ, हडूपवर आधारित), आणि डेटा अभियंता त्याच आत स्पार्क क्लस्टरमध्ये डेटा सायंटिस्टने लिहिलेल्या मशीन लर्निंग अल्गोरिदमची सेवा देण्यासाठी पाइपलाइन तयार करतो. इकोसिस्टम 

डेटा अभियंता संघाचा एक भाग म्हणून काम करून व्यवसायात मूल्य आणतो. विविध सहभागींमधील महत्त्वाचा दुवा म्हणून काम करणे हे त्याचे कार्य आहे: विकासकांपासून ते व्यावसायिक अहवाल देणाऱ्या ग्राहकांपर्यंत आणि विश्लेषकांची उत्पादकता वाढवणे, मार्केटिंग आणि उत्पादनापासून ते BI पर्यंत. 

एक डेटा सायंटिस्ट, त्याउलट, कंपनीच्या धोरणात सक्रिय भाग घेतो आणि अंतर्दृष्टी काढतो, निर्णय घेतो, ऑटोमेशन अल्गोरिदम लागू करतो, मॉडेलिंग करतो आणि डेटामधून मूल्य निर्माण करतो.


डेटासह कार्य करणे हे GIGO (कचरा आत - कचरा बाहेर) तत्त्वाच्या अधीन आहे: जर विश्लेषक आणि डेटा शास्त्रज्ञ अप्रस्तुत आणि संभाव्य चुकीच्या डेटाशी व्यवहार करतात, तर सर्वात अत्याधुनिक विश्लेषण अल्गोरिदम वापरून देखील परिणाम चुकीचे असतील. 

डेटा अभियंते डेटावर प्रक्रिया, साफसफाई आणि परिवर्तन करण्यासाठी पाइपलाइन तयार करून आणि डेटा वैज्ञानिकांना उच्च-गुणवत्तेच्या डेटासह कार्य करण्याची परवानगी देऊन ही समस्या सोडवतात. 

डेटासह कार्य करण्यासाठी बाजारात अनेक साधने आहेत ज्यात प्रत्येक टप्पा समाविष्ट आहे: डेटाच्या दिसण्यापासून ते आउटपुटपर्यंत संचालक मंडळाच्या डॅशबोर्डपर्यंत. आणि हे महत्वाचे आहे की त्यांचा वापर करण्याचा निर्णय अभियंत्याने घेतला आहे - ते फॅशनेबल आहे म्हणून नाही, परंतु प्रक्रियेतील इतर सहभागींच्या कामात तो खरोखर मदत करेल. 

पारंपारिकपणे: जर एखाद्या कंपनीला BI आणि ETL - डेटा लोड करणे आणि अहवाल अद्यतनित करणे दरम्यान कनेक्शन करणे आवश्यक असेल तर, येथे एक सामान्य परंपरागत पाया आहे ज्याला डेटा अभियंत्यांना सामोरे जावे लागेल (टीममध्ये आर्किटेक्ट देखील असेल तर ते चांगले आहे).

डेटा इंजिनीअरच्या जबाबदाऱ्या

• डेटा प्रोसेसिंग पायाभूत सुविधांचा विकास, बांधकाम आणि देखभाल.
• त्रुटी हाताळणे आणि विश्वसनीय डेटा प्रोसेसिंग पाइपलाइन तयार करणे.
• विश्लेषकांच्या कार्यासाठी आवश्यक असलेल्या फॉर्ममध्ये विविध डायनॅमिक स्त्रोतांकडून असंरचित डेटा आणणे.
• डेटा सुसंगतता आणि गुणवत्ता सुधारण्यासाठी शिफारसी प्रदान करणे.
• डेटा वैज्ञानिक आणि डेटा विश्लेषकांनी वापरलेले डेटा आर्किटेक्चर प्रदान करणे आणि राखणे.
• दहापट किंवा शेकडो सर्व्हरच्या वितरित क्लस्टरमध्ये सातत्याने आणि कार्यक्षमतेने डेटावर प्रक्रिया आणि संचयित करा.
• साधे पण मजबूत आर्किटेक्चर तयार करण्यासाठी टूल्सच्या तांत्रिक ट्रेड-ऑफचे मूल्यमापन करा जे व्यत्यय टिकून राहू शकतात.
• डेटा प्रवाह आणि संबंधित प्रणालींचे नियंत्रण आणि समर्थन (निरीक्षण आणि सूचना सेट करणे).

डेटा अभियंता मार्गामध्ये आणखी एक विशेषीकरण आहे - एमएल अभियंता. थोडक्यात, हे अभियंते औद्योगिक अंमलबजावणी आणि वापरासाठी मशीन लर्निंग मॉडेल आणण्यात माहिर आहेत. बर्‍याचदा, डेटा सायंटिस्टकडून प्राप्त झालेले मॉडेल हे अभ्यासाचा भाग असते आणि ते लढाऊ परिस्थितीत कार्य करू शकत नाही.

डेटा सायंटिस्टच्या जबाबदाऱ्या

• मशीन लर्निंग अल्गोरिदम लागू करण्यासाठी डेटामधून वैशिष्ट्ये काढत आहे.
• डेटामधील नमुन्यांची भविष्यवाणी आणि वर्गीकरण करण्यासाठी विविध मशीन लर्निंग टूल्स वापरणे.
• फाइन-ट्यूनिंग आणि अल्गोरिदम ऑप्टिमाइझ करून मशीन लर्निंग अल्गोरिदमची कार्यक्षमता आणि अचूकता सुधारणे.
• कंपनीच्या धोरणानुसार "मजबूत" गृहीतके तयार करणे ज्याची चाचणी करणे आवश्यक आहे.

डेटा अभियंता आणि डेटा सायंटिस्ट दोघेही डेटा संस्कृतीच्या विकासासाठी मूर्त योगदान देतात, ज्याद्वारे कंपनी अतिरिक्त नफा कमवू शकते किंवा खर्च कमी करू शकते.

अभियंते आणि शास्त्रज्ञ कोणत्या भाषा आणि साधनांसह कार्य करतात?

आज, डेटा वैज्ञानिकांच्या अपेक्षा बदलल्या आहेत. पूर्वी, अभियंत्यांनी मोठ्या SQL क्वेरी गोळा केल्या, मॅपरेड्यूस मॅन्युअली लिहिल्या आणि इन्फॉर्मेटिका ईटीएल, पेंटाहो ईटीएल, टॅलेंड सारख्या साधनांचा वापर करून डेटावर प्रक्रिया केली. 

2020 मध्ये, एक विशेषज्ञ पायथन आणि आधुनिक गणना साधनांशिवाय करू शकत नाही (उदाहरणार्थ, एअरफ्लो), क्लाउड प्लॅटफॉर्मसह कार्य करण्याच्या तत्त्वांची समज (सुरक्षा तत्त्वांचे निरीक्षण करताना हार्डवेअरवर बचत करण्यासाठी त्यांचा वापर करणे).

SAP, Oracle, MySQL, Redis ही मोठ्या कंपन्यांमधील डेटा अभियंत्यांची पारंपारिक साधने आहेत. ते चांगले आहेत, परंतु परवान्यांची किंमत इतकी जास्त आहे की त्यांच्याबरोबर काम करणे शिकणे केवळ औद्योगिक प्रकल्पांमध्येच अर्थपूर्ण आहे. त्याच वेळी, पोस्टग्रेसच्या रूपात एक विनामूल्य पर्याय आहे - तो केवळ प्रशिक्षणासाठीच नाही तर विनामूल्य आणि योग्य आहे. 

ऐतिहासिकदृष्ट्या, Java आणि Scala साठी विनंत्या बर्‍याचदा आढळतात, जरी तंत्रज्ञान आणि दृष्टीकोन विकसित होत असताना, या भाषा पार्श्वभूमीत क्षीण होत जातात.

तथापि, हार्डकोर BigData: Hadoop, Spark आणि उर्वरित प्राणीसंग्रहालय यापुढे डेटा अभियंत्यासाठी एक पूर्व शर्त नाही, परंतु पारंपारिक ETL द्वारे सोडवता येणार नाही अशा समस्यांचे निराकरण करण्यासाठी एक प्रकारची साधने आहेत. 

ज्या भाषेत ते लिहिलेले आहे त्या भाषेच्या ज्ञानाशिवाय साधने वापरण्याचा ट्रेंड आहे (उदाहरणार्थ, जावाच्या ज्ञानाशिवाय हडूप), तसेच स्ट्रीमिंग डेटावर प्रक्रिया करण्यासाठी तयार सेवांची तरतूद (व्हिडिओवर आवाज ओळखणे किंवा प्रतिमा ओळखणे). ).

SAS आणि SPSS मधील औद्योगिक उपाय लोकप्रिय आहेत, तर Tableau, Rapidminer, Stata आणि Julia देखील डेटा वैज्ञानिकांद्वारे स्थानिक कार्यांसाठी मोठ्या प्रमाणावर वापरले जातात.

पाइपलाइन तयार करण्याची क्षमता काही वर्षांपूर्वीच विश्लेषक आणि डेटा शास्त्रज्ञांना दिसून आली: उदाहरणार्थ, तुलनेने सोप्या स्क्रिप्टचा वापर करून पोस्टग्रेएसक्यूएल-आधारित स्टोरेजमध्ये डेटा पाठवणे आधीच शक्य आहे. 

सामान्यतः, पाइपलाइन आणि एकात्मिक डेटा संरचनांचा वापर डेटा अभियंत्यांची जबाबदारी राहते. परंतु आज, संबंधित क्षेत्रातील व्यापक क्षमता असलेल्या टी-आकाराच्या तज्ञांचा कल पूर्वीपेक्षा अधिक मजबूत आहे, कारण साधने सतत सरलीकृत केली जात आहेत.

डेटा अभियंता आणि डेटा वैज्ञानिक एकत्र का काम करतात

अभियंत्यांसह जवळून काम करून, डेटा सायंटिस्ट संशोधनाच्या बाजूवर लक्ष केंद्रित करू शकतात, उत्पादनासाठी तयार मशीन लर्निंग अल्गोरिदम तयार करू शकतात.
आणि अभियंत्यांनी स्केलेबिलिटी, डेटा पुनर्वापर आणि प्रत्येक वैयक्तिक प्रकल्पातील डेटा इनपुट आणि आउटपुट पाइपलाइन जागतिक आर्किटेक्चरचे पालन करतात याची खात्री करणे यावर लक्ष केंद्रित करणे आवश्यक आहे.

जबाबदाऱ्यांचे हे पृथक्करण वेगवेगळ्या मशीन लर्निंग प्रोजेक्ट्सवर काम करणाऱ्या टीम्समध्ये सातत्य सुनिश्चित करते. 

सहयोग नवीन उत्पादने कार्यक्षमतेने तयार करण्यात मदत करते. प्रत्येकासाठी सेवा तयार करणे (जागतिक स्टोरेज किंवा डॅशबोर्डचे एकत्रीकरण) आणि प्रत्येक विशिष्ट गरज किंवा प्रकल्प (अत्यंत विशिष्ट पाइपलाइन, बाह्य स्त्रोतांना जोडणे) लागू करणे यामधील संतुलनाद्वारे गती आणि गुणवत्ता प्राप्त केली जाते. 

डेटा वैज्ञानिक आणि विश्लेषकांसह जवळून काम केल्याने अभियंत्यांना चांगले कोड लिहिण्यासाठी विश्लेषणात्मक आणि संशोधन कौशल्ये विकसित करण्यात मदत होते. वेअरहाऊस आणि डेटा लेक वापरकर्त्यांमधील ज्ञानाची देवाणघेवाण सुधारते, प्रकल्प अधिक चपळ बनवते आणि अधिक टिकाऊ दीर्घकालीन परिणाम प्रदान करते.

डेटासह कार्य करण्याची संस्कृती विकसित करणे आणि त्यावर आधारित व्यवसाय प्रक्रिया तयार करण्याचे उद्दिष्ट असलेल्या कंपन्यांमध्ये, डेटा सायंटिस्ट आणि डेटा अभियंता एकमेकांना पूरक आहेत आणि संपूर्ण डेटा विश्लेषण प्रणाली तयार करतात. 

पुढील लेखात आपण डेटा अभियंता आणि डेटा वैज्ञानिकांना कोणत्या प्रकारचे शिक्षण असावे, त्यांना कोणती कौशल्ये विकसित करणे आवश्यक आहे आणि मार्केट कसे कार्य करते याबद्दल बोलू.

नेटोलॉजीच्या संपादकांकडून

जर तुम्ही डेटा अभियंता किंवा डेटा सायंटिस्टचा व्यवसाय पाहत असाल, तर आम्ही तुम्हाला आमच्या कोर्स प्रोग्राम्सचा अभ्यास करण्यासाठी आमंत्रित करतो:

• व्यवसाय "डेटा अभियंता».  
• व्यवसाय "डेटा वैज्ञानिक».

स्त्रोत: www.habr.com