डेटा सायन्स टीम्सना जनरलिस्ट्सची गरज का असते, तज्ञांची नाही

हिरोशी वतानाबे/गेटी इमेजेस

द वेल्थ ऑफ नेशन्समध्ये, अॅडम स्मिथ दाखवतो की श्रमांचे विभाजन हे उत्पादन वाढीचे मुख्य स्त्रोत कसे बनते. उदाहरण म्हणजे पिन फॅक्टरीची असेंबली लाईन: "एक कामगार वायर खेचतो, दुसरा सरळ करतो, तिसरा कापतो, चौथा टोक तीक्ष्ण करतो, पाचवा डोके बसवण्यासाठी दुसरे टोक पीसतो." विशिष्ट कार्यांवर लक्ष केंद्रित केलेल्या स्पेशलायझेशनबद्दल धन्यवाद, प्रत्येक कर्मचारी त्याच्या अरुंद कार्यात एक उच्च पात्र तज्ञ बनतो, ज्यामुळे प्रक्रियेची कार्यक्षमता वाढते. प्रति कामगार आउटपुट अनेक पटींनी वाढते आणि कारखाना पिन तयार करण्यात अधिक कार्यक्षम बनतो.

कार्यक्षमतेनुसार श्रमांची ही विभागणी आजही आपल्या मनात इतकी रुजलेली आहे की त्यानुसार आम्ही आमच्या संघांना पटकन संघटित केले. डेटा सायन्स अपवाद नाही. जटिल अल्गोरिदमिक व्यवसाय क्षमतांना एकाधिक कार्य कार्ये आवश्यक असतात, त्यामुळे कंपन्या विशेषत: तज्ञांचे संघ तयार करतात: संशोधक, डेटा अभियंता, मशीन लर्निंग अभियंते, कारण-आणि-प्रभाव शास्त्रज्ञ इ. तज्ञांचे कार्य उत्पादन व्यवस्थापकाद्वारे फंक्शन्सच्या हस्तांतरणासह पिन फॅक्टरी सारख्या पद्धतीने समन्वित केले जाते: "एक व्यक्ती डेटा प्राप्त करतो, दुसरा त्याचे मॉडेल करतो, तिसरा तो कार्यान्वित करतो, चौथा उपाय" आणि असेच,

अरेरे, उत्पादकता सुधारण्यासाठी आम्ही आमच्या डेटा सायन्स टीम्सना ऑप्टिमाइझ करू नये. तथापि, तुम्ही हे तेव्हा करता जेव्हा तुम्ही काय उत्पादन करत आहात: पिन किंवा दुसरे काहीतरी, आणि फक्त कार्यक्षमता वाढवण्याचा प्रयत्न करता. असेंबली लाईन्सचा उद्देश कार्य पूर्ण करणे आहे. आम्हाला नेमके काय हवे आहे हे आम्हाला ठाऊक आहे - पिन (स्मिथच्या उदाहरणाप्रमाणे), परंतु कोणत्याही उत्पादनाचा किंवा सेवेचा उल्लेख केला जाऊ शकतो ज्यामध्ये आवश्यकता उत्पादनाच्या सर्व पैलूंचे आणि त्याच्या वर्तनाचे पूर्णपणे वर्णन करतात. या गरजा शक्य तितक्या कार्यक्षमतेने पूर्ण करणे ही कर्मचाऱ्यांची भूमिका आहे.

परंतु डेटा सायन्सचे ध्येय कार्ये पूर्ण करणे नाही. त्याऐवजी, मजबूत नवीन व्यवसाय संधी शोधणे आणि विकसित करणे हे ध्येय आहे. अल्गोरिदमिक उत्पादने आणि सेवा जसे की शिफारस प्रणाली, ग्राहक संवाद, शैली प्राधान्यांचे वर्गीकरण, आकार, कपडे डिझाइन, लॉजिस्टिक ऑप्टिमायझेशन, हंगामी ट्रेंड शोधणे आणि बरेच काही आगाऊ विकसित केले जाऊ शकत नाही. त्यांचा अभ्यास झालाच पाहिजे. प्रतिकृती तयार करण्यासाठी कोणतेही ब्लूप्रिंट नाहीत, या अंतर्निहित अनिश्चिततेसह नवीन शक्यता आहेत. गुणांक, मॉडेल्स, मॉडेल प्रकार, हायपरपॅरामीटर्स, सर्व आवश्यक घटक प्रयोग, चाचणी आणि त्रुटी आणि पुनरावृत्तीद्वारे शिकले पाहिजेत. पिनसह, प्रशिक्षण आणि डिझाइन उत्पादनाच्या आगाऊ केले जाते. डेटा सायन्ससह, तुम्ही जसे शिकता तसे शिकता, आधी नाही.

पिन फॅक्टरीमध्ये, जेव्हा प्रशिक्षण प्रथम येते, तेव्हा उत्पादनाची कार्यक्षमता सुधारण्याव्यतिरिक्त कामगारांनी उत्पादनाच्या कोणत्याही वैशिष्ट्यात सुधारणा करावी अशी आमची अपेक्षा नाही किंवा इच्छित नाही. कार्ये विशेष करणे अर्थपूर्ण आहे कारण यामुळे प्रक्रियेची कार्यक्षमता आणि उत्पादन सुसंगतता येते (अंतिम उत्पादनात बदल न करता).

परंतु जेव्हा उत्पादन अद्याप विकसित होत असते आणि ध्येय प्रशिक्षण असते तेव्हा खालील प्रकरणांमध्ये स्पेशलायझेशन आमच्या उद्दिष्टांमध्ये हस्तक्षेप करते:

1. हे समन्वय खर्च वाढवते.

म्हणजेच, संप्रेषण, चर्चा, समर्थन आणि कार्यास प्राधान्य देण्यासाठी खर्च केलेल्या वेळेत जमा होणारे खर्च. हे खर्च गुंतलेल्या लोकांच्या संख्येसह सुपर-रेखीयपणे मोजले जातात. (जे. रिचर्ड हॅकमनने आम्हाला शिकवल्याप्रमाणे, r संबंधांची संख्या या समीकरणानुसार n पदांच्या संख्येच्या कार्याप्रमाणेच वाढते: r = (n^2-n)/2. आणि प्रत्येक संबंध काही प्रमाणात प्रकट करतो. खर्च संबंध.) जेव्हा डेटा सायंटिस्ट फंक्शनद्वारे आयोजित केले जातात, प्रत्येक टप्प्यावर, प्रत्येक बदलासह, प्रत्येक हँडओव्हर इत्यादीसह, अनेक तज्ञांची आवश्यकता असते, ज्यामुळे समन्वय खर्च वाढतो. उदाहरणार्थ, नवीन वैशिष्ट्यांसह प्रयोग करू इच्छिणाऱ्या सांख्यिकीय मॉडेलर्सना डेटा अभियंत्यांशी समन्वय साधावा लागेल जे प्रत्येक वेळी काहीतरी नवीन करून पाहण्यासाठी डेटा सेटमध्ये जोडतात. त्याचप्रमाणे, प्रशिक्षित केलेल्या प्रत्येक नवीन मॉडेलचा अर्थ असा आहे की मॉडेल डेव्हलपरला उत्पादनात आणण्यासाठी कोणाशी तरी समन्वय साधण्याची आवश्यकता असेल. समन्वय खर्च पुनरावृत्तीसाठी किंमत म्हणून कार्य करतात, त्यांना अधिक कठीण आणि महाग बनवतात आणि अभ्यास सोडला जाण्याची अधिक शक्यता असते. यामुळे शिकण्यात व्यत्यय येऊ शकतो.

2. यामुळे प्रतीक्षा वेळा कठीण होतात.

समन्वय खर्चापेक्षाही जास्त त्रासदायक म्हणजे कामाच्या शिफ्टमध्ये वाया जाणारा वेळ. समन्वय खर्च सहसा तासांमध्ये मोजला जातो - मीटिंग, चर्चा, डिझाइन पुनरावलोकने आयोजित करण्यासाठी लागणारा वेळ - प्रतीक्षा वेळ सामान्यतः दिवस, आठवडे किंवा महिन्यांमध्ये मोजला जातो! कार्यात्मक तज्ञांचे वेळापत्रक संतुलित करणे कठीण आहे कारण प्रत्येक विशेषज्ञ अनेक प्रकल्पांमध्ये वितरीत करणे आवश्यक आहे. बदलांवर चर्चा करण्यासाठी एका तासाच्या बैठकीला कार्यप्रवाह सुरळीत होण्यासाठी आठवडे लागू शकतात. आणि बदलांवर सहमत झाल्यानंतर, तज्ञांच्या कामकाजाचा वेळ व्यापलेल्या इतर अनेक प्रकल्पांच्या संदर्भात प्रत्यक्ष कामाची स्वतःच योजना करणे आवश्यक आहे. कोड निराकरणे किंवा संशोधनाचा समावेश असलेले कार्य जे पूर्ण होण्यासाठी फक्त काही तास किंवा दिवस लागतात ते संसाधने उपलब्ध होण्यापूर्वी जास्त वेळ लागू शकतो. तोपर्यंत, पुनरावृत्ती आणि शिक्षण निलंबित केले आहे.

3. हे संदर्भ संकुचित करते.

श्रमाचे विभाजन लोकांना त्यांच्या विशेषतेमध्ये राहण्यासाठी पुरस्कृत करून कृत्रिमरित्या शिक्षण मर्यादित करू शकते. उदाहरणार्थ, एक संशोधन शास्त्रज्ञ ज्याने त्याच्या कार्यक्षमतेच्या कक्षेत राहणे आवश्यक आहे तो त्याची उर्जा विविध प्रकारच्या अल्गोरिदमसह प्रयोग करण्यावर केंद्रित करेल: प्रतिगमन, न्यूरल नेटवर्क्स, यादृच्छिक जंगल इ. अर्थात, चांगल्या अल्गोरिदम निवडीमुळे वाढीव सुधारणा होऊ शकतात, परंतु सामान्यत: नवीन डेटा स्रोत एकत्रित करण्यासारख्या इतर क्रियाकलापांमधून बरेच काही मिळवायचे आहे. त्याचप्रमाणे, ते एक मॉडेल विकसित करण्यात मदत करेल जे डेटामध्ये अंतर्भूत असलेल्या प्रत्येक स्पष्टीकरणात्मक शक्तीचे शोषण करते. तथापि, त्याची ताकद वस्तुनिष्ठ कार्य बदलण्यात किंवा काही मर्यादा शिथिल करण्यात असू शकते. जेव्हा तिचे काम मर्यादित असते तेव्हा हे पाहणे किंवा करणे कठीण असते. कारण एक तांत्रिक शास्त्रज्ञ अल्गोरिदम ऑप्टिमाइझ करण्यात माहिर आहे, तो इतर काहीही करण्याची शक्यता कमी आहे, जरी ते महत्त्वपूर्ण फायदे आणत असले तरीही.

जेव्हा डेटा सायन्स टीम पिन फॅक्टरी म्हणून काम करतात तेव्हा दिसणार्‍या चिन्हांना नाव देण्यासाठी (उदाहरणार्थ, साध्या स्टेटस अपडेटमध्ये): “डेटा पाइपलाइन बदलांची प्रतीक्षा करणे” आणि “ML Eng संसाधनांची प्रतीक्षा करणे” हे सामान्य ब्लॉकर आहेत. तथापि, माझा विश्वास आहे की तुमच्या लक्षात न येणारा प्रभाव हा अधिक धोकादायक आहे, कारण तुम्हाला आधीच माहित नसलेल्या गोष्टीबद्दल खेद वाटू शकत नाही. निर्दोष अंमलबजावणी आणि प्रक्रियेची कार्यक्षमता प्राप्त करून मिळालेली आत्मसंतुष्टता हे सत्य लपवू शकते की संस्थांना ते गमावत असलेल्या शिकण्याच्या फायद्यांबद्दल माहिती नसते.

या समस्येचे निराकरण, अर्थातच, फॅक्टरी पिन पद्धतीपासून मुक्त होणे आहे. शिकणे आणि पुनरावृत्तीला प्रोत्साहन देण्यासाठी, डेटा वैज्ञानिक भूमिका सामान्य असली पाहिजे परंतु तांत्रिक कार्यापासून स्वतंत्रपणे व्यापक जबाबदाऱ्यांसह, म्हणजे डेटा वैज्ञानिकांना संघटित करा जेणेकरून ते शिकण्यासाठी अनुकूल असतील. याचा अर्थ “फुल स्टॅक स्पेशलिस्ट”—सामान्य तज्ञांना नियुक्त करणे जे संकल्पना ते मॉडेलिंग, अंमलबजावणी ते मोजमाप पर्यंत विविध कार्ये करू शकतात. हे लक्षात घेणे महत्त्वाचे आहे की मी असे सुचवत नाही की पूर्ण-स्टॅक प्रतिभा नियुक्त केल्याने कर्मचाऱ्यांची संख्या कमी झाली पाहिजे. त्याऐवजी, मी फक्त असे गृहीत धरेन की जेव्हा ते वेगळ्या पद्धतीने आयोजित केले जातात, तेव्हा त्यांचे प्रोत्साहन शिकणे आणि कार्यक्षमतेच्या फायद्यांशी चांगले संरेखित केले जाते. उदाहरणार्थ, समजा तुमच्याकडे तीन व्यावसायिक कौशल्ये असलेली तीन लोकांची टीम आहे. पिन फॅक्टरीमध्ये, प्रत्येक तंत्रज्ञ प्रत्येक कामासाठी आपला एक तृतीयांश वेळ देईल, कारण दुसरे कोणीही त्याचे काम करू शकत नाही. संपूर्ण स्टॅकमध्ये, प्रत्येक जनरलिस्ट संपूर्ण व्यवसाय प्रक्रिया, स्केल-अप आणि प्रशिक्षणासाठी पूर्णपणे समर्पित असतो.

उत्पादन चक्राला कमी लोक समर्थन देत असल्याने, समन्वय कमी होतो. सामान्यतावादी वैशिष्ट्यांमध्ये प्रवाहीपणे फिरतो, अधिक डेटा जोडण्यासाठी डेटा पाइपलाइनचा विस्तार करतो, मॉडेलमध्ये नवीन वैशिष्ट्ये वापरून पाहतो, कारणात्मक मोजमापांसाठी उत्पादनासाठी नवीन आवृत्त्या उपयोजित करतो आणि नवीन कल्पना येताच चरणांची पुनरावृत्ती करतो. अर्थात, स्टेशन वॅगन विविध कार्ये क्रमाने करते आणि समांतर नाही. शेवटी, तो फक्त एक व्यक्ती आहे. तथापि, एखादे कार्य पूर्ण करण्यासाठी सामान्यत: दुसर्‍या विशिष्ट संसाधनामध्ये प्रवेश करण्यासाठी आवश्यक असलेल्या वेळेचा फक्त एक अंश लागतो. तर, पुनरावृत्तीची वेळ कमी होते.

आमचा जनरलिस्ट एखाद्या विशिष्ट जॉब फंक्शनमधील तज्ञांइतका कुशल नसू शकतो, परंतु आम्ही कार्यात्मक परिपूर्णता किंवा लहान वाढीव सुधारणांसाठी प्रयत्न करत नाही. त्याऐवजी, आम्ही हळूहळू प्रभावासह अधिकाधिक व्यावसायिक आव्हाने जाणून घेण्याचा आणि शोधण्याचा प्रयत्न करतो. संपूर्ण समाधानासाठी सर्वांगीण संदर्भासह, तो तज्ञांना गमावलेल्या संधी पाहतो. त्याच्याकडे अधिक कल्पना आणि अधिक शक्यता आहेत. तोही अपयशी ठरतो. तथापि, अपयशाची किंमत कमी आहे आणि शिकण्याचे फायदे जास्त आहेत. ही विषमता जलद पुनरावृत्तीला प्रोत्साहन देते आणि शिक्षणास बक्षीस देते.

हे लक्षात घेणे महत्त्वाचे आहे की पूर्ण स्टॅक शास्त्रज्ञांना परवडणारी स्वायत्तता आणि कौशल्य विविधता हे मुख्यत्वे डेटा प्लॅटफॉर्मच्या मजबूततेवर अवलंबून असते ज्यावर कार्य करायचे आहे. एक सुव्यवस्थित डेटा प्लॅटफॉर्म डेटा शास्त्रज्ञांना कंटेनरायझेशन, वितरित प्रक्रिया, स्वयंचलित फेलओव्हर आणि इतर प्रगत संगणन संकल्पनांच्या गुंतागुंतीपासून दूर करते. अॅब्स्ट्रॅक्शन व्यतिरिक्त, एक मजबूत डेटा प्लॅटफॉर्म प्रायोगिक पायाभूत सुविधांना अखंड कनेक्टिव्हिटी प्रदान करू शकतो, स्वयंचलित मॉनिटरिंग आणि अलर्टिंग, स्वयंचलित स्केलिंग आणि अल्गोरिदमिक परिणामांचे व्हिज्युअलायझेशन आणि डीबगिंग सक्षम करू शकतो. हे घटक डेटा प्लॅटफॉर्म अभियंत्यांनी डिझाइन केलेले आणि तयार केले आहेत, म्हणजे ते डेटा सायंटिस्टकडून डेटा प्लॅटफॉर्म डेव्हलपमेंट टीमला दिले जात नाहीत. प्लॅटफॉर्म चालविण्यासाठी वापरल्या जाणार्‍या सर्व कोडसाठी हे डेटा सायन्स विशेषज्ञ जबाबदार आहेत.

मला देखील, प्रक्रिया कार्यक्षमतेचा वापर करून श्रमांच्या कार्यात्मक विभागणीमध्ये रस होता, परंतु चाचणी आणि त्रुटी (शिकण्याचा कोणताही चांगला मार्ग नाही) द्वारे, मला आढळले की सामान्य भूमिका अधिक चांगल्या प्रकारे शिकणे आणि नवकल्पना सुलभ करतात आणि योग्य मेट्रिक्स प्रदान करतात: शोध आणि विशेष पध्दतीपेक्षा अनेक व्यवसाय संधी निर्माण करणे. (मी चाललेल्या चाचणी आणि त्रुटींपेक्षा आयोजन करण्याच्या या दृष्टिकोनाबद्दल जाणून घेण्याचा अधिक प्रभावी मार्ग म्हणजे एमी एडमंडसन यांचे टीम कोलॅबोरेशन: कसे संस्था लर्न, इनोव्हेट आणि कॉम्पिट इन द नॉलेज इकॉनॉमी हे पुस्तक वाचणे).

काही महत्त्वाच्या गृहितकांमुळे काही कंपन्यांमध्ये संघटित होण्याचा हा दृष्टीकोन कमी-अधिक प्रमाणात विश्वसनीय होऊ शकतो. पुनरावृत्ती प्रक्रिया चाचणी आणि त्रुटीची किंमत कमी करते. त्रुटीची किंमत जास्त असल्यास, आपण ते कमी करू शकता (परंतु वैद्यकीय अनुप्रयोग किंवा उत्पादनासाठी याची शिफारस केलेली नाही). याव्यतिरिक्त, जर तुम्ही पेटाबाइट्स किंवा डेटाच्या एक्साबाइट्सशी व्यवहार करत असाल तर, डेटा अभियांत्रिकीमध्ये स्पेशलायझेशन आवश्यक असू शकते. त्याचप्रमाणे, जर ऑनलाइन व्यवसाय क्षमता राखणे आणि त्यांची उपलब्धता त्यांना सुधारण्यापेक्षा अधिक महत्त्वाची असेल, तर कार्यात्मक उत्कृष्टता शिकणे टाळू शकते. शेवटी, पूर्ण स्टॅक मॉडेल त्याबद्दल माहिती असलेल्या लोकांच्या मतांवर अवलंबून असते. ते युनिकॉर्न नाहीत; तुम्ही त्यांना शोधू शकता किंवा स्वतः तयार करू शकता. तथापि, त्यांना जास्त मागणी आहे आणि त्यांना आकर्षित करण्यासाठी आणि टिकवून ठेवण्यासाठी स्पर्धात्मक भरपाई, मजबूत कॉर्पोरेट मूल्ये आणि आव्हानात्मक काम आवश्यक आहे. आपली कंपनी संस्कृती यास समर्थन देऊ शकते याची खात्री करा.

जरी हे सर्व सांगितले असले तरी, माझा विश्वास आहे की पूर्ण स्टॅक मॉडेल सर्वोत्तम प्रारंभिक परिस्थिती प्रदान करते. त्यांच्यापासून सुरुवात करा आणि नंतर जाणीवपूर्वक श्रमाच्या कार्यात्मक विभागणीकडे जा, जेव्हा अगदी आवश्यक असेल तेव्हाच.

फंक्शनल स्पेशलायझेशनचे इतर तोटे आहेत. यामुळे कामगारांची जबाबदारी आणि निष्क्रियता कमी होऊ शकते. स्मिथ स्वत: श्रम विभागणीवर टीका करतो, असे सुचवतो की यामुळे प्रतिभा कमी होते, म्हणजे. कामगार अनभिज्ञ आणि माघार घेतात कारण त्यांची भूमिका काही पुनरावृत्ती कामांपुरती मर्यादित असते. स्पेशलायझेशन प्रक्रिया कार्यक्षमता प्रदान करू शकते, परंतु ते कामगारांना प्रेरणा देण्याची शक्यता कमी आहे.

या बदल्यात, बहुमुखी भूमिका सर्व गोष्टी प्रदान करतात ज्यामुळे नोकरीचे समाधान मिळते: स्वायत्तता, प्रभुत्व आणि हेतू. स्वायत्तता म्हणजे यश मिळविण्यासाठी ते कशावरही अवलंबून नसतात. प्रभुत्व मजबूत स्पर्धात्मक फायद्यांमध्ये आहे. आणि त्यांनी तयार केलेल्या व्यवसायावर प्रभाव टाकण्याच्या संधीमध्ये हेतूची भावना असते. जर आपण लोकांना त्यांच्या कामाबद्दल उत्साही बनवू शकलो आणि कंपनीवर मोठा प्रभाव पाडू शकलो, तर इतर सर्व गोष्टी आपल्या जागी पडतील.

स्त्रोत: www.habr.com