डेटा साइंस टीमों को विशेषज्ञों की नहीं, बल्कि सामान्य विशेषज्ञों की आवश्यकता क्यों है?

हिरोशी वतनबे/गेटी इमेजेज

द वेल्थ ऑफ नेशंस में एडम स्मिथ दिखाते हैं कि कैसे श्रम का विभाजन बढ़ती उत्पादकता का मुख्य स्रोत बन जाता है। एक उदाहरण एक पिन फैक्ट्री की असेंबली लाइन है: "एक कर्मचारी तार खींचता है, दूसरा उसे सीधा करता है, तीसरा उसे काटता है, चौथा सिरे को तेज करता है, पांचवां सिर को फिट करने के लिए दूसरे सिरे को पीसता है।" विशिष्ट कार्यों पर केंद्रित विशेषज्ञता के लिए धन्यवाद, प्रत्येक कर्मचारी अपने संकीर्ण कार्य में एक उच्च योग्य विशेषज्ञ बन जाता है, जिससे प्रक्रिया दक्षता में वृद्धि होती है। प्रति कर्मचारी उत्पादन कई गुना बढ़ जाता है, और फैक्ट्री पिन उत्पादन में अधिक कुशल हो जाती है।

कार्यक्षमता के आधार पर श्रम का यह विभाजन आज भी हमारे दिमाग में इस तरह बैठा हुआ है कि हमने तुरंत अपनी टीमों को उसी के अनुसार संगठित कर लिया। डेटा साइंस कोई अपवाद नहीं है। जटिल एल्गोरिदमिक व्यावसायिक क्षमताओं के लिए कई कार्य कार्यों की आवश्यकता होती है, इसलिए कंपनियां आमतौर पर विशेषज्ञों की टीमें बनाती हैं: शोधकर्ता, डेटा इंजीनियर, मशीन लर्निंग इंजीनियर, कारण-और-प्रभाव वैज्ञानिक, इत्यादि। विशेषज्ञों के काम को उत्पाद प्रबंधक द्वारा कार्यों के हस्तांतरण के साथ समन्वयित किया जाता है जो एक पिन फैक्ट्री जैसा दिखता है: "एक व्यक्ति डेटा प्राप्त करता है, दूसरा इसे मॉडल करता है, तीसरा इसे निष्पादित करता है, चौथा उपाय करता है" और इसी तरह,

अफसोस, हमें उत्पादकता में सुधार के लिए अपनी डेटा साइंस टीमों का अनुकूलन नहीं करना चाहिए। हालाँकि, आप यही तब करते हैं जब आप समझते हैं कि आप क्या उत्पादन कर रहे हैं: पिन या कुछ और, और बस दक्षता बढ़ाने का प्रयास करते हैं। असेंबली लाइन्स का उद्देश्य किसी कार्य को पूरा करना है। हम ठीक-ठीक जानते हैं कि हम क्या चाहते हैं - पिन (जैसा कि स्मिथ के उदाहरण में), लेकिन किसी भी उत्पाद या सेवा का उल्लेख किया जा सकता है जिसमें आवश्यकताएँ उत्पाद और उसके व्यवहार के सभी पहलुओं का पूरी तरह से वर्णन करती हैं। कर्मचारियों की भूमिका इन आवश्यकताओं को यथासंभव कुशलतापूर्वक पूरा करना है।

लेकिन डेटा साइंस का लक्ष्य कार्यों को पूरा करना नहीं है। बल्कि, लक्ष्य मजबूत नए व्यावसायिक अवसरों का पता लगाना और विकसित करना है। एल्गोरिदमिक उत्पाद और सेवाएँ जैसे अनुशंसा प्रणाली, ग्राहक इंटरैक्शन, शैली प्राथमिकताओं का वर्गीकरण, आकार, कपड़े डिजाइन, लॉजिस्टिक्स अनुकूलन, मौसमी प्रवृत्ति का पता लगाना और बहुत कुछ पहले से विकसित नहीं किया जा सकता है। उनका अध्ययन किया जाना चाहिए. दोहराने के लिए कोई ब्लूप्रिंट नहीं है, ये अंतर्निहित अनिश्चितता के साथ नई संभावनाएं हैं। गुणांक, मॉडल, मॉडल प्रकार, हाइपरपैरामीटर, सभी आवश्यक तत्वों को प्रयोग, परीक्षण और त्रुटि और दोहराव के माध्यम से सीखा जाना चाहिए। पिन के साथ, प्रशिक्षण और डिज़ाइन उत्पादन से पहले किया जाता है। डेटा साइंस के साथ, आप वैसे ही सीखते हैं जैसे आप सीखते हैं, पहले नहीं।

एक पिन फैक्ट्री में, जब प्रशिक्षण सबसे पहले आता है, तो हम न तो श्रमिकों से उत्पादन दक्षता में सुधार के अलावा उत्पाद की किसी भी विशेषता में सुधार की उम्मीद करते हैं और न ही चाहते हैं। कार्यों में विशेषज्ञता बनाना समझ में आता है क्योंकि इससे प्रक्रिया दक्षता और उत्पादन में स्थिरता आती है (अंतिम उत्पाद में बदलाव के बिना)।

लेकिन जब उत्पाद अभी भी विकसित हो रहा है और लक्ष्य प्रशिक्षण है, तो निम्नलिखित मामलों में विशेषज्ञता हमारे लक्ष्यों में हस्तक्षेप करती है:

1. इससे समन्वय लागत बढ़ती है।

अर्थात्, वे लागतें जो संचार करने, चर्चा करने, उचित ठहराने और किए जाने वाले कार्य को प्राथमिकता देने में बिताए गए समय के दौरान जमा होती हैं। ये लागत शामिल लोगों की संख्या के साथ सुपर-रैखिक रूप से बढ़ती है। (जैसा कि जे. रिचर्ड हैकमैन ने हमें सिखाया, रिश्तों की संख्या r इस समीकरण के अनुसार शब्दों की संख्या n के कार्य के समान बढ़ती है: r = (n^2-n)/2। और प्रत्येक रिश्ते से कुछ मात्रा का पता चलता है लागत संबंध.) जब डेटा वैज्ञानिकों को कार्य के अनुसार व्यवस्थित किया जाता है, तो प्रत्येक चरण में, प्रत्येक परिवर्तन, प्रत्येक हैंडओवर आदि के साथ, कई विशेषज्ञों की आवश्यकता होती है, जिससे समन्वय लागत बढ़ जाती है। उदाहरण के लिए, सांख्यिकीय मॉडलर जो नई सुविधाओं के साथ प्रयोग करना चाहते हैं, उन्हें डेटा इंजीनियरों के साथ समन्वय करना होगा जो हर बार कुछ नया आज़माने के लिए डेटा सेट में जोड़ते हैं। इसी तरह, प्रशिक्षित प्रत्येक नए मॉडल का मतलब है कि मॉडल डेवलपर को इसे उत्पादन में लगाने के लिए समन्वय करने के लिए किसी की आवश्यकता होगी। समन्वय लागत पुनरावृत्ति के लिए एक कीमत के रूप में कार्य करती है, जिससे वे अधिक कठिन और महंगी हो जाती हैं और अध्ययन को छोड़ने की अधिक संभावना होती है। इससे सीखने में बाधा आ सकती है.

2. यह प्रतीक्षा के समय को कठिन बना देता है।

समन्वय लागत से भी अधिक चुनौतीपूर्ण काम की शिफ्टों के बीच बर्बाद होने वाला समय है। जबकि समन्वय लागत आमतौर पर घंटों में मापी जाती है - बैठकें, चर्चाएँ, डिज़ाइन समीक्षाएँ आयोजित करने में लगने वाला समय - प्रतीक्षा समय आमतौर पर दिनों, हफ्तों या महीनों में मापा जाता है! कार्यात्मक विशेषज्ञों के शेड्यूल को संतुलित करना कठिन होता है क्योंकि प्रत्येक विशेषज्ञ को कई परियोजनाओं में वितरित किया जाना चाहिए। परिवर्तनों पर चर्चा करने के लिए एक घंटे की बैठक में वर्कफ़्लो को सुचारू बनाने में कई सप्ताह लग सकते हैं। और परिवर्तनों पर सहमति के बाद, विशेषज्ञों के कार्य समय पर कब्जा करने वाली कई अन्य परियोजनाओं के संदर्भ में वास्तविक कार्य की योजना बनाना आवश्यक है। कोड सुधार या शोध से संबंधित कार्य, जिसे पूरा होने में केवल कुछ घंटे या दिन लगते हैं, संसाधन उपलब्ध होने में अधिक समय लग सकता है। तब तक, पुनरावृत्ति और सीखना निलंबित है।

3. यह संदर्भ को संक्षिप्त करता है।

श्रम का विभाजन लोगों को उनकी विशेषज्ञता में बने रहने के लिए पुरस्कृत करके सीखने को कृत्रिम रूप से सीमित कर सकता है। उदाहरण के लिए, एक शोध वैज्ञानिक जिसे अपनी कार्यक्षमता के दायरे में रहना होगा, वह अपनी ऊर्जा विभिन्न प्रकार के एल्गोरिदम के साथ प्रयोग करने पर केंद्रित करेगा: प्रतिगमन, तंत्रिका नेटवर्क, यादृच्छिक वन, और इसी तरह। बेशक, अच्छे एल्गोरिदम विकल्पों से वृद्धिशील सुधार हो सकते हैं, लेकिन आम तौर पर अन्य गतिविधियों से बहुत कुछ हासिल किया जा सकता है, जैसे कि नए डेटा स्रोतों को एकीकृत करना। इसी तरह, यह एक ऐसा मॉडल विकसित करने में मदद करेगा जो डेटा में निहित प्रत्येक व्याख्यात्मक शक्ति का उपयोग करेगा। हालाँकि, इसकी ताकत वस्तुनिष्ठ कार्य को बदलने या कुछ बाधाओं को शिथिल करने में निहित हो सकती है। जब उसका काम सीमित हो तो यह देखना या करना मुश्किल होता है। क्योंकि एक तकनीकी वैज्ञानिक एल्गोरिदम को अनुकूलित करने में माहिर होता है, इसलिए उसके कुछ और करने की संभावना बहुत कम होती है, भले ही इससे महत्वपूर्ण लाभ हो।

उन संकेतों को नाम देने के लिए जो तब दिखाई देते हैं जब डेटा विज्ञान टीमें पिन फ़ैक्टरी के रूप में कार्य करती हैं (उदाहरण के लिए, सरल स्थिति अपडेट में): "डेटा पाइपलाइन परिवर्तन की प्रतीक्षा करना" और "एमएल इंजीनियरिंग संसाधनों की प्रतीक्षा करना" आम अवरोधक हैं। हालाँकि, मेरा मानना ​​​​है कि अधिक खतरनाक प्रभाव वह है जिसे आप नोटिस नहीं करते हैं, क्योंकि आप उस चीज़ पर पछतावा नहीं कर सकते जो आप पहले से नहीं जानते हैं। त्रुटिहीन निष्पादन और प्रक्रिया दक्षता प्राप्त करने से प्राप्त शालीनता इस सच्चाई को छिपा सकती है कि संगठन उन सीखने के लाभों से अनजान हैं जिनसे वे चूक रहे हैं।

निस्संदेह, इस समस्या का समाधान फ़ैक्टरी पिन पद्धति से छुटकारा पाना है। सीखने और पुनरावृत्ति को प्रोत्साहित करने के लिए, डेटा वैज्ञानिक की भूमिकाएँ सामान्य होनी चाहिए लेकिन तकनीकी कार्य से स्वतंत्र व्यापक जिम्मेदारियों के साथ, यानी डेटा वैज्ञानिकों को व्यवस्थित करना चाहिए ताकि वे सीखने के लिए अनुकूलित हों। इसका मतलब है "पूर्ण स्टैक विशेषज्ञों" को काम पर रखना - सामान्य विशेषज्ञ जो अवधारणा से लेकर मॉडलिंग, कार्यान्वयन से लेकर माप तक विभिन्न प्रकार के कार्य कर सकते हैं। यह ध्यान रखना महत्वपूर्ण है कि मैं यह सुझाव नहीं दे रहा हूं कि पूर्ण-स्टैक प्रतिभा को काम पर रखने से कर्मचारियों की संख्या कम होनी चाहिए। बल्कि, मैं बस यह मानूंगा कि जब उन्हें अलग-अलग तरीके से व्यवस्थित किया जाता है, तो उनके प्रोत्साहन सीखने और प्रदर्शन लाभों के साथ बेहतर ढंग से संरेखित होते हैं। उदाहरण के लिए, मान लें कि आपके पास तीन व्यावसायिक कौशल वाले तीन लोगों की एक टीम है। एक पिन फैक्ट्री में, प्रत्येक तकनीशियन प्रत्येक कार्य के लिए अपना एक तिहाई समय समर्पित करेगा, क्योंकि कोई भी उसका काम नहीं कर सकता है। पूर्ण स्टैक में, प्रत्येक सामान्यज्ञ संपूर्ण व्यवसाय प्रक्रिया, स्केल-अप और प्रशिक्षण के लिए पूरी तरह से समर्पित है।

उत्पादन चक्र का समर्थन करने वाले कम लोगों के कारण समन्वय कम हो जाता है। सामान्यवादी सुविधाओं के बीच तेजी से आगे बढ़ता है, अधिक डेटा जोड़ने के लिए डेटा पाइपलाइन का विस्तार करता है, मॉडलों में नई सुविधाओं की कोशिश करता है, कारण माप के लिए उत्पादन में नए संस्करण तैनात करता है, और नए विचार आते ही चरणों को तेजी से दोहराता है। बेशक, स्टेशन वैगन अलग-अलग कार्य क्रमिक रूप से करता है, समानांतर में नहीं। आख़िरकार, यह सिर्फ एक व्यक्ति है। हालाँकि, किसी कार्य को पूरा करने में आमतौर पर किसी अन्य विशेष संसाधन तक पहुँचने के लिए आवश्यक समय का केवल एक अंश ही लगता है। तो, पुनरावृत्ति का समय कम हो जाता है।

हमारा सामान्य विशेषज्ञ किसी विशेष कार्य में विशेषज्ञ जितना कुशल नहीं हो सकता है, लेकिन हम कार्यात्मक पूर्णता या छोटे वृद्धिशील सुधारों के लिए प्रयास नहीं करते हैं। बल्कि, हम क्रमिक प्रभाव के साथ अधिक से अधिक पेशेवर चुनौतियों को सीखने और खोजने का प्रयास करते हैं। संपूर्ण समाधान के लिए समग्र संदर्भ के साथ, वह ऐसे अवसरों को देखता है जिन्हें एक विशेषज्ञ चूक जाएगा। उसके पास अधिक विचार और अधिक संभावनाएँ हैं। वह भी असफल हो जाता है. हालाँकि, विफलता की लागत कम है और सीखने के लाभ अधिक हैं। यह विषमता तेजी से पुनरावृत्ति को बढ़ावा देती है और सीखने को पुरस्कृत करती है।

यह ध्यान रखना महत्वपूर्ण है कि पूर्ण स्टैक वैज्ञानिकों को प्रदान की जाने वाली स्वायत्तता और कौशल विविधता की मात्रा काफी हद तक डेटा प्लेटफ़ॉर्म की मजबूती पर निर्भर करती है जिस पर काम करना है। एक अच्छी तरह से डिज़ाइन किया गया डेटा प्लेटफ़ॉर्म डेटा वैज्ञानिकों को कंटेनरीकरण, वितरित प्रसंस्करण, स्वचालित विफलता और अन्य उन्नत कंप्यूटिंग अवधारणाओं की जटिलताओं से दूर रखता है। अमूर्तता के अलावा, एक मजबूत डेटा प्लेटफ़ॉर्म प्रायोगिक बुनियादी ढांचे को निर्बाध कनेक्टिविटी प्रदान कर सकता है, निगरानी और चेतावनी को स्वचालित कर सकता है, स्वचालित स्केलिंग और एल्गोरिदम परिणामों और डिबगिंग के विज़ुअलाइज़ेशन को सक्षम कर सकता है। इन घटकों को डेटा प्लेटफ़ॉर्म इंजीनियरों द्वारा डिज़ाइन और निर्मित किया जाता है, जिसका अर्थ है कि इन्हें डेटा वैज्ञानिक से डेटा प्लेटफ़ॉर्म विकास टीम तक नहीं भेजा जाता है। यह डेटा साइंस विशेषज्ञ है जो प्लेटफ़ॉर्म को चलाने के लिए उपयोग किए जाने वाले सभी कोड के लिए ज़िम्मेदार है।

मैं भी, एक बार प्रक्रिया दक्षता का उपयोग करके श्रम के कार्यात्मक विभाजन में रुचि रखता था, लेकिन परीक्षण और त्रुटि के माध्यम से (सीखने का कोई बेहतर तरीका नहीं है), मैंने पाया कि विशिष्ट भूमिकाएं सीखने और नवाचार को बेहतर ढंग से सुविधाजनक बनाती हैं और सही मेट्रिक्स प्रदान करती हैं: खोज और विशिष्ट दृष्टिकोण की तुलना में कई अधिक व्यावसायिक अवसरों का निर्माण करना। (संगठन के इस दृष्टिकोण के बारे में सीखने का एक अधिक प्रभावी तरीका, जिस परीक्षण और त्रुटि से मैं गुजरा, वह है एमी एडमंडसन की पुस्तक टीम सहयोग: हाउ ऑर्गनाइजेशन लर्न, इनोवेट, एंड कॉम्पिटिशन इन द नॉलेज इकोनॉमी को पढ़ना)।

कुछ महत्वपूर्ण धारणाएँ हैं जो कुछ कंपनियों में आयोजन के इस दृष्टिकोण को कम या ज्यादा विश्वसनीय बना सकती हैं। पुनरावृत्ति प्रक्रिया परीक्षण और त्रुटि की लागत को कम कर देती है। यदि त्रुटि की लागत अधिक है, तो आप उन्हें कम करना चाह सकते हैं (लेकिन यह चिकित्सा अनुप्रयोगों या विनिर्माण के लिए अनुशंसित नहीं है)। इसके अतिरिक्त, यदि आप पेटाबाइट्स या एक्साबाइट डेटा के साथ काम कर रहे हैं, तो डेटा इंजीनियरिंग में विशेषज्ञता की आवश्यकता हो सकती है। इसी तरह, यदि ऑनलाइन व्यावसायिक क्षमताओं और उनकी उपलब्धता को बनाए रखना उन्हें सुधारने से अधिक महत्वपूर्ण है, तो कार्यात्मक उत्कृष्टता सीखने पर हावी हो सकती है। अंततः, पूर्ण स्टैक मॉडल उन लोगों की राय पर निर्भर करता है जो इसके बारे में जानते हैं। वे यूनिकॉर्न नहीं हैं; आप उन्हें ढूंढ सकते हैं या स्वयं तैयार कर सकते हैं। हालाँकि, वे उच्च मांग में हैं और उन्हें आकर्षित करने और बनाए रखने के लिए प्रतिस्पर्धी मुआवजे, मजबूत कॉर्पोरेट मूल्यों और चुनौतीपूर्ण काम की आवश्यकता होगी। सुनिश्चित करें कि आपकी कंपनी संस्कृति इसका समर्थन कर सकती है।

इतना सब कुछ कहने के बाद भी, मेरा मानना ​​है कि फुल स्टैक मॉडल सबसे अच्छी शुरुआती स्थितियाँ प्रदान करता है। उनसे शुरुआत करें, और फिर सचेत रूप से श्रम के कार्यात्मक विभाजन की ओर तभी बढ़ें जब बिल्कुल आवश्यक हो।

कार्यात्मक विशेषज्ञता के अन्य नुकसान भी हैं। इससे श्रमिकों की ज़िम्मेदारी और निष्क्रियता में कमी आ सकती है। स्मिथ स्वयं श्रम विभाजन की आलोचना करते हैं और सुझाव देते हैं कि इससे प्रतिभा का ह्रास होता है, अर्थात्। कार्यकर्ता अज्ञानी हो जाते हैं और पीछे हट जाते हैं क्योंकि उनकी भूमिकाएँ कुछ दोहराए जाने वाले कार्यों तक ही सीमित हो जाती हैं। हालांकि विशेषज्ञता प्रक्रिया दक्षता प्रदान कर सकती है, लेकिन इससे श्रमिकों को प्रेरित करने की संभावना कम है।

बदले में, बहुमुखी भूमिकाएँ वे सभी चीज़ें प्रदान करती हैं जो नौकरी से संतुष्टि प्रदान करती हैं: स्वायत्तता, निपुणता और उद्देश्य। स्वायत्तता यह है कि वे सफलता प्राप्त करने के लिए किसी भी चीज़ पर निर्भर नहीं होते हैं। निपुणता मजबूत प्रतिस्पर्धात्मक लाभ में निहित है। और उद्देश्य की भावना उनके द्वारा बनाए गए व्यवसाय पर प्रभाव डालने के अवसर में निहित है। यदि हम लोगों को उनके काम के प्रति उत्साहित कर सकें और कंपनी पर बड़ा प्रभाव डाल सकें, तो बाकी सब कुछ ठीक हो जाएगा।

स्रोत: www.habr.com