MLOps: मशीन लर्निंग की दुनिया में DevOps

2018 में, एमएलओपीएस की अवधारणा पेशेवर हलकों और एआई को समर्पित विषयगत सम्मेलनों में दिखाई दी, जिसने तेजी से उद्योग में पकड़ बना ली और अब एक स्वतंत्र दिशा के रूप में विकसित हो रही है। भविष्य में, एमएलओपीएस आईटी में सबसे लोकप्रिय क्षेत्रों में से एक बन सकता है। यह क्या है और इसे किसके साथ खाया जाता है, आइए नीचे जानें।

एमएलओपीएस क्या है?

एमएलओपीएस (मशीन लर्निंग प्रौद्योगिकियों और प्रक्रियाओं और विकसित मॉडलों को व्यावसायिक प्रक्रियाओं में लागू करने के दृष्टिकोण का संयोजन) कृत्रिम बुद्धिमत्ता प्रणाली बनाते समय व्यापार प्रतिनिधियों, वैज्ञानिकों, गणितज्ञों, मशीन लर्निंग विशेषज्ञों और आईटी इंजीनियरों के बीच सहयोग का एक नया तरीका है।

दूसरे शब्दों में, यह व्यावसायिक समस्याओं को हल करने के लिए मशीन सीखने के तरीकों और प्रौद्योगिकियों को एक उपयोगी उपकरण में बदलने का एक तरीका है। 

यह समझना आवश्यक है कि उत्पादकता की श्रृंखला मॉडल के विकास से बहुत पहले शुरू हो जाती है। इसका पहला कदम एक व्यावसायिक समस्या को परिभाषित करना, डेटा से निकाले जा सकने वाले मूल्य के बारे में एक परिकल्पना और इसे लागू करने के लिए एक व्यावसायिक विचार है। 

MLOps की अवधारणा मशीन लर्निंग मॉडल और प्रौद्योगिकियों के संबंध में DevOps की अवधारणा के अनुरूप उत्पन्न हुई। DevOps सॉफ्टवेयर विकास के लिए एक दृष्टिकोण है जो आपको निरंतर विकास, कई स्वतंत्र माइक्रोसर्विसेज में कार्यों के विभाजन, स्वचालित परीक्षण और व्यक्तिगत तैनाती सहित कई दृष्टिकोणों का उपयोग करके लचीलापन और विश्वसनीयता बनाए रखते हुए व्यक्तिगत परिवर्तनों के कार्यान्वयन की गति बढ़ाने की अनुमति देता है। परिवर्तन, वैश्विक स्वास्थ्य निगरानी, ​​पता लगाई गई विफलताओं के लिए त्वरित प्रतिक्रिया प्रणाली, आदि। 

DevOps ने सॉफ़्टवेयर जीवनचक्र को परिभाषित किया है, और समुदाय उसी पद्धति को बड़े डेटा पर लागू करने का विचार लेकर आया है। डेटाऑप्स विविध और इंटरऑपरेबल प्लेटफार्मों में बड़ी मात्रा में डेटा को संग्रहीत करने, प्रसारित करने और संसाधित करने की सुविधाओं को ध्यान में रखते हुए कार्यप्रणाली को अनुकूलित और विस्तारित करने का एक प्रयास है।
  
उद्यमों की व्यावसायिक प्रक्रियाओं में कार्यान्वित मशीन लर्निंग मॉडल के एक निश्चित महत्वपूर्ण समूह के आगमन के साथ, गणितीय मशीन लर्निंग मॉडल के जीवन चक्र और सॉफ्टवेयर जीवन चक्र के बीच एक मजबूत समानता देखी गई। अंतर केवल इतना है कि मॉडल एल्गोरिदम मशीन लर्निंग टूल और विधियों का उपयोग करके बनाए जाते हैं। इसलिए, मशीन लर्निंग मॉडल के लिए सॉफ्टवेयर विकास के लिए पहले से ही ज्ञात दृष्टिकोण को लागू करने और अनुकूलित करने का विचार स्वाभाविक रूप से उत्पन्न हुआ। इस प्रकार, मशीन लर्निंग मॉडल के जीवन चक्र में निम्नलिखित प्रमुख चरणों को प्रतिष्ठित किया जा सकता है:

• एक व्यावसायिक विचार को परिभाषित करना;
• मॉडल प्रशिक्षण;
• व्यावसायिक प्रक्रिया में मॉडल का परीक्षण और कार्यान्वयन;
• मॉडल का संचालन.

जब ऑपरेशन के दौरान नए डेटा पर मॉडल को बदलने या फिर से प्रशिक्षित करने की आवश्यकता होती है, तो चक्र फिर से शुरू होता है - मॉडल को परिष्कृत किया जाता है, परीक्षण किया जाता है, और एक नया संस्करण तैनात किया जाता है।

पीछे हटना। पुनः प्रशिक्षण क्यों और पुनः प्रशिक्षण क्यों नहीं? शब्द "मॉडल रिट्रेनिंग" का दोहरा अर्थ है: विशेषज्ञों के बीच इसका मतलब एक मॉडल दोष है, जब मॉडल अच्छी तरह से भविष्यवाणी करता है, वास्तव में प्रशिक्षण सेट पर अनुमानित पैरामीटर को दोहराता है, लेकिन बाहरी डेटा नमूने पर बहुत खराब प्रदर्शन करता है। स्वाभाविक रूप से, ऐसा मॉडल एक दोष है, क्योंकि यह दोष इसके उपयोग की अनुमति नहीं देता है।

इस जीवन चक्र में, DevOps टूल का उपयोग करना तर्कसंगत लगता है: स्वचालित परीक्षण, तैनाती और निगरानी, ​​​​अलग-अलग माइक्रोसर्विसेज के रूप में मॉडल गणना डिजाइन करना। लेकिन ऐसी कई विशेषताएं भी हैं जो अतिरिक्त एमएल बाइंडिंग के बिना इन उपकरणों के सीधे उपयोग को रोकती हैं।

मॉडलों को कैसे काम में लाया जाए और लाभ कैसे कमाया जाए

एक उदाहरण के रूप में जिसमें हम एमएलओपीएस दृष्टिकोण के उपयोग का प्रदर्शन करेंगे, हम बैंकिंग (या किसी अन्य) उत्पाद के लिए चैट समर्थन को रोबोटाइज़ करने का क्लासिक कार्य लेंगे। आमतौर पर, एक चैट समर्थन व्यवसाय प्रक्रिया इस तरह दिखती है: एक ग्राहक चैट में एक प्रश्न के साथ एक संदेश दर्ज करता है और एक पूर्वनिर्धारित संवाद ट्री के भीतर एक विशेषज्ञ से प्रतिक्रिया प्राप्त करता है। ऐसी चैट को स्वचालित करने का कार्य आमतौर पर विशेषज्ञों द्वारा परिभाषित नियमों के सेट का उपयोग करके हल किया जाता है, जिन्हें विकसित करने और बनाए रखने में बहुत श्रम लगता है। कार्य की जटिलता के स्तर के आधार पर ऐसे स्वचालन की दक्षता 20-30% हो सकती है। स्वाभाविक रूप से, यह विचार उठता है कि कृत्रिम बुद्धिमत्ता मॉड्यूल को लागू करना अधिक लाभदायक है - मशीन लर्निंग का उपयोग करके विकसित एक मॉडल, जो:

• ऑपरेटर की भागीदारी के बिना बड़ी संख्या में अनुरोधों को संसाधित करने में सक्षम है (विषय के आधार पर, कुछ मामलों में दक्षता 70-80% तक पहुंच सकती है);
• संवाद में गैर-मानक शब्दों को बेहतर ढंग से अपनाता है - स्पष्ट रूप से तैयार नहीं किए गए अनुरोध के आधार पर उपयोगकर्ता के इरादे, वास्तविक इच्छा को निर्धारित करने में सक्षम है;
• जानता है कि कैसे निर्धारित किया जाए कि मॉडल का उत्तर कब पर्याप्त है, और जब इस उत्तर की "जागरूकता" के बारे में संदेह हो और आपको एक अतिरिक्त स्पष्ट प्रश्न पूछने या ऑपरेटर से संपर्क करने की आवश्यकता हो;
• अतिरिक्त रूप से स्वचालित रूप से प्रशिक्षित किया जा सकता है (डेवलपर्स के एक समूह के बजाय प्रतिक्रिया स्क्रिप्ट को लगातार अनुकूलित और सही करने के बजाय, मॉडल को उपयुक्त मशीन लर्निंग लाइब्रेरी का उपयोग करके डेटा साइंस विशेषज्ञ द्वारा अतिरिक्त रूप से प्रशिक्षित किया जाता है)। 

इतने उन्नत मॉडल को कैसे काम में लाया जाए? 

किसी भी अन्य समस्या को हल करने की तरह, ऐसे मॉड्यूल को विकसित करने से पहले, एक व्यावसायिक प्रक्रिया को परिभाषित करना और उस विशिष्ट कार्य का औपचारिक रूप से वर्णन करना आवश्यक है जिसे हम मशीन लर्निंग पद्धति का उपयोग करके हल करेंगे। इस बिंदु पर, संचालन की प्रक्रिया, जिसे संक्षिप्त नाम ऑप्स द्वारा निर्दिष्ट किया गया है, शुरू होती है। 

अगला कदम यह है कि डेटा साइंटिस्ट, डेटा इंजीनियर के सहयोग से, डेटा की उपलब्धता और पर्याप्तता और व्यावसायिक विचार की व्यवहार्यता के बारे में व्यावसायिक परिकल्पना की जांच करता है, एक प्रोटोटाइप मॉडल विकसित करता है और इसकी वास्तविक प्रभावशीलता का परीक्षण करता है। व्यवसाय द्वारा पुष्टि के बाद ही एक मॉडल विकसित करने से लेकर उसे एक विशिष्ट व्यवसाय प्रक्रिया निष्पादित करने वाले सिस्टम में एकीकृत करने तक का परिवर्तन शुरू हो सकता है। एंड-टू-एंड कार्यान्वयन योजना, प्रत्येक चरण में एक गहरी समझ कि मॉडल का उपयोग कैसे किया जाएगा और यह क्या आर्थिक प्रभाव लाएगा, कंपनी के तकनीकी परिदृश्य में एमएलओपीएस दृष्टिकोण पेश करने की प्रक्रियाओं में एक मौलिक बिंदु है।

एआई प्रौद्योगिकियों के विकास के साथ, मशीन लर्निंग का उपयोग करके हल की जा सकने वाली समस्याओं की संख्या और विविधता तेजी से बढ़ रही है। ऐसी प्रत्येक व्यावसायिक प्रक्रिया बड़े पैमाने पर कर्मचारियों के श्रम के स्वचालन (कॉल सेंटर, दस्तावेजों की जांच और सॉर्टिंग इत्यादि) के कारण कंपनी के लिए बचत है, यह नए आकर्षक और सुविधाजनक कार्यों को जोड़कर ग्राहक आधार का विस्तार है, यह संसाधनों के इष्टतम उपयोग और पुनर्वितरण तथा और भी बहुत कुछ के कारण पैसे की बचत हो रही है। अंततः, कोई भी प्रक्रिया मूल्य सृजन पर केंद्रित होती है और परिणामस्वरूप, एक निश्चित आर्थिक प्रभाव अवश्य लाती है। यहां व्यवसायिक विचार को स्पष्ट रूप से तैयार करना और कंपनी के समग्र मूल्य निर्माण ढांचे में मॉडल को लागू करने से अपेक्षित लाभ की गणना करना बहुत महत्वपूर्ण है। ऐसी स्थितियाँ होती हैं जब किसी मॉडल को लागू करना अपने आप में उचित नहीं होता है, और मशीन लर्निंग विशेषज्ञों द्वारा बिताया गया समय इस कार्य को करने वाले ऑपरेटर के कार्यस्थल की तुलना में बहुत अधिक महंगा होता है। इसीलिए एआई सिस्टम बनाने के शुरुआती चरण में ही ऐसे मामलों की पहचान करने का प्रयास करना आवश्यक है।

नतीजतन, मॉडल केवल तभी लाभ उत्पन्न करना शुरू करते हैं जब एमएलओपीएस प्रक्रिया में व्यावसायिक समस्या को सही ढंग से तैयार किया गया हो, प्राथमिकताएं निर्धारित की गई हों, और मॉडल को सिस्टम में पेश करने की प्रक्रिया विकास के शुरुआती चरणों में तैयार की गई हो।

नई प्रक्रिया-नई चुनौतियाँ

समस्याओं को हल करने के लिए एमएल मॉडल कितने लागू हैं, इस बारे में बुनियादी व्यावसायिक प्रश्न का एक व्यापक उत्तर, एआई में विश्वास का सामान्य मुद्दा एमएलओपीएस दृष्टिकोण को विकसित करने और लागू करने की प्रक्रिया में प्रमुख चुनौतियों में से एक है। प्रारंभ में, व्यवसायों को प्रक्रियाओं में मशीन लर्निंग की शुरूआत के बारे में संदेह था - उन जगहों पर मॉडल पर भरोसा करना मुश्किल है जहां पहले, एक नियम के रूप में, लोग काम करते थे। व्यवसाय के लिए, कार्यक्रम एक "ब्लैक बॉक्स" प्रतीत होते हैं, जिसकी प्रासंगिकता अभी भी सिद्ध करने की आवश्यकता है। इसके अलावा, बैंकिंग में, टेलीकॉम ऑपरेटरों और अन्य के व्यवसाय में, सरकारी नियामकों की सख्त आवश्यकताएं हैं। बैंकिंग प्रक्रियाओं में कार्यान्वित सभी सिस्टम और एल्गोरिदम ऑडिट के अधीन हैं। इस समस्या को हल करने के लिए, व्यवसाय और नियामकों को कृत्रिम बुद्धिमत्ता प्रतिक्रियाओं की वैधता और शुद्धता साबित करने के लिए, मॉडल के साथ निगरानी उपकरण पेश किए जा रहे हैं। इसके अलावा, एक स्वतंत्र सत्यापन प्रक्रिया है, जो नियामक मॉडल के लिए अनिवार्य है, जो सेंट्रल बैंक की आवश्यकताओं को पूरा करती है। एक स्वतंत्र विशेषज्ञ समूह इनपुट डेटा को ध्यान में रखते हुए मॉडल द्वारा प्राप्त परिणामों का ऑडिट करता है।

दूसरी चुनौती मशीन लर्निंग मॉडल को लागू करते समय मॉडल जोखिमों का आकलन करना और उन्हें ध्यान में रखना है। यहां तक ​​कि अगर कोई व्यक्ति इस सवाल का जवाब सौ प्रतिशत निश्चितता के साथ नहीं दे सकता कि क्या वही पोशाक सफेद थी या नीली, तो कृत्रिम बुद्धिमत्ता को भी गलती करने का अधिकार है। यह भी विचार करने योग्य है कि डेटा समय के साथ बदल सकता है, और पर्याप्त सटीक परिणाम देने के लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता है। यह सुनिश्चित करने के लिए कि व्यावसायिक प्रक्रिया प्रभावित न हो, मॉडल जोखिमों का प्रबंधन करना और मॉडल के प्रदर्शन की निगरानी करना, इसे नियमित रूप से नए डेटा पर पुनः प्रशिक्षित करना आवश्यक है।

परंतु अविश्वास के प्रथम चरण के बाद विपरीत प्रभाव दिखाई देने लगता है। जितने अधिक मॉडल प्रक्रियाओं में सफलतापूर्वक लागू किए जाते हैं, कृत्रिम बुद्धिमत्ता के उपयोग के लिए व्यवसाय की भूख उतनी ही अधिक बढ़ती है - नई और नई समस्याएं पाई जा रही हैं जिन्हें मशीन सीखने के तरीकों का उपयोग करके हल किया जा सकता है। प्रत्येक कार्य एक संपूर्ण प्रक्रिया को ट्रिगर करता है जिसके लिए कुछ दक्षताओं की आवश्यकता होती है:

• डेटा इंजीनियर डेटा तैयार और संसाधित करते हैं;
• डेटा वैज्ञानिक मशीन लर्निंग टूल का उपयोग करते हैं और एक मॉडल विकसित करते हैं;
• आईटी सिस्टम में मॉडल लागू करता है;
• एमएल इंजीनियर यह निर्धारित करता है कि इस मॉडल को प्रक्रिया में सही ढंग से कैसे एकीकृत किया जाए, किस आईटी उपकरण का उपयोग किया जाए, यह मॉडल के आवेदन के तरीके की आवश्यकताओं के आधार पर, अनुरोधों के प्रवाह, प्रतिक्रिया समय आदि को ध्यान में रखता है। 
• एक एमएल आर्किटेक्ट डिजाइन करता है कि एक सॉफ्टवेयर उत्पाद को औद्योगिक प्रणाली में भौतिक रूप से कैसे लागू किया जा सकता है।

पूरे चक्र में बड़ी संख्या में उच्च योग्य विशेषज्ञों की आवश्यकता होती है। व्यावसायिक प्रक्रियाओं में एमएल मॉडल के विकास और प्रवेश की डिग्री के एक निश्चित बिंदु पर, यह पता चलता है कि कार्यों की संख्या में वृद्धि के अनुपात में विशेषज्ञों की संख्या को रैखिक रूप से बढ़ाना महंगा और अप्रभावी हो जाता है। इसलिए, एमएलओपीएस प्रक्रिया को स्वचालित करने का सवाल उठता है - मशीन सीखने की समस्याओं के कई मानक वर्गों को परिभाषित करना, मानक डेटा प्रोसेसिंग पाइपलाइन विकसित करना और मॉडलों का अतिरिक्त प्रशिक्षण। एक आदर्श तस्वीर में, ऐसी समस्याओं को हल करने के लिए ऐसे पेशेवरों की आवश्यकता होती है जो बिग डेटा, डेटा साइंस, डेवऑप्स और आईटी के चौराहे पर दक्षताओं में समान रूप से कुशल हों। इसलिए, डेटा साइंस उद्योग में सबसे बड़ी समस्या और एमएलओपीएस प्रक्रियाओं को व्यवस्थित करने में सबसे बड़ी चुनौती मौजूदा प्रशिक्षण बाजार में ऐसी क्षमता की कमी है। इन आवश्यकताओं को पूरा करने वाले विशेषज्ञ वर्तमान में श्रम बाजार में दुर्लभ हैं और उनका वजन सोने के बराबर है।

दक्षताओं के मुद्दे पर

सिद्धांत रूप में, सभी एमएलओपीएस कार्यों को क्लासिक डेवऑप्स टूल का उपयोग करके और रोल मॉडल के विशेष विस्तार का सहारा लिए बिना हल किया जा सकता है। फिर, जैसा कि हमने ऊपर उल्लेख किया है, एक डेटा वैज्ञानिक को न केवल एक गणितज्ञ और डेटा विश्लेषक होना चाहिए, बल्कि संपूर्ण पाइपलाइन का गुरु भी होना चाहिए - वह आर्किटेक्चर विकसित करने, आर्किटेक्चर के आधार पर कई भाषाओं में प्रोग्रामिंग मॉडल तैयार करने के लिए जिम्मेदार है। एक डेटा मार्ट और एप्लिकेशन को स्वयं तैनात करना। हालाँकि, एंड-टू-एंड एमएलओपीएस प्रक्रिया में लागू तकनीकी ढांचे को बनाने में 80% तक श्रम लागत लगती है, जिसका अर्थ है कि एक योग्य गणितज्ञ, जो एक गुणवत्ता डेटा वैज्ञानिक है, अपने समय का केवल 20% अपनी विशेषज्ञता के लिए समर्पित करेगा। . इसलिए, मशीन लर्निंग मॉडल को लागू करने की प्रक्रिया में शामिल विशेषज्ञों की भूमिकाओं को रेखांकित करना महत्वपूर्ण हो जाता है। 

भूमिकाएँ कितनी विस्तृत रूप से चित्रित की जानी चाहिए यह उद्यम के आकार पर निर्भर करता है। यह एक बात है जब किसी स्टार्टअप के पास एक विशेषज्ञ, ऊर्जा रिजर्व में एक कठिन कार्यकर्ता होता है, जो उसका अपना इंजीनियर, वास्तुकार और DevOps होता है। यह पूरी तरह से अलग मामला है, जब एक बड़े उद्यम में, सभी मॉडल विकास प्रक्रियाएं कुछ उच्च-स्तरीय डेटा विज्ञान विशेषज्ञों पर केंद्रित होती हैं, जबकि एक प्रोग्रामर या डेटाबेस विशेषज्ञ - श्रम बाजार में एक अधिक सामान्य और कम खर्चीली योग्यता - ले सकता है अधिकांश कार्यों पर। नियमित कार्य।

इस प्रकार, विकसित मॉडलों की गति और गुणवत्ता, टीम की उत्पादकता और उसमें माइक्रॉक्लाइमेट सीधे तौर पर इस बात पर निर्भर करता है कि एमएलओपीएस प्रक्रिया का समर्थन करने के लिए विशेषज्ञों के चयन में सीमा कहां है और विकसित मॉडलों के संचालन की प्रक्रिया कैसे व्यवस्थित की जाती है। .

जो हमारी टीम पहले ही कर चुकी है

हमने हाल ही में एक योग्यता संरचना और एमएलओपीएस प्रक्रियाओं का निर्माण शुरू किया है। लेकिन मॉडल जीवनचक्र प्रबंधन और एक सेवा के रूप में मॉडलों का उपयोग करने पर हमारी परियोजनाएं पहले से ही एमवीपी परीक्षण चरण में हैं।

हमने एक बड़े उद्यम के लिए इष्टतम योग्यता संरचना और प्रक्रिया में सभी प्रतिभागियों के बीच बातचीत की संगठनात्मक संरचना भी निर्धारित की है। व्यावसायिक ग्राहकों की संपूर्ण श्रृंखला की समस्याओं को हल करने के लिए एजाइल टीमों का आयोजन किया गया था, और प्लेटफ़ॉर्म और बुनियादी ढाँचा बनाने के लिए परियोजना टीमों के साथ बातचीत की एक प्रक्रिया स्थापित की गई थी, जो निर्माणाधीन एमएलओपीएस भवन की नींव है।

भविष्य के लिए प्रश्न

एमएलओपीएस एक बढ़ता हुआ क्षेत्र है जो दक्षताओं की कमी का सामना कर रहा है और भविष्य में गति पकड़ेगा। इस बीच, DevOps विकास और प्रथाओं पर निर्माण करना सबसे अच्छा है। एमएलओपीएस का मुख्य लक्ष्य व्यावसायिक समस्याओं को हल करने के लिए एमएल मॉडल का अधिक प्रभावी ढंग से उपयोग करना है। लेकिन इससे कई सवाल खड़े होते हैं:

• मॉडलों को उत्पादन में लॉन्च करने का समय कैसे कम करें?
• विभिन्न दक्षताओं वाली टीमों के बीच नौकरशाही घर्षण को कैसे कम किया जाए और सहयोग पर ध्यान कैसे बढ़ाया जाए?
• मॉडलों को कैसे ट्रैक करें, संस्करण प्रबंधित करें और प्रभावी निगरानी कैसे व्यवस्थित करें?
• आधुनिक एमएल मॉडल के लिए वास्तव में गोलाकार जीवनचक्र कैसे बनाएं?
• मशीन लर्निंग प्रक्रिया का मानकीकरण कैसे करें?

इन सवालों के जवाब काफी हद तक यह निर्धारित करेंगे कि एमएलओपीएस कितनी जल्दी अपनी पूरी क्षमता तक पहुंच जाएगा।

स्रोत: www.habr.com