MLOps: मशीन लर्निंगच्या जगात DevOps

2018 मध्ये, MLOps ची संकल्पना व्यावसायिक मंडळांमध्ये आणि AI ला समर्पित थीमॅटिक कॉन्फरन्समध्ये दिसून आली, ज्याने उद्योगात त्वरीत पकड घेतली आणि आता एक स्वतंत्र दिशा म्हणून विकसित होत आहे. भविष्यात, MLOps हे IT मधील सर्वात लोकप्रिय क्षेत्रांपैकी एक बनू शकते. ते काय आहे आणि ते कशासह खाल्ले जाते? चला खाली जाणून घेऊया.

MLOps म्हणजे काय

कृत्रिम बुद्धिमत्ता प्रणाली तयार करताना MLOps (मशीन लर्निंग तंत्रज्ञान आणि प्रक्रिया आणि विकसित मॉडेल्सची व्यवसाय प्रक्रियांमध्ये अंमलबजावणी करण्यासाठीचे दृष्टिकोन एकत्र करणे) हा व्यवसाय प्रतिनिधी, शास्त्रज्ञ, गणितज्ञ, मशीन लर्निंग विशेषज्ञ आणि IT अभियंते यांच्यातील सहकार्याचा एक नवीन मार्ग आहे.

दुस-या शब्दात, व्यवसायाच्या समस्या सोडवण्यासाठी मशीन लर्निंग पद्धती आणि तंत्रज्ञानाला एक उपयुक्त साधन बनवण्याचा हा एक मार्ग आहे. 

हे समजून घेणे आवश्यक आहे की उत्पादनाची साखळी मॉडेलच्या विकासाच्या खूप आधीपासून सुरू होते. त्याची पहिली पायरी म्हणजे व्यवसायाच्या समस्येची व्याख्या करणे, डेटामधून काढल्या जाऊ शकणार्‍या मूल्याबद्दल एक गृहितक आणि ते लागू करण्यासाठी व्यवसाय कल्पना. 

MLOps ची संकल्पना मशीन लर्निंग मॉडेल्स आणि तंत्रज्ञानाच्या संबंधात DevOps च्या संकल्पनेशी साधर्म्य म्हणून उद्भवली. DevOps हा सॉफ्टवेअर डेव्हलपमेंटचा एक दृष्टीकोन आहे जो तुम्हाला लवचिकता आणि विश्वासार्हता टिकवून ठेवताना वैयक्तिक बदलांच्या अंमलबजावणीचा वेग वाढवण्याची परवानगी देतो, ज्यात सतत विकास, अनेक स्वतंत्र मायक्रोसर्व्हिसेसमध्ये फंक्शन्सची विभागणी, स्वयंचलित चाचणी आणि वैयक्तिक उपयोजन यांचा समावेश आहे. बदल, जागतिक आरोग्य निरीक्षण, आढळलेल्या अपयशांसाठी जलद प्रतिसाद प्रणाली इ. 

DevOps ने सॉफ्टवेअर लाइफसायकलची व्याख्या केली आहे आणि समुदायाने हीच पद्धत मोठ्या डेटावर लागू करण्याची कल्पना आणली आहे. DataOps हा विविध आणि इंटरऑपरेबल प्लॅटफॉर्ममध्ये मोठ्या प्रमाणात डेटा संचयित करणे, प्रसारित करणे आणि प्रक्रिया करणे या वैशिष्ट्यांचा विचार करून कार्यपद्धतीशी जुळवून घेण्याचा आणि विस्तारित करण्याचा प्रयत्न आहे.
  
एंटरप्राइजेसच्या व्यवसाय प्रक्रियेत लागू केलेल्या मशीन लर्निंग मॉडेल्सच्या विशिष्ट गंभीर वस्तुमानाच्या आगमनाने, गणितीय मशीन लर्निंग मॉडेल्सचे जीवन चक्र आणि सॉफ्टवेअर जीवन चक्र यांच्यात एक मजबूत समानता दिसून आली. फरक एवढाच आहे की मॉडेल अल्गोरिदम मशीन लर्निंग टूल्स आणि पद्धती वापरून तयार केले जातात. त्यामुळे, मशिन लर्निंग मॉडेल्ससाठी सॉफ्टवेअर डेव्हलपमेंटसाठी आधीच ज्ञात पध्दती लागू करण्याची आणि अनुकूल करण्याची कल्पना स्वाभाविकपणे उद्भवली. अशाप्रकारे, मशीन लर्निंग मॉडेल्सच्या जीवनचक्रात खालील प्रमुख टप्पे ओळखले जाऊ शकतात:

• व्यवसाय कल्पना परिभाषित करणे;
• मॉडेल प्रशिक्षण;
• व्यवसाय प्रक्रियेत मॉडेलची चाचणी आणि अंमलबजावणी;
• मॉडेलचे ऑपरेशन.

जेव्हा ऑपरेशन दरम्यान नवीन डेटावर मॉडेल बदलण्याची किंवा पुन्हा प्रशिक्षित करण्याची आवश्यकता असते, तेव्हा सायकल पुन्हा सुरू होते - मॉडेल शुद्ध केले जाते, चाचणी केली जाते आणि नवीन आवृत्ती तैनात केली जाते.

माघार. का पुन्हा प्रशिक्षण घ्या आणि पुन्हा प्रशिक्षण का नाही? "मॉडेल रीट्रेनिंग" या शब्दाचा दुहेरी अर्थ आहे: तज्ञांमध्ये याचा अर्थ एक मॉडेल दोष आहे, जेव्हा मॉडेल चांगले अंदाज लावते, प्रत्यक्षात प्रशिक्षण सेटवर अंदाजित पॅरामीटरची पुनरावृत्ती करते, परंतु बाह्य डेटा नमुन्यावर खूपच वाईट कामगिरी करते. स्वाभाविकच, असे मॉडेल एक दोष आहे, कारण हा दोष त्याचा वापर करण्यास परवानगी देत ​​​​नाही.

या जीवन चक्रात, DevOps साधने वापरणे तर्कसंगत वाटते: स्वयंचलित चाचणी, उपयोजन आणि देखरेख, स्वतंत्र मायक्रोसर्व्हिसेसच्या स्वरूपात मॉडेल गणना डिझाइन करणे. परंतु अशी अनेक वैशिष्ट्ये देखील आहेत जी अतिरिक्त एमएल बंधनाशिवाय या साधनांचा थेट वापर प्रतिबंधित करतात.

मॉडेल कसे कार्य करावे आणि फायदेशीर कसे बनवायचे

एक उदाहरण म्हणून ज्यामध्ये आम्ही MLOps पद्धतीचा वापर दाखवू, आम्ही बँकिंग (किंवा इतर कोणत्याही) उत्पादनासाठी चॅट सपोर्ट रोबोटीकरण करण्याचे उत्कृष्ट कार्य करू. सामान्यतः, चॅट सपोर्ट व्यवसाय प्रक्रिया अशी दिसते: क्लायंट चॅटमध्ये प्रश्नासह संदेश प्रविष्ट करतो आणि पूर्वनिर्धारित संवादाच्या झाडामध्ये तज्ञांकडून प्रतिसाद प्राप्त करतो. अशा चॅट स्वयंचलित करण्याचे कार्य सामान्यत: कौशल्याने परिभाषित केलेल्या नियमांचा वापर करून सोडवले जाते, जे विकसित आणि देखरेखीसाठी खूप श्रम-केंद्रित असतात. अशा ऑटोमेशनची कार्यक्षमता, कार्याच्या जटिलतेच्या पातळीनुसार, 20-30% असू शकते. साहजिकच, अशी कल्पना येते की कृत्रिम बुद्धिमत्ता मॉड्यूलची अंमलबजावणी करणे अधिक फायदेशीर आहे - मशीन लर्निंग वापरून विकसित केलेले मॉडेल, जे:

• ऑपरेटरच्या सहभागाशिवाय मोठ्या संख्येने विनंत्यांची प्रक्रिया करण्यास सक्षम आहे (विषयावर अवलंबून, काही प्रकरणांमध्ये कार्यक्षमता 70-80% पर्यंत पोहोचू शकते);
• संवादातील अ-मानक शब्दांशी अधिक चांगले जुळवून घेते - स्पष्टपणे तयार न केलेल्या विनंतीवर आधारित हेतू, वापरकर्त्याची वास्तविक इच्छा निर्धारित करण्यात सक्षम आहे;
• मॉडेलचे उत्तर केव्हा पुरेसे आहे हे कसे ठरवायचे आणि या उत्तराच्या "जागरूकतेबद्दल" शंका असताना आणि तुम्हाला अतिरिक्त स्पष्टीकरण प्रश्न विचारण्याची किंवा ऑपरेटरकडे स्विच करणे आवश्यक आहे;
• अतिरिक्तपणे स्वयंचलितपणे प्रशिक्षित केले जाऊ शकते (विकासकांच्या गटाने सतत प्रतिसाद स्क्रिप्ट्सचे रुपांतर आणि दुरुस्त करण्याऐवजी, मॉडेलला योग्य मशीन लर्निंग लायब्ररी वापरून डेटा सायन्स तज्ञाद्वारे अतिरिक्त प्रशिक्षण दिले जाते). 

असे प्रगत मॉडेल कसे कार्य करावे? 

इतर कोणत्याही समस्येचे निराकरण करण्याप्रमाणे, असे मॉड्यूल विकसित करण्यापूर्वी, व्यावसायिक प्रक्रियेची व्याख्या करणे आणि आम्ही मशीन लर्निंग पद्धतीचा वापर करून सोडवलेल्या विशिष्ट कार्याचे औपचारिक वर्णन करणे आवश्यक आहे. या टप्प्यावर, संक्षेप Ops द्वारे नियुक्त केलेल्या ऑपरेशनची प्रक्रिया सुरू होते. 

पुढील पायरी म्हणजे डेटा सायंटिस्ट, डेटा अभियंता यांच्या सहकार्याने, डेटाची उपलब्धता आणि पुरेशीता आणि व्यवसाय कल्पनांच्या व्यवहार्यतेबद्दल व्यावसायिक गृहीतके तपासतो, एक नमुना मॉडेल विकसित करतो आणि त्याची वास्तविक परिणामकारकता तपासतो. व्यवसायाच्या पुष्टीनंतरच मॉडेल विकसित करण्यापासून ते विशिष्ट व्यवसाय प्रक्रिया पार पाडणाऱ्या प्रणालींमध्ये समाकलित करण्यापर्यंतचे संक्रमण सुरू होऊ शकते. एंड-टू-एंड अंमलबजावणी नियोजन, मॉडेलचा वापर कसा केला जाईल आणि त्याचा कोणता आर्थिक परिणाम होईल याची प्रत्येक टप्प्यावर सखोल माहिती, कंपनीच्या तांत्रिक लँडस्केपमध्ये MLOps दृष्टिकोन सादर करण्याच्या प्रक्रियेतील एक मूलभूत मुद्दा आहे.

एआय तंत्रज्ञानाच्या विकासासह, मशीन लर्निंगचा वापर करून सोडवल्या जाऊ शकणार्‍या समस्यांची संख्या आणि विविध प्रकार झपाट्याने वाढत आहेत. अशा प्रकारची प्रत्येक व्यवसाय प्रक्रिया मोठ्या प्रमाणात कर्मचार्‍यांच्या श्रमांच्या ऑटोमेशनमुळे (कॉल सेंटर, कागदपत्रे तपासणे आणि वर्गीकरण करणे इ.) कंपनीसाठी बचत आहे, नवीन आकर्षक आणि सोयीस्कर कार्ये जोडून क्लायंट बेसचा विस्तार आहे. त्यांचा इष्टतम वापर आणि संसाधनांचे पुनर्वितरण आणि बरेच काही यामुळे पैशाची बचत होत आहे. शेवटी, कोणतीही प्रक्रिया मूल्य निर्माण करण्यावर केंद्रित असते आणि परिणामी, विशिष्ट आर्थिक परिणाम आणणे आवश्यक आहे. येथे व्यवसायाची कल्पना स्पष्टपणे तयार करणे आणि कंपनीच्या एकूण मूल्य निर्मितीच्या संरचनेत मॉडेलच्या अंमलबजावणीतून अपेक्षित नफ्याची गणना करणे खूप महत्वाचे आहे. अशी परिस्थिती असते जेव्हा मॉडेलची अंमलबजावणी करणे स्वतःला न्याय्य ठरत नाही आणि मशीन लर्निंग तज्ञांनी घालवलेला वेळ हे कार्य करणाऱ्या ऑपरेटरच्या कामाच्या ठिकाणापेक्षा खूपच महाग असतो. म्हणूनच एआय सिस्टम तयार करण्याच्या सुरुवातीच्या टप्प्यात अशी प्रकरणे ओळखण्याचा प्रयत्न करणे आवश्यक आहे.

परिणामी, MLOps प्रक्रियेत व्यावसायिक समस्या योग्यरित्या तयार केल्यावरच मॉडेल्स नफा मिळवण्यास सुरुवात करतात, प्राधान्यक्रम सेट केले जातात आणि विकासाच्या सुरुवातीच्या टप्प्यात सिस्टममध्ये मॉडेल सादर करण्याची प्रक्रिया तयार केली जाते.

नवीन प्रक्रिया - नवीन आव्हाने

समस्या सोडवण्यासाठी ML मॉडेल्स कितपत लागू होतात या मूलभूत व्यावसायिक प्रश्नाचे सर्वसमावेशक उत्तर, AI वरील विश्वासाची सामान्य समस्या ही MLOps दृष्टिकोन विकसित आणि अंमलबजावणी करण्याच्या प्रक्रियेतील प्रमुख आव्हानांपैकी एक आहे. सुरुवातीला, व्यवसाय प्रक्रियांमध्ये मशीन लर्निंगच्या परिचयाबद्दल साशंक आहेत - ज्या ठिकाणी पूर्वी, नियमानुसार, लोक काम करत होते अशा ठिकाणी मॉडेलवर अवलंबून राहणे कठीण आहे. व्यवसायासाठी, प्रोग्राम एक "ब्लॅक बॉक्स" असल्याचे दिसून येते, ज्याची प्रासंगिकता अद्याप सिद्ध करणे आवश्यक आहे. याव्यतिरिक्त, बँकिंगमध्ये, दूरसंचार ऑपरेटर आणि इतरांच्या व्यवसायात, सरकारी नियामकांच्या कठोर आवश्यकता आहेत. बँकिंग प्रक्रियेत लागू केलेल्या सर्व प्रणाली आणि अल्गोरिदम ऑडिटच्या अधीन आहेत. या समस्येचे निराकरण करण्यासाठी, व्यवसाय आणि नियामकांना कृत्रिम बुद्धिमत्तेच्या प्रतिसादांची वैधता आणि शुद्धता सिद्ध करण्यासाठी, मॉडेलसह मॉनिटरिंग साधने सादर केली जात आहेत. याव्यतिरिक्त, एक स्वतंत्र प्रमाणीकरण प्रक्रिया आहे, नियामक मॉडेलसाठी अनिवार्य आहे, जी सेंट्रल बँकेच्या आवश्यकता पूर्ण करते. एक स्वतंत्र तज्ञ गट इनपुट डेटा विचारात घेऊन मॉडेलद्वारे प्राप्त परिणामांचे ऑडिट करतो.

दुसरे आव्हान म्हणजे मशीन लर्निंग मॉडेलची अंमलबजावणी करताना मॉडेलच्या जोखमींचे मूल्यांकन करणे आणि विचारात घेणे. तोच पोशाख पांढरा होता की निळा या प्रश्नाचे उत्तर जरी एखादी व्यक्ती शंभर टक्के खात्रीने देऊ शकत नसेल, तर कृत्रिम बुद्धिमत्तेलाही चूक करण्याचा अधिकार आहे. हे देखील विचारात घेण्यासारखे आहे की डेटा कालांतराने बदलू शकतो आणि पुरेसा अचूक परिणाम देण्यासाठी मॉडेल्सना पुन्हा प्रशिक्षित करणे आवश्यक आहे. व्यवसाय प्रक्रियेला त्रास होणार नाही याची खात्री करण्यासाठी, मॉडेलच्या जोखमीचे व्यवस्थापन करणे आणि मॉडेलच्या कार्यप्रदर्शनाचे निरीक्षण करणे आवश्यक आहे, नियमितपणे नवीन डेटावर पुन्हा प्रशिक्षण देणे.

पण अविश्वासाच्या पहिल्या टप्प्यानंतर उलट परिणाम दिसू लागतो. प्रक्रियांमध्ये जितकी अधिक मॉडेल्स यशस्वीरित्या अंमलात आणली जातात, तितकी कृत्रिम बुद्धिमत्तेच्या वापरासाठी व्यवसायाची भूक वाढते - नवीन आणि नवीन समस्या आढळून येत आहेत ज्या मशीन लर्निंग पद्धती वापरून सोडवल्या जाऊ शकतात. प्रत्येक कार्य संपूर्ण प्रक्रियेस चालना देते ज्यासाठी विशिष्ट क्षमतांची आवश्यकता असते:

• डेटा अभियंते डेटा तयार करतात आणि त्यावर प्रक्रिया करतात;
• डेटा वैज्ञानिक मशीन लर्निंग टूल्स वापरतात आणि मॉडेल विकसित करतात;
• IT प्रणालीमध्ये मॉडेल लागू करते;
• ML अभियंता हे मॉडेल प्रक्रियेत योग्यरित्या कसे समाकलित करायचे ते ठरवतो, कोणती IT साधने वापरायची, मॉडेलच्या ऍप्लिकेशन मोडच्या आवश्यकतांवर अवलंबून, विनंतीचा प्रवाह, प्रतिसाद वेळ इत्यादी लक्षात घेऊन. 
• एमएल आर्किटेक्ट औद्योगिक प्रणालीमध्ये सॉफ्टवेअर उत्पादन भौतिकरित्या कसे लागू केले जाऊ शकते हे डिझाइन करतो.

संपूर्ण चक्रासाठी मोठ्या संख्येने उच्च पात्र तज्ञांची आवश्यकता असते. व्यवसाय प्रक्रियेत एमएल मॉडेल्सच्या विकासाच्या आणि प्रवेशाच्या एका विशिष्ट टप्प्यावर, हे दिसून येते की कार्यांच्या संख्येत वाढ होण्याच्या प्रमाणात विशेषज्ञांची संख्या रेषीयपणे मोजणे महाग आणि अप्रभावी होते. म्हणून, MLOps प्रक्रिया स्वयंचलित करण्याचा प्रश्न उद्भवतो - मशीन लर्निंग समस्यांचे अनेक मानक वर्ग परिभाषित करणे, मानक डेटा प्रोसेसिंग पाइपलाइन विकसित करणे आणि मॉडेलचे अतिरिक्त प्रशिक्षण. आदर्श चित्रात, अशा समस्यांचे निराकरण करण्यासाठी बिग डेटा, डेटा सायन्स, DevOps आणि IT च्या छेदनबिंदूवर सक्षमतेत तितकेच प्रवीण व्यावसायिकांची आवश्यकता असते. म्हणून, डेटा सायन्स उद्योगातील सर्वात मोठी समस्या आणि MLOps प्रक्रिया आयोजित करण्यात सर्वात मोठे आव्हान म्हणजे विद्यमान प्रशिक्षण बाजारपेठेत अशा क्षमतेचा अभाव. या आवश्यकता पूर्ण करणारे विशेषज्ञ सध्या श्रमिक बाजारात दुर्मिळ आहेत आणि त्यांचे वजन सोन्यामध्ये आहे.

सक्षमतेच्या मुद्द्यावर

सिद्धांतानुसार, सर्व MLOps कार्ये क्लासिक DevOps टूल्स वापरून आणि रोल मॉडेलच्या विशेष विस्ताराचा अवलंब न करता सोडवता येतात. मग, आम्ही वर नमूद केल्याप्रमाणे, डेटा सायंटिस्ट हा केवळ गणितज्ञ आणि डेटा विश्लेषकच नाही तर संपूर्ण पाइपलाइनचा गुरु देखील असला पाहिजे - तो आर्किटेक्चरच्या आधारावर अनेक भाषांमध्ये आर्किटेक्चर, प्रोग्रामिंग मॉडेल विकसित करण्यासाठी जबाबदार आहे. डेटा मार्ट आणि उपयोजन स्वतःच. तथापि, एंड-टू-एंड MLOps प्रक्रियेत अंमलात आणलेली तांत्रिक चौकट तयार करण्यासाठी 80% पर्यंत श्रम खर्च लागतो, याचा अर्थ असा की एक योग्य गणितज्ञ, जो एक दर्जेदार डेटा सायंटिस्ट आहे, त्याच्या विशेषतेसाठी फक्त 20% वेळ घालवेल. . म्हणून, मशीन लर्निंग मॉडेल्सची अंमलबजावणी करण्याच्या प्रक्रियेत सामील असलेल्या तज्ञांच्या भूमिकांचे वर्णन करणे अत्यावश्यक बनते. 

भूमिका किती तपशीलवार वर्णन केल्या पाहिजेत हे एंटरप्राइझच्या आकारावर अवलंबून असते. जेव्हा एखाद्या स्टार्टअपमध्ये एक विशेषज्ञ असतो, ऊर्जा राखीव क्षेत्रात कठोर कार्यकर्ता असतो, जो स्वतःचा अभियंता, आर्किटेक्ट आणि DevOps असतो. ही एक पूर्णपणे वेगळी बाब आहे, जेव्हा मोठ्या उद्योगात, सर्व मॉडेल विकास प्रक्रिया काही उच्च-स्तरीय डेटा सायन्स तज्ञांवर केंद्रित असतात, तर प्रोग्रामर किंवा डेटाबेस तज्ञ - श्रमिक बाजारात अधिक सामान्य आणि कमी खर्चिक क्षमता - घेऊ शकतात. बर्‍याच कामांवर. नियमित कामे.

अशाप्रकारे, विकसित मॉडेल्सची गती आणि गुणवत्ता, संघाची उत्पादकता आणि त्यातील सूक्ष्म हवामान थेट MLOps प्रक्रियेला समर्थन देण्यासाठी तज्ञांच्या निवडीमध्ये कोठे आहे आणि विकसित मॉडेल्सच्या कार्यान्वित करण्याची प्रक्रिया कशी आयोजित केली जाते यावर थेट अवलंबून असते. .

आमच्या टीमने आधीच काय केले आहे

आम्ही अलीकडेच सक्षमता संरचना आणि MLOps प्रक्रिया तयार करण्यास सुरुवात केली. परंतु मॉडेल लाइफसायकल व्यवस्थापन आणि सेवा म्हणून मॉडेल वापरण्यावरील आमचे प्रकल्प आधीपासूनच MVP चाचणी टप्प्यात आहेत.

आम्ही मोठ्या उद्योगासाठी इष्टतम सक्षमता संरचना आणि प्रक्रियेतील सर्व सहभागींमधील परस्परसंवादाची संघटनात्मक रचना देखील निर्धारित केली. व्यावसायिक ग्राहकांच्या संपूर्ण श्रेणीतील समस्यांचे निराकरण करण्यासाठी चपळ संघांचे आयोजन करण्यात आले आणि प्लॅटफॉर्म आणि पायाभूत सुविधा निर्माण करण्यासाठी प्रकल्प कार्यसंघांशी संवाद साधण्याची प्रक्रिया सुरू करण्यात आली, जी बांधकामाधीन MLOps इमारतीचा पाया आहे.

भविष्यासाठी प्रश्न

MLOps हे एक वाढणारे क्षेत्र आहे ज्यात सक्षमतेची कमतरता आहे आणि भविष्यात त्याला गती मिळेल. यादरम्यान, DevOps विकास आणि पद्धती तयार करणे सर्वोत्तम आहे. MLOps चे मुख्य ध्येय व्यावसायिक समस्या सोडवण्यासाठी ML मॉडेल्सचा अधिक प्रभावीपणे वापर करणे हे आहे. परंतु हे अनेक प्रश्न उपस्थित करते:

• उत्पादनात मॉडेल्स लाँच करण्याची वेळ कशी कमी करावी?
• वेगवेगळ्या क्षमता असलेल्या संघांमधील नोकरशाहीतील संघर्ष कमी कसा करायचा आणि सहकार्यावर लक्ष केंद्रित कसे करायचे?
• मॉडेल्सचा मागोवा कसा घ्यावा, आवृत्त्या व्यवस्थापित करा आणि प्रभावी निरीक्षण कसे आयोजित करावे?
• आधुनिक एमएल मॉडेलसाठी खरोखर गोलाकार जीवनचक्र कसे तयार करावे?
• मशीन लर्निंग प्रक्रियेचे प्रमाणीकरण कसे करावे?

MLOps त्याच्या पूर्ण क्षमतेपर्यंत किती लवकर पोहोचतील हे या प्रश्नांची उत्तरे मुख्यत्वे ठरवतील.

स्त्रोत: www.habr.com