🥇औद्योगिक मशीन लर्निंग: विकासाची 10 तत्त्वे

इंडस्ट्रियल मशीन लर्निंग: 10 डिझाइन तत्त्वे

आजकाल, नवीन सेवा, अनुप्रयोग आणि इतर महत्त्वाचे प्रोग्राम दररोज तयार केले जातात ज्यामुळे अविश्वसनीय गोष्टी तयार करणे शक्य होते: स्पेसएक्स रॉकेट नियंत्रित करण्यासाठी सॉफ्टवेअरपासून ते स्मार्टफोनद्वारे पुढील खोलीतील केटलशी संवाद साधण्यापर्यंत.

आणि, कधीकधी, प्रत्येक नवशिक्या प्रोग्रामर, मग तो एक उत्कट स्टार्टअपर असो किंवा सामान्य फुल स्टॅक किंवा डेटा सायंटिस्ट असो, लवकरच किंवा नंतर हे लक्षात येते की प्रोग्रामिंग आणि सॉफ्टवेअर तयार करण्यासाठी काही नियम आहेत जे जीवन खूप सोपे करतात.

या लेखात, मी 10-घटक अॅप पद्धतीच्या आधारे, इंडस्ट्रियल मशीन लर्निंग कसे प्रोग्राम करावे याच्या 12 तत्त्वांचे थोडक्यात वर्णन करेन जेणेकरून ते सहजपणे ऍप्लिकेशन/सेवेमध्ये समाकलित केले जाऊ शकते. Heroku टीमने सुचवले. माझा पुढाकार या तंत्राविषयी जागरूकता वाढवण्यासाठी आहे, ज्यामुळे अनेक विकासक आणि डेटा सायन्स लोकांना मदत होऊ शकते.

हा लेख औद्योगिक मशीन लर्निंग बद्दलच्या लेखांच्या मालिकेचा प्रस्तावना आहे. त्यामध्ये मी प्रत्यक्षात मॉडेल कसे बनवायचे आणि ते उत्पादनात कसे लाँच करायचे, त्यासाठी एपीआय तयार करणे, तसेच त्यांच्या सिस्टममध्ये बिल्ट-इन एमएल असलेल्या विविध क्षेत्रांची आणि कंपन्यांची उदाहरणे याबद्दल बोलेन.

तत्त्व 1: एक कोड बेस

काही प्रोग्रामर पहिल्या टप्प्यावर, आळशीपणामुळे (किंवा त्यांच्या स्वतःच्या कारणास्तव) गिटबद्दल विसरतात. ते एकतर शब्द पूर्णपणे विसरतात, म्हणजेच ते ड्राइव्हमध्ये फाईल्स एकमेकांना फेकतात/फक्त मजकूर टाकतात/कबुतरांद्वारे पाठवतात, किंवा ते त्यांच्या कार्यप्रवाहाचा विचार करत नाहीत, आणि प्रत्येकाला त्यांच्या स्वत: च्या शाखेत पाठवतात आणि नंतर मास्टर.

हे तत्त्व सांगते: एक कोडबेस आणि अनेक उपयोजन आहेत.

Git चा वापर उत्पादन आणि संशोधन आणि विकास (R&D) या दोन्हीमध्ये केला जाऊ शकतो, ज्यामध्ये तो वारंवार वापरला जात नाही.

उदाहरणार्थ, R&D टप्प्यात तुम्ही वेगवेगळ्या डेटा प्रोसेसिंग पद्धती आणि मॉडेल्ससह कमिट सोडू शकता, त्यानंतर सर्वोत्तम निवडण्यासाठी आणि त्यासह पुढे काम करणे सुरू ठेवण्यासाठी.

दुसरे म्हणजे, उत्पादनामध्ये ही एक अपरिवर्तनीय गोष्ट आहे - आपल्याला आपला कोड कसा बदलतो हे सतत पहावे लागेल आणि कोणत्या मॉडेलने सर्वोत्कृष्ट परिणाम दिले आहेत, कोणत्या कोडने शेवटी कार्य केले आणि असे काय घडले ज्यामुळे त्याचे कार्य करणे थांबले किंवा चुकीचे परिणाम देणे सुरू केले. . कमिट त्यासाठीच असतात!

तुम्ही तुमच्या प्रोजेक्टचे पॅकेज देखील तयार करू शकता, उदाहरणार्थ, Gemfury वर ठेवून, आणि नंतर इतर प्रोजेक्ट्ससाठी फंक्शन्स इंपोर्ट करू शकता, जेणेकरुन ते 1000 वेळा पुन्हा लिहू नये, परंतु नंतर त्यावर अधिक.

तत्त्व 2: स्पष्टपणे घोषित करा आणि अवलंबित्व वेगळे करा

प्रत्येक प्रोजेक्टमध्ये वेगवेगळी लायब्ररी असते जी तुम्ही बाहेरून आयात करता ती कुठेतरी लागू करण्यासाठी. मग ती पायथन लायब्ररी असो, किंवा विविध उद्देशांसाठी इतर भाषांची लायब्ररी असो, किंवा सिस्टम टूल्स - तुमचे कार्य आहे:

अवलंबित्व स्पष्टपणे घोषित करा, म्हणजे, एक फाइल ज्यामध्ये तुमच्या प्रोजेक्टमध्ये वापरल्या जाणार्‍या सर्व लायब्ररी, टूल्स आणि त्यांच्या आवृत्त्या असतील आणि त्या इन्स्टॉल केल्या पाहिजेत (उदाहरणार्थ, पायथॉनमध्ये हे Pipfile किंवा requirements.txt वापरून केले जाऊ शकते. अ. दुवा जो चांगला समजून घेण्यास अनुमती देतो: realpython.com/pipenv-guide)
विकासादरम्यान तुमच्या प्रोग्रामसाठी विशेषत: अवलंबित्व वेगळे करा. तुम्ही सतत आवृत्त्या बदलू इच्छित नाही आणि पुन्हा स्थापित करू इच्छित नाही, उदाहरणार्थ, Tensorflow?

अशा प्रकारे, भविष्यात तुमच्या टीममध्ये सामील होणारे डेव्हलपर तुमच्या प्रोजेक्टमध्ये वापरल्या जाणार्‍या लायब्ररी आणि त्यांच्या आवृत्त्यांशी त्वरीत परिचित होऊ शकतील आणि तुम्हाला विशिष्टसाठी स्थापित केलेल्या आवृत्त्या आणि लायब्ररी स्वतः व्यवस्थापित करण्याची संधी देखील मिळेल. प्रकल्प, जे तुम्हाला लायब्ररी किंवा त्यांच्या आवृत्त्यांची असंगतता टाळण्यास मदत करेल.

तुमचा ॲप्लिकेशन विशिष्ट OS वर इंस्टॉल केलेल्या सिस्टीम टूल्सवर अवलंबून राहू नये. ही साधने अवलंबित्व मॅनिफेस्टमध्ये देखील घोषित करणे आवश्यक आहे. टूल्सची आवृत्ती (तसेच त्यांची उपलब्धता) विशिष्ट OS च्या सिस्टम टूल्सशी जुळत नाही अशा परिस्थिती टाळण्यासाठी हे आवश्यक आहे.

अशाप्रकारे, जरी कर्ल जवळजवळ सर्व संगणकांवर वापरले जाऊ शकते, तरीही आपण ते अवलंबित्वात घोषित केले पाहिजे, कारण दुसर्‍या प्लॅटफॉर्मवर स्थलांतरित करताना ते कदाचित तेथे नसेल किंवा आपल्याला आवश्यक असलेली आवृत्ती नसेल.

उदाहरणार्थ, तुमची requirements.txt यासारखी दिसू शकते:

# Model Building Requirements
numpy>=1.18.1,<1.19.0
pandas>=0.25.3,<0.26.0
scikit-learn>=0.22.1,<0.23.0
joblib>=0.14.1,<0.15.0

# testing requirements
pytest>=5.3.2,<6.0.0

# packaging
setuptools>=41.4.0,<42.0.0
wheel>=0.33.6,<0.34.0

# fetching datasets
kaggle>=1.5.6,<1.6.0

तत्त्व 3: कॉन्फिगरेशन

अनेक विकसकांनी AWS मधील पासवर्ड आणि इतर की सह सार्वजनिक भांडारात GitHub वर कोड अपलोड केल्याच्या कथा अनेकांनी ऐकल्या आहेत, दुसऱ्या दिवशी $6000 किंवा $50000 चे कर्ज घेऊन जागे होतात.

अर्थात, ही प्रकरणे टोकाची आहेत, परंतु खूप लक्षणीय आहेत. तुम्ही तुमची क्रेडेन्शियल्स किंवा कॉन्फिगरेशनसाठी आवश्यक असलेला अन्य डेटा कोडमध्ये साठवल्यास, तुम्ही चूक करत आहात आणि मला असे वाटते की याचे कारण स्पष्ट करण्याची गरज नाही.

पर्यावरणीय चलांमध्ये कॉन्फिगरेशन संग्रहित करणे हा याला पर्याय आहे. आपण पर्यावरण परिवर्तनांबद्दल अधिक वाचू शकता येथे.

डेटाची उदाहरणे जी सामान्यत: पर्यावरण व्हेरिएबल्समध्ये संग्रहित केली जातात:

डोमेन नावे
API URL/URI
सार्वजनिक आणि खाजगी की
संपर्क (मेल, फोन इ.)

अशा प्रकारे तुमचे कॉन्फिगरेशन व्हेरिएबल्स बदलल्यास तुम्हाला सतत कोड बदलण्याची गरज नाही. हे तुमचा वेळ, मेहनत आणि पैसा वाचविण्यात मदत करेल.

उदाहरणार्थ, जर तुम्ही चाचण्या घेण्यासाठी Kaggle API वापरत असाल (उदाहरणार्थ, सॉफ्टवेअर डाउनलोड करा आणि मॉडेल चांगले काम करते हे तपासण्यासाठी त्याद्वारे मॉडेल चालवा), तर Kaggle कडील खाजगी की, जसे की KAGGLE_USERNAME आणि KAGGLE_KEY, असाव्यात. पर्यावरणीय चलांमध्ये संग्रहित.

तत्त्व 4: तृतीय पक्ष सेवा

कोडच्या दृष्टीने स्थानिक आणि तृतीय-पक्ष संसाधनांमध्ये फरक नसावा अशा प्रकारे प्रोग्राम तयार करण्याची येथे कल्पना आहे. उदाहरणार्थ, तुम्ही स्थानिक MySQL आणि तृतीय-पक्ष दोन्ही कनेक्ट करू शकता. Google Maps किंवा Twitter API सारख्या विविध API साठी हेच आहे.

तृतीय-पक्ष सेवा अक्षम करण्यासाठी किंवा दुसरी कनेक्ट करण्यासाठी, आपल्याला पर्यावरण व्हेरिएबल्समधील कॉन्फिगरेशनमधील की बदलण्याची आवश्यकता आहे, ज्याबद्दल मी वरील परिच्छेदामध्ये बोललो आहे.

म्हणून, उदाहरणार्थ, प्रत्येक वेळी कोडमध्ये डेटासेटसह फायलींचा मार्ग निर्दिष्ट करण्याऐवजी, pathlib लायब्ररी वापरणे आणि config.py मधील डेटासेटचा मार्ग घोषित करणे चांगले आहे, जेणेकरुन तुम्ही कोणतीही सेवा वापरत असलात तरी (साठी उदाहरणार्थ, सर्कलसीआय), प्रोग्राम नवीन सेवेतील नवीन फाइल सिस्टमची रचना लक्षात घेऊन डेटासेटचा मार्ग शोधण्यात सक्षम होता.

तत्त्व 5. बिल्ड, रिलीज, रनटाइम

डेटा सायन्समधील बर्‍याच लोकांना त्यांचे सॉफ्टवेअर लेखन कौशल्य सुधारणे उपयुक्त वाटते. आमचा प्रोग्राम शक्य तितक्या क्वचितच क्रॅश व्हावा आणि शक्य तितक्या काळ अपयशी न होता कार्य करू इच्छित असल्यास, आम्हाला नवीन आवृत्ती रिलीझ करण्याची प्रक्रिया 3 टप्प्यांमध्ये विभागली पाहिजे:

स्टेज संमेलने. तुम्ही तुमचा बेअर कोड वैयक्तिक संसाधनांसह एका तथाकथित पॅकेजमध्ये बदलता ज्यामध्ये सर्व आवश्यक कोड आणि डेटा असतो. या पॅकेजला असेंब्ली म्हणतात.
स्टेज रीलिझ — येथे आम्ही आमची कॉन्फिगरेशन असेंब्लीशी जोडतो, त्याशिवाय आम्ही आमचा प्रोग्राम सोडू शकणार नाही. आता हे पूर्णपणे लॉन्च-टू-रिलीझ आहे.
पुढे स्टेज येतो पूर्तता. येथे आम्ही आमच्या प्रकाशनापासून आवश्यक प्रक्रिया चालवून अनुप्रयोग सोडतो.

मॉडेल किंवा संपूर्ण पाइपलाइनच्या नवीन आवृत्त्या रिलीझ करण्यासाठी अशी प्रणाली आपल्याला प्रशासक आणि विकासक यांच्यातील भूमिका विभक्त करण्यास अनुमती देते, आपल्याला आवृत्त्यांचा मागोवा घेण्यास अनुमती देते आणि प्रोग्रामच्या अवांछित थांब्यांना प्रतिबंधित करते.

रिलीझ टास्कसाठी, बर्‍याच वेगवेगळ्या सेवा तयार केल्या गेल्या आहेत ज्यात तुम्ही स्वतःला .yml फाइलमध्ये चालवण्यासाठी प्रक्रिया लिहू शकता (उदाहरणार्थ, CircleCI मध्ये ही प्रक्रिया स्वतःला समर्थन देण्यासाठी config.yml आहे). व्हीली प्रकल्पांसाठी पॅकेज तयार करण्यात उत्तम आहे.

तुम्ही तुमच्या मशीन लर्निंग मॉडेलच्या वेगवेगळ्या आवृत्त्यांसह पॅकेजेस तयार करू शकता आणि नंतर ते पॅकेज करू शकता आणि तेथून तुम्ही लिहिलेली फंक्शन्स वापरण्यासाठी आवश्यक पॅकेजेस आणि त्यांच्या आवृत्त्यांचा संदर्भ घेऊ शकता. हे तुम्हाला तुमच्या मॉडेलसाठी API तयार करण्यात मदत करेल आणि तुमचे पॅकेज Gemfury वर होस्ट केले जाऊ शकते, उदाहरणार्थ.

तत्त्व 6. तुमचे मॉडेल एक किंवा अधिक प्रक्रिया म्हणून चालवा

शिवाय, प्रक्रियांमध्ये सामायिक डेटा नसावा. म्हणजेच, प्रक्रिया स्वतंत्रपणे अस्तित्त्वात असणे आवश्यक आहे आणि सर्व प्रकारचा डेटा स्वतंत्रपणे अस्तित्वात असणे आवश्यक आहे, उदाहरणार्थ, MySQL किंवा इतर सारख्या तृतीय-पक्ष सेवांवर, तुम्हाला काय आवश्यक आहे यावर अवलंबून.

म्हणजेच, प्रक्रिया फाइल सिस्टममध्ये डेटा संग्रहित करणे निश्चितपणे फायदेशीर नाही, अन्यथा यामुळे पुढील प्रकाशन / कॉन्फिगरेशनच्या बदलादरम्यान हा डेटा साफ करणे किंवा प्रोग्राम ज्या सिस्टमवर चालतो त्या सिस्टमचे हस्तांतरण होऊ शकते.

परंतु एक अपवाद आहे: मशीन लर्निंग प्रकल्पांसाठी, तुम्ही लायब्ररींचा कॅशे संचयित करू शकता जेणेकरुन तुम्ही प्रत्येक वेळी नवीन आवृत्ती लाँच करता तेव्हा ती पुन्हा स्थापित करू नयेत, जर अतिरिक्त लायब्ररी किंवा त्यांच्या आवृत्त्यांमध्ये कोणतेही बदल केले नसतील. अशा प्रकारे, तुम्ही तुमचे मॉडेल उद्योगात लॉन्च करण्यासाठी लागणारा वेळ कमी कराल.

मॉडेलला अनेक प्रक्रिया म्हणून चालवण्यासाठी, तुम्ही .yml फाइल तयार करू शकता ज्यामध्ये तुम्ही आवश्यक प्रक्रिया आणि त्यांचा क्रम निर्दिष्ट करता.

तत्त्व 7: पुनर्वापरयोग्यता

तुमच्या मॉडेल ऍप्लिकेशनमध्ये चालणार्‍या प्रक्रिया सुरू करणे आणि थांबवणे सोपे असावे. अशा प्रकारे, हे तुम्हाला कोड बदल, कॉन्फिगरेशन बदल, जलद आणि लवचिकपणे स्केल आणि कार्यरत आवृत्तीचे संभाव्य ब्रेकडाउन टाळण्यासाठी त्वरित उपयोजित करण्यास अनुमती देईल.

म्हणजेच, मॉडेलसह तुमची प्रक्रिया असावी:

स्टार्टअप वेळ कमी करा. तद्वतच, स्टार्टअपची वेळ (स्टार्टअप कमांड जारी झाल्यापासून प्रक्रिया सुरू होण्याच्या क्षणापर्यंत) काही सेकंदांपेक्षा जास्त नसावी. लायब्ररी कॅशिंग, वर वर्णन केलेले, स्टार्टअप वेळ कमी करण्यासाठी एक तंत्र आहे.
योग्यरित्या समाप्त करा. म्हणजेच, सेवा पोर्टवर ऐकणे प्रत्यक्षात निलंबित केले आहे आणि या पोर्टवर सबमिट केलेल्या नवीन विनंत्यांवर प्रक्रिया केली जाणार नाही. येथे तुम्हाला एकतर DevOps अभियंत्यांसह चांगला संवाद स्थापित करणे आवश्यक आहे किंवा ते स्वतः कसे कार्य करते हे समजून घेणे आवश्यक आहे (शक्यतो, अर्थातच, नंतरचे, परंतु कोणत्याही प्रकल्पात संवाद नेहमी राखला गेला पाहिजे!)

तत्त्व 8: सतत उपयोजन/एकीकरण

बर्‍याच कंपन्या ऍप्लिकेशन डेव्हलपमेंट आणि डिप्लॉयमेंट टीम्स (अंतिम वापरकर्त्यांसाठी ऍप्लिकेशन उपलब्ध करून देणे) दरम्यान वेगळेपणा वापरतात. हे सॉफ्टवेअर डेव्हलपमेंट आणि त्यात सुधारणा करण्यासाठी प्रगती मंद करू शकते. हे DevOps संस्कृती देखील बिघडवते, जिथे विकास आणि एकत्रीकरण, ढोबळपणे बोलणे, एकत्रित केले जाते.

म्हणून, हे तत्त्व सांगते की तुमचे विकासाचे वातावरण तुमच्या उत्पादन वातावरणाशी शक्य तितके जवळ असले पाहिजे.

हे अनुमती देईल:

प्रकाशन वेळ दहापट कमी करा
कोड विसंगततेमुळे त्रुटींची संख्या कमी करा.
यामुळे कर्मचार्‍यांवर कामाचा ताणही कमी होतो, कारण डेव्हलपर आणि अॅप्लिकेशन तैनात करणारे लोक आता एक टीम आहेत.

सर्कलसीआय, ट्रॅव्हिस सीआय, गिटलॅब सीआय आणि इतर ही साधने तुम्हाला यासह कार्य करण्याची परवानगी देतात.

तुम्ही त्वरीत मॉडेलमध्ये जोडणी करू शकता, ते अद्यतनित करू शकता आणि ते ताबडतोब लाँच करू शकता, परंतु अयशस्वी झाल्यास, कार्यरत आवृत्तीवर त्वरीत परत येणे सोपे होईल, जेणेकरून अंतिम वापरकर्त्याच्या लक्षातही येणार नाही. जर तुमच्या चाचण्या चांगल्या असतील तर हे विशेषतः सहज आणि त्वरीत केले जाऊ शकते.

मतभेद कमी करा !!!

तत्त्व 9. आपले लॉग

लॉग (किंवा “लॉग”) हे इव्हेंट आहेत, जे सहसा मजकूर स्वरूपात रेकॉर्ड केले जातात, जे ऍप्लिकेशनमध्ये (इव्हेंट प्रवाह) होतात. एक साधे उदाहरण: "2020-02-02 - सिस्टम स्तर - प्रक्रियेचे नाव." ते डिझाइन केले आहेत जेणेकरून विकासक प्रोग्राम चालू असताना काय घडत आहे ते अक्षरशः पाहू शकेल. तो प्रक्रियेची प्रगती पाहतो आणि विकासकाच्या इच्छेप्रमाणे आहे की नाही हे त्याला समजते.

हे तत्त्व सांगते की तुम्ही तुमचे लॉग तुमच्या फाइल सिस्टममध्ये साठवू नये - तुम्ही त्यांना फक्त स्क्रीनवर “आउटपुट” करावे, उदाहरणार्थ, सिस्टमच्या मानक आउटपुटवर हे करा. आणि अशा प्रकारे विकासादरम्यान टर्मिनलमधील प्रवाहाचे निरीक्षण करणे शक्य होईल.

याचा अर्थ असा आहे की लॉग जतन करण्याची अजिबात गरज नाही? नक्कीच नाही. तुमच्या अर्जाने हे करू नये—ते तृतीय-पक्ष सेवांवर सोडा. तुमचा ॲप्लिकेशन रिअल-टाइम पाहण्यासाठी फक्त विशिष्ट फाइल किंवा टर्मिनलवर लॉग फॉरवर्ड करू शकतो किंवा सामान्य उद्देश डेटा स्टोरेज सिस्टमवर (जसे की Hadoop) फॉरवर्ड करू शकतो. तुमचा अनुप्रयोग स्वतःच लॉग संग्रहित करू नये किंवा त्यांच्याशी संवाद साधू नये.

तत्त्व 10. चाचणी!

औद्योगिक मशीन शिक्षणासाठी, हा टप्पा अत्यंत महत्त्वाचा आहे, कारण तुम्हाला हे समजून घेणे आवश्यक आहे की मॉडेल योग्यरित्या कार्य करते आणि तुम्हाला हवे ते तयार करते.

pytest वापरून चाचण्या तयार केल्या जाऊ शकतात आणि तुमच्याकडे प्रतिगमन/वर्गीकरण कार्य असल्यास लहान डेटासेट वापरून चाचणी केली जाऊ शकते.

सखोल शिक्षण मॉडेल्ससाठी समान बीज सेट करण्यास विसरू नका जेणेकरून ते सतत भिन्न परिणाम देत नाहीत.

हे 10 तत्त्वांचे संक्षिप्त वर्णन होते आणि अर्थातच, ते कसे कार्य करतात हे पाहिल्याशिवाय त्यांचा वापर करणे कठीण आहे, म्हणून हा लेख केवळ मनोरंजक लेखांच्या मालिकेचा प्रस्तावना आहे ज्यामध्ये मी कसे तयार करावे ते सांगेन. इंडस्ट्रियल मशीन लर्निंग मॉडेल्स, त्यांना सिस्टममध्ये कसे समाकलित करायचे आणि ही तत्त्वे आपल्या सर्वांसाठी जीवन कसे सोपे करू शकतात.

मी छान तत्त्वे वापरण्याचा प्रयत्न करेन जे कोणीही इच्छित असल्यास टिप्पण्यांमध्ये सोडू शकेल.

स्त्रोत: www.habr.com

इंडस्ट्रियल मशीन लर्निंग: 10 डिझाइन तत्त्वे

इंडस्ट्रियल मशीन लर्निंग: 10 डिझाइन तत्त्वे

एक टिप्पणी जोडा Отменить ответ