Mail.ru मेलमध्ये मशीन लर्निंगचे ऑपरेशन

Highload++ आणि DataFest Minsk 2019 मधील माझ्या भाषणांवर आधारित.

आज अनेकांसाठी, मेल हा ऑनलाइन जीवनाचा अविभाज्य भाग आहे. त्याच्या मदतीने, आम्ही व्यावसायिक पत्रव्यवहार करतो, वित्त, हॉटेल बुकिंग, ऑर्डर देणे आणि बरेच काही संबंधित सर्व प्रकारची महत्त्वाची माहिती संग्रहित करतो. 2018 च्या मध्यात, आम्ही मेल डेव्हलपमेंटसाठी उत्पादन धोरण तयार केले. आधुनिक मेल कसा असावा?

मेल असणे आवश्यक आहे हुशार, म्हणजे, वापरकर्त्यांना माहितीच्या वाढत्या व्हॉल्यूममध्ये नेव्हिगेट करण्यात मदत करणे: फिल्टर, रचना आणि सर्वात सोयीस्कर मार्गाने प्रदान करणे. ती असावी उपयुक्त, तुम्हाला तुमच्या मेलबॉक्समध्ये विविध कार्ये सोडवण्याची परवानगी देते, उदाहरणार्थ, दंड भरा (दुर्दैवाने, मी वापरतो असे कार्य). आणि त्याच वेळी, अर्थातच, मेलने माहितीचे संरक्षण प्रदान केले पाहिजे, स्पॅम बंद करणे आणि हॅकिंगपासून संरक्षण करणे आवश्यक आहे, म्हणजे, सुरक्षित.

ही क्षेत्रे अनेक प्रमुख समस्या परिभाषित करतात, ज्यापैकी अनेक मशीन लर्निंग वापरून प्रभावीपणे सोडवता येतात. धोरणाचा भाग म्हणून विकसित केलेल्या आधीच अस्तित्वात असलेल्या वैशिष्ट्यांची उदाहरणे येथे आहेत - प्रत्येक दिशानिर्देशासाठी एक.

• स्मार्ट उत्तर. मेलमध्ये स्मार्ट रिप्लाय फीचर आहे. न्यूरल नेटवर्क पत्राच्या मजकुराचे विश्लेषण करते, त्याचा अर्थ आणि उद्देश समजते आणि परिणामी तीन सर्वात योग्य प्रतिसाद पर्याय ऑफर करते: सकारात्मक, नकारात्मक आणि तटस्थ. हे अक्षरांना उत्तरे देताना वेळेची लक्षणीय बचत करण्यास मदत करते आणि अनेकदा गैर-मानक आणि मजेदार पद्धतीने प्रतिसाद देते.
• ईमेल गटबद्ध करणेऑनलाइन स्टोअरमधील ऑर्डरशी संबंधित. आम्ही बर्‍याचदा ऑनलाइन खरेदी करतो आणि नियमानुसार, स्टोअर प्रत्येक ऑर्डरसाठी अनेक ईमेल पाठवू शकतात. उदाहरणार्थ, AliExpress या सर्वात मोठ्या सेवेतून, एका ऑर्डरसाठी बरीच अक्षरे येतात आणि आम्ही गणना केली की टर्मिनल केसमध्ये त्यांची संख्या 29 पर्यंत पोहोचू शकते. म्हणून, नेम्ड एंटिटी रेकग्निशन मॉडेल वापरून, आम्ही ऑर्डर क्रमांक काढतो. आणि मजकूरातील इतर माहिती आणि सर्व अक्षरे एकाच थ्रेडमध्ये गटबद्ध करा. आम्ही ऑर्डरबद्दल मूलभूत माहिती वेगळ्या बॉक्समध्ये देखील प्रदर्शित करतो, ज्यामुळे या प्रकारच्या ईमेलसह कार्य करणे सोपे होते.

  

• अँटीफिशिंग. फिशिंग हा विशेषतः धोकादायक फसव्या प्रकारचा ईमेल आहे, ज्याच्या मदतीने हल्लेखोर आर्थिक माहिती (वापरकर्त्याच्या बँक कार्डांसह) आणि लॉगिन मिळविण्याचा प्रयत्न करतात. अशी अक्षरे सेवेद्वारे पाठवलेल्या वास्तविक पत्रांची नक्कल करतात, दृष्यदृष्ट्या देखील. म्हणून, कॉम्प्युटर व्हिजनच्या मदतीने, आम्ही मोठ्या कंपन्यांचे लोगो आणि अक्षरांची डिझाइन शैली ओळखतो (उदाहरणार्थ, Mail.ru, Sber, Alfa) आणि आमच्या स्पॅम आणि फिशिंग क्लासिफायरमधील मजकूर आणि इतर वैशिष्ट्यांसह हे लक्षात घेतो. .

मशीन लर्निंग

सर्वसाधारणपणे ईमेलमध्ये मशीन लर्निंगबद्दल थोडेसे. मेल एक अत्यंत लोड केलेली प्रणाली आहे: 1,5 दशलक्ष DAU वापरकर्त्यांसाठी दररोज सरासरी 30 अब्ज अक्षरे आमच्या सर्व्हरमधून जातात. सुमारे 30 मशीन लर्निंग सिस्टम सर्व आवश्यक कार्ये आणि वैशिष्ट्यांना समर्थन देतात.

प्रत्येक अक्षर संपूर्ण वर्गीकरण पाइपलाइनमधून जाते. प्रथम आम्ही स्पॅम कापला आणि चांगले ईमेल सोडले. वापरकर्ते सहसा अँटीस्पॅमचे कार्य लक्षात घेत नाहीत, कारण 95-99% स्पॅम योग्य फोल्डरमध्ये देखील संपत नाहीत. स्पॅम ओळखणे हा आमच्या सिस्टमचा एक अतिशय महत्त्वाचा भाग आहे आणि सर्वात कठीण आहे, कारण स्पॅम विरोधी क्षेत्रात संरक्षण आणि आक्रमण प्रणालींमध्ये सतत जुळवून घेतले जाते, जे आमच्या कार्यसंघासाठी सतत अभियांत्रिकी आव्हान प्रदान करते.

पुढे, आम्ही लोक आणि रोबोट्सची अक्षरे वेगळे करतो. लोकांचे ईमेल सर्वात महत्वाचे आहेत, म्हणून आम्ही त्यांच्यासाठी स्मार्ट रिप्लाय सारखी वैशिष्ट्ये प्रदान करतो. रोबोट्सची पत्रे दोन भागांमध्ये विभागली गेली आहेत: व्यवहार - ही सेवांकडील महत्त्वाची पत्रे आहेत, उदाहरणार्थ, खरेदी किंवा हॉटेल आरक्षणांची पुष्टी, वित्त आणि माहिती - या व्यवसाय जाहिराती, सवलत आहेत.

आमचा विश्वास आहे की व्यवहारात्मक ईमेल वैयक्तिक पत्रव्यवहाराच्या समान महत्त्वाच्या आहेत. ते हाताशी असले पाहिजेत, कारण आम्हाला अनेकदा ऑर्डर किंवा हवाई तिकीट आरक्षणाविषयी माहिती पटकन शोधावी लागते आणि आम्ही ही अक्षरे शोधण्यात वेळ घालवतो. त्यामुळे, सोयीसाठी, आम्ही त्यांना आपोआप सहा मुख्य श्रेणींमध्ये विभागतो: प्रवास, ऑर्डर, वित्त, तिकिटे, नोंदणी आणि शेवटी, दंड.

माहिती पत्रे हा सर्वात मोठा आणि कदाचित कमी महत्त्वाचा गट आहे, ज्याला त्वरित प्रतिसादाची आवश्यकता नाही, कारण जर त्याने असे पत्र वाचले नाही तर वापरकर्त्याच्या आयुष्यात काहीही महत्त्वपूर्ण बदलणार नाही. आमच्या नवीन इंटरफेसमध्ये, आम्ही त्यांना दोन थ्रेडमध्ये संकुचित करतो: सोशल नेटवर्क्स आणि वृत्तपत्रे, अशा प्रकारे इनबॉक्स दृश्यमानपणे साफ होतो आणि केवळ महत्त्वाचे संदेश दृश्यमान राहतात.

शोषण

मोठ्या संख्येने सिस्टममुळे ऑपरेशनमध्ये खूप अडचणी येतात. शेवटी, कोणत्याही सॉफ्टवेअरप्रमाणे मॉडेल कालांतराने खराब होतात: वैशिष्ट्ये खंडित होतात, मशीन अयशस्वी होतात, कोड कुटिल होतो. याव्यतिरिक्त, डेटा सतत बदलत असतो: नवीन जोडले जातात, वापरकर्त्याच्या वर्तनाचे नमुने बदलले जातात, इत्यादी, त्यामुळे योग्य समर्थन नसलेले मॉडेल कालांतराने अधिक वाईट आणि वाईट कार्य करेल.

आपण हे विसरू नये की सखोल मशीन लर्निंग वापरकर्त्यांच्या जीवनात प्रवेश करते, त्याचा परिणाम इकोसिस्टमवर होतो आणि परिणामी, बाजारातील खेळाडूंना अधिक आर्थिक नुकसान किंवा नफा मिळू शकतो. म्हणून, वाढत्या क्षेत्रांमध्ये, खेळाडू एमएल अल्गोरिदमच्या कार्याशी जुळवून घेत आहेत (क्लासिक उदाहरणे जाहिरात, शोध आणि आधीच नमूद केलेले अँटिस्पॅम आहेत).

तसेच, मशीन लर्निंग टास्कमध्ये एक वैशिष्ठ्य आहे: सिस्टममध्ये कोणताही, अगदी किरकोळ बदल केल्यास मॉडेलसह बरेच कार्य निर्माण होऊ शकते: डेटासह कार्य करणे, पुन्हा प्रशिक्षण देणे, तैनात करणे, ज्यास आठवडे किंवा महिने लागू शकतात. त्यामुळे, तुमची मॉडेल्स ज्या वातावरणात चालतात तितक्या वेगाने बदलतात, त्यांची देखभाल करण्यासाठी अधिक प्रयत्न करावे लागतात. एक संघ बर्‍याच प्रणाली तयार करू शकतो आणि त्याबद्दल आनंदी असू शकतो, परंतु नंतर काहीही नवीन करण्याची संधी न देता, त्यांची देखभाल करण्यासाठी जवळजवळ सर्व संसाधने खर्च करू शकतात. आम्ही एकदा antispam संघात अशी परिस्थिती आली. आणि त्यांनी स्पष्ट निष्कर्ष काढला की समर्थन स्वयंचलित करणे आवश्यक आहे.

ऑटोमेशन

काय स्वयंचलित केले जाऊ शकते? जवळजवळ सर्वकाही, प्रत्यक्षात. मी मशीन लर्निंग इन्फ्रास्ट्रक्चर परिभाषित करणारी चार क्षेत्रे ओळखली आहेत:

• माहिती मिळवणे;
• अतिरिक्त प्रशिक्षण;
• तैनात करणे;
• चाचणी आणि निरीक्षण.

जर वातावरण अस्थिर असेल आणि सतत बदलत असेल, तर मॉडेलच्या सभोवतालची संपूर्ण पायाभूत सुविधा मॉडेलपेक्षा जास्त महत्त्वाची ठरते. हा एक चांगला जुना रेखीय वर्गीकरण असू शकतो, परंतु तुम्ही त्यास योग्य वैशिष्ट्ये दिल्यास आणि वापरकर्त्यांकडून चांगला अभिप्राय मिळाल्यास, ते सर्व घंटा आणि शिट्ट्यांसह अत्याधुनिक मॉडेलपेक्षा बरेच चांगले कार्य करेल.

फीडबॅक लूप

हे चक्र डेटा संकलन, अतिरिक्त प्रशिक्षण आणि तैनाती एकत्रित करते - खरं तर, संपूर्ण मॉडेल अपडेट सायकल. ते महत्त्वाचे का आहे? मेलमध्ये नोंदणीचे वेळापत्रक पहा:

मशीन लर्निंग डेव्हलपरने अँटी-बॉट मॉडेल लागू केले आहे जे बॉट्सना ईमेलमध्ये नोंदणी करण्यापासून प्रतिबंधित करते. आलेख एका मूल्यापर्यंत खाली येतो जेथे फक्त वास्तविक वापरकर्ते राहतात. सर्व काही छान आहे! पण चार तास निघून जातात, बॉट्स त्यांच्या स्क्रिप्टमध्ये बदल करतात आणि सर्वकाही सामान्य होते. या अंमलबजावणीमध्ये, विकसकाने वैशिष्ट्ये जोडण्यात आणि मॉडेलला पुन्हा प्रशिक्षण देण्यात एक महिना घालवला, परंतु स्पॅमर चार तासांत जुळवून घेण्यास सक्षम होता.

इतके त्रासदायक वेदनादायक न होण्यासाठी आणि नंतर सर्वकाही पुन्हा करावे लागणार नाही यासाठी, आपण सुरुवातीला फीडबॅक लूप कसा दिसेल आणि वातावरण बदलल्यास आपण काय करू याचा विचार केला पाहिजे. चला डेटा गोळा करण्यापासून सुरुवात करूया - हे आमच्या अल्गोरिदमसाठी इंधन आहे.

माहिती संकलन

हे स्पष्ट आहे की आधुनिक न्यूरल नेटवर्कसाठी, जितका अधिक डेटा, तितका चांगला आणि ते खरं तर, उत्पादनाच्या वापरकर्त्यांद्वारे व्युत्पन्न केले जातात. वापरकर्ते डेटा चिन्हांकित करून आम्हाला मदत करू शकतात, परंतु आम्ही याचा गैरवापर करू शकत नाही, कारण काही वेळा वापरकर्ते तुमचे मॉडेल पूर्ण करून थकतील आणि दुसर्‍या उत्पादनावर स्विच करतील.

सर्वात सामान्य चुकांपैकी एक (येथे मी अँड्र्यू एनजीचा संदर्भ देतो) चाचणी डेटासेटवरील मेट्रिक्सवर जास्त लक्ष केंद्रित करणे आहे, आणि वापरकर्त्याच्या अभिप्रायावर नाही, जे प्रत्यक्षात कामाच्या गुणवत्तेचे मुख्य माप आहे, कारण आम्ही तयार करतो वापरकर्त्यासाठी उत्पादन. जर वापरकर्त्याला मॉडेलचे कार्य समजत नसेल किंवा त्याला आवडत नसेल तर सर्व काही उद्ध्वस्त झाले आहे.

म्हणून, वापरकर्त्याने नेहमी मतदान करण्यास सक्षम असावे आणि त्याला अभिप्रायासाठी एक साधन दिले पाहिजे. जर आम्हाला वाटत असेल की वित्तसंबंधित एखादे पत्र मेलबॉक्समध्ये आले आहे, तर आम्हाला ते "वित्त" चिन्हांकित करावे लागेल आणि वापरकर्ता क्लिक करू शकेल आणि हे वित्त नाही असे एक बटण काढावे लागेल.

अभिप्राय गुणवत्ता

चला वापरकर्त्याच्या फीडबॅकच्या गुणवत्तेबद्दल बोलूया. प्रथम, तुम्ही आणि वापरकर्ता एका संकल्पनेत वेगवेगळे अर्थ लावू शकता. उदाहरणार्थ, तुम्ही आणि तुमच्या उत्पादन व्यवस्थापकांना असे वाटते की "वित्त" म्हणजे बँकेची पत्रे, आणि वापरकर्त्याला वाटते की तिच्या पेन्शनबद्दल आजीचे पत्र देखील वित्त संदर्भित करते. दुसरे म्हणजे, असे वापरकर्ते आहेत ज्यांना कोणत्याही तर्काशिवाय बटण दाबायला मनापासून आवडते. तिसरे म्हणजे, वापरकर्ता त्याच्या निष्कर्षांमध्ये गंभीरपणे चुकीचा असू शकतो. आमच्या सरावातील एक उल्लेखनीय उदाहरण म्हणजे क्लासिफायरची अंमलबजावणी नायजेरियन स्पॅम, एक अतिशय मजेदार प्रकारचा स्पॅम जेथे वापरकर्त्याला आफ्रिकेत अचानक सापडलेल्या दूरच्या नातेवाईकाकडून अनेक दशलक्ष डॉलर्स घेण्यास सांगितले जाते. या क्लासिफायरची अंमलबजावणी केल्यानंतर, आम्ही या ईमेलवरील "स्पॅम नाही" क्लिक तपासले, आणि असे दिसून आले की त्यापैकी 80% रसाळ नायजेरियन स्पॅम होते, जे सूचित करते की वापरकर्ते अत्यंत मूर्ख असू शकतात.

आणि हे विसरू नका की बटणे केवळ लोकच नव्हे तर ब्राउझर असल्याचे भासवणाऱ्या सर्व प्रकारच्या बॉट्सद्वारे देखील क्लिक केले जाऊ शकतात. त्यामुळे कच्चा फीडबॅक शिकण्यासाठी चांगला नाही. या माहितीचे तुम्ही काय करू शकता?

आम्ही दोन पद्धती वापरतो:

• लिंक केलेल्या ML कडून अभिप्राय. उदाहरणार्थ, आमच्याकडे ऑनलाइन अँटी-बॉट प्रणाली आहे, जी, मी नमूद केल्याप्रमाणे, मर्यादित संख्येच्या चिन्हांवर आधारित त्वरित निर्णय घेते. आणि एक दुसरी, मंद प्रणाली आहे जी वस्तुस्थितीनंतर कार्य करते. यात वापरकर्ता, त्याचे वर्तन इत्यादींबद्दल अधिक डेटा आहे. परिणामी, सर्वात माहितीपूर्ण निर्णय घेतला जातो; त्यानुसार, त्याची उच्च अचूकता आणि पूर्णता आहे. तुम्ही प्रशिक्षण डेटा म्हणून या सिस्टमच्या ऑपरेशनमधील फरक पहिल्याकडे निर्देशित करू शकता. अशा प्रकारे, एक सोपी प्रणाली नेहमी अधिक जटिल प्रणालीच्या कार्यप्रदर्शनाकडे जाण्याचा प्रयत्न करते.
• वर्गीकरण क्लिक करा. तुम्ही प्रत्येक वापरकर्त्याच्या क्लिकचे वर्गीकरण करू शकता, त्याची वैधता आणि उपयोगिता यांचे मूल्यांकन करू शकता. आम्ही हे अँटिस्पॅम मेलमध्ये करतो, वापरकर्ता विशेषता, त्याचा इतिहास, प्रेषक गुणधर्म, मजकूर स्वतः आणि वर्गीकरणाचा परिणाम वापरून. परिणामी, आम्हाला एक स्वयंचलित प्रणाली मिळते जी वापरकर्त्याच्या फीडबॅकचे सत्यापन करते. आणि त्याला खूप कमी वेळा पुन्हा प्रशिक्षित करणे आवश्यक असल्याने, त्याचे कार्य इतर सर्व प्रणालींसाठी आधार बनू शकते. या मॉडेलमधील मुख्य प्राधान्य म्हणजे अचूकता, कारण चुकीच्या डेटावर मॉडेलला प्रशिक्षण देणे परिणामांनी परिपूर्ण आहे.

आम्ही डेटा साफ करत असताना आणि आमच्या ML सिस्टमला प्रशिक्षण देत असताना, आम्ही वापरकर्त्यांबद्दल विसरू नये, कारण आमच्यासाठी, ग्राफवरील हजारो, लाखो त्रुटी ही आकडेवारी आहे आणि वापरकर्त्यासाठी, प्रत्येक बग ही एक शोकांतिका आहे. वापरकर्त्याने उत्पादनातील आपल्या त्रुटीसह कसे तरी जगले पाहिजे या वस्तुस्थितीव्यतिरिक्त, अभिप्राय मिळाल्यानंतर, त्याला अशी अपेक्षा आहे की भविष्यात अशीच परिस्थिती दूर केली जाईल. म्हणूनच, वापरकर्त्यांना केवळ मत देण्याची संधीच नाही तर एमएल सिस्टीमचे वर्तन सुधारण्यासाठी देखील नेहमीच फायदेशीर ठरते, उदाहरणार्थ, प्रत्येक फीडबॅक क्लिकसाठी वैयक्तिक हेरिस्टिक्स तयार करणे; मेलच्या बाबतीत, हे फिल्टर करण्याची क्षमता असू शकते. या वापरकर्त्यासाठी प्रेषक आणि शीर्षकाद्वारे अशी अक्षरे.

तुम्हाला अर्ध-स्वयंचलित किंवा मॅन्युअल मोडमध्ये समर्थन करण्यासाठी काही अहवाल किंवा विनंत्यांवर आधारित मॉडेल तयार करणे देखील आवश्यक आहे जेणेकरून इतर वापरकर्त्यांना समान समस्यांचा सामना करावा लागणार नाही.

शिकण्यासाठी ह्युरिस्टिक्स

या heuristics आणि crutches दोन समस्या आहेत. पहिली गोष्ट म्हणजे क्रॅचची सतत वाढत जाणारी संख्या राखणे कठीण आहे, त्यांची गुणवत्ता आणि दीर्घकाळापर्यंत कामगिरी सोडा. दुसरी समस्या अशी आहे की त्रुटी वारंवार होत नाही आणि मॉडेलला प्रशिक्षित करण्यासाठी काही क्लिक पुरेसे नसतील. असे दिसते की पुढील दृष्टीकोन लागू केल्यास हे दोन असंबंधित प्रभाव लक्षणीयरीत्या तटस्थ केले जाऊ शकतात.

1. आम्ही तात्पुरती क्रॅच तयार करतो.
2. आम्ही त्यातून मॉडेलवर डेटा पाठवतो, प्राप्त डेटासह ते नियमितपणे स्वतःला अद्यतनित करते. येथे, अर्थातच, प्रशिक्षण संचातील डेटाची गुणवत्ता कमी करू नये म्हणून हेरिस्टिक्समध्ये उच्च अचूकता असणे महत्वाचे आहे.
3. मग आम्ही क्रॅच ट्रिगर करण्यासाठी मॉनिटरिंग सेट केले आणि काही काळानंतर क्रॅच यापुढे कार्य करत नसल्यास आणि मॉडेलने पूर्णपणे झाकलेले असल्यास, आपण ते सुरक्षितपणे काढू शकता. आता ही समस्या पुन्हा येण्याची शक्यता नाही.

त्यामुळे क्रॅचची फौज खूप उपयुक्त आहे. मुख्य म्हणजे त्यांची सेवा तात्काळ आहे आणि कायमस्वरूपी नाही.

अतिरिक्त प्रशिक्षण

पुनर्प्रशिक्षण ही वापरकर्त्यांकडून किंवा इतर प्रणालींकडून अभिप्रायाचा परिणाम म्हणून प्राप्त केलेला नवीन डेटा जोडण्याची आणि विद्यमान मॉडेलचे प्रशिक्षण देण्याची प्रक्रिया आहे. अतिरिक्त प्रशिक्षणामध्ये अनेक समस्या असू शकतात:

1. मॉडेल अतिरिक्त प्रशिक्षणास समर्थन देऊ शकत नाही, परंतु केवळ सुरवातीपासूनच शिकू शकते.
2. निसर्गाच्या पुस्तकात कुठेही असे लिहिलेले नाही की अतिरिक्त प्रशिक्षणामुळे उत्पादनातील कामाची गुणवत्ता नक्कीच सुधारेल. अनेकदा उलट घडते, म्हणजेच फक्त बिघडवणे शक्य असते.
3. बदल अप्रत्याशित असू शकतात. हा एक अतिशय सूक्ष्म मुद्दा आहे जो आपण स्वतःसाठी ओळखला आहे. जरी ए/बी चाचणीमधील नवीन मॉडेल सध्याच्या तुलनेत समान परिणाम दर्शविते, याचा अर्थ असा नाही की ते एकसारखे कार्य करेल. त्यांचे कार्य फक्त एक टक्क्याने भिन्न असू शकते, ज्यामुळे नवीन त्रुटी येऊ शकतात किंवा आधीच दुरुस्त केलेल्या जुन्या परत येऊ शकतात. वर्तमान त्रुटींसह कसे जगायचे हे आम्ही आणि वापरकर्ते दोघांनाही आधीच माहित आहे आणि जेव्हा मोठ्या संख्येने नवीन त्रुटी उद्भवतात तेव्हा वापरकर्त्याला काय होत आहे हे देखील समजू शकत नाही, कारण त्याला अंदाजे वागण्याची अपेक्षा असते.

म्हणून, अतिरिक्त प्रशिक्षणातील सर्वात महत्वाची गोष्ट म्हणजे मॉडेल सुधारले आहे किंवा कमीतकमी खराब होणार नाही याची खात्री करणे.

जेव्हा आपण अतिरिक्त प्रशिक्षणाबद्दल बोलतो तेव्हा सर्वप्रथम लक्षात येते ती म्हणजे सक्रिय शिक्षणाचा दृष्टीकोन. याचा अर्थ काय? उदाहरणार्थ, क्लासिफायर एखादे ईमेल वित्ताशी संबंधित आहे की नाही हे निर्धारित करतो आणि त्याच्या निर्णयाच्या सीमेवर आम्ही लेबल केलेल्या उदाहरणांचा नमुना जोडतो. हे चांगले कार्य करते, उदाहरणार्थ, जाहिरातींमध्ये, जेथे भरपूर अभिप्राय आहे आणि आपण मॉडेलला ऑनलाइन प्रशिक्षण देऊ शकता. आणि जर थोडासा अभिप्राय असेल तर, उत्पादन डेटा वितरणाच्या तुलनेत आम्हाला एक अत्यंत पक्षपाती नमुना मिळेल, ज्याच्या आधारावर ऑपरेशन दरम्यान मॉडेलच्या वर्तनाचे मूल्यांकन करणे अशक्य आहे.

खरेतर, आमचे ध्येय जुने नमुने, आधीच ज्ञात मॉडेल जतन करणे आणि नवीन प्राप्त करणे हे आहे. येथे सातत्य महत्वाचे आहे. मॉडेल, जे रोल आउट करण्यासाठी आम्ही अनेकदा खूप कष्ट घेतले, ते आधीच कार्यरत आहे, त्यामुळे आम्ही त्याच्या कार्यक्षमतेवर लक्ष केंद्रित करू शकतो.

मेलमध्ये भिन्न मॉडेल्स वापरली जातात: झाडे, रेखीय, न्यूरल नेटवर्क. प्रत्येकासाठी आम्ही आमचे स्वतःचे अतिरिक्त प्रशिक्षण अल्गोरिदम बनवतो. अतिरिक्त प्रशिक्षणाच्या प्रक्रियेत, आम्हाला केवळ नवीन डेटाच मिळत नाही तर बर्‍याचदा नवीन वैशिष्ट्ये देखील मिळतात, जी आम्ही खालील सर्व अल्गोरिदममध्ये विचारात घेऊ.

रेखीय मॉडेल

समजा आपल्याकडे लॉजिस्टिक रिग्रेशन आहे. आम्ही खालील घटकांमधून नुकसान मॉडेल तयार करतो:

• नवीन डेटावर लॉगलोस;
• आम्ही नवीन वैशिष्ट्यांचे वजन नियमित करतो (आम्ही जुन्यांना स्पर्श करत नाही);
• जुने नमुने जतन करण्यासाठी आम्ही जुन्या डेटावरून देखील शिकतो;
• आणि, कदाचित, सर्वात महत्वाची गोष्ट: आम्ही हार्मोनिक रेग्युलरायझेशन जोडतो, जे हमी देते की जुन्या मॉडेलच्या तुलनेत वजन जास्त बदलणार नाही.

प्रत्येक तोटा घटकामध्ये गुणांक असल्याने, आम्ही क्रॉस-व्हॅलिडेशनद्वारे किंवा उत्पादनाच्या आवश्यकतांवर आधारित आमच्या कार्यासाठी इष्टतम मूल्ये निवडू शकतो.

झाडं

चला निर्णय वृक्षांकडे जाऊया. झाडांच्या अतिरिक्त प्रशिक्षणासाठी आम्ही खालील अल्गोरिदम संकलित केले आहे:

1. उत्पादन 100-300 झाडांचे जंगल चालवते, ज्याला जुन्या डेटा सेटवर प्रशिक्षण दिले जाते.
2. शेवटी आम्ही M = 5 तुकडे काढून टाकतो आणि 2M = 10 नवीन जोडतो, संपूर्ण डेटा सेटवर प्रशिक्षित, परंतु नवीन डेटासाठी उच्च वजनासह, जे नैसर्गिकरित्या मॉडेलमध्ये वाढीव बदलाची हमी देते.

साहजिकच, कालांतराने, झाडांची संख्या मोठ्या प्रमाणात वाढते आणि वेळेची पूर्तता करण्यासाठी ते वेळोवेळी कमी केले जाणे आवश्यक आहे. हे करण्यासाठी, आम्ही आता सर्वव्यापी नॉलेज डिस्टिलेशन (KD) वापरतो. त्याच्या ऑपरेशनच्या तत्त्वाबद्दल थोडक्यात.

1. आमच्याकडे सध्याचे "जटिल" मॉडेल आहे. आम्ही ते प्रशिक्षण डेटा सेटवर चालवतो आणि आउटपुटवर वर्ग संभाव्यता वितरण मिळवतो.
2. पुढे, आम्ही विद्यार्थी मॉडेलला प्रशिक्षित करतो (या प्रकरणात कमी झाडे असलेले मॉडेल) लक्ष्य व्हेरिएबल म्हणून वर्ग वितरणाचा वापर करून मॉडेलच्या निकालांची पुनरावृत्ती करण्यासाठी.
3. येथे हे लक्षात घेणे महत्त्वाचे आहे की आम्ही डेटा सेट मार्कअप कोणत्याही प्रकारे वापरत नाही आणि म्हणून आम्ही अनियंत्रित डेटा वापरू शकतो. अर्थात, आम्ही विद्यार्थी मॉडेलसाठी प्रशिक्षण नमुना म्हणून लढाऊ प्रवाहातील डेटा नमुना वापरतो. अशाप्रकारे, प्रशिक्षण संच आम्हाला मॉडेलची अचूकता सुनिश्चित करण्यास अनुमती देतो आणि प्रवाह नमुना उत्पादन वितरणावर समान कामगिरीची हमी देतो, प्रशिक्षण संचाच्या पूर्वाग्रहाची भरपाई करतो.

या दोन तंत्रांचे संयोजन (झाडे जोडणे आणि वेळोवेळी नॉलेज डिस्टिलेशन वापरून त्यांची संख्या कमी करणे) नवीन नमुन्यांची ओळख आणि संपूर्ण सातत्य सुनिश्चित करते.

KD च्या मदतीने, आम्ही मॉडेल वैशिष्ट्यांवर विविध ऑपरेशन्स देखील करतो, जसे की वैशिष्ट्ये काढून टाकणे आणि अंतरांवर काम करणे. आमच्या बाबतीत, आमच्याकडे अनेक महत्त्वाची सांख्यिकीय वैशिष्ट्ये आहेत (प्रेषक, मजकूर हॅश, URL, इ.) जी डेटाबेसमध्ये संग्रहित केली जातात, जी अयशस्वी होतात. मॉडेल, अर्थातच, अशा घटनांच्या विकासासाठी तयार नाही, कारण प्रशिक्षण सेटमध्ये अपयशाची परिस्थिती उद्भवत नाही. अशा प्रकरणांमध्ये, आम्ही KD आणि संवर्धन तंत्र एकत्र करतो: डेटाच्या काही भागासाठी प्रशिक्षण देताना, आम्ही आवश्यक वैशिष्ट्ये काढून टाकतो किंवा रीसेट करतो आणि आम्ही मूळ लेबल (सध्याच्या मॉडेलचे आउटपुट) घेतो आणि विद्यार्थी मॉडेल हे वितरण पुन्हा करण्यास शिकतो. .

आम्‍ही लक्षात घेतले आहे की मॉडेलमधील अधिक गंभीर हाताळणी होते, थ्रेड नमुन्याची टक्केवारी जास्त असते.

वैशिष्ट्य काढून टाकणे, सर्वात सोपा ऑपरेशन, प्रवाहाचा फक्त एक छोटासा भाग आवश्यक आहे, कारण फक्त दोन वैशिष्ट्ये बदलतात आणि सध्याचे मॉडेल त्याच सेटवर प्रशिक्षित होते - फरक कमी आहे. मॉडेल सुलभ करण्यासाठी (झाडांची संख्या अनेक वेळा कमी करणे), 50 ते 50 आधीच आवश्यक आहे. आणि मॉडेलच्या कार्यक्षमतेवर गंभीरपणे परिणाम करणारी महत्त्वाची सांख्यिकीय वैशिष्ट्ये वगळण्यासाठी, कामाचे समतल करण्यासाठी आणखी प्रवाह आवश्यक आहे. सर्व प्रकारच्या अक्षरांवर नवीन वगळण्यासाठी प्रतिरोधक मॉडेल.

जलद मजकूर

चला FastText वर जाऊ. मी तुम्हाला आठवण करून देतो की एखाद्या शब्दाचे प्रतिनिधित्व (एम्बेडिंग) शब्दाच्या एम्बेडिंगची बेरीज आणि त्याचे सर्व अक्षर N-ग्राम, सामान्यतः ट्रायग्राम असतात. तेथे बरेच ट्रायग्राम असू शकतात, बकेट हॅशिंग वापरले जाते, म्हणजेच संपूर्ण जागेचे एका निश्चित हॅशमॅपमध्ये रूपांतर करणे. परिणामी, वजन मॅट्रिक्स प्रति शब्द + बादल्यांच्या आतील स्तराच्या परिमाणाने प्राप्त केले जाते.

अतिरिक्त प्रशिक्षणासह, नवीन चिन्हे दिसतात: शब्द आणि ट्रिग्राम. Facebook च्या मानक फॉलो-अप प्रशिक्षणात काहीही महत्त्वाचे घडत नाही. नवीन डेटावर क्रॉस-एंट्रॉपी असलेले फक्त जुने वजन पुन्हा प्रशिक्षित केले जाते. अशा प्रकारे, नवीन वैशिष्ट्ये वापरली जात नाहीत; अर्थातच, या दृष्टिकोनामध्ये उत्पादनातील मॉडेलच्या अप्रत्याशिततेशी संबंधित वर वर्णन केलेले सर्व तोटे आहेत. म्हणूनच आम्ही फास्टटेक्स्टमध्ये थोडासा बदल केला आहे. आम्ही सर्व नवीन वजने (शब्द आणि ट्रिग्राम) जोडतो, क्रॉस-एंट्रोपीसह संपूर्ण मॅट्रिक्सचा विस्तार करतो आणि रेखीय मॉडेलच्या सादृश्याने हार्मोनिक नियमितीकरण जोडतो, जे जुन्या वजनांमध्ये नगण्य बदलाची हमी देते.

वातावरणातील बदलावर CNN

कन्व्होल्युशनल नेटवर्क्स थोडे अधिक क्लिष्ट आहेत. जर शेवटचे स्तर सीएनएनमध्ये पूर्ण झाले तर, नक्कीच, आपण हार्मोनिक नियमितीकरण लागू करू शकता आणि सातत्य हमी देऊ शकता. परंतु संपूर्ण नेटवर्कचे अतिरिक्त प्रशिक्षण आवश्यक असल्यास, असे नियमितीकरण यापुढे सर्व स्तरांवर लागू केले जाऊ शकत नाही. तथापि, ट्रिपलेट लॉसद्वारे पूरक एम्बेडिंग प्रशिक्षित करण्याचा पर्याय आहेमूळ लेख).

तिहेरी नुकसान

उदाहरण म्हणून अँटी-फिशिंग कार्य वापरून, सामान्य शब्दात ट्रिपलेट लॉस पाहू. आम्ही आमचा लोगो, तसेच इतर कंपन्यांच्या लोगोची सकारात्मक आणि नकारात्मक उदाहरणे घेतो. आम्ही पहिल्यामधील अंतर कमी करतो आणि दुसर्‍यामधील अंतर जास्तीत जास्त करतो, वर्गांची अधिक कॉम्पॅक्टनेस सुनिश्चित करण्यासाठी आम्ही हे लहान अंतराने करतो.

जर आपण नेटवर्कला पुढे प्रशिक्षित केले, तर आमची मेट्रिक स्पेस पूर्णपणे बदलते आणि ती मागील जागेशी पूर्णपणे विसंगत होते. वेक्टर वापरणाऱ्या समस्यांमध्ये ही एक गंभीर समस्या आहे. या समस्येचे निराकरण करण्यासाठी, आम्ही प्रशिक्षणादरम्यान जुन्या एम्बेडिंगमध्ये मिसळू.

आम्ही प्रशिक्षण संचामध्ये नवीन डेटा जोडला आहे आणि मॉडेलच्या दुसऱ्या आवृत्तीला सुरवातीपासून प्रशिक्षण देत आहोत. दुस-या टप्प्यावर, आम्ही आमच्या नेटवर्कला आणखी प्रशिक्षित करतो (फाइनट्यूनिंग): प्रथम शेवटचा स्तर पूर्ण होतो, आणि नंतर संपूर्ण नेटवर्क अनफ्रोझ केले जाते. ट्रिपलेट तयार करण्याच्या प्रक्रियेत, आम्ही प्रशिक्षित मॉडेल वापरून एम्बेडिंगचा फक्त काही भाग मोजतो, बाकीचा - जुना वापरून. अशा प्रकारे, अतिरिक्त प्रशिक्षणाच्या प्रक्रियेत, आम्ही मेट्रिक स्पेस v1 आणि v2 ची सुसंगतता सुनिश्चित करतो. हार्मोनिक नियमितीकरणाची एक अद्वितीय आवृत्ती.

संपूर्ण आर्किटेक्चर

जर आपण उदाहरण म्हणून अँटिस्पॅम वापरून संपूर्ण प्रणालीचा विचार केला, तर मॉडेल वेगळे केले जात नाहीत, परंतु एकमेकांमध्ये घरटे आहेत. आम्ही चित्रे, मजकूर आणि इतर वैशिष्ट्ये घेतो, CNN आणि जलद मजकूर वापरून आम्हाला एम्बेडिंग मिळते. पुढे, एम्बेडिंगच्या वर क्लासिफायर्स लागू केले जातात, जे विविध वर्गांसाठी (अक्षरांचे प्रकार, स्पॅम, लोगोची उपस्थिती) स्कोअर प्रदान करतात. अंतिम निर्णय होण्यासाठी संकेत आणि चिन्हे आधीच वृक्षांच्या जंगलात प्रवेश करत आहेत. या योजनेतील वैयक्तिक क्लासिफायर सर्व डेटा कच्च्या स्वरूपात निर्णयाच्या झाडांमध्ये भरण्याऐवजी प्रणालीच्या परिणामांचा अधिक चांगल्या प्रकारे अर्थ लावणे आणि समस्यांच्या बाबतीत घटकांना अधिक विशिष्टपणे पुन्हा प्रशिक्षित करणे शक्य करतात.

परिणामी, आम्ही प्रत्येक स्तरावर सातत्य हमी देतो. CNN आणि फास्ट टेक्स्ट मध्ये खालच्या स्तरावर आम्ही हार्मोनिक रेग्युलरायझेशन वापरतो, मध्यभागी क्लासिफायर्ससाठी आम्ही संभाव्यता वितरणाच्या सुसंगततेसाठी हार्मोनिक नियमितीकरण आणि रेट कॅलिब्रेशन देखील वापरतो. बरं, ट्री बूस्टिंग वाढत्या प्रमाणात किंवा नॉलेज डिस्टिलेशन वापरून प्रशिक्षित केले जाते.

В целом поддержка такой вложенной системы машинного обучения обычно представляет боль, так как любой компонент на нижнем уровне ведет к обновлению всей системы выше. Но так как в нашем сетапе каждый компонент меняется незначительно и он совместим с предыдущим, то вся система может обновляется по кусочкам без нужды переобучать всю структуру, что и позволяет поддерживать ее без серьезного оверхеда.

तैनात करणे

आम्ही डेटा संकलन आणि विविध प्रकारच्या मॉडेल्सच्या अतिरिक्त प्रशिक्षणावर चर्चा केली आहे, म्हणून आम्ही उत्पादन वातावरणात त्यांच्या तैनातीकडे जात आहोत.

A/B चाचणी

मी आधी म्हटल्याप्रमाणे, डेटा गोळा करण्याच्या प्रक्रियेत, आम्हाला सहसा पक्षपाती नमुना मिळतो, ज्यावरून मॉडेलच्या उत्पादन कार्यक्षमतेचे मूल्यांकन करणे अशक्य आहे. म्हणून, तैनात करताना, गोष्टी प्रत्यक्षात कशा चालल्या आहेत हे समजून घेण्यासाठी मॉडेलची तुलना मागील आवृत्तीशी करणे आवश्यक आहे, म्हणजेच A/B चाचण्या करा. खरं तर, चार्ट रोल आउट करण्याची आणि विश्लेषण करण्याची प्रक्रिया अगदी नियमित आहे आणि ती सहज स्वयंचलित केली जाऊ शकते. आम्ही मॉडेल प्रतिसाद आणि वापरकर्त्याच्या अभिप्रायावरील सर्व उपलब्ध मेट्रिक्स एकत्रित करताना हळूहळू 5%, 30%, 50% आणि 100% वापरकर्त्यांपर्यंत आमचे मॉडेल रोलआउट करतो. काही गंभीर आउटलियर्सच्या बाबतीत, आम्ही मॉडेल आपोआप मागे घेतो आणि इतर प्रकरणांसाठी, वापरकर्त्याच्या क्लिकची पुरेशी संख्या गोळा केल्यावर, आम्ही टक्केवारी वाढवण्याचा निर्णय घेतो. परिणामी, आम्ही नवीन मॉडेल पूर्णपणे स्वयंचलितपणे 50% वापरकर्त्यांपर्यंत आणतो आणि संपूर्ण प्रेक्षकांसाठी रोलआउट एखाद्या व्यक्तीद्वारे मंजूर केले जाईल, जरी ही पायरी स्वयंचलित केली जाऊ शकते.

तथापि, A/B चाचणी प्रक्रिया ऑप्टिमायझेशनसाठी जागा देते. वस्तुस्थिती अशी आहे की कोणतीही A/B चाचणी खूप लांब असते (आमच्या बाबतीत फीडबॅकच्या प्रमाणात 6 ते 24 तास लागतात), ज्यामुळे ती खूप महाग आणि मर्यादित संसाधनांसह बनते. याव्यतिरिक्त, A/B चाचणीच्या एकूण वेळेला आवश्यकतेने गती देण्यासाठी चाचणीसाठी पुरेशी उच्च टक्केवारी आवश्यक आहे (थोड्या टक्केवारीत मेट्रिक्सचे मूल्यांकन करण्यासाठी सांख्यिकीयदृष्ट्या महत्त्वपूर्ण नमुना भरण्यासाठी खूप वेळ लागू शकतो), ज्यामुळे A/B स्लॉटची संख्या अत्यंत मर्यादित आहे. अर्थात, आम्हाला फक्त सर्वात आशादायक मॉडेल्सची चाचणी घेण्याची आवश्यकता आहे, ज्यापैकी आम्हाला अतिरिक्त प्रशिक्षण प्रक्रियेदरम्यान बरेच काही मिळते.

या समस्येचे निराकरण करण्यासाठी, आम्ही एक वेगळा वर्गीकरण प्रशिक्षित केला जो A/B चाचणीच्या यशाचा अंदाज लावतो. हे करण्यासाठी, आम्‍ही प्रशिक्षण संचावर, पुढे ढकलल्‍यावर आणि स्‍ट्रीमच्‍या नमुन्यावर वैशिष्‍ट्ये म्‍हणून निर्णय घेण्‍याची आकडेवारी, प्रिसिजन, रिकॉल आणि इतर मेट्रिक्स घेतो. आम्ही उत्पादनातील सध्याच्या मॉडेलशी, ह्युरिस्टिकसह देखील तुलना करतो आणि मॉडेलची जटिलता लक्षात घेतो. या सर्व वैशिष्ट्यांचा वापर करून, चाचणी इतिहासावर प्रशिक्षित वर्गीकरणकर्ता उमेदवार मॉडेलचे मूल्यमापन करतो, आमच्या बाबतीत ही झाडांची जंगले आहेत आणि A/B चाचणीमध्ये कोणता वापरायचा हे ठरवतो.

अंमलबजावणीच्या वेळी, या दृष्टिकोनामुळे आम्हाला यशस्वी A/B चाचण्यांची संख्या अनेक वेळा वाढवता आली.

चाचणी आणि देखरेख

चाचणी आणि निरीक्षण, विचित्रपणे, आपल्या आरोग्यास हानी पोहोचवत नाही; उलट, ते त्यात सुधारणा करतात आणि आपल्याला अनावश्यक तणावापासून मुक्त करतात. चाचणी तुम्हाला अयशस्वी होण्यापासून रोखू देते आणि देखरेख तुम्हाला वापरकर्त्यांवरील प्रभाव कमी करण्यासाठी वेळेत ते शोधण्याची परवानगी देते.

येथे हे समजून घेणे महत्त्वाचे आहे की जितक्या लवकर किंवा नंतर तुमची प्रणाली नेहमी चुका करेल - हे कोणत्याही सॉफ्टवेअरच्या विकास चक्रामुळे होते. सिस्टम डेव्हलपमेंटच्या सुरूवातीस सर्वकाही व्यवस्थित होईपर्यंत आणि नवीनतेचा मुख्य टप्पा पूर्ण होईपर्यंत नेहमीच बरेच बग असतात. परंतु कालांतराने, एन्ट्रॉपीचा परिणाम होतो आणि त्रुटी पुन्हा दिसून येतात - आजूबाजूच्या घटकांच्या ऱ्हासामुळे आणि डेटामधील बदलांमुळे, ज्याबद्दल मी सुरुवातीला बोललो होतो.

येथे मी हे लक्षात घेऊ इच्छितो की कोणतीही मशीन लर्निंग सिस्टीम तिच्या संपूर्ण जीवनचक्रात नफ्याच्या दृष्टिकोनातून विचारात घेतली पाहिजे. खालील आलेख एक दुर्मिळ प्रकारचा स्पॅम पकडण्यासाठी सिस्टम कसे कार्य करते याचे उदाहरण दाखवते (ग्राफमधील रेषा शून्याच्या जवळ आहे). एके दिवशी, चुकीच्या कॅश केलेल्या गुणधर्मामुळे, ती वेडी झाली. नशीबानुसार, असामान्य ट्रिगरिंगसाठी कोणतेही निरीक्षण नव्हते; परिणामी, सिस्टमने निर्णय घेण्याच्या सीमेवर "स्पॅम" फोल्डरमध्ये मोठ्या प्रमाणात अक्षरे जतन करण्यास सुरुवात केली. परिणाम दुरुस्त करूनही, यंत्रणेने आधीच इतक्या वेळा चुका केल्या आहेत की ती पाच वर्षांतही स्वतःला भरणार नाही. आणि मॉडेलच्या जीवन चक्राच्या दृष्टिकोनातून हे संपूर्ण अपयश आहे.

म्हणूनच, मॉनिटरिंगसारखी साधी गोष्ट मॉडेलच्या जीवनात महत्त्वाची ठरू शकते. मानक आणि स्पष्ट मेट्रिक्स व्यतिरिक्त, आम्ही मॉडेल प्रतिसाद आणि गुणांचे वितरण तसेच मुख्य वैशिष्ट्य मूल्यांचे वितरण विचारात घेतो. KL विचलनाचा वापर करून, आम्ही सध्याच्या वितरणाची ऐतिहासिक एकाशी किंवा A/B चाचणीमधील मूल्यांची उर्वरित प्रवाहाशी तुलना करू शकतो, ज्यामुळे आम्हाला मॉडेलमधील विसंगती लक्षात येऊ शकतात आणि वेळेवर बदल मागे घेता येतात.

बर्‍याच प्रकरणांमध्ये, आम्‍ही आमच्‍या सिस्‍टमच्‍या प्रथम आवृत्‍ती सोप्या ह्युरिस्टिक्‍स किंवा मॉडेलचा वापर करून लॉन्‍च करतो जे आम्‍ही भविष्‍यात मॉनिटरिंग म्‍हणून वापरतो. उदाहरणार्थ, आम्ही विशिष्ट ऑनलाइन स्टोअर्सच्या नियमित मॉडेलच्या तुलनेत NER मॉडेलचे परीक्षण करतो आणि त्यांच्या तुलनेत क्लासिफायर कव्हरेज कमी झाल्यास, आम्हाला कारणे समजतात. ह्युरिस्टिकचा आणखी एक उपयुक्त उपयोग!

परिणाम

लेखातील मुख्य कल्पना पुन्हा पाहू या.

• फिबडेक. आम्ही नेहमी वापरकर्त्याबद्दल विचार करतो: तो आमच्या चुकांसह कसे जगेल, तो त्यांची तक्रार कशी करू शकेल. हे विसरू नका की वापरकर्ते प्रशिक्षण मॉडेल्ससाठी शुद्ध अभिप्रायाचे स्त्रोत नाहीत आणि ते सहाय्यक ML सिस्टमच्या मदतीने साफ करणे आवश्यक आहे. वापरकर्त्याकडून सिग्नल गोळा करणे शक्य नसल्यास, आम्ही अभिप्रायाचे पर्यायी स्त्रोत शोधतो, उदाहरणार्थ, कनेक्टेड सिस्टम.
• अतिरिक्त प्रशिक्षण. येथे मुख्य गोष्ट सातत्य आहे, म्हणून आम्ही सध्याच्या उत्पादन मॉडेलवर अवलंबून आहोत. आम्ही नवीन मॉडेल्सना प्रशिक्षित करतो जेणेकरून ते हार्मोनिक नियमितीकरण आणि तत्सम युक्त्यांमुळे मागील मॉडेलपेक्षा फारसे वेगळे नसतील.
• तैनात करणे. मेट्रिक्सवर आधारित ऑटो-डिप्लॉयमेंट मॉडेल्सच्या अंमलबजावणीसाठी वेळ मोठ्या प्रमाणात कमी करते. आकडेवारीचे निरीक्षण करणे आणि निर्णय घेण्याचे वितरण, वापरकर्त्यांकडून कमी होणारी संख्या तुमच्या शांत झोप आणि उत्पादक वीकेंडसाठी अनिवार्य आहे.

बरं, मला आशा आहे की हे तुम्हाला तुमची ML प्रणाली जलद सुधारण्यास, त्यांना अधिक वेगाने बाजारात आणण्यास आणि त्यांना अधिक विश्वासार्ह आणि कमी तणावपूर्ण बनविण्यात मदत करेल.

स्त्रोत: www.habr.com