आम्ही शिफारसींच्या निवडीची गुणवत्ता आणि गती यावर कसे कार्य करतो

माझे नाव पावेल पार्कोमेन्को आहे, मी एमएल डेव्हलपर आहे. या लेखात, मी Yandex.Zen सेवेच्या संरचनेबद्दल बोलू इच्छितो आणि तांत्रिक सुधारणा सामायिक करू इच्छितो, ज्याच्या अंमलबजावणीमुळे शिफारसींची गुणवत्ता वाढवणे शक्य झाले आहे. या पोस्टवरून तुम्ही लाखो दस्तऐवजांमध्ये वापरकर्त्यासाठी काही मिलिसेकंदांमध्ये सर्वात संबंधित कसे शोधायचे ते शिकाल; मोठ्या मॅट्रिक्सचे सतत विघटन कसे करावे (लाखो स्तंभ आणि लाखो पंक्तींचा समावेश आहे) जेणेकरून नवीन दस्तऐवज दहा मिनिटांत त्यांचे सदिश प्राप्त करतील; व्हिडिओसाठी चांगले वेक्टर प्रतिनिधित्व मिळविण्यासाठी वापरकर्ता-लेख मॅट्रिक्स विघटन कसे वापरावे.

आमच्या शिफारसी डेटाबेसमध्ये विविध स्वरूपांचे लाखो दस्तऐवज आहेत: मजकूर लेख आमच्या प्लॅटफॉर्मवर तयार केले आहेत आणि बाह्य साइट्स, व्हिडिओ, कथा आणि लहान पोस्ट्समधून घेतले आहेत. अशा सेवेचा विकास मोठ्या प्रमाणात तांत्रिक आव्हानांशी निगडीत आहे. त्यापैकी काही येथे आहेत:

• संगणकीय कार्ये विभाजित करा: सर्व जड ऑपरेशन्स ऑफलाइन करा आणि रिअल टाइममध्ये फक्त 100-200 ms साठी जबाबदार राहण्यासाठी मॉडेलचे द्रुत अनुप्रयोग करा.
• वापरकर्त्याच्या क्रिया त्वरीत लक्षात घ्या. हे करण्यासाठी, हे आवश्यक आहे की सर्व कार्यक्रम त्वरित शिफारसकर्त्याकडे वितरित केले जातील आणि मॉडेलच्या परिणामांवर प्रभाव टाकतील.
• फीड बनवा जेणेकरुन नवीन वापरकर्त्यांसाठी ते त्यांच्या वर्तनाशी त्वरीत जुळवून घेईल. जे लोक नुकतेच सिस्टममध्ये सामील झाले आहेत त्यांना असे वाटले पाहिजे की त्यांचा अभिप्राय शिफारशींवर प्रभाव टाकतो.
• नवीन लेखाची शिफारस कोणाला करायची ते पटकन समजून घ्या.
• नवीन सामग्रीच्या सतत उदयास त्वरित प्रतिसाद द्या. दररोज हजारो लेख प्रकाशित होतात आणि त्यातील अनेकांचे आयुष्य मर्यादित असते (म्हणा, बातम्या). हेच त्यांना चित्रपट, संगीत आणि इतर दीर्घायुषी आणि महाग सामग्री तयार करण्यापासून वेगळे करते.
• एका डोमेन क्षेत्रातून दुसर्‍या क्षेत्रात ज्ञान हस्तांतरित करा. जर शिफारस प्रणालीमध्ये मजकूर लेखांसाठी प्रशिक्षित मॉडेल्स असतील आणि आम्ही त्यात व्हिडिओ जोडला तर, आम्ही विद्यमान मॉडेल्सचा पुन्हा वापर करू शकतो जेणेकरून नवीन प्रकारची सामग्री अधिक चांगली असेल.

आम्ही या समस्यांचे निराकरण कसे केले ते मी तुम्हाला सांगेन.

उमेदवारांची निवड

रँकिंगच्या गुणवत्तेत अक्षरशः कोणतीही बिघाड न करता काही मिलिसेकंदांमध्ये विचाराधीन कागदपत्रांची संख्या हजारो पटीने कशी कमी करायची?

समजा आम्ही अनेक ML मॉडेल्सना प्रशिक्षित केले, त्यावर आधारित वैशिष्ट्ये व्युत्पन्न केली आणि वापरकर्त्यासाठी दस्तऐवजांची क्रमवारी लावणारे दुसरे मॉडेल प्रशिक्षित केले. सर्व काही ठीक होईल, परंतु तुम्ही फक्त सर्व दस्तऐवजांसाठी सर्व चिन्हे रिअल टाइममध्ये घेऊ शकत नाही आणि त्यांची गणना करू शकत नाही, जर यापैकी लाखो दस्तऐवज असतील आणि शिफारसी 100-200 ms मध्ये तयार कराव्या लागतील. लाखोमधून विशिष्ट उपसंच निवडणे हे कार्य आहे, जे वापरकर्त्यासाठी रँक केले जाईल. या टप्प्याला सहसा उमेदवार निवड म्हणतात. त्यासाठी अनेक आवश्यकता आहेत. प्रथम, निवड खूप लवकर होणे आवश्यक आहे, जेणेकरून शक्य तितका वेळ रँकिंगसाठीच शिल्लक राहील. दुसरे म्हणजे, रँकिंगसाठी दस्तऐवजांची संख्या मोठ्या प्रमाणात कमी करून, आम्ही वापरकर्त्याशी संबंधित कागदपत्रे शक्य तितक्या पूर्णपणे जतन करणे आवश्यक आहे.

उमेदवार निवडीचे आमचे तत्त्व विकसित झाले आहे आणि या क्षणी आम्ही एका बहु-टप्प्यावरील योजनेवर आलो आहोत:

प्रथम, सर्व दस्तऐवज गटांमध्ये विभागले गेले आहेत आणि प्रत्येक गटातून सर्वात लोकप्रिय दस्तऐवज घेतले जातात. गट साइट, विषय, क्लस्टर असू शकतात. प्रत्येक वापरकर्त्यासाठी, त्याच्या इतिहासावर आधारित, त्याच्या जवळचे गट निवडले जातात आणि त्यांच्याकडून सर्वोत्तम कागदपत्रे घेतली जातात. रिअल टाइममध्ये वापरकर्त्याच्या सर्वात जवळ असलेले दस्तऐवज निवडण्यासाठी आम्ही kNN इंडेक्स देखील वापरतो. kNN इंडेक्स बनवण्याच्या अनेक पद्धती आहेत; आमची उत्तम कामगिरी आहे HNSW (हाइरार्किकल नेव्हिगेबल स्मॉल वर्ल्ड आलेख). हे एक श्रेणीबद्ध मॉडेल आहे जे तुम्हाला काही मिलिसेकंदांमध्ये लाखोच्या डेटाबेसमधून वापरकर्त्यासाठी N सर्वात जवळचे वेक्टर शोधण्याची परवानगी देते. आम्ही प्रथम आमचा संपूर्ण दस्तऐवज डेटाबेस ऑफलाइन अनुक्रमित करतो. इंडेक्समध्ये शोधणे खूप लवकर कार्य करते, जर तेथे अनेक मजबूत एम्बेडिंग असतील, तर तुम्ही अनेक निर्देशांक (प्रत्येक एम्बेडिंगसाठी एक अनुक्रमणिका) तयार करू शकता आणि त्या प्रत्येकामध्ये रिअल टाइममध्ये प्रवेश करू शकता.

आमच्याकडे अजूनही प्रत्येक वापरकर्त्यासाठी हजारो दस्तऐवज आहेत. सर्व वैशिष्ट्ये मोजण्यासाठी हे अद्याप बरेच आहे, म्हणून या टप्प्यावर आम्ही हलके रँकिंग वापरतो - कमी वैशिष्ट्यांसह हलके वजनदार रँकिंग मॉडेल. वजनदार मॉडेलच्या शीर्षस्थानी कोणती कागदपत्रे असतील याचा अंदाज लावणे हे कार्य आहे. सर्वोच्च प्रेडिक्टर असलेले दस्तऐवज हेवी मॉडेलमध्ये वापरले जातील, म्हणजेच क्रमवारीच्या शेवटच्या टप्प्यावर. हा दृष्टिकोन तुम्हाला वापरकर्त्यासाठी विचारात घेतलेल्या दस्तऐवजांचा डेटाबेस लाखो ते हजारो मिलीसेकंदमध्ये कमी करण्यास अनुमती देतो.

रनटाइम मध्ये ALS पाऊल

एका क्लिकनंतर लगेच वापरकर्त्याचा अभिप्राय कसा घ्यावा?

शिफारशींमधील एक महत्त्वाचा घटक म्हणजे वापरकर्त्याच्या अभिप्रायाला प्रतिसाद वेळ. नवीन वापरकर्त्यांसाठी हे विशेषतः महत्वाचे आहे: जेव्हा एखादी व्यक्ती शिफारस प्रणाली वापरण्यास प्रारंभ करते, तेव्हा त्याला विविध विषयांच्या दस्तऐवजांचे वैयक्तिकृत फीड प्राप्त होते. त्याने प्रथम क्लिक करताच, आपल्याला हे त्वरित लक्षात घेणे आणि त्याच्या आवडींशी जुळवून घेणे आवश्यक आहे. आपण ऑफलाइन सर्व घटकांची गणना केल्यास, विलंबामुळे त्वरित प्रणाली प्रतिसाद अशक्य होईल. त्यामुळे रिअल टाइममध्ये वापरकर्त्याच्या क्रियांवर प्रक्रिया करणे आवश्यक आहे. या हेतूंसाठी, आम्ही वापरकर्त्याचे वेक्टर प्रतिनिधित्व तयार करण्यासाठी रनटाइमच्या वेळी ALS स्टेप वापरतो.

समजू की आपल्याकडे सर्व कागदपत्रांसाठी वेक्टर प्रतिनिधित्व आहे. उदाहरणार्थ, आम्ही ELMo, BERT किंवा इतर मशीन लर्निंग मॉडेल वापरून लेखाच्या मजकुरावर आधारित एम्बेडिंग ऑफलाइन तयार करू शकतो. सिस्टीममधील त्यांच्या परस्परसंवादाच्या आधारावर आम्ही त्याच जागेत वापरकर्त्यांचे वेक्टर प्रतिनिधित्व कसे मिळवू शकतो?

वापरकर्ता-दस्तऐवज मॅट्रिक्सची निर्मिती आणि विघटन करण्याचे सामान्य तत्त्वचला m वापरकर्ते आणि n दस्तऐवज. काही वापरकर्त्यांसाठी, विशिष्ट दस्तऐवजांशी त्यांचे संबंध ज्ञात आहेत. मग ही माहिती m x n मॅट्रिक्स म्हणून दर्शविली जाऊ शकते: पंक्ती वापरकर्त्यांशी संबंधित आहेत आणि स्तंभ कागदपत्रांशी संबंधित आहेत. व्यक्तीने बहुतेक कागदपत्रे पाहिली नसल्यामुळे, बहुतेक मॅट्रिक्स सेल रिकामे राहतील, तर इतर भरले जातील. प्रत्येक इव्हेंटसाठी (जसे, नापसंत, क्लिक) मॅट्रिक्समध्ये काही मूल्य दिलेले आहे - परंतु चला एक सरलीकृत मॉडेल विचारात घेऊ या ज्यामध्ये 1 लाइक आणि नापसंती -1 शी संबंधित आहे.

चला मॅट्रिक्सचे दोन भागांमध्ये विघटन करूया: P (m x d) आणि Q (d x n), जेथे d हे सदिश प्रतिनिधित्वाचे परिमाण आहे (सामान्यतः एक लहान संख्या). मग प्रत्येक ऑब्जेक्ट डी-डायमेंशनल वेक्टरशी संबंधित असेल (वापरकर्त्यासाठी - मॅट्रिक्स पी मधील एक पंक्ती, दस्तऐवजासाठी - मॅट्रिक्स Q मधील एक स्तंभ). हे वेक्टर संबंधित वस्तूंचे एम्बेडिंग असतील. वापरकर्त्याला दस्तऐवज आवडेल की नाही याचा अंदाज लावण्यासाठी, तुम्ही फक्त त्यांची एम्बेडिंग गुणाकार करू शकता.

मॅट्रिक्सचे विघटन करण्याच्या संभाव्य मार्गांपैकी एक म्हणजे ALS (अल्टरनेटिंग लीस्ट स्क्वेअर्स). आम्ही खालील नुकसान कार्य ऑप्टिमाइझ करू:

येथे rui हा युजर u चा डॉक्युमेंट i सह परस्परसंवाद आहे, qi हा डॉक्युमेंट i चा सदिश आहे, pu हा युजर u चा सदिश आहे.

मग सरासरी स्क्वेअर एररच्या दृष्टिकोनातून इष्टतम वापरकर्ता वेक्टर (निश्चित दस्तऐवज वेक्टरसाठी) संबंधित रेखीय प्रतिगमन सोडवून विश्लेषणात्मकपणे आढळतो.

याला "ALS पायरी" म्हणतात. आणि एएलएस अल्गोरिदम हेच आहे की आम्ही पर्यायीपणे एक मॅट्रिक्स (वापरकर्ते आणि लेख) निश्चित करतो आणि दुसरा अपडेट करतो, इष्टतम उपाय शोधतो.

सुदैवाने, वापरकर्त्याचे वेक्टर प्रतिनिधित्व शोधणे हे एक जलद ऑपरेशन आहे जे वेक्टर सूचना वापरून रनटाइममध्ये केले जाऊ शकते. ही युक्ती तुम्हाला रँकिंगमध्ये वापरकर्त्याचा अभिप्राय त्वरित विचारात घेण्यास अनुमती देते. उमेदवार निवड सुधारण्यासाठी kNN इंडेक्समध्ये समान एम्बेडिंग वापरले जाऊ शकते.

वितरित सहयोगी फिल्टरिंग

वाढीव वितरित मॅट्रिक्स फॅक्टरायझेशन कसे करावे आणि नवीन लेखांचे वेक्टर प्रतिनिधित्व त्वरीत कसे शोधावे?

सामग्री हा शिफारस सिग्नलचा एकमेव स्त्रोत नाही. दुसरा महत्त्वाचा स्त्रोत म्हणजे सहयोगी माहिती. चांगली रँकिंग वैशिष्ट्ये पारंपारिकपणे वापरकर्ता-दस्तऐवज मॅट्रिक्सच्या विघटनातून मिळू शकतात. परंतु असे विघटन करण्याचा प्रयत्न करताना, आम्हाला समस्या आल्या:

1. आमच्याकडे लाखो दस्तऐवज आणि लाखो वापरकर्ते आहेत. मॅट्रिक्स एका मशीनवर पूर्णपणे बसत नाही आणि विघटन होण्यास बराच वेळ लागेल.
2. सिस्टममधील बहुतेक सामग्रीचे आयुष्य कमी असते: दस्तऐवज केवळ काही तासांसाठी संबंधित राहतात. म्हणून, शक्य तितक्या लवकर त्यांचे वेक्टर प्रतिनिधित्व तयार करणे आवश्यक आहे.
3. दस्तऐवज प्रकाशित झाल्यानंतर लगेचच तुम्ही विघटन तयार केल्यास, पुरेशा प्रमाणात वापरकर्त्यांना त्याचे मूल्यांकन करण्यासाठी वेळ मिळणार नाही. त्यामुळे, त्याचे वेक्टर प्रतिनिधित्व बहुधा फारसे चांगले होणार नाही.
4. जर एखाद्या वापरकर्त्याला आवडले किंवा नापसंत असेल, तर आम्ही हे विघटन करताना त्वरित विचारात घेऊ शकणार नाही.

या समस्यांचे निराकरण करण्यासाठी, आम्ही वारंवार वाढीव अद्यतनांसह वापरकर्ता-दस्तऐवज मॅट्रिक्सचे वितरित विघटन लागू केले. ते नेमके कसे कार्य करते?

समजा आमच्याकडे N मशीनचा क्लस्टर आहे (N शेकडो मध्ये आहे) आणि आम्हाला त्यांच्यावर मॅट्रिक्सचे वितरित विघटन करायचे आहे जे एका मशीनवर बसत नाही. प्रश्न असा आहे की हे विघटन कसे करावे जेणेकरून, एकीकडे, प्रत्येक मशीनवर पुरेसा डेटा असेल आणि दुसरीकडे, गणना स्वतंत्र असेल?

आम्ही वर वर्णन केलेले ALS विघटन अल्गोरिदम वापरू. एक एएलएस चरण वितरित पद्धतीने कसे चालवायचे ते पाहू - उर्वरित चरण समान असतील. समजा आमच्याकडे कागदपत्रांचे निश्चित मॅट्रिक्स आहे आणि आम्हाला वापरकर्त्यांचे मॅट्रिक्स तयार करायचे आहे. हे करण्यासाठी, आम्ही त्यास रेषांनुसार N भागांमध्ये विभाजित करू, प्रत्येक भागामध्ये अंदाजे समान संख्येच्या ओळी असतील. आम्ही प्रत्येक मशीनला संबंधित पंक्तींचे रिक्त नसलेले सेल, तसेच दस्तऐवज एम्बेडिंगचे मॅट्रिक्स (संपूर्णपणे) पाठवू. त्याचा आकार फार मोठा नसल्यामुळे आणि वापरकर्ता-दस्तऐवज मॅट्रिक्स सहसा खूप विरळ असल्याने, हा डेटा नियमित मशीनवर बसेल.

निश्चित मॅट्रिक्सला एकामागून एक बदलून मॉडेल एकत्र होईपर्यंत ही युक्ती अनेक युगांमध्ये पुनरावृत्ती केली जाऊ शकते. परंतु तरीही, मॅट्रिक्सचे विघटन होण्यास कित्येक तास लागू शकतात. आणि हे समस्येचे निराकरण करत नाही की आपल्याला नवीन दस्तऐवजांचे एम्बेडिंग त्वरीत प्राप्त करणे आणि मॉडेल तयार करताना ज्याबद्दल फारशी माहिती नव्हती अशा एम्बेडिंग्ज अद्यतनित करणे आवश्यक आहे.

जलद वाढीव मॉडेल अद्यतनांच्या परिचयाने आम्हाला मदत केली. समजा आमच्याकडे सध्या प्रशिक्षित मॉडेल आहे. तिच्या प्रशिक्षणानंतर, आमच्या वापरकर्त्यांनी संवाद साधलेले नवीन लेख तसेच प्रशिक्षणादरम्यान फारसा संवाद नसलेले लेख आले आहेत. अशा लेखांचे एम्बेडिंग द्रुतपणे प्राप्त करण्यासाठी, आम्ही मॉडेलच्या पहिल्या मोठ्या प्रशिक्षणादरम्यान मिळालेल्या वापरकर्त्याच्या एम्बेडिंगचा वापर करतो आणि निश्चित वापरकर्ता मॅट्रिक्स दिलेल्या दस्तऐवज मॅट्रिक्सची गणना करण्यासाठी एक ALS पायरी करतो. दस्तऐवज प्रकाशित झाल्यानंतर काही मिनिटांतच - हे तुम्हाला एम्बेडिंग पटकन प्राप्त करण्यास अनुमती देते - आणि अनेकदा अलीकडील दस्तऐवजांचे एम्बेडिंग अद्यतनित करते.

शिफारशी ताबडतोब मानवी क्रिया विचारात घेण्यासाठी, रनटाइममध्ये आम्ही ऑफलाइन प्राप्त केलेल्या वापरकर्त्याने एम्बेडिंग वापरत नाही. त्याऐवजी, आम्ही ALS स्टेप करतो आणि वास्तविक वापरकर्ता वेक्टर मिळवतो.

दुसर्‍या डोमेन क्षेत्रात स्थानांतरीत करा

व्हिडिओचे वेक्टर प्रतिनिधित्व तयार करण्यासाठी मजकूर लेखांवर वापरकर्त्याचा अभिप्राय कसा वापरायचा?

सुरुवातीला, आम्ही फक्त मजकूर लेखांची शिफारस केली होती, त्यामुळे आमचे बरेच अल्गोरिदम या प्रकारच्या सामग्रीसाठी तयार केलेले आहेत. परंतु इतर प्रकारची सामग्री जोडताना, आम्हाला मॉडेल्सशी जुळवून घेण्याची आवश्यकता होती. व्हिडिओ उदाहरण वापरून आम्ही ही समस्या कशी सोडवली? सर्व मॉडेल्सना सुरवातीपासून पुन्हा प्रशिक्षण देणे हा एक पर्याय आहे. परंतु यास बराच वेळ लागतो, आणि काही अल्गोरिदम प्रशिक्षण नमुन्याच्या आकारावर मागणी करत आहेत, जे अद्याप सेवेवर त्याच्या आयुष्याच्या पहिल्या क्षणांमध्ये नवीन प्रकारच्या सामग्रीसाठी आवश्यक प्रमाणात उपलब्ध नाही.

आम्ही दुसऱ्या मार्गाने गेलो आणि व्हिडिओसाठी मजकूर मॉडेल्सचा पुन्हा वापर केला. त्याच ALS युक्तीने आम्हाला व्हिडिओंचे वेक्टर प्रतिनिधित्व तयार करण्यात मदत केली. आम्ही मजकूर लेखांवर आधारित वापरकर्त्यांचे वेक्टर प्रतिनिधित्व घेतले आणि व्हिडिओ दृश्य माहिती वापरून एक ALS पायरी केली. त्यामुळे आम्हाला व्हिडिओचे वेक्टर प्रतिनिधित्व सहज मिळाले. आणि रनटाइमच्या वेळी आम्ही मजकूर लेख आणि व्हिडिओ व्हेक्टरमधून मिळवलेल्या वापरकर्त्याच्या वेक्टरमधील समीपतेची गणना करतो.

निष्कर्ष

रिअल-टाइम शिफारस प्रणालीचा गाभा विकसित करण्यात अनेक आव्हाने असतात. हा डेटा प्रभावीपणे वापरण्यासाठी तुम्हाला डेटावर त्वरीत प्रक्रिया करणे आणि ML पद्धती लागू करणे आवश्यक आहे; कमीतकमी वेळेत वापरकर्ता सिग्नल आणि सामग्रीच्या नवीन युनिट्सवर प्रक्रिया करण्यास सक्षम जटिल वितरित प्रणाली तयार करा; आणि इतर अनेक कामे.

सध्याच्या सिस्टममध्ये, ज्या डिझाइनचे मी वर्णन केले आहे, वापरकर्त्यासाठी शिफारसींची गुणवत्ता त्याच्या क्रियाकलाप आणि सेवेवर राहण्याच्या कालावधीसह वाढते. परंतु अर्थातच, येथे मुख्य अडचण आहे: सामग्रीशी फारसा संवाद नसलेल्या व्यक्तीचे हित त्वरित समजून घेणे सिस्टमसाठी कठीण आहे. नवीन वापरकर्त्यांसाठी शिफारसी सुधारणे हे आमचे मुख्य ध्येय आहे. आम्ही अल्गोरिदम ऑप्टिमाइझ करणे सुरू ठेवू जेणेकरून एखाद्या व्यक्तीशी संबंधित असलेली सामग्री त्याच्या फीडमध्ये जलदपणे येते आणि असंबद्ध सामग्री दर्शविली जाणार नाही.

स्त्रोत: www.habr.com