हामीले सिफारिसहरूको चयनको गुणस्तर र गतिमा कसरी काम गर्छौं

मेरो नाम पावेल पार्कहोमेन्को हो, म एक एमएल विकासकर्ता हुँ। यस लेखमा, म Yandex.Zen सेवाको संरचनाको बारेमा कुरा गर्न चाहन्छु र प्राविधिक सुधारहरू साझा गर्न चाहन्छु, जसको कार्यान्वयनले सिफारिसहरूको गुणस्तर बढाउन सम्भव बनाएको छ। यस पोष्टबाट तपाईले केहि मिलिसेकेन्डमा लाखौं कागजातहरू बीच प्रयोगकर्ताका लागि सबैभन्दा सान्दर्भिक व्यक्तिहरू कसरी फेला पार्ने भनेर सिक्नुहुनेछ; ठूलो म्याट्रिक्सको निरन्तर विघटन कसरी गर्ने (लाखौं स्तम्भहरू र दसौं लाख पङ्क्तिहरू मिलेर बनेको) ताकि नयाँ कागजातहरूले दशौं मिनेटमा भेक्टर प्राप्त गर्न सकून्; भिडियोको लागि राम्रो भेक्टर प्रतिनिधित्व प्राप्त गर्न प्रयोगकर्ता-लेख म्याट्रिक्स विघटन कसरी पुन: प्रयोग गर्ने।

हाम्रो सिफारिस डेटाबेसले विभिन्न ढाँचाका लाखौं कागजातहरू समावेश गर्दछ: पाठ लेखहरू हाम्रो प्लेटफर्ममा सिर्जना गरिएको र बाह्य साइटहरू, भिडियोहरू, कथाहरू र छोटो पोस्टहरूबाट लिइएको हो। यस्तो सेवाको विकास धेरै प्राविधिक चुनौतीहरूसँग सम्बन्धित छ। यहाँ तिनीहरू मध्ये केही छन्:

• कम्प्युटिङ् कार्यहरू विभाजन गर्नुहोस्: सबै भारी अपरेसनहरू अफलाइन गर्नुहोस्, र वास्तविक समयमा मात्र मोडेलहरूको द्रुत अनुप्रयोग प्रदर्शन गर्नुहोस् 100-200 ms को लागि जिम्मेवार हुन।
• छिटो खाता प्रयोगकर्ता कार्यहरू लिनुहोस्। यो गर्नको लागि, यो आवश्यक छ कि सबै घटनाहरू तुरुन्तै सिफारिसकर्तालाई पठाइन्छ र मोडेलहरूको नतिजालाई प्रभाव पार्छ।
• फिड बनाउनुहोस् ताकि नयाँ प्रयोगकर्ताहरूको लागि यो चाँडै तिनीहरूको व्यवहारमा अनुकूल हुन्छ। प्रणालीमा भर्खरै सामेल भएका व्यक्तिहरूले उनीहरूको प्रतिक्रियाले सिफारिसहरूलाई प्रभाव पार्छ भन्ने महसुस गर्नुपर्छ।
• कसलाई नयाँ लेख सिफारिस गर्ने छिटो बुझ्नुहोस्।
• नयाँ सामग्रीको निरन्तर उदयमा छिटो प्रतिक्रिया दिनुहोस्। प्रत्येक दिन हजारौं लेखहरू प्रकाशित हुन्छन्, र तिनीहरूमध्ये धेरैको आयु सीमित हुन्छ (भन्नुहोस्, समाचार)। यसले तिनीहरूलाई चलचित्र, संगीत र अन्य लामो समयसम्म चल्ने र महँगो सामग्री सिर्जना गर्नबाट फरक पार्छ।
• एक डोमेन क्षेत्रबाट अर्कोमा ज्ञान स्थानान्तरण गर्नुहोस्। यदि सिफारिस प्रणालीमा पाठ लेखहरूको लागि प्रशिक्षित मोडेलहरू छन् र हामीले यसमा भिडियो थप्छौं भने, हामी अवस्थित मोडेलहरू पुन: प्रयोग गर्न सक्छौं ताकि नयाँ प्रकारको सामग्री राम्रोसँग रैंक गर्नुहोस्।

म तपाईलाई बताउनेछु कि हामीले यी समस्याहरू कसरी समाधान गर्यौं।

उम्मेदवारहरूको चयन

दर्जाको गुणस्तरमा वस्तुगत रूपमा कुनै कमी नआउने गरी केही मिलिसेकेन्डमा हजारौं पटक विचाराधीन कागजातहरूको संख्या कसरी घटाउने?

मानौं हामीले धेरै ML मोडेलहरूलाई तालिम दियौं, तिनीहरूमा आधारित सुविधाहरू उत्पन्न गर्यौं, र प्रयोगकर्ताका लागि कागजातहरू श्रेणीबद्ध गर्ने अर्को मोडेललाई तालिम दियौं। सबै कुरा ठीक हुनेछ, तर तपाईले वास्तविक समयमा सबै कागजातहरूको लागि सबै संकेतहरू लिन र गणना गर्न सक्नुहुन्न, यदि त्यहाँ लाखौं कागजातहरू छन्, र सिफारिसहरू 100-200 ms मा निर्माण गर्न आवश्यक छ। कार्य लाखौं बाट एक निश्चित उपसमूह चयन गर्नु हो, जुन प्रयोगकर्ताको लागि श्रेणीबद्ध गरिनेछ। यो चरण सामान्यतया उम्मेदवार चयन भनिन्छ। यसका लागि धेरै आवश्यकताहरू छन्। पहिलो, छनोट धेरै चाँडै हुनुपर्दछ, ताकि रैंकिङको लागि सकेसम्म धेरै समय बाँकी छ। दोस्रो, र्याङ्किङका लागि कागजातहरूको संख्यालाई धेरै घटाएर, हामीले प्रयोगकर्तासँग सान्दर्भिक कागजातहरूलाई सकेसम्म पूर्ण रूपमा सुरक्षित गर्नुपर्छ।

उम्मेदवार छनोटको हाम्रो सिद्धान्त विकसित भएको छ, र अहिले हामी बहु-चरण योजनामा ​​आइपुगेका छौं:

पहिले, सबै कागजातहरू समूहहरूमा विभाजित हुन्छन्, र सबैभन्दा लोकप्रिय कागजातहरू प्रत्येक समूहबाट लिइन्छ। समूहहरू साइटहरू, विषयहरू, क्लस्टरहरू हुन सक्छन्। प्रत्येक प्रयोगकर्ताको लागि, उसको इतिहासको आधारमा, उसको नजिकका समूहहरू चयन गरिन्छ र तिनीहरूबाट उत्कृष्ट कागजातहरू लिइन्छ। हामी वास्तविक समयमा प्रयोगकर्ताको नजिकका कागजातहरू चयन गर्न kNN अनुक्रमणिका पनि प्रयोग गर्छौं। त्यहाँ kNN अनुक्रमणिका निर्माण गर्न धेरै तरिकाहरू छन्; हाम्रो राम्रो काम भयो HNSW (हाइरार्किकल नेभिगेबल सानो विश्व ग्राफ)। यो एक पदानुक्रमिक मोडेल हो जसले तपाइँलाई केहि मिलिसेकेन्डमा लाखौंको डाटाबेसबाट प्रयोगकर्ताको लागि N निकटतम भेक्टरहरू फेला पार्न अनुमति दिन्छ। हामी पहिले हाम्रो सम्पूर्ण कागजात डाटाबेस अफलाइन अनुक्रमणिका। अनुक्रमणिकामा खोजी गर्दा धेरै चाँडो काम गर्दछ, यदि त्यहाँ धेरै बलियो इम्बेडिङहरू छन् भने, तपाईंले धेरै अनुक्रमणिकाहरू सिर्जना गर्न सक्नुहुन्छ (प्रत्येक इम्बेडिङको लागि एक अनुक्रमणिका) र ती प्रत्येकलाई वास्तविक समयमा पहुँच गर्न सक्नुहुन्छ।

हामीसँग अझै पनि प्रत्येक प्रयोगकर्ताका लागि हजारौं कागजातहरू छन्। यो अझै पनि सबै सुविधाहरू गणना गर्न धेरै छ, त्यसैले यस चरणमा हामी हल्का रैंकिङ प्रयोग गर्छौं - कम सुविधाहरू भएको हल्का वजनको भारी श्रेणीकरण मोडेल। कार्य भनेको भारी मोडेलको शीर्षमा कुन कागजातहरू हुनेछ भनेर भविष्यवाणी गर्नु हो। उच्चतम भविष्यवाणी गर्ने कागजातहरू भारी मोडेलमा प्रयोग गरिनेछ, अर्थात्, रैंकिंगको अन्तिम चरणमा। यो दृष्टिकोणले तपाईंलाई प्रयोगकर्ताका लागि विचार गरिएका कागजातहरूको डाटाबेसलाई लाखौंदेखि हजारौंमा दसौं मिलिसेकेन्डमा घटाउन अनुमति दिन्छ।

रनटाइममा ALS चरण

एक क्लिक पछि तुरुन्तै खाता प्रयोगकर्ता प्रतिक्रिया कसरी लिने?

सिफारिसहरूमा एक महत्त्वपूर्ण कारक प्रयोगकर्ता प्रतिक्रियाको प्रतिक्रिया समय हो। यो विशेष गरी नयाँ प्रयोगकर्ताहरूको लागि महत्त्वपूर्ण छ: जब एक व्यक्तिले सिफारिस प्रणाली प्रयोग गर्न थाल्छ, उसले विभिन्न शीर्षकहरूको कागजातहरूको गैर-व्यक्तिगत फिड प्राप्त गर्दछ। उसले पहिलो क्लिक गर्ने बित्तिकै, तपाईले यसलाई तुरुन्तै ध्यानमा राख्नु पर्छ र उसको रुचि अनुसार अनुकूलन गर्न आवश्यक छ। यदि तपाइँ अफलाइनमा सबै कारकहरू गणना गर्नुहुन्छ भने, ढिलाइको कारण द्रुत प्रणाली प्रतिक्रिया असम्भव हुनेछ। त्यसैले यो वास्तविक समयमा प्रयोगकर्ता कार्यहरू प्रशोधन गर्न आवश्यक छ। यी उद्देश्यहरूका लागि, हामी प्रयोगकर्ताको भेक्टर प्रतिनिधित्व निर्माण गर्न रनटाइममा ALS चरण प्रयोग गर्छौं।

मानौं हामीसँग सबै कागजातहरूको लागि भेक्टर प्रतिनिधित्व छ। उदाहरणका लागि, हामी ELMO, BERT वा अन्य मेसिन लर्निङ मोडेलहरू प्रयोग गरेर लेखको पाठमा आधारित अफलाइन इम्बेडिङहरू निर्माण गर्न सक्छौं। हामी कसरी प्रणालीमा उनीहरूको अन्तरक्रियाको आधारमा उही ठाउँमा प्रयोगकर्ताहरूको भेक्टर प्रतिनिधित्व प्राप्त गर्न सक्छौं?

प्रयोगकर्ता-कागजात म्याट्रिक्स को गठन र विघटन को सामान्य सिद्धान्तहामीसँग m प्रयोगकर्ताहरू र n कागजातहरू छन्। केही प्रयोगकर्ताहरूको लागि, केही कागजातहरूसँग तिनीहरूको सम्बन्ध ज्ञात छ। त्यसपछि यो जानकारी mxn म्याट्रिक्सको रूपमा प्रतिनिधित्व गर्न सकिन्छ: पङ्क्तिहरू प्रयोगकर्ताहरूसँग मेल खान्छ, र स्तम्भहरू कागजातहरूसँग मेल खान्छ। व्यक्तिले अधिकांश कागजातहरू नदेखेको हुनाले, अधिकांश म्याट्रिक्स कक्षहरू खाली रहनेछन्, जबकि अन्य भरिनेछन्। प्रत्येक घटना (जस्तै, मन नपराउने, क्लिक) को लागि म्याट्रिक्समा केही मान प्रदान गरिएको छ - तर एउटा सरल मोडेललाई विचार गरौं जसमा लाइक १ सँग मेल खान्छ, र मन नपर्ने -१ सँग मेल खान्छ।

म्याट्रिक्सलाई दुईमा विघटन गरौं: P (mxd) र Q (dxn), जहाँ d भेक्टर प्रतिनिधित्वको आयाम हो (सामान्यतया सानो संख्या)। त्यसपछि प्रत्येक वस्तुले d-आयामी भेक्टरसँग मेल खान्छ (प्रयोगकर्ताको लागि - म्याट्रिक्स P मा एउटा पङ्क्ति, कागजातको लागि - म्याट्रिक्स Q मा एउटा स्तम्भ)। यी भेक्टरहरू सम्बन्धित वस्तुहरूको एम्बेडिङहरू हुनेछन्। प्रयोगकर्ताले कागजात मन पराउनेछ कि छैन भनी अनुमान गर्न, तपाइँ केवल तिनीहरूको इम्बेडिङ गुणन गर्न सक्नुहुन्छ।

म्याट्रिक्स विघटन गर्ने सम्भावित तरिकाहरू मध्ये एक ALS (अल्टरनेटिंग लेस्ट स्क्वायरहरू) हो। हामी निम्न हानि प्रकार्य अनुकूलन गर्नेछौं:

यहाँ rui कागजात i सँग user u को अन्तरक्रिया हो, qi कागजात i को भेक्टर हो, pu प्रयोगकर्ता u को भेक्टर हो।

त्यसपछि औसत वर्ग त्रुटिको दृष्टिकोणबाट इष्टतम प्रयोगकर्ता भेक्टर (स्थिर कागजात भेक्टरहरूका लागि) अनुरूप रैखिक प्रतिगमन समाधान गरेर विश्लेषणात्मक रूपमा फेला पर्दछ।

यसलाई "ALS चरण" भनिन्छ। र ALS एल्गोरिथ्म आफैंमा यो हो कि हामीले वैकल्पिक रूपमा एक म्याट्रिक्स (प्रयोगकर्ता र लेखहरू) लाई ठीक गर्छौं र अर्कोलाई अद्यावधिक गर्छौं, इष्टतम समाधान खोज्दै।

सौभाग्यवश, प्रयोगकर्ताको भेक्टर प्रतिनिधित्व फेला पार्नु एकदम छिटो सञ्चालन हो जुन भेक्टर निर्देशनहरू प्रयोग गरेर रनटाइममा गर्न सकिन्छ। यो ट्रिकले तपाईलाई तुरुन्तै प्रयोगकर्ताको प्रतिक्रियालाई रैंकिंगमा खातामा लिन अनुमति दिन्छ। उही इम्बेडिङ उम्मेद्वार चयन सुधार गर्न kNN अनुक्रमणिकामा प्रयोग गर्न सकिन्छ।

वितरित सहयोगी फिल्टरिंग

कसरी वृद्धिशील वितरित म्याट्रिक्स कारककरण गर्ने र नयाँ लेखहरूको भेक्टर प्रतिनिधित्वहरू द्रुत रूपमा फेला पार्ने?

सामग्री सिफारिस संकेतहरूको मात्र स्रोत होइन। अर्को महत्त्वपूर्ण स्रोत सहयोगी जानकारी हो। राम्रो रैंकिंग सुविधाहरू परम्परागत रूपमा प्रयोगकर्ता-कागजात म्याट्रिक्सको विघटनबाट प्राप्त गर्न सकिन्छ। तर यस्तो विघटन गर्ने प्रयास गर्दा, हामीले समस्याहरूको सामना गर्‍यौं:

1. हामीसँग लाखौं कागजातहरू र लाखौं प्रयोगकर्ताहरू छन्। म्याट्रिक्स एक मेसिनमा पूर्ण रूपमा फिट हुँदैन, र विघटन धेरै लामो समय लाग्छ।
2. प्रणालीमा अधिकांश सामग्रीको छोटो आयु हुन्छ: कागजातहरू केही घण्टाको लागि मात्र सान्दर्भिक रहन्छन्। त्यसैले, सकेसम्म चाँडो तिनीहरूको भेक्टर प्रतिनिधित्व निर्माण गर्न आवश्यक छ।
3. यदि तपाईंले कागजात प्रकाशित भएपछि तुरुन्तै विघटन निर्माण गर्नुभयो भने, पर्याप्त संख्यामा प्रयोगकर्ताहरूसँग यसको मूल्याङ्कन गर्न समय हुँदैन। तसर्थ, यसको भेक्टर प्रतिनिधित्व सम्भवतः धेरै राम्रो हुनेछैन।
4. यदि एक प्रयोगकर्ताले मनपर्छ वा मन नपर्छ भने, हामी यसलाई तुरुन्तै विघटनमा खातामा लिन सक्षम हुने छैनौं।

यी समस्याहरू समाधान गर्न, हामीले लगातार वृद्धिशील अद्यावधिकहरूको साथ प्रयोगकर्ता-कागजात म्याट्रिक्सको वितरित विघटन लागू गर्यौं। यसले वास्तवमा कसरी काम गर्छ?

मानौं हामीसँग N मेसिनहरूको क्लस्टर छ (N सयौंमा छ) र हामी तिनीहरूमा म्याट्रिक्सको वितरित विघटन गर्न चाहन्छौं जुन एक मेसिनमा फिट हुँदैन। प्रश्न यो हो कि यो विघटन कसरी गर्ने ताकि, एकतर्फ, प्रत्येक मेसिनमा पर्याप्त डाटा छ र अर्कोमा, गणनाहरू स्वतन्त्र छन्?

हामी माथि वर्णन गरिएको ALS विघटन एल्गोरिदम प्रयोग गर्नेछौं। एक ALS चरण कसरी वितरण गरिएको तरिकामा कार्यान्वयन गर्ने भनेर हेरौं - बाँकी चरणहरू समान हुनेछन्। मानौं हामीसँग कागजातहरूको निश्चित म्याट्रिक्स छ र हामी प्रयोगकर्ताहरूको म्याट्रिक्स निर्माण गर्न चाहन्छौं। यो गर्नको लागि, हामी यसलाई N भागहरूमा रेखाहरूद्वारा विभाजित गर्नेछौं, प्रत्येक भागमा लगभग समान संख्याको रेखाहरू हुनेछन्। हामी प्रत्येक मेसिनमा सम्बन्धित पङ्क्तिहरूको गैर-खाली कक्षहरू, साथै कागजात इम्बेडिङहरूको म्याट्रिक्स (पूर्ण रूपमा) पठाउनेछौं। यसको साइज धेरै ठूलो नभएकोले, र प्रयोगकर्ता-कागजात म्याट्रिक्स सामान्यतया धेरै कम छ, यो डाटा नियमित मेसिनमा फिट हुनेछ।

यो ट्रिक धेरै युगहरूमा दोहोर्याउन सकिन्छ जबसम्म मोडेल कन्भर्ज हुँदैन, निश्चित म्याट्रिक्सलाई एक-एक गरी वैकल्पिक गर्दै। तर पनि, म्याट्रिक्स विघटन धेरै घण्टा लाग्न सक्छ। र यसले समस्या समाधान गर्दैन जुन तपाईले नयाँ कागजातहरूको इम्बेडिङहरू छिटो प्राप्त गर्न आवश्यक छ र मोडेल निर्माण गर्दा थोरै जानकारी भएको ती इम्बेडिङहरू अद्यावधिक गर्नुहोस्।

द्रुत वृद्धिशील मोडेल अपडेटहरूको परिचयले हामीलाई मद्दत गर्‍यो। मानौं हामीसँग हाल प्रशिक्षित मोडेल छ। उनको प्रशिक्षण पछि, हाम्रा प्रयोगकर्ताहरूले अन्तरक्रिया गरेका नयाँ लेखहरू छन्, साथै प्रशिक्षणको क्रममा थोरै अन्तरक्रिया भएका लेखहरू छन्। त्यस्ता लेखहरूको इम्बेडिङहरू द्रुत रूपमा प्राप्त गर्न, हामी मोडेलको पहिलो ठूलो प्रशिक्षणको समयमा प्राप्त प्रयोगकर्ता इम्बेडिङहरू प्रयोग गर्छौं र निश्चित प्रयोगकर्ता म्याट्रिक्स दिइएको कागजात म्याट्रिक्स गणना गर्न एक ALS चरण गर्छौं। यसले तपाइँलाई इम्बेडिङहरू चाँडै प्राप्त गर्न अनुमति दिन्छ - कागजात प्रकाशित भएको केही मिनेटमा - र प्रायः भर्खरका कागजातहरूको इम्बेडिङहरू अद्यावधिक गर्नुहोस्।

सिफारिसहरू तुरुन्तै मानव कार्यहरूलाई ध्यानमा राख्नको लागि, रनटाइममा हामी अफलाइन प्राप्त प्रयोगकर्ता इम्बेडिङहरू प्रयोग गर्दैनौं। यसको सट्टा, हामी ALS चरण गर्छौं र वास्तविक प्रयोगकर्ता भेक्टर पाउँछौं।

अर्को डोमेन क्षेत्रमा स्थानान्तरण गर्नुहोस्

भिडियोको भेक्टर प्रतिनिधित्व निर्माण गर्न पाठ लेखहरूमा प्रयोगकर्ता प्रतिक्रिया कसरी प्रयोग गर्ने?

प्रारम्भमा, हामीले पाठ लेखहरू मात्र सिफारिस गरेका थियौं, त्यसैले हाम्रा धेरै एल्गोरिदमहरू यस प्रकारको सामग्री अनुरूप छन्। तर अन्य प्रकारको सामग्री थप्दा, हामीले मोडेलहरू अनुकूलन गर्ने आवश्यकताको सामना गर्‍यौं। हामीले भिडियो उदाहरण प्रयोग गरेर यो समस्या कसरी समाधान गर्यौं? एउटा विकल्प भनेको सबै मोडेलहरूलाई स्क्र्याचबाट पुन: तालिम दिनु हो। तर यसले लामो समय लिन्छ, र केहि एल्गोरिदमहरूले प्रशिक्षण नमूनाको आकारमा माग गरिरहेका छन्, जुन सेवामा आफ्नो जीवनको पहिलो क्षणहरूमा नयाँ प्रकारको सामग्रीको लागि आवश्यक मात्रामा उपलब्ध छैन।

हामी अर्को बाटो गयौं र भिडियोको लागि पाठ मोडेलहरू पुन: प्रयोग गर्यौं। उही ALS चालले हामीलाई भिडियोहरूको भेक्टर प्रतिनिधित्वहरू सिर्जना गर्न मद्दत गर्‍यो। हामीले पाठ लेखहरूमा आधारित प्रयोगकर्ताहरूको भेक्टर प्रतिनिधित्व लियौं र भिडियो दृश्य जानकारी प्रयोग गरेर ALS चरण गर्यौं। त्यसैले हामीले सजिलैसँग भिडियोको भेक्टर प्रतिनिधित्व पायौं। र रनटाइममा हामी पाठ लेखहरू र भिडियो भेक्टरबाट प्राप्त प्रयोगकर्ता भेक्टर बीचको निकटताको गणना गर्छौं।

निष्कर्षमा

वास्तविक-समय सिफारिस प्रणालीको मूल विकासमा धेरै चुनौतीहरू समावेश छन्। यो डाटालाई प्रभावकारी रूपमा प्रयोग गर्नको लागि तपाईंले द्रुत रूपमा डाटा प्रशोधन गर्न र ML विधिहरू लागू गर्न आवश्यक छ; न्यूनतम समयमा प्रयोगकर्ता संकेतहरू र सामग्रीको नयाँ एकाइहरू प्रशोधन गर्न सक्षम जटिल वितरण प्रणालीहरू निर्माण गर्नुहोस्; र धेरै अन्य कार्यहरू।

हालको प्रणालीमा, मैले वर्णन गरेको डिजाइनमा, प्रयोगकर्ताको लागि सिफारिसहरूको गुणस्तर उसको गतिविधि र सेवामा रहनको लम्बाइसँगै बढ्छ। तर निस्सन्देह, यहाँ मुख्य कठिनाई निहित छ: प्रणालीको लागि सामग्रीसँग थोरै अन्तरक्रिया भएको व्यक्तिको चासो तुरुन्तै बुझ्न गाह्रो छ। नयाँ प्रयोगकर्ताहरूको लागि सिफारिसहरू सुधार गर्नु हाम्रो मुख्य लक्ष्य हो। हामी एल्गोरिदमहरू अप्टिमाइज गर्न जारी राख्नेछौं ताकि व्यक्तिसँग सान्दर्भिक सामग्री छिटो आफ्नो फिडमा आउँछ, र अप्रासंगिक सामग्री देखाइँदैन।

स्रोत: www.habr.com