फरवरी-मार्च 2019 में सोशल नेटवर्क फीड को रैंक करने के लिए एक प्रतियोगिता आयोजित की गई थी एसएनए हैकथॉन 2019जिसमें हमारी टीम प्रथम स्थान पर रही। लेख में मैं प्रतियोगिता के संगठन, हमारे द्वारा आज़माए गए तरीकों और बड़े डेटा पर प्रशिक्षण के लिए कैटबूस्ट सेटिंग्स के बारे में बात करूंगा।

एसएनए हैकथॉन

यह तीसरी बार है कि इस नाम से हैकथॉन आयोजित किया गया है। यह क्रमशः सोशल नेटवर्क ok.ru द्वारा आयोजित किया जाता है, कार्य और डेटा सीधे इस सोशल नेटवर्क से संबंधित हैं।
इस मामले में एसएनए (सामाजिक नेटवर्क विश्लेषण) को सामाजिक ग्राफ के विश्लेषण के रूप में नहीं, बल्कि सामाजिक नेटवर्क के विश्लेषण के रूप में अधिक सही ढंग से समझा जाता है।

• 2014 में, कार्य यह अनुमान लगाना था कि किसी पोस्ट को कितने लाइक मिलेंगे।
• 2016 में - वीवीजेड कार्य (शायद आप परिचित हैं), सामाजिक ग्राफ के विश्लेषण के करीब।
• 2019 में, उपयोगकर्ता के फ़ीड को इस संभावना के आधार पर रैंकिंग दी जाएगी कि उपयोगकर्ता को पोस्ट पसंद आएगी।

मैं 2014 के बारे में नहीं कह सकता, लेकिन 2016 और 2019 में डेटा विश्लेषण क्षमताओं के अलावा, बड़े डेटा के साथ काम करने में कौशल की भी आवश्यकता थी। मुझे लगता है कि यह मशीन लर्निंग और बड़ी डेटा प्रोसेसिंग समस्याओं का संयोजन था जिसने मुझे इन प्रतियोगिताओं की ओर आकर्षित किया, और इन क्षेत्रों में मेरे अनुभव ने मुझे जीतने में मदद की।

mlbootcamp

2019 में मंच पर प्रतियोगिता का आयोजन किया गया था https://mlbootcamp.ru.

प्रतियोगिता 7 फरवरी को ऑनलाइन शुरू हुई और इसमें 3 कार्य शामिल थे। कोई भी व्यक्ति साइट पर पंजीकरण कर सकता है, डाउनलोड कर सकता है आधारभूत और अपनी कार को कुछ घंटों के लिए लोड करें। 15 मार्च को ऑनलाइन चरण के अंत में, प्रत्येक शो जंपिंग इवेंट के शीर्ष 15 को ऑफ़लाइन चरण के लिए Mail.ru कार्यालय में आमंत्रित किया गया था, जो 30 मार्च से 1 अप्रैल तक हुआ था।

कार्य

स्रोत डेटा उपयोगकर्ता आईडी (यूजरआईडी) और पोस्ट आईडी (ऑब्जेक्टआईडी) प्रदान करता है। यदि उपयोगकर्ता को एक पोस्ट दिखाया गया था, तो डेटा में एक पंक्ति होती है जिसमें उपयोगकर्ता आईडी, ऑब्जेक्ट आईडी, इस पोस्ट पर उपयोगकर्ता प्रतिक्रियाएं (फीडबैक) और विभिन्न सुविधाओं या चित्रों और ग्रंथों के लिंक का एक सेट होता है।

यूज़र आईडी	ऑब्जेक्टआई.डी	स्वामी आईडी	प्रतिक्रिया	छवियों
3555	22	5677	[पसंद किया गया, क्लिक किया गया]	[हैश1]
12842	55	32144	[नापसंद]	[हैश2,हैश3]
13145	35	5677	[क्लिक किया गया, साझा किया गया]	[हैश2]

परीक्षण डेटा सेट में एक समान संरचना है, लेकिन फीडबैक फ़ील्ड गायब है। कार्य फीडबैक क्षेत्र में 'पसंद' प्रतिक्रिया की उपस्थिति की भविष्यवाणी करना है।
सबमिशन फ़ाइल में निम्नलिखित संरचना है:

यूज़र आईडी	क्रमबद्ध सूची[ऑब्जेक्टआईडी]
123	78,13,54,22
128	35,61,55
131	35,68,129,11

मीट्रिक उपयोगकर्ताओं के लिए औसत ROC AUC है।

डेटा का अधिक विस्तृत विवरण यहां पाया जा सकता है परिषद की वेबसाइट. आप वहां परीक्षण और चित्र सहित डेटा भी डाउनलोड कर सकते हैं।

ऑनलाइन चरण

ऑनलाइन चरण में कार्य को 3 भागों में विभाजित किया गया था

• सहयोगात्मक प्रणाली - छवियों और पाठों को छोड़कर सभी सुविधाएँ शामिल हैं;
• Изображения - केवल छवियों के बारे में जानकारी शामिल है;
• ग्रंथों - इसमें केवल पाठों के बारे में जानकारी शामिल है।

ऑफ़लाइन चरण

ऑफ़लाइन चरण में, डेटा में सभी सुविधाएँ शामिल थीं, जबकि पाठ और चित्र विरल थे। डेटासेट में 1,5 गुना अधिक पंक्तियाँ थीं, जिनमें से पहले से ही बहुत सारी थीं।

समस्या हल करना

चूँकि मैं कार्यस्थल पर सीवी बनाता हूँ, इसलिए मैंने इस प्रतियोगिता में अपनी यात्रा "छवियाँ" कार्य के साथ शुरू की। जो डेटा प्रदान किया गया था वह उपयोगकर्ता आईडी, ऑब्जेक्ट आईडी, मालिक आईडी (वह समूह जिसमें पोस्ट प्रकाशित किया गया था), पोस्ट बनाने और प्रदर्शित करने के लिए टाइमस्टैम्प, और निश्चित रूप से, इस पोस्ट के लिए छवि थी।
टाइमस्टैम्प के आधार पर कई सुविधाएँ उत्पन्न करने के बाद, अगला विचार इमेजनेट पर पूर्व-प्रशिक्षित न्यूरॉन की अंतिम परत को लेना और इन एम्बेडिंग को बूस्टिंग के लिए भेजना था।

परिणाम प्रभावशाली नहीं थे. इमेजनेट न्यूरॉन से एंबेडिंग्स अप्रासंगिक हैं, मैंने सोचा, मुझे अपना स्वयं का ऑटोएनकोडर बनाने की आवश्यकता है।

इसमें काफी समय लग गया और परिणाम में सुधार नहीं हुआ.

फ़ीचर पीढ़ी

छवियों के साथ काम करने में बहुत समय लगता है, इसलिए मैंने कुछ सरल करने का निर्णय लिया।
जैसा कि आप तुरंत देख सकते हैं, डेटासेट में कई स्पष्ट विशेषताएं हैं, और बहुत अधिक परेशान न होने के लिए, मैंने सिर्फ कैटबूस्ट लिया। समाधान उत्कृष्ट था, बिना किसी सेटिंग के मैं तुरंत लीडरबोर्ड की पहली पंक्ति पर पहुँच गया।

इसमें बहुत सारा डेटा है और इसे लकड़ी के प्रारूप में रखा गया है, इसलिए दो बार सोचे बिना, मैंने स्कैला लिया और स्पार्क में सब कुछ लिखना शुरू कर दिया।

छवि एम्बेडिंग की तुलना में अधिक वृद्धि देने वाली सबसे सरल विशेषताएं:

• डेटा में कितनी बार objectId, userId औरownerId दिखाई दिए (लोकप्रियता के साथ सहसंबद्ध होना चाहिए);
• यूजरआईडी ने ओनरआईडी से कितने पोस्ट देखे हैं (समूह में उपयोगकर्ता की रुचि से संबंधित होना चाहिए);
• कितने अद्वितीय उपयोगकर्ता आईडी ने ओनर आईडी से पोस्ट देखीं (समूह के दर्शकों के आकार को दर्शाता है)।

टाइमस्टैम्प से दिन का वह समय प्राप्त करना संभव था जब उपयोगकर्ता ने फ़ीड देखी (सुबह/दोपहर/शाम/रात)। इन श्रेणियों को मिलाकर, आप सुविधाएँ उत्पन्न करना जारी रख सकते हैं:

• शाम को यूजरआईडी ने कितनी बार लॉग इन किया;
• यह पोस्ट किस समय सबसे अधिक बार दिखाई जाती है (ऑब्जेक्टआईडी) इत्यादि।

इससे धीरे-धीरे मेट्रिक्स में सुधार हुआ। लेकिन प्रशिक्षण डेटासेट का आकार लगभग 20M रिकॉर्ड है, इसलिए सुविधाओं को जोड़ने से प्रशिक्षण बहुत धीमा हो गया।

मैंने डेटा का उपयोग करने के अपने दृष्टिकोण पर पुनर्विचार किया है। हालाँकि डेटा समय-निर्भर है, मैंने "भविष्य में" कोई स्पष्ट जानकारी लीक नहीं देखी, फिर भी, बस मामले में, मैंने इसे इस तरह से तोड़ दिया:

हमें प्रदान किया गया प्रशिक्षण सेट (फरवरी और मार्च के 2 सप्ताह) 2 भागों में विभाजित था।
मॉडल को पिछले एन दिनों के डेटा पर प्रशिक्षित किया गया था। ऊपर वर्णित एकत्रीकरण परीक्षण सहित सभी डेटा पर बनाए गए थे। उसी समय, डेटा सामने आया है जिस पर लक्ष्य चर के विभिन्न एन्कोडिंग बनाना संभव है। सबसे आसान तरीका उस कोड का पुन: उपयोग करना है जो पहले से ही नई सुविधाएं बना रहा है, और बस इसे डेटा फ़ीड करें जिस पर इसे प्रशिक्षित नहीं किया जाएगा और लक्ष्य = 1।

इस प्रकार, हमें समान सुविधाएँ मिलीं:

• यूजरआईडी ने ग्रुप ओनरआईडी में किसी पोस्ट को कितनी बार देखा है;
• ग्रुप ओनरआईडी में यूजरआईडी ने पोस्ट को कितनी बार पसंद किया;
• उपयोगकर्ता आईडी द्वारा ओनर आईडी से पसंद की गई पोस्ट का प्रतिशत।

यानी यह निकला माध्य लक्ष्य एन्कोडिंग श्रेणीबद्ध विशेषताओं के विभिन्न संयोजनों के लिए डेटासेट के हिस्से पर। सिद्धांत रूप में, कैटबूस्ट लक्ष्य एन्कोडिंग भी बनाता है और इस दृष्टिकोण से कोई लाभ नहीं है, लेकिन, उदाहरण के लिए, इस समूह में पोस्ट पसंद करने वाले अद्वितीय उपयोगकर्ताओं की संख्या की गणना करना संभव हो गया। उसी समय, मुख्य लक्ष्य हासिल किया गया - मेरा डेटासेट कई बार कम हो गया, और सुविधाओं का निर्माण जारी रखना संभव हो गया।

जबकि कैटबूस्ट केवल पसंद की गई प्रतिक्रिया के आधार पर एन्कोडिंग का निर्माण कर सकता है, फीडबैक में अन्य प्रतिक्रियाएं होती हैं: पुनः साझा किया गया, नापसंद किया गया, नापसंद किया गया, क्लिक किया गया, अनदेखा किया गया, एन्कोडिंग जिसके लिए मैन्युअल रूप से किया जा सकता है। मैंने सभी प्रकार के समुच्चय की पुनर्गणना की और कम महत्व वाली सुविधाओं को हटा दिया ताकि डेटासेट में वृद्धि न हो।

उस समय तक मैं बड़े अंतर से प्रथम स्थान पर था। भ्रमित करने वाली एकमात्र बात यह थी कि छवि एम्बेडिंग में लगभग कोई वृद्धि नहीं देखी गई। कैटबूस्ट को सब कुछ देने का विचार आया। हम Kmeans छवियों को क्लस्टर करते हैं और एक नई श्रेणीगत सुविधा इमेजकैट प्राप्त करते हैं।

KMeans से प्राप्त क्लस्टरों के मैन्युअल फ़िल्टरिंग और विलय के बाद यहां कुछ कक्षाएं दी गई हैं।

इमेजकैट के आधार पर हम उत्पन्न करते हैं:

• नई श्रेणीगत विशेषताएं:
  • कौन सा इमेजकैट यूजरआईडी द्वारा सबसे अधिक बार देखा गया था;
  • कौन सी इमेजकैट सबसे अधिक बार ओनरआईडी दिखाती है;
  • यूजरआईडी द्वारा किस इमेजकैट को सबसे अधिक बार पसंद किया गया;
• विभिन्न काउंटर:
  • यूजरआईडी पर कितनी अनोखी इमेजकैट देखी गई;
  • जैसा कि ऊपर वर्णित है, लगभग 15 समान सुविधाएँ और लक्ष्य एन्कोडिंग।

ग्रंथों

छवि प्रतियोगिता के परिणाम मेरे अनुकूल रहे और मैंने पाठों पर अपना हाथ आज़माने का निर्णय लिया। मैंने पहले टेक्स्ट के साथ ज्यादा काम नहीं किया है और मूर्खतापूर्ण ढंग से मैंने tf-idf और svd पर दिन बर्बाद कर दिया। फिर मैंने doc2vec के साथ बेसलाइन देखी, जो बिल्कुल वही करती है जो मुझे चाहिए। Doc2vec मापदंडों को थोड़ा समायोजित करने के बाद, मुझे टेक्स्ट एम्बेडिंग मिली।

और फिर मैंने छवियों के लिए कोड का पुन: उपयोग किया, जिसमें मैंने छवि एम्बेडिंग को टेक्स्ट एम्बेडिंग से बदल दिया। परिणामस्वरूप, मैंने पाठ प्रतियोगिता में दूसरा स्थान प्राप्त किया।

सहयोगात्मक प्रणाली

एक प्रतियोगिता बाकी थी जिसे मैंने अभी तक छड़ी से "पोक" नहीं किया था, और लीडरबोर्ड पर एयूसी को देखते हुए, इस विशेष प्रतियोगिता के परिणामों का ऑफ़लाइन चरण पर सबसे अधिक प्रभाव होना चाहिए था।
मैंने स्रोत डेटा में मौजूद सभी विशेषताओं को लिया, श्रेणीबद्ध सुविधाओं को चुना और छवियों के लिए समान समुच्चय की गणना की, केवल छवियों पर आधारित सुविधाओं को छोड़कर। बस इसे कैटबूस्ट में डालने से मैं दूसरे स्थान पर पहुंच गया।

कैटबूस्ट अनुकूलन का पहला चरण

एक पहले और दो दूसरे स्थान ने मुझे प्रसन्न किया, लेकिन एक समझ थी कि मैंने कुछ खास नहीं किया है, जिसका मतलब है कि मैं पदों के नुकसान की उम्मीद कर सकता हूं।

प्रतियोगिता का कार्य उपयोगकर्ता के भीतर पोस्ट को रैंक करना है, और इस पूरे समय मैं वर्गीकरण समस्या को हल कर रहा था, यानी गलत मीट्रिक को अनुकूलित कर रहा था।

मैं आपको एक सरल उदाहरण देता हूं:

यूज़र आईडी	ऑब्जेक्टआई.डी	भविष्यवाणी	वास्तविक्ता
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	1
1	14	0.5	0
2	15	0.4	0
2	16	0.3	1

आइए एक छोटी पुनर्व्यवस्था करें

यूज़र आईडी	ऑब्जेक्टआई.डी	भविष्यवाणी	वास्तविक्ता
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	0
2	16	0.5	1
2	15	0.4	0
1	14	0.3	1

हमें निम्नलिखित परिणाम मिलते हैं:

मॉडल	एयूसी	उपयोगकर्ता1 एयूसी	उपयोगकर्ता2 एयूसी	मतलब एयूसी
देखिये 1	0,8	1,0	0,0	0,5
देखिये 2	0,7	0,75	1,0	0,875

जैसा कि आप देख सकते हैं, समग्र एयूसी मीट्रिक में सुधार का मतलब किसी उपयोगकर्ता के भीतर औसत एयूसी मीट्रिक में सुधार करना नहीं है।

बिल्ली का बच्चा रैंकिंग मेट्रिक्स को अनुकूलित करना जानता है डिब्बे से। मैंने रैंकिंग मेट्रिक्स के बारे में पढ़ा, सफलता की कहानियां कैटबूस्ट का उपयोग करते समय और रात भर प्रशिक्षण के लिए यतिरैंकपेयरवाइज़ सेट करें। परिणाम प्रभावशाली नहीं था. यह निर्णय लेते हुए कि मुझे प्रशिक्षित किया गया था, मैंने त्रुटि फ़ंक्शन को QueryRMSE में बदल दिया, जो कि कैटबूस्ट दस्तावेज़ीकरण को देखते हुए, तेजी से परिवर्तित होता है। अंत में, मुझे वर्गीकरण के लिए प्रशिक्षण के समान ही परिणाम मिले, लेकिन इन दोनों मॉडलों के संयोजन ने अच्छी वृद्धि दी, जिससे मैं तीनों प्रतियोगिताओं में पहले स्थान पर आ गया।

"सहयोगात्मक सिस्टम" प्रतियोगिता के ऑनलाइन चरण के समापन से 5 मिनट पहले, सर्गेई शाल्नोव ने मुझे दूसरे स्थान पर पहुंचा दिया। हम आगे की राह पर साथ-साथ चले।

ऑफलाइन चरण की तैयारी

हमें RTX 2080 TI वीडियो कार्ड के साथ ऑनलाइन चरण में जीत की गारंटी दी गई थी, लेकिन 300 रूबल का मुख्य पुरस्कार और, संभवतः, अंतिम प्रथम स्थान ने भी हमें इन 000 हफ्तों तक काम करने के लिए मजबूर किया।

जैसा कि बाद में पता चला, सर्गेई ने कैटबॉस्ट का भी इस्तेमाल किया। हमने विचारों और विशेषताओं का आदान-प्रदान किया और मैंने इसके बारे में सीखा अन्ना वेरोनिका डोरोगुश की रिपोर्ट जिसमें मेरे कई प्रश्नों के उत्तर थे, और उनके भी जो उस समय तक मेरे पास नहीं थे।

रिपोर्ट देखने से मुझे यह विचार आया कि हमें सभी मापदंडों को डिफ़ॉल्ट मान पर वापस लाने की जरूरत है, और सेटिंग्स को बहुत सावधानी से और सुविधाओं के एक सेट को ठीक करने के बाद ही करना होगा। अब एक प्रशिक्षण में लगभग 15 घंटे लग गए, लेकिन एक मॉडल रैंकिंग के साथ समूह में प्राप्त गति से बेहतर गति प्राप्त करने में कामयाब रहा।

फ़ीचर पीढ़ी

सहयोगात्मक सिस्टम प्रतियोगिता में, बड़ी संख्या में सुविधाओं को मॉडल के लिए महत्वपूर्ण माना जाता है। उदाहरण के लिए, ऑडिटवेट्स_स्पार्क_एसवीडी - सबसे महत्वपूर्ण संकेत, लेकिन इसका मतलब क्या है, इसके बारे में कोई जानकारी नहीं है। मैंने सोचा कि महत्वपूर्ण विशेषताओं के आधार पर विभिन्न समुच्चय की गणना करना सार्थक होगा। उदाहरण के लिए, उपयोगकर्ता द्वारा, समूह द्वारा, ऑब्जेक्ट द्वारा औसत ऑडिटवेट_स्पार्क_एसवीडी। इसकी गणना उस डेटा का उपयोग करके की जा सकती है जिस पर कोई प्रशिक्षण नहीं किया गया है और लक्ष्य = 1, यानी औसत है ऑडिटवेट्स_स्पार्क_एसवीडी उपयोगकर्ता द्वारा उसे पसंद की गई वस्तुओं द्वारा। इसके अलावा महत्वपूर्ण संकेत ऑडिटवेट्स_स्पार्क_एसवीडी, कई थे। उनमें से कुछ यहां हैं:

• ऑडिटवेटCtrGender
• ऑडिटवेटCtrHigh
• userOwnerCounterCreateLikes

उदाहरण के लिए, औसत ऑडिटवेटCtrGender यूजरआईडी के अनुसार यह औसत मूल्य की तरह ही एक महत्वपूर्ण विशेषता साबित हुई userOwnerCounterCreateLikes userId+ownerId द्वारा. इससे आपको पहले से ही यह सोचना चाहिए कि आपको फ़ील्ड का अर्थ समझने की आवश्यकता है।

साथ ही महत्वपूर्ण विशेषताएं भी थीं ऑडिटवेट्सलाइक्सकाउंट и ऑडिटवेटशोज़काउंट. एक को दूसरे से विभाजित करने पर और भी अधिक महत्वपूर्ण विशेषता प्राप्त हुई।

डेटा लीक

प्रतिस्पर्धा और उत्पादन मॉडलिंग बहुत अलग कार्य हैं। डेटा तैयार करते समय, सभी विवरणों को ध्यान में रखना और परीक्षण में लक्ष्य चर के बारे में कुछ गैर-तुच्छ जानकारी देना बहुत मुश्किल है। यदि हम एक उत्पादन समाधान बना रहे हैं, तो हम मॉडल को प्रशिक्षित करते समय डेटा लीक के उपयोग से बचने का प्रयास करेंगे। लेकिन अगर हम प्रतिस्पर्धा जीतना चाहते हैं तो डेटा लीक सबसे अच्छी सुविधाएं हैं।

डेटा का अध्ययन करने के बाद, आप इसे objectId मानों के अनुसार देख सकते हैं ऑडिटवेट्सलाइक्सकाउंट и ऑडिटवेटशोज़काउंट परिवर्तन, जिसका अर्थ है कि इन सुविधाओं के अधिकतम मूल्यों का अनुपात प्रदर्शन के समय के अनुपात की तुलना में पोस्ट रूपांतरण को बहुत बेहतर ढंग से प्रतिबिंबित करेगा।

पहला रिसाव जो हमें मिला वह है ऑडिटवेट्सलाइक्सकाउंटमैक्स/ऑडिटवेट्सशोकाउंटमैक्स.
लेकिन अगर हम डेटा को अधिक बारीकी से देखें तो क्या होगा? आइए शो की तारीख के अनुसार क्रमबद्ध करें और प्राप्त करें:

ऑब्जेक्टआई.डी	यूज़र आईडी	ऑडिटवेटशोज़काउंट	ऑडिटवेट्सलाइक्सकाउंट	लक्ष्य (पसंद किया जाता है)
1	1	12	3	शायद नहीं
1	2	15	3	शायद हाँ
1	3	16	4

यह आश्चर्य की बात थी जब मुझे ऐसा पहला उदाहरण मिला और पता चला कि मेरी भविष्यवाणी सच नहीं हुई। लेकिन, इस तथ्य को ध्यान में रखते हुए कि वस्तु के भीतर इन विशेषताओं के अधिकतम मूल्यों में वृद्धि हुई, हम आलसी नहीं थे और खोजने का निर्णय लिया ऑडिटवेटशोज़काउंटनेक्स्ट и ऑडिटवेट्सलाइक्सकाउंटनेक्स्ट, अर्थात्, समय में अगले क्षण का मान। एक फीचर जोड़कर
(auditweightsShowsCountNext-auditweightsShowsCount)/(auditweightsLikesCount-auditweightsLikesCountNext) हमने तेजी से तेज छलांग लगाई।
इसी तरह के लीक का उपयोग निम्नलिखित मानों को ढूंढकर किया जा सकता है userOwnerCounterCreateLikes userId+ownerId के भीतर और, उदाहरण के लिए, ऑडिटवेटCtrGender objectId+userGender के भीतर। हमें लीक वाले 6 समान फ़ील्ड मिले और उनसे यथासंभव अधिक जानकारी निकाली गई।

उस समय तक, हमने सहयोगी सुविधाओं से यथासंभव अधिक जानकारी निचोड़ ली थी, लेकिन छवि और पाठ प्रतियोगिताओं में वापस नहीं लौटे। मेरे पास यह जाँचने का एक अच्छा विचार था: छवियों या पाठों पर सीधे आधारित सुविधाएँ प्रासंगिक प्रतियोगिताओं में कितना लाभ देती हैं?

छवि और पाठ प्रतियोगिताओं में कोई लीक नहीं था, लेकिन उस समय तक मैंने डिफ़ॉल्ट कैटबूस्ट पैरामीटर वापस कर दिए थे, कोड साफ़ कर दिया था और कुछ सुविधाएँ जोड़ दी थीं। कुल था:

समाधान	जल्द ही
छवियों के साथ अधिकतम	0.6411
अधिकतम कोई चित्र नहीं	0.6297
दूसरे स्थान का परिणाम	0.6295

समाधान	जल्द ही
ग्रंथों के साथ अधिकतम	0.666
पाठ के बिना अधिकतम	0.660
दूसरे स्थान का परिणाम	0.656

समाधान	जल्द ही
सहयोगात्मक में अधिकतम	0.745
दूसरे स्थान का परिणाम	0.723

यह स्पष्ट हो गया कि हम पाठों और छवियों से बहुत कुछ निकालने में सक्षम होने की संभावना नहीं रखते थे, और कुछ सबसे दिलचस्प विचारों को आज़माने के बाद, हमने उनके साथ काम करना बंद कर दिया।

सहयोगी प्रणालियों में सुविधाओं की आगे की पीढ़ी ने वृद्धि नहीं दी और हमने रैंकिंग शुरू कर दी। ऑनलाइन चरण में, वर्गीकरण और रैंकिंग समूह ने मुझे थोड़ी वृद्धि दी, क्योंकि ऐसा इसलिए हुआ क्योंकि मैंने वर्गीकरण का प्रशिक्षण लिया था। येतिरानलपेयरवाइज़ सहित कोई भी त्रुटि फ़ंक्शन, लॉगलॉस (0,745 बनाम 0,725) के परिणाम के आसपास कहीं भी उत्पन्न नहीं हुआ। QueryCrossEntropy के लिए अभी भी आशा थी, जिसे लॉन्च नहीं किया जा सका।

ऑफ़लाइन चरण

ऑफ़लाइन चरण में, डेटा संरचना वही रही, लेकिन मामूली बदलाव हुए:

• पहचानकर्ता यूजरआईडी, ऑब्जेक्टआईडी, ओनरआईडी को पुन: यादृच्छिक किया गया;
• कई चिन्ह हटा दिए गए और कई का नाम बदल दिया गया;
• डेटा लगभग 1,5 गुना बढ़ गया है।

सूचीबद्ध कठिनाइयों के अलावा, एक बड़ा प्लस था: टीम को RTX 2080TI के साथ एक बड़ा सर्वर आवंटित किया गया था। मैंने लंबे समय तक htop का आनंद लिया है।

केवल एक ही विचार था - जो पहले से मौजूद है उसे पुन: उत्पन्न करना। सर्वर पर वातावरण स्थापित करने में कुछ घंटे बिताने के बाद, हमने धीरे-धीरे यह सत्यापित करना शुरू किया कि परिणाम प्रतिलिपि प्रस्तुत करने योग्य थे। हमारे सामने मुख्य समस्या डेटा वॉल्यूम में वृद्धि है। हमने लोड को थोड़ा कम करने और कैटबॉस्ट पैरामीटर ctr_complexity=1 सेट करने का निर्णय लिया। इससे गति थोड़ी कम हो गई, लेकिन मेरे मॉडल ने काम करना शुरू कर दिया, परिणाम अच्छा था - 0,733। मेरे विपरीत, सर्गेई ने डेटा को 2 भागों में विभाजित नहीं किया और सभी डेटा पर प्रशिक्षण दिया, हालांकि इसने ऑनलाइन चरण में सर्वोत्तम परिणाम दिए, ऑफ़लाइन चरण में कई कठिनाइयां थीं। यदि हमने अपने द्वारा तैयार की गई सभी सुविधाओं को ले लिया और उन्हें कैटबूस्ट में डालने का प्रयास किया, तो ऑनलाइन चरण में कुछ भी काम नहीं करेगा। सर्गेई ने टाइप ऑप्टिमाइज़ेशन किया, उदाहरण के लिए, फ्लोट64 प्रकारों को फ्लोट32 में परिवर्तित करना। इस लेख में, आप पांडा में मेमोरी ऑप्टिमाइज़ेशन के बारे में जानकारी पा सकते हैं। परिणामस्वरूप, सर्गेई ने सभी डेटा का उपयोग करके सीपीयू पर प्रशिक्षण लिया और लगभग 0,735 प्राप्त किया।

ये परिणाम जीतने के लिए पर्याप्त थे, लेकिन हमने अपनी वास्तविक गति छिपा ली और यह सुनिश्चित नहीं कर सके कि अन्य टीमें भी ऐसा नहीं कर रही थीं।

आखिरी दम तक लड़ो

कैटबूस्ट ट्यूनिंग

हमारा समाधान पूरी तरह से पुन: प्रस्तुत किया गया था, हमने टेक्स्ट डेटा और छवियों की विशेषताओं को जोड़ा था, इसलिए जो कुछ बचा था वह कैटबूस्ट मापदंडों को ट्यून करना था। सर्गेई ने कम संख्या में पुनरावृत्तियों के साथ सीपीयू पर प्रशिक्षण लिया, और मैंने ctr_complexity=1 वाले पर प्रशिक्षण लिया। एक दिन बचा था, और यदि आपने केवल पुनरावृत्तियाँ जोड़ीं या ctr_complexity बढ़ा दी, तो सुबह तक आप और भी बेहतर गति प्राप्त कर सकते थे और पूरे दिन चल सकते थे।

ऑफ़लाइन स्तर पर, साइट पर सबसे अच्छा समाधान न चुनकर गति को बहुत आसानी से छिपाया जा सकता है। हमें सबमिशन बंद होने से पहले अंतिम मिनटों में लीडरबोर्ड में भारी बदलाव की उम्मीद थी और हमने नहीं रुकने का फैसला किया।

अन्ना के वीडियो से, मैंने सीखा कि मॉडल की गुणवत्ता में सुधार करने के लिए, निम्नलिखित मापदंडों का चयन करना सबसे अच्छा है:

• सीखने की दर — डिफ़ॉल्ट मान की गणना डेटासेट के आकार के आधार पर की जाती है। सीखने की गति बढ़ाने के लिए पुनरावृत्तियों की संख्या बढ़ाने की आवश्यकता होती है।
• l2_leaf_reg - नियमितीकरण गुणांक, डिफ़ॉल्ट मान 3, अधिमानतः 2 से 30 तक चुनें। मान घटने से ओवरफिट में वृद्धि होती है।
• बैगिंग_तापमान - नमूने में वस्तुओं के वजन में यादृच्छिकीकरण जोड़ता है। डिफ़ॉल्ट मान 1 है, जहां भार एक घातांकीय वितरण से लिया जाता है। मूल्य घटने से ओवरफिट में वृद्धि होती है।
• यादृच्छिक_शक्ति - एक विशिष्ट पुनरावृत्ति पर विभाजन की पसंद को प्रभावित करता है। रैंडम_स्ट्रेंथ जितनी अधिक होगी, कम महत्व वाले विभाजन के चुने जाने की संभावना उतनी ही अधिक होगी। प्रत्येक आगामी पुनरावृत्ति पर, यादृच्छिकता कम हो जाती है। मूल्य घटने से ओवरफिट में वृद्धि होती है।

अन्य मापदंडों का अंतिम परिणाम पर बहुत कम प्रभाव पड़ता है, इसलिए मैंने उन्हें चुनने का प्रयास नहीं किया। ctr_complexity=1 के साथ मेरे GPU डेटासेट पर प्रशिक्षण के एक पुनरावृत्ति में 20 मिनट लगे, और कम डेटासेट पर चयनित पैरामीटर पूर्ण डेटासेट पर इष्टतम से थोड़ा अलग थे। अंत में, मैंने 30% डेटा पर लगभग 10 पुनरावृत्तियाँ कीं, और फिर सभी डेटा पर लगभग 10 और पुनरावृत्तियाँ कीं। यह कुछ इस तरह निकला:

• सीखने की दर मैंने डिफ़ॉल्ट से 40% की वृद्धि की;
• l2_leaf_reg उसे वैसे ही छोड़ दिया;
• बैगिंग_तापमान и यादृच्छिक_शक्ति घटाकर 0,8 कर दिया गया।

हम यह निष्कर्ष निकाल सकते हैं कि मॉडल को डिफ़ॉल्ट मापदंडों के साथ प्रशिक्षित किया गया था।

जब मैंने लीडरबोर्ड पर परिणाम देखा तो मुझे बहुत आश्चर्य हुआ:

मॉडल	मॉडल 1	मॉडल 2	मॉडल 3	कलाकारों की टुकड़ी
बिना ट्यूनिंग के	0.7403	0.7404	0.7404	0.7407
ट्यूनिंग के साथ	0.7406	0.7405	0.7406	0.7408

मैंने अपने लिए निष्कर्ष निकाला कि यदि मॉडल के त्वरित अनुप्रयोग की आवश्यकता नहीं है, तो गैर-अनुकूलित मापदंडों का उपयोग करके कई मॉडलों के संयोजन के साथ मापदंडों के चयन को बदलना बेहतर है।

सर्गेई जीपीयू पर चलाने के लिए डेटासेट के आकार को अनुकूलित कर रहा था। सबसे आसान विकल्प डेटा का कुछ हिस्सा काट देना है, लेकिन यह कई तरीकों से किया जा सकता है:

• सबसे पुराने डेटा को धीरे-धीरे हटाएं (फरवरी की शुरुआत में) जब तक कि डेटासेट मेमोरी में फिट न होने लगे;
• सबसे कम महत्व वाली सुविधाओं को हटा दें;
• उन उपयोगकर्ता आईडी को हटा दें जिनके लिए केवल एक प्रविष्टि है;
• केवल वे उपयोगकर्ता आईडी छोड़ें जो परीक्षण में हैं।

और अंततः, सभी विकल्पों में से एक समूह बनाएं।

आखिरी पहनावा

आखिरी दिन की देर शाम तक, हमने अपने मॉडलों का एक समूह तैयार कर लिया था, जिसकी उपज 0,742 थी। रात भर में मैंने अपना मॉडल ctr_complexity=2 के साथ लॉन्च किया और 30 मिनट के बजाय इसे 5 घंटे तक प्रशिक्षित किया। केवल सुबह 4 बजे इसकी गिनती की गई, और मैंने अंतिम समूह बनाया, जिसने सार्वजनिक लीडरबोर्ड पर 0,7433 अंक दिए।

समस्या को हल करने के लिए अलग-अलग दृष्टिकोण के कारण, हमारी भविष्यवाणियाँ दृढ़ता से सहसंबद्ध नहीं थीं, जिससे समूह में अच्छी वृद्धि हुई। एक अच्छा समूह प्राप्त करने के लिए, कच्चे मॉडल पूर्वानुमान पूर्वानुमान (prediction_type='RawFormulaVal') का उपयोग करना और स्केल_पॉस_वेट=नेग_काउंट/पॉस_काउंट सेट करना बेहतर है।

वेबसाइट पर आप देख सकते हैं निजी लीडरबोर्ड पर अंतिम परिणाम.

अन्य उपाय

कई टीमों ने अनुशंसाकर्ता सिस्टम एल्गोरिदम के सिद्धांतों का पालन किया। मैं, इस क्षेत्र का विशेषज्ञ न होने के कारण, उनका मूल्यांकन नहीं कर सकता, लेकिन मुझे 2 दिलचस्प समाधान याद हैं।

• निकोले अनोखिन का समाधान. निकोले, Mail.ru के कर्मचारी होने के नाते, पुरस्कारों के लिए आवेदन नहीं करते थे, इसलिए उनका लक्ष्य अधिकतम गति प्राप्त करना नहीं था, बल्कि आसानी से स्केलेबल समाधान प्राप्त करना था।
• जूरी पुरस्कार विजेता टीम के निर्णय के आधार पर यह लेख फेसबुक से, मैन्युअल कार्य के बिना बहुत अच्छी छवि क्लस्टरिंग के लिए अनुमति दी गई।

निष्कर्ष

मेरी याददाश्त में सबसे ज़्यादा क्या अटका रहा:

• यदि डेटा में स्पष्ट विशेषताएं हैं, और आप जानते हैं कि लक्ष्य एन्कोडिंग को सही तरीके से कैसे किया जाए, तो कैटबॉस्ट को आज़माना अभी भी बेहतर है।
• यदि आप किसी प्रतियोगिता में भाग ले रहे हैं, तो आपको learn_rate और पुनरावृत्तियों के अलावा अन्य मापदंडों का चयन करने में समय बर्बाद नहीं करना चाहिए। एक तेज़ समाधान कई मॉडलों का एक समूह बनाना है।
• बूस्टिंग GPU पर सीख सकते हैं। कैटबॉस्ट जीपीयू पर बहुत तेज़ी से सीख सकता है, लेकिन यह बहुत अधिक मेमोरी खाता है।
• विचारों के विकास और परीक्षण के दौरान, एक छोटा rsm~=0.2 (केवल CPU) और ctr_complexity=1 सेट करना बेहतर होता है।
• अन्य टीमों के विपरीत, हमारे मॉडलों की संख्या में बड़ी वृद्धि हुई। हमने केवल विचारों का आदान-प्रदान किया और विभिन्न भाषाओं में लिखा। डेटा को विभाजित करने के लिए हमारे पास एक अलग दृष्टिकोण था और, मुझे लगता है, प्रत्येक की अपनी बगें थीं।
• यह स्पष्ट नहीं है कि रैंकिंग अनुकूलन ने वर्गीकरण अनुकूलन से खराब प्रदर्शन क्यों किया।
• मुझे पाठों के साथ काम करने का कुछ अनुभव प्राप्त हुआ और यह समझ आया कि अनुशंसा प्रणाली कैसे बनाई जाती है।

भावनाओं, ज्ञान और प्राप्त पुरस्कारों के लिए आयोजकों को धन्यवाद।

स्रोत: www.habr.com