फेब्रुअरी-मार्च 2019 मा, सामाजिक सञ्जाल फिड श्रेणीकरण गर्न एक प्रतियोगिता आयोजित गरिएको थियो SNA Hackathon 2019जसमा हाम्रो टोलीले पहिलो स्थान हासिल गर्‍यो। लेखमा म प्रतियोगिताको संगठनको बारेमा कुरा गर्नेछु, हामीले प्रयास गरेका विधिहरू, र ठूलो डेटामा प्रशिक्षणको लागि catboost सेटिङहरू।

SNA Hackathon

यस नाममा ह्याकाथन आयोजना भएको यो तेस्रो पटक हो । यो सामाजिक सञ्जाल ok.ru द्वारा व्यवस्थित गरिएको छ, क्रमशः, कार्य र डेटा प्रत्यक्ष रूपमा यस सामाजिक नेटवर्कसँग सम्बन्धित छन्।
यस अवस्थामा SNA (सामाजिक नेटवर्क विश्लेषण) लाई सामाजिक ग्राफको विश्लेषणको रूपमा होइन, तर सामाजिक सञ्जालको विश्लेषणको रूपमा बुझिन्छ।

• 2014 मा, कार्यले पोस्ट प्राप्त गर्ने लाइकहरूको संख्या भविष्यवाणी गर्ने थियो।
• 2016 मा - VVZ कार्य (सायद तपाई परिचित हुनुहुन्छ), सामाजिक ग्राफको विश्लेषणको नजिक।
• 2019 मा, प्रयोगकर्ताले पोष्ट मन पराउने सम्भावनाको आधारमा प्रयोगकर्ताको फिडलाई श्रेणीकरण गर्ने।

म 2014 को बारे मा भन्न सक्दिन, तर 2016 र 2019 मा, डाटा विश्लेषण क्षमताहरु को अतिरिक्त, ठूलो डाटा संग काम गर्न को लागी कौशल पनि आवश्यक थियो। मलाई लाग्छ कि यो मेसिन लर्निङ र ठूला डाटा प्रोसेसिङ समस्याहरूको संयोजन थियो जसले मलाई यी प्रतियोगिताहरूमा आकर्षित गर्यो, र यी क्षेत्रहरूमा मेरो अनुभवले मलाई जित्न मद्दत गर्यो।

mlbootcamp

2019 मा, प्रतियोगिता प्लेटफर्ममा आयोजित गरिएको थियो https://mlbootcamp.ru.

प्रतियोगिता फेब्रुअरी ७ मा अनलाइन सुरु भयो र 7 कार्यहरू समावेश थिए। जो कोहीले साइटमा दर्ता गर्न, डाउनलोड गर्न सक्छ आधारभूत र केहि घण्टाको लागि आफ्नो कार लोड गर्नुहोस्। मार्च 15 मा अनलाइन चरणको अन्त्यमा, मार्च 15 देखि अप्रिल 30 सम्म भएको प्रत्येक शो जम्पिङ कार्यक्रमको शीर्ष 1 लाई अफलाइन चरणको लागि Mail.ru कार्यालयमा आमन्त्रित गरियो।

उद्देश्य

स्रोत डेटा प्रयोगकर्ता आईडी (userId) र पोस्ट आईडी (objectId) प्रदान गर्दछ। यदि प्रयोगकर्तालाई पोस्ट देखाइएको थियो भने, त्यसपछि डेटामा userId, objectId, यो पोष्टमा प्रयोगकर्ता प्रतिक्रियाहरू (प्रतिक्रिया) र विभिन्न सुविधाहरूको सेट वा तस्बिरहरू र पाठहरूमा लिङ्कहरू समावेश गर्ने लाइन समावेश हुन्छ।

प्रयोगकर्ता ID	वस्तु आईडी	मालिक आईडी	प्रतिक्रिया	तस्बिरहरू
3555	22	5677	[मन पर्यो, क्लिक गरियो]	[hash1]
12842	55	32144	[मनपरेको]	[hash2,hash3]
13145	35	5677	[क्लिक, साझा]	[hash2]

परीक्षण डेटा सेटले समान संरचना समावेश गर्दछ, तर प्रतिक्रिया क्षेत्र हराइरहेको छ। कार्य प्रतिक्रिया क्षेत्रमा 'मन परेको' प्रतिक्रियाको उपस्थितिको भविष्यवाणी गर्नु हो।
सबमिशन फाइल निम्न संरचना छ:

प्रयोगकर्ता ID	क्रमबद्ध सूची[वस्तु आईडी]
123	78,13,54,22
128	35,61,55
131	35,68,129,11

मेट्रिक प्रयोगकर्ताहरूको लागि औसत ROC AUC हो।

डाटा को थप विस्तृत विवरण मा पाउन सकिन्छ परिषद वेबसाइट। तपाईं त्यहाँ परीक्षण र चित्रहरू सहित डेटा डाउनलोड गर्न सक्नुहुन्छ।

अनलाइन स्टेज

अनलाइन चरणमा, कार्यलाई 3 भागमा विभाजन गरिएको थियो

• सहकारी प्रणाली - छवि र पाठ बाहेक सबै सुविधाहरू समावेश;
• छविहरू - छविहरूको बारेमा मात्र जानकारी समावेश गर्दछ;
• पाठहरु - पाठहरूको बारेमा मात्र जानकारी समावेश गर्दछ।

अफलाइन चरण

अफलाइन चरणमा, डेटामा सबै सुविधाहरू समावेश थिए, जबकि पाठ र छविहरू विरल थिए। डेटासेटमा १.५ गुणा बढी पङ्क्तिहरू थिए, जसमध्ये पहिले नै धेरै थिए।

समस्याको समाधान

मैले काममा CV गरेको हुनाले, मैले "छवि" कार्यको साथ यो प्रतियोगितामा मेरो यात्रा सुरु गरें। प्रदान गरिएको डाटा userId, objectId, ओनरआईडी (पोस्ट प्रकाशित भएको समूह), पोस्ट सिर्जना गर्न र प्रदर्शन गर्नका लागि टाइमस्ट्याम्पहरू, र, निस्सन्देह, यो पोस्टको लागि छवि थियो।
टाइमस्ट्याम्पहरूमा आधारित धेरै सुविधाहरू उत्पन्न गरेपछि, अर्को विचार इमेजनेटमा पूर्व-प्रशिक्षित न्यूरोनको अन्तिम तह लिने र यी एम्बेडिङहरूलाई बढावा दिन पठाउने थियो।

परिणाम प्रभावशाली थिएनन्। इमेजनेट न्यूरोनबाट इम्बेडिङहरू अप्रासंगिक छन्, मैले सोचें, मैले आफ्नै स्वत: एन्कोडर बनाउनु पर्छ।

यसले धेरै समय लियो र परिणाम सुधार भएन।

सुविधा पुस्ता

छविहरूसँग काम गर्न धेरै समय लाग्छ, त्यसैले मैले केहि सरल गर्ने निर्णय गरें।
तपाईले तुरुन्तै देख्न सक्नुहुन्छ, त्यहाँ डेटासेटमा धेरै वर्गीकृत सुविधाहरू छन्, र धेरै चिन्ता नगर्नको लागि, मैले भर्खरै catboost लिएँ। समाधान उत्कृष्ट थियो, कुनै पनि सेटिङ बिना म तुरुन्तै लिडरबोर्डको पहिलो लाइनमा पुगें।

त्यहाँ धेरै डाटा छ र यो पर्केट ढाँचामा राखिएको छ, त्यसैले दुई पटक सोच्न बिना, मैले स्काला लिएँ र स्पार्कमा सबै कुरा लेख्न थालें।

छवि इम्बेडिङ भन्दा बढि वृद्धि दिने सरल सुविधाहरू:

• कति पटक objectId, userId र ownerId डाटामा देखा पर्‍यो (लोकप्रियतासँग सम्बन्धित हुनुपर्छ);
• कतिवटा पोस्टहरू प्रयोगकर्ताआईडीले ओनरआईडीबाट हेरेको छ (समूहमा प्रयोगकर्ताको रुचिसँग सम्बन्धित हुनुपर्छ);
• कति अद्वितीय प्रयोगकर्ता आईडीले ओनरआईडीबाट पोस्टहरू हेरे (समूहको दर्शकहरूको आकारलाई प्रतिबिम्बित गर्दछ)।

टाइमस्ट्याम्पहरूबाट प्रयोगकर्ताले फिड हेरेको दिनको समय प्राप्त गर्न सम्भव थियो (बिहान / दिउँसो / साँझ / रात)। यी कोटीहरू संयोजन गरेर, तपाईं सुविधाहरू उत्पन्न गर्न जारी राख्न सक्नुहुन्छ:

• साँझमा कति पटक userId लगइन भयो;
• कुन समयमा यो पोस्ट प्रायः देखाइन्छ (objectId) र यस्तै।

यी सबैले बिस्तारै मेट्रिक्स सुधार गरे। तर प्रशिक्षण डेटासेटको आकार लगभग 20M रेकर्डहरू छन्, त्यसैले सुविधाहरू थप्दा प्रशिक्षण धेरै सुस्त भयो।

मैले डाटा प्रयोग गर्ने मेरो दृष्टिकोणलाई पुनर्विचार गरेको छु। यद्यपि डाटा समय-निर्भर छ, मैले "भविष्यमा" कुनै पनि स्पष्ट जानकारी लीक देखेको छैन, यद्यपि, केवल केसमा, मैले यसलाई यसरी तोडेको छु:

हामीलाई प्रदान गरिएको प्रशिक्षण सेट (फेब्रुअरी र मार्चको 2 हप्ता) 2 भागमा विभाजन गरिएको थियो।
मोडेललाई पछिल्लो N दिनको डाटामा तालिम दिइएको थियो। माथि वर्णन गरिएको एकत्रीकरण परीक्षण सहित सबै डेटामा बनाइएको थियो। एकै समयमा, डाटा देखा परेको छ जसमा लक्ष्य चरको विभिन्न एन्कोडिङहरू निर्माण गर्न सम्भव छ। सबैभन्दा सरल दृष्टिकोण कोड पुन: प्रयोग गर्नु हो जुन पहिले नै नयाँ सुविधाहरू सिर्जना गर्दैछ, र यसलाई केवल डेटा फिड गर्नुहोस् जसमा यो प्रशिक्षित हुनेछैन र लक्ष्य = 1।

यसरी, हामीले समान सुविधाहरू पायौं:

• प्रयोगकर्ताआईडीले समूहको मालिक आईडीमा कति पटक पोस्ट देखेको छ;
• युजरआईडीले समूह ओनरआईडीमा पोष्टलाई कति पटक मन परायो;
• प्रयोगकर्ताआईडीले मालिक आईडीबाट मन पराएको पोस्टहरूको प्रतिशत।

अर्थात् यो बाहिरियो मतलब लक्ष्य एन्कोडिङ वर्गीकृत सुविधाहरूको विभिन्न संयोजनहरूको लागि डेटासेटको भागमा। सिद्धान्तमा, catboost ले लक्ष्य एन्कोडिङ पनि बनाउँछ र यस दृष्टिकोणबाट कुनै फाइदा छैन, तर, उदाहरणका लागि, यो समूहमा पोष्टहरू मन पराउने अद्वितीय प्रयोगकर्ताहरूको संख्या गणना गर्न सम्भव भयो। एकै समयमा, मुख्य लक्ष्य प्राप्त भयो - मेरो डेटासेट धेरै पटक घटाइएको थियो, र सुविधाहरू उत्पन्न गर्न जारी राख्न सम्भव थियो।

जबकि catboost ले मन पराइएको प्रतिक्रियाको आधारमा मात्र इन्कोडिङ निर्माण गर्न सक्छ, प्रतिक्रियामा अन्य प्रतिक्रियाहरू छन्: पुन: साझेदारी गरिएको, मन नपराएको, मन नपराएको, क्लिक गरिएको, बेवास्ता गरिएको, इन्कोडिङहरू जसका लागि म्यानुअल रूपमा गर्न सकिन्छ। मैले सबै प्रकारका एग्रीगेटहरू पुन: गणना गरें र कम महत्त्वका सुविधाहरू हटाएँ ताकि डेटासेट फुलाउन नपरोस्।

त्यतिबेलासम्म म फराकिलो अन्तरले पहिलो स्थानमा थिएँ। भ्रममा पार्ने कुरा मात्र यो थियो कि छवि इम्बेडिङहरूले लगभग कुनै वृद्धि देखाउँदैन। सबै कुरा catboost लाई दिने विचार आयो। हामी Kmeans छविहरू क्लस्टर गर्छौं र नयाँ वर्गीय सुविधा imageCat पाउँछौं।

यहाँ म्यानुअल फिल्टरिङ र KMeans बाट प्राप्त क्लस्टरहरूको मर्ज पछि केही कक्षाहरू छन्।

ImageCat को आधारमा हामीले उत्पन्न गर्छौं:

• नयाँ वर्गीय सुविधाहरू:
  • कुन imageCat लाई प्राय: userId द्वारा हेरिएको थियो;
  • कुन छविक्याटले प्रायः मालिकको आईडी देखाउँछ;
  • कुन imageCat लाई userId द्वारा प्रायः मन पर्यो;
• विभिन्न काउन्टरहरू:
  • कति अद्वितीय imageCat userId मा हेर्यो;
  • माथि वर्णन गरिए अनुसार लगभग 15 समान सुविधाहरू प्लस लक्ष्य एन्कोडिङ।

पाठहरु

छवि प्रतियोगिताको नतिजा मलाई उपयुक्त लाग्यो र मैले पाठहरूमा मेरो हात प्रयास गर्ने निर्णय गरें। मैले पहिले पाठहरूसँग धेरै काम गरेको छैन र, मूर्खतापूर्वक, मैले tf-idf र svd मा दिन मारे। त्यसपछि मैले doc2vec को साथ आधार रेखा देखे, जसले मलाई के चाहिन्छ। doc2vec प्यारामिटरहरू थोरै समायोजन गरेर, मैले पाठ इम्बेडिङहरू पाएँ।

र त्यसपछि मैले छविहरूका लागि कोड पुन: प्रयोग गरें, जसमा मैले छवि इम्बेडिङहरूलाई पाठ इम्बेडिङहरूसँग प्रतिस्थापन गरें। फलस्वरूप, मैले पाठ प्रतियोगितामा दोस्रो स्थान प्राप्त गरे।

सहकारी प्रणाली

त्यहाँ एउटा प्रतियोगिता बाँकी थियो जसलाई मैले अझै स्टिकले "पोक" गरेको थिइनँ, र लिडरबोर्डमा AUC द्वारा न्याय गर्दा, यस विशेष प्रतिस्पर्धाको नतिजाले अफलाइन चरणमा सबैभन्दा ठूलो प्रभाव पारेको हुनुपर्छ।
मैले स्रोत डेटामा भएका सबै सुविधाहरू लिएँ, वर्गीय चयन गरें र छविहरूमा आधारित सुविधाहरू बाहेक, छविहरूको लागि समान समुच्चयहरू गणना गरें। यसलाई catboost मा राख्दा मलाई दोस्रो स्थानमा पुग्यो।

catboost अनुकूलन को पहिलो चरणहरु

एक पहिलो र दुई दोस्रो स्थान मलाई खुसी लाग्यो, तर त्यहाँ एक बुझाइ थियो कि मैले केहि विशेष गरेको छैन, जसको मतलब मैले पद गुमाउने आशा गर्न सक्छु।

प्रतिस्पर्धाको लक्ष्य भनेको प्रयोगकर्ता भित्रको पोष्टहरू श्रेणीकरण गर्नु हो, र यो सबै समय मैले वर्गीकरण समस्या समाधान गरिरहेको थिएँ, त्यो हो, गलत मेट्रिकलाई अनुकूलन गर्दै।

म तपाईंलाई एउटा सरल उदाहरण दिन्छु:

प्रयोगकर्ता ID	वस्तु आईडी	भविष्यवाणी	जमीनी सत्य
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	1
1	14	0.5	0
2	15	0.4	0
2	16	0.3	1

एउटा सानो पुनर्संरचना गरौं

प्रयोगकर्ता ID	वस्तु आईडी	भविष्यवाणी	जमीनी सत्य
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	0
2	16	0.5	1
2	15	0.4	0
1	14	0.3	1

हामीले निम्न परिणामहरू पाउँछौं:

मोडेल	AUC	प्रयोगकर्ता1 AUC	प्रयोगकर्ता2 AUC	मतलब AUC
विकल्प 1	0,8	1,0	0,0	0,5
विकल्प 2	0,7	0,75	1,0	0,875

तपाईले देख्न सक्नुहुन्छ, समग्र AUC मेट्रिक सुधार गर्नु भनेको प्रयोगकर्ता भित्रको औसत AUC मेट्रिक सुधार गर्नु होइन।

Catboost रैंकिंग मेट्रिक्स कसरी अनुकूलन गर्ने भनेर जान्दछन् बक्सबाट। मैले रैंकिंग मेट्रिक्स बारे पढें, सफलता कथाहरू catboost प्रयोग गर्दा र रातभर ट्रेन गर्न YetiRankPairwise सेट गर्नुहोस्। नतिजा प्रभावशाली थिएन। म अधोप्रशिक्षित छु भन्ने निर्णय गर्दै, मैले त्रुटि प्रकार्यलाई QueryRMSE मा परिवर्तन गरें, जुन, catboost कागजातको आधारमा, छिटो कन्भर्ज हुन्छ। अन्तमा, मैले वर्गीकरणको लागि तालिमको रूपमा उस्तै नतिजाहरू पाएँ, तर यी दुई मोडेलहरूको समूहले राम्रो वृद्धि दियो, जसले मलाई सबै तीन प्रतियोगिताहरूमा पहिलो स्थानमा ल्यायो।

"सहयोगी प्रणालीहरू" प्रतियोगिताको अनलाइन चरणको समापन हुनुभन्दा 5 मिनेट अघि, सर्गेई शाल्नोभले मलाई दोस्रो स्थानमा सार्यो। हामी सँगै अर्को बाटो हिड्यौं।

अफलाइन चरणको लागि तयारी गर्दै

हामीले RTX 2080 TI भिडियो कार्डको साथ अनलाइन चरणमा विजयको ग्यारेन्टी गरेका थियौं, तर 300 रूबलको मुख्य पुरस्कार र सम्भवतः, अन्तिम पहिलो स्थानले पनि हामीलाई यी 000 हप्ता काम गर्न बाध्य बनायो।

यो बाहिर निस्कियो, सर्गेई पनि catboost प्रयोग गरे। हामीले विचार र विशेषताहरू आदानप्रदान गर्यौं, र मैले यस बारे सिकें अन्ना वेरोनिका डोरोगुश द्वारा रिपोर्ट जसमा मेरा धेरै प्रश्नहरूको उत्तरहरू थिए, र ती पनि जुन मसँग त्यतिबेलासम्म थिएन।

प्रतिवेदन हेर्दा मलाई यो विचारमा पुर्यायो कि हामीले सबै प्यारामिटरहरू पूर्वनिर्धारित मानमा फर्काउन आवश्यक छ, र सेटिङहरू धेरै सावधानीपूर्वक र सुविधाहरूको सेट फिक्स गरेपछि मात्र गर्नुहोस्। अब एउटा प्रशिक्षणले लगभग 15 घण्टा लियो, तर एक मोडेलले रैंकिंगको साथमा प्राप्त गरेको भन्दा राम्रो गति प्राप्त गर्न सफल भयो।

सुविधा पुस्ता

कोलाबोरेटिभ सिस्टम्स प्रतियोगितामा, मोडेलको लागि महत्त्वपूर्ण रूपमा धेरै सुविधाहरूको मूल्याङ्कन गरिन्छ। उदाहरण को लागी, auditweights_spark_svd - सबैभन्दा महत्त्वपूर्ण चिन्ह, तर यसको अर्थ के बारे कुनै जानकारी छैन। मैले सोचे कि यो महत्त्वपूर्ण सुविधाहरूमा आधारित विभिन्न समुच्चयहरू गणना गर्न सार्थक हुनेछ। उदाहरण को लागी, प्रयोगकर्ता द्वारा औसत auditweights_spark_svd, समूह द्वारा, वस्तु द्वारा। यो डेटा प्रयोग गरेर गणना गर्न सकिन्छ जसमा कुनै प्रशिक्षण छैन र लक्ष्य = 1, अर्थात् औसत auditweights_spark_svd उसलाई मनपर्ने वस्तुहरू द्वारा प्रयोगकर्ता द्वारा। बाहेक महत्त्वपूर्ण संकेतहरू auditweights_spark_svd, त्यहाँ धेरै थिए। यहाँ तिनीहरू मध्ये केही छन्:

• लेखापरीक्षण वजनCtrGender
• लेखापरीक्षण वजनCtrHigh
• userOwnerCounterCreateLikes

उदाहरणका लागि, औसत लेखापरीक्षण वजनCtrGender userId अनुसार यो औसत मान जस्तै, महत्त्वपूर्ण सुविधा भएको छ userOwnerCounterCreateLikes userId+ownerId द्वारा। यसले तपाईलाई फिल्डको अर्थ बुझ्न आवश्यक छ भनेर पहिले नै सोच्नु पर्छ।

महत्त्वपूर्ण विशेषताहरू पनि थिए लेखापरीक्षण वजन लाइक गणना и लेखापरीक्षण वजन देखाउने गणना। एक अर्कोले विभाजन गर्दा, अझ महत्त्वपूर्ण विशेषता प्राप्त भयो।

डाटा लीक

प्रतिस्पर्धा र उत्पादन मोडलिङ धेरै फरक कार्यहरू हुन्। डाटा तयार गर्दा, सबै विवरणहरूलाई ध्यानमा राख्न र परीक्षणमा लक्षित चरको बारेमा केही गैर-तुच्छ जानकारी प्रदान गर्न धेरै गाह्रो हुन्छ। यदि हामीले उत्पादन समाधान सिर्जना गर्दैछौं भने, हामी मोडेललाई तालिम दिँदा डाटा चुहावट प्रयोग गर्नबाट बच्न प्रयास गर्नेछौं। तर यदि हामी प्रतियोगिता जित्न चाहन्छौं भने, डाटा लीक सबैभन्दा राम्रो सुविधाहरू हो।

डाटा अध्ययन गरिसकेपछि, तपाईले देख्न सक्नुहुन्छ कि वस्तु आईडी मानहरू अनुसार लेखापरीक्षण वजन लाइक गणना и लेखापरीक्षण वजन देखाउने गणना परिवर्तन, जसको मतलब यी सुविधाहरूको अधिकतम मानहरूको अनुपातले पोस्ट रूपान्तरणलाई प्रदर्शनको समयमा अनुपात भन्दा धेरै राम्रो प्रतिबिम्बित गर्नेछ।

हामीले फेला पारेको पहिलो लीक हो auditweightsLikesCountMax/auditweightsShowsCountMax.
तर के हुन्छ यदि हामीले डाटालाई अझ नजिकबाट हेर्छौं? शो मिति अनुसार क्रमबद्ध गरौं र प्राप्त गरौं:

वस्तु आईडी	प्रयोगकर्ता ID	लेखापरीक्षण वजन देखाउने गणना	लेखापरीक्षण वजन लाइक गणना	लक्ष्य (मन पर्यो)
1	1	12	3	सायद छैन
1	2	15	3	हुनसक्छ
1	3	16	4

यो अचम्मको थियो जब मैले यस्तो पहिलो उदाहरण फेला पारे र यो मेरो भविष्यवाणी पूरा भएन भनेर बाहिर आयो। तर, वस्तु भित्र यी विशेषताहरूको अधिकतम मान वृद्धि भएको तथ्यलाई ध्यानमा राख्दै, हामी अल्छी थिएनौं र फेला पार्ने निर्णय गर्यौं। लेखापरीक्षणवेटहरूकाउन्टअगला и लेखापरीक्षणवेटलाइकगणनाअगला, त्यो हो, समयको अर्को क्षणमा मानहरू। सुविधा थपेर
(auditweightsShowsCountNext-auditweightsShowsCount)/(auditweightsLikesCount-auditweightsLikesCountNext) हामीले छिट्टै तीव्र उफ्र्यौं।
निम्न मानहरू फेला पारेर समान लीकहरू प्रयोग गर्न सकिन्छ userOwnerCounterCreateLikes userId+ownerId भित्र र, उदाहरणका लागि, लेखापरीक्षण वजनCtrGender objectId+userGender भित्र। हामीले लीक भएका 6 समान क्षेत्रहरू भेट्टायौं र तिनीहरूबाट सकेसम्म धेरै जानकारी निकाल्यौं।

त्यो समय सम्म, हामीले सहयोगी सुविधाहरूबाट सकेसम्म धेरै जानकारी निचोड गरिसकेका थियौं, तर छवि र पाठ प्रतियोगिताहरूमा फर्केका छैनौं। मसँग जाँच गर्ने राम्रो विचार थियो: छविहरू वा पाठहरूमा आधारित सुविधाहरूले सान्दर्भिक प्रतियोगिताहरूमा कति दिन्छ?

त्यहाँ छवि र पाठ प्रतियोगिताहरूमा कुनै चुहावट थिएन, तर त्यो समय सम्म मैले पूर्वनिर्धारित catboost प्यारामिटरहरू फर्काएको थिएँ, कोड सफा गरें र केही सुविधाहरू थपे। परिणाम थियो:

निर्णय	चाँडै
छविहरूको साथ अधिकतम	0.6411
अधिकतम कुनै छवि छैन	0.6297
दोस्रो स्थानको नतिजा	0.6295

निर्णय	चाँडै
पाठ संग अधिकतम	0.666
पाठ बिना अधिकतम	0.660
दोस्रो स्थानको नतिजा	0.656

निर्णय	चाँडै
सहकार्यमा अधिकतम	0.745
दोस्रो स्थानको नतिजा	0.723

यो स्पष्ट भयो कि हामीले पाठहरू र छविहरूबाट धेरै निचोड गर्न सक्षम हुने सम्भावना छैन, र धेरै रोचक विचारहरू प्रयास गरेपछि, हामीले तिनीहरूसँग काम गर्न छोड्यौं।

सहयोगी प्रणालीहरूमा सुविधाहरूको थप पुस्ताले वृद्धि दिन सकेन, र हामीले श्रेणीकरण गर्न थाल्यौं। अनलाइन चरणमा, वर्गीकरण र श्रेणीकरणको समूहले मलाई सानो वृद्धि दियो, किनकि मैले वर्गीकरणलाई कम प्रशिक्षित गरें। YetiRanlPairwise सहित कुनै पनि त्रुटि प्रकार्यहरू, LogLoss (०.७४५ बनाम ०.७२५) को नतिजाको नजिक उत्पादन भएन। QueryCrossEntropy को लागी अझै आशा थियो, जुन सुरु हुन सकेन।

अफलाइन चरण

अफलाइन चरणमा, डाटा संरचना उस्तै रह्यो, तर त्यहाँ सानो परिवर्तनहरू थिए:

• पहिचानकर्ता userId, objectId, ownerId पुन: क्रमबद्ध गरिएको थियो;
• धेरै चिन्हहरू हटाइयो र धेरैको नाम परिवर्तन गरियो;
• डाटा लगभग 1,5 गुणा बढेको छ।

सूचीबद्ध कठिनाइहरूको अतिरिक्त, त्यहाँ एउटा ठूलो प्लस थियो: टोलीलाई RTX 2080TI सँग ठूलो सर्भर आवंटित गरिएको थियो। मैले लामो समयदेखि htop को मजा लिएको छु।

त्यहाँ एउटा मात्र विचार थियो - पहिले नै अवस्थित के पुन: उत्पादन गर्न। सर्भरमा वातावरण सेटअप गर्न केही घण्टा बिताएपछि, हामीले बिस्तारै परिणामहरू पुन: उत्पादनयोग्य थिए भनेर प्रमाणित गर्न थाल्यौं। हामीले सामना गरिरहेको मुख्य समस्या भनेको डाटा भोल्युममा भएको वृद्धि हो। हामीले लोड थोरै घटाउने निर्णय गर्यौं र catboost प्यारामिटर ctr_complexity=1 सेट गर्यौं। यसले गति अलि कम गर्छ, तर मेरो मोडेलले काम गर्न थाल्यो, नतिजा राम्रो थियो - 0,733। सर्गेई, म जस्तो नभई, डाटालाई २ भागमा विभाजन गरेन र सबै डाटामा तालिम दिए, यद्यपि यसले अनलाइन चरणमा उत्कृष्ट परिणामहरू दियो, अफलाइन चरणमा धेरै कठिनाइहरू थिए। यदि हामीले उत्पन्न गरेका सबै सुविधाहरू लियौं र तिनीहरूलाई catboost मा धकेल्ने प्रयास गर्यौं भने, अनलाइन चरणमा केहि पनि काम गर्दैन। सर्गेईले टाइप अप्टिमाइजेसन गरे, उदाहरणका लागि, float2 प्रकारहरूलाई float64 मा रूपान्तरण गर्दै। यस लेखमा तपाईले पाण्डामा मेमोरी अप्टिमाइजेसनमा जानकारी पाउन सक्नुहुन्छ। नतिजाको रूपमा, सर्गेईले सबै डेटा प्रयोग गरेर CPU मा तालिम लिए र लगभग 0,735 प्राप्त गरे।

यी नतिजाहरू जित्नका लागि पर्याप्त थिए, तर हामीले हाम्रो वास्तविक गति लुकायौं र अन्य टोलीहरूले पनि त्यस्तै गरिरहेको छैन भनेर निश्चित हुन सकेनौं।

अन्तिम सम्म लड्नुहोस्

Catboost ट्युनिङ

हाम्रो समाधान पूर्ण रूपमा पुन: उत्पादन गरिएको थियो, हामीले पाठ डेटा र छविहरूका सुविधाहरू थप्यौं, त्यसैले बाँकी सबै catboost प्यारामिटरहरू ट्युन गर्न थियो। सर्गेईले CPU मा थोरै संख्यामा पुनरावृत्तिको साथ तालिम लिए, र मैले ctr_complexity=1 सँग तालिम दिए। त्यहाँ एक दिन बाँकी थियो, र यदि तपाईंले भर्खरै पुनरावृत्तिहरू थप्नुभयो वा ctr_complexity बढाउनुभयो भने, बिहानसम्म तपाईंले अझ राम्रो गति प्राप्त गर्न सक्नुहुनेछ र दिनभर हिँड्न सक्नुहुन्छ।

अफलाइन चरणमा, साइटमा उत्तम समाधान होइन छनौट गरेर गतिहरू सजिलै लुकाउन सकिन्छ। हामीले सबमिशनहरू बन्द हुनु अघि र नरोक्ने निर्णय गर्नु अघि अन्तिम मिनेटहरूमा लिडरबोर्डमा कठोर परिवर्तनहरू अपेक्षा गरेका थियौं।

अन्नाको भिडियोबाट, मैले सिकें कि मोडेलको गुणस्तर सुधार गर्न, निम्न प्यारामिटरहरू चयन गर्न उत्तम छ:

• सिक्ने_दर — पूर्वनिर्धारित मान डेटासेटको आकारमा आधारित हुन्छ। सिक्ने_दर बढाउनको लागि पुनरावृत्तिहरूको संख्या बढाउन आवश्यक छ।
• l2_leaf_reg — नियमितीकरण गुणांक, पूर्वनिर्धारित मान ३, प्राथमिकतामा २ देखि ३० सम्म छनोट गर्नुहोस्। मान घटाउँदा ओभरफिटमा वृद्धि हुन्छ।
• bagging_temperature - नमूनामा वस्तुहरूको वजनमा अनियमितता थप्छ। पूर्वनिर्धारित मान 1 हो, जहाँ तौलहरू घातांकीय वितरणबाट कोरिन्छन्। मूल्य घटाउँदा ओभरफिटमा वृद्धि हुन्छ।
• random_strength - विशिष्ट पुनरावृत्तिमा विभाजनको छनोटलाई असर गर्छ। random_strength जति उच्च हुन्छ, कम महत्वको विभाजन चयन हुने सम्भावना त्यति नै उच्च हुन्छ। प्रत्येक पछिको पुनरावृत्तिमा, अनियमितता घट्छ। मूल्य घटाउँदा ओभरफिटमा वृद्धि हुन्छ।

अन्य प्यारामिटरहरूको अन्तिम परिणाममा धेरै सानो प्रभाव छ, त्यसैले मैले तिनीहरूलाई चयन गर्ने प्रयास गरिन। ctr_complexity=1 को साथ मेरो GPU डेटासेटमा प्रशिक्षणको एक पुनरावृत्तिले 20 मिनेट लियो, र घटाइएको डेटासेटमा चयन गरिएका प्यारामिटरहरू पूर्ण डेटासेटमा इष्टतम व्यक्तिहरू भन्दा अलि फरक थिए। अन्तमा, मैले 30% डेटामा लगभग 10 पुनरावृत्तिहरू गरें, र त्यसपछि सबै डेटामा लगभग 10 थप पुनरावृत्तिहरू गरे। यो केहि यस्तो भयो:

• सिक्ने_दर मैले पूर्वनिर्धारितबाट 40% बढेको छु;
• l2_leaf_reg उस्तै छोडियो;
• bagging_temperature и random_strength ०.८ मा घट्यो।

हामी निष्कर्षमा पुग्न सक्छौं कि मोडेल पूर्वनिर्धारित प्यारामिटरहरूको साथ प्रशिक्षित थियो।

लिडरबोर्डमा नतिजा देख्दा म धेरै छक्क परें:

मोडेल	मोडेल 1 XNUMX००	मोडेल 2 XNUMX००	मोडेल 3 XNUMX००	ensemble
ट्युनिङ बिना	0.7403	0.7404	0.7404	0.7407
ट्युनिङ संग	0.7406	0.7405	0.7406	0.7408

मैले आफैंको लागि निष्कर्ष निकालें कि यदि मोडेलको द्रुत अनुप्रयोग आवश्यक छैन भने, यो गैर-अनुकूलित प्यारामिटरहरू प्रयोग गरेर धेरै मोडेलहरूको समूहको साथ प्यारामिटरहरूको चयनलाई प्रतिस्थापन गर्न राम्रो छ।

सर्गेईले डेटासेटको साइजलाई GPU मा चलाउन अनुकूलन गर्दै थिए। सबैभन्दा सरल विकल्प डेटाको भाग काट्नु हो, तर यो धेरै तरिकामा गर्न सकिन्छ:

• बिस्तारै पुरानो डाटा (फेब्रुअरीको सुरुमा) हटाउनुहोस् जबसम्म डाटासेट मेमोरीमा फिट हुन सुरु हुँदैन;
• सबै भन्दा कम महत्व संग सुविधाहरू हटाउनुहोस्;
• userIds हटाउनुहोस् जसको लागि त्यहाँ एक मात्र प्रविष्टि छ;
• परीक्षणमा रहेका userIds मात्र छोड्नुहोस्।

र अन्तमा, सबै विकल्पहरूबाट एक समूह बनाउनुहोस्।

अन्तिम जमघट

अन्तिम दिनको साँझसम्म, हामीले ०.७४२ उपज दिने हाम्रो मोडेलको एउटा समूह राखेका थियौं। रातारात मैले मेरो मोडेल ctr_complexity=0,742 को साथ लन्च गरें र 2 मिनेटको सट्टा यो 30 घण्टाको लागि प्रशिक्षित भयो। बिहान 5 बजे मात्र यो गणना गरियो, र मैले अन्तिम टुक्रा बनाएको थिए, जसले सार्वजनिक लिडरबोर्डमा 4 दियो।

समस्या समाधान गर्न विभिन्न दृष्टिकोणहरूको कारणले गर्दा, हाम्रो भविष्यवाणीहरू बलियो रूपमा सहसंबद्ध थिएनन्, जसले समूहमा राम्रो वृद्धि दियो। राम्रो ensemble प्राप्त गर्न, यो कच्चा मोडेल भविष्यवाणी भविष्यवाणी (prediction_type='RawFormulaVal') प्रयोग गर्न र scale_pos_weight=neg_count/pos_count सेट गर्नु राम्रो हुन्छ।

वेबसाइट मा हेर्न सक्नुहुन्छ निजी लिडरबोर्डमा अन्तिम परिणामहरू.

अन्य समाधानहरू

धेरै टोलीहरूले सिफारिसकर्ता प्रणाली एल्गोरिदमको क्यानन्स पछ्याए। म, यस क्षेत्रमा विशेषज्ञ नभएकोले, तिनीहरूलाई मूल्याङ्कन गर्न सक्दिन, तर मलाई 2 चाखलाग्दो समाधानहरू याद छ।

• निकोले अनोखिनको समाधान। निकोले, Mail.ru को एक कर्मचारी भएकोले, पुरस्कार को लागी आवेदन गरेन, त्यसैले उनको लक्ष्य अधिकतम गति प्राप्त गर्न को लागी थिएन, तर सजिलै मापन योग्य समाधान प्राप्त गर्न को लागी।
• जूरी पुरस्कार विजेता टोलीको निर्णयको आधारमा यो लेख फेसबुकबाट, म्यानुअल काम बिना धेरै राम्रो छवि क्लस्टरिंग को लागी अनुमति छ।

निष्कर्षमा

मेरो सम्झनामा सबैभन्दा बढी के अड्किएको छ:

• यदि त्यहाँ डेटामा वर्गीकृत सुविधाहरू छन्, र तपाइँलाई सही रूपमा लक्ष्य एन्कोडिङ कसरी गर्ने थाहा छ, यो अझै पनि catboost प्रयास गर्न राम्रो छ।
• यदि तपाइँ प्रतियोगितामा भाग लिदै हुनुहुन्छ भने, तपाइँले लर्निंग_रेट र पुनरावृत्ति बाहेक अन्य मापदण्डहरू छनोट गर्न समय बर्बाद गर्नु हुँदैन। एक छिटो समाधान धेरै मोडेल को एक समूह बनाउन छ।
• बूस्टिङहरू GPU मा सिक्न सक्छ। Catboost GPU मा धेरै छिटो सिक्न सक्छ, तर यसले धेरै मेमोरी खान्छ।
• विचारहरूको विकास र परीक्षणको क्रममा, सानो rsm~=0.2 (CPU मात्र) र ctr_complexity=1 सेट गर्नु राम्रो हुन्छ।
• अन्य टोलीहरूको विपरीत, हाम्रो मोडेलहरूको समूहले ठूलो वृद्धि दियो। हामीले विचार आदानप्रदान मात्र गर्यौं र विभिन्न भाषाहरूमा लेख्यौं। हामीसँग डाटा विभाजन गर्न फरक दृष्टिकोण थियो र, मलाई लाग्छ, प्रत्येकको आफ्नै बगहरू थिए।
• यो स्पष्ट छैन किन श्रेणीकरण अनुकूलन वर्गीकरण अनुकूलन भन्दा खराब प्रदर्शन गर्यो।
• मैले पाठहरूसँग काम गर्ने केही अनुभव र सिफारिसकर्ता प्रणालीहरू कसरी बनाइन्छ भन्ने बारे बुझेको छु।

भावना, ज्ञान र पुरस्कार प्राप्त गरेकोमा आयोजकहरूलाई धन्यवाद।

स्रोत: www.habr.com