Habré मा मेसिन लर्निङ प्रतियोगिताहरूको विषयवस्तुलाई निरन्तरता दिँदै, हामी पाठकहरूलाई थप दुई प्लेटफर्महरूमा परिचय गराउन चाहन्छौं। तिनीहरू निश्चित रूपमा कागल जत्तिकै विशाल छैनन्, तर तिनीहरू निश्चित रूपमा ध्यानको योग्य छन्।

व्यक्तिगत रूपमा, मलाई धेरै कारणहरूको लागि कागल मन पर्दैन:

• पहिलो, त्यहाँ प्रतियोगिताहरू प्राय: धेरै महिनासम्म रहन्छ, र सक्रिय सहभागिताको लागि धेरै प्रयास चाहिन्छ;
• दोस्रो, सार्वजनिक कर्नेल (सार्वजनिक समाधान)। कागलका अनुयायीहरूले तिब्बती भिक्षुहरूको शान्तताका साथ व्यवहार गर्ने सल्लाह दिन्छन्, तर वास्तवमा यो एकदमै लाजमर्दो कुरा हो जब तपाईंले एक वा दुई महिनादेखि काम गरिरहनुभएको कुरा अचानक सबैका लागि चाँदीको थालमा राखिएको हुन्छ।

सौभाग्यवश, मेसिन लर्निङ प्रतियोगिताहरू अन्य प्लेटफर्महरूमा आयोजित छन्, र यी प्रतियोगिताहरू मध्ये एक जोडी छलफल गरिनेछ।

IDAO	SNA Hackathon 2019
आधिकारिक भाषा: अंग्रेजी, आयोजकहरू: Yandex, Sberbank, HSE	आधिकारिक रूसी भाषा, आयोजकहरू: Mail.ru समूह
अनलाइन राउन्ड: जनवरी 15 - फेब्रुअरी 11, 2019; अन-साइट फाइनल: अप्रिल 4-6, 2019	अनलाइन - फेब्रुअरी 7 देखि मार्च 15 सम्म; अफलाइन - मार्च 30 देखि अप्रिल 1 सम्म।
ठूला ह्याड्रन कोलाइडर (प्रक्षेपण, गति, र अन्य जटिल भौतिक मापदण्डहरू) मा कणको बारेमा डेटाको निश्चित सेट प्रयोग गरेर, यो म्युओन हो वा होइन भनेर निर्धारण गर्नुहोस्। यस कथनबाट, २ कार्यहरू पहिचान गरिएको थियो: - एउटामा तपाईंले भर्खरै आफ्नो भविष्यवाणी पठाउनु भएको थियो, - र अर्कोमा - भविष्यवाणीको लागि पूर्ण कोड र मोडेल, र कार्यान्वयन चलिरहेको समय र मेमोरी प्रयोगमा एकदम कडा प्रतिबन्धको अधीनमा थियो।	SNA Hackathon प्रतियोगिताको लागि, फेब्रुअरी-मार्च 2018 को लागि प्रयोगकर्ता समाचार फिडहरूमा खुला समूहहरूबाट सामग्री प्रदर्शन लगहरू सङ्कलन गरियो। परीक्षण सेटमा मार्चको अन्तिम हप्ता र आधा समावेश छ। लगमा प्रत्येक प्रविष्टिमा के देखाइएको थियो र कसलाई, साथै प्रयोगकर्ताले यो सामग्रीमा कसरी प्रतिक्रिया देखायो भन्ने बारे जानकारी समावेश गर्दछ: यसलाई मूल्याङ्कन गरियो, टिप्पणी गरियो, बेवास्ता गरियो, वा फिडबाट लुकाइयो। SNA Hackathon को कार्यहरूको सार भनेको सामाजिक सञ्जाल Odnoklassniki को प्रत्येक प्रयोगकर्तालाई उसको फिडको स्तर निर्धारण गर्नु हो, "वर्ग" प्राप्त गर्ने पोष्टहरूलाई सकेसम्म माथि उठाउनु हो। अनलाइन चरणमा, कार्यलाई 3 भागमा विभाजन गरिएको थियो: 1. विभिन्न सहयोगी विशेषताहरू अनुसार पदहरू श्रेणीबद्ध गर्नुहोस् 2. तिनीहरूमा समावेश छविहरूमा आधारित पदहरू श्रेणीबद्ध गर्नुहोस् 3. पदहरू समावेश गरिएको पाठ अनुसार क्रमबद्ध गर्नुहोस्
जटिल कस्टम मेट्रिक, ROC-AUC जस्तै	प्रयोगकर्ता द्वारा औसत ROC-AUC
पहिलो चरणका लागि पुरस्कारहरू - एन स्थानहरूको लागि टी-शर्टहरू, दोस्रो चरणमा जाने, जहाँ प्रतिस्पर्धाको समयमा आवास र खाना भुक्तान गरिएको थियो। दोस्रो चरण -??? (केही कारणहरूका लागि, म अवार्ड समारोहमा उपस्थित थिइनँ र पुरस्कारहरू अन्तमा के थिए पत्ता लगाउन असमर्थ थिए)। उनीहरूले विजेता टोलीका सबै सदस्यहरूलाई ल्यापटप दिने वाचा गरे	पहिलो चरणको लागि पुरस्कार - 100 उत्कृष्ट सहभागीहरूका लागि टी-शर्टहरू, दोस्रो चरणमा जाने, जहाँ मस्कोको यात्रा, प्रतिस्पर्धाको समयमा आवास र खाना भुक्तान गरिएको थियो। साथै, पहिलो चरणको अन्त्यतिर, चरण १ मा ३ कार्यहरूमा उत्कृष्टको लागि पुरस्कार घोषणा गरियो: सबैले RTX 3 TI भिडियो कार्ड जिते! दोस्रो चरण एक टोली चरण थियो, टोलीमा 2 देखि 5 व्यक्तिहरू थिए, पुरस्कारहरू: पहिलो स्थान - 1 rubles पहिलो स्थान - 2 rubles पहिलो स्थान - 3 rubles जूरी पुरस्कार - 100 rubles
आधिकारिक टेलिग्राम समूह, ~ 190 सहभागीहरू, अंग्रेजीमा सञ्चार, प्रश्नहरूको जवाफको लागि धेरै दिन पर्खनुपर्‍यो	टेलिग्राममा आधिकारिक समूह, ~ 1500 सहभागीहरू, सहभागीहरू र आयोजकहरू बीच कार्यहरूको सक्रिय छलफल
आयोजकहरूले दुई आधारभूत समाधानहरू प्रदान गरे, सरल र उन्नत। साधारण 16 GB भन्दा कम RAM आवश्यक छ, र उन्नत मेमोरी 16 मा फिट भएन। एकै समयमा, थोरै अगाडि हेर्दा, सहभागीहरूले उन्नत समाधानलाई उल्लेखनीय रूपमा अगाडि बढाउन सक्षम भएनन्। यी समाधानहरू सुरू गर्न कुनै कठिनाइहरू थिएनन्। यो ध्यान दिनुपर्छ कि उन्नत उदाहरणमा समाधान सुधार गर्न कहाँ सुरु गर्ने भन्ने संकेतको साथ टिप्पणी थियो।	प्रत्येक कार्यका लागि आधारभूत प्राथमिक समाधानहरू प्रदान गरिएको थियो, जुन सहभागीहरूले सजिलै पार गरे। प्रतियोगिताको प्रारम्भिक दिनहरूमा, सहभागीहरूले धेरै कठिनाइहरूको सामना गरे: पहिलो, डाटा Apache Parquet ढाँचामा दिइएको थियो, र Python र parquet प्याकेजका सबै संयोजनहरूले त्रुटिहरू बिना काम गरेनन्। दोस्रो कठिनाई मेल क्लाउडबाट तस्बिरहरू डाउनलोड गर्न थियो; यस समयमा त्यहाँ एकै पटक ठूलो मात्रामा डाटा डाउनलोड गर्न कुनै सजिलो तरिका छैन। नतिजाको रूपमा, यी समस्याहरूले सहभागीहरूलाई केही दिन ढिलाइ गर्यो।

IDAO। पहिलो चरण

कार्य भनेको म्युओन/गैर-म्युओन कणहरूलाई तिनीहरूको विशेषता अनुसार वर्गीकरण गर्ने थियो। यस कार्यको मुख्य विशेषता प्रशिक्षण डेटामा वजन स्तम्भको उपस्थिति थियो, जुन आयोजकहरूले आफैलाई यस लाइनको जवाफमा विश्वासको रूपमा व्याख्या गरे। समस्या यो थियो कि धेरै पङ्क्तिहरूमा नकारात्मक वजनहरू थिए।

संकेतको साथ लाइनको बारेमा केहि मिनेट सोच्न पछि (संकेतले वजन स्तम्भको यो सुविधामा ध्यान खिच्यो) र यो ग्राफ निर्माण गरेपछि, हामीले 3 विकल्पहरू जाँच गर्ने निर्णय गर्यौं:

1) ऋणात्मक तौल (र तदनुसार तौल) संग रेखाहरूको लक्ष्य उल्टाउनुहोस्
२) तौलहरूलाई न्यूनतम मानमा सार्नुहोस् ताकि तिनीहरू ० बाट सुरु हुन्छन्
3) स्ट्रिङ वजन प्रयोग नगर्नुहोस्

तेस्रो विकल्प सबैभन्दा खराब भयो, तर पहिलो दुईले परिणाम सुधार गर्यो, उत्तम विकल्प नम्बर 1 थियो, जसले हामीलाई तुरुन्तै पहिलो कार्यमा हालको दोस्रो स्थानमा र दोस्रोमा पहिलो स्थानमा ल्यायो।

हाम्रो अर्को चरण हराइरहेको मानहरूको लागि डेटा समीक्षा गर्नु थियो। आयोजकहरूले हामीलाई पहिले नै कम्बेड डेटा दिएका थिए, जहाँ त्यहाँ धेरै हराइरहेको मानहरू थिए, र तिनीहरूलाई -9999 द्वारा प्रतिस्थापित गरियो।

हामीले MatchedHit_{X,Y,Z}[N] र MatchedHit_D{X,Y,Z}[N] स्तम्भहरूमा हराइरहेको मानहरू फेला पार्यौं, र N=2 वा 3 हुँदा मात्र। हामीले बुझेझैं, केही कणहरूले पाएनन्। सबै 4 डिटेक्टरहरू पास गर्नुहोस्, र तेस्रो वा चौथो प्लेटमा रोकियो। डेटाले Lextra_{X,Y}[N] स्तम्भहरू पनि समावेश गर्दछ, जसले स्पष्ट रूपमा MatchedHit_{X,Y,Z}[N] को रूपमा वर्णन गर्दछ, तर केहि प्रकारको एक्स्ट्रापोलेसन प्रयोग गरेर। यी थोरै अनुमानहरूले Lextra_{X,Y}[N] लाई MatchedHit_{X,Y,Z}[N] (X र Y समन्वयका लागि मात्र) मा छुटेका मानहरूको लागि प्रतिस्थापन गर्न सकिन्छ भनेर सुझाव दिए। MatchedHit_Z[N] माध्यकले राम्रोसँग भरिएको थियो। यी हेरफेरहरूले हामीलाई दुवै कार्यहरूमा पहिलो मध्यवर्ती स्थानमा पुग्न अनुमति दिए।

पहिलो चरण जित्नका लागि उनीहरूले केही दिएनन् भन्ने कुरालाई ध्यानमा राख्दै, हामी त्यहाँ रोकिन सक्थ्यौं, तर हामीले जारी राख्यौं, केही राम्रा चित्रहरू कोर्यौं र नयाँ सुविधाहरू लिएर आएका थियौं।

उदाहरणका लागि, हामीले फेला पारेका छौं कि यदि हामीले प्रत्येक चार डिटेक्टर प्लेटहरूसँग कणको प्रतिच्छेदन बिन्दुहरू प्लट गर्छौं भने, हामी देख्न सक्छौं कि प्रत्येक प्लेटका बिन्दुहरू 5 देखि 4 को पक्ष अनुपातको साथ 5 आयतहरूमा समूहबद्ध छन् र केन्द्रमा छन्। बिन्दु (०,०), र पहिलो आयतमा कुनै बिन्दुहरू छैनन्।

प्लेट नम्बर / आयताकार आयामहरू	1	2	3	4	5
प्लेट १	500h625	1000h1250	2000h2500	4000h5000	8000h10000
प्लेट १	520h650	1040h1300	2080h2600	4160h5200	8320h10400
प्लेट १	560h700	1120h1400	2240h2800	4480h5600	8960h11200
प्लेट १	600h750	1200h1500	2400h3000	4800h6000	9600h12000

यी आयामहरू निर्धारण गरिसकेपछि, हामीले प्रत्येक कणको लागि 4 नयाँ वर्गीय सुविधाहरू थप्यौं - आयतको संख्या जसमा यसले प्रत्येक प्लेटलाई काट्छ।

हामीले यो पनि याद गर्यौं कि कणहरू केन्द्रबाट छेउमा छरपस्ट भएको जस्तो देखिन्छ र यो बिखरावको "गुणवत्ता" को कुनै न कुनै रूपमा मूल्याङ्कन गर्ने विचार उत्पन्न भयो। आदर्श रूपमा, टेक-अफ बिन्दुको आधारमा केही प्रकारको "आदर्श" प्याराबोलाको साथ आउन सम्भव छ र यसबाट विचलन अनुमान गर्न सकिन्छ, तर हामीले आफूलाई "आदर्श" सीधा रेखामा सीमित गर्यौं। प्रविष्टिको प्रत्येक बिन्दुको लागि यस्तो आदर्श सीधा रेखाहरू निर्माण गरिसकेपछि, हामीले यस सीधा रेखाबाट प्रत्येक कणको प्रक्षेपणको मानक विचलन गणना गर्न सक्षम भयौं। लक्ष्य = 1 को लागि औसत विचलन 152 थियो, र लक्ष्य = 0 को लागि यो 390 थियो, हामीले अस्थायी रूपमा यो सुविधा राम्रोको रूपमा मूल्याङ्कन गर्यौं। र वास्तवमा, यो सुविधाले तुरुन्तै यसलाई सबैभन्दा उपयोगी व्यक्तिहरूको शीर्षमा बनायो।

हामी खुसी थियौं र थप 4 सुविधाहरूको रूपमा आदर्श सीधा रेखाबाट प्रत्येक कणको लागि सबै 4 प्रतिच्छेदन बिन्दुहरूको विचलन थप्यौं (र तिनीहरूले पनि राम्रोसँग काम गरे)।

प्रतियोगिताको विषयमा वैज्ञानिक लेखहरूको लिङ्कहरू, आयोजकहरूले हामीलाई दिएका छन्, यो विचारलाई प्रेरित गर्‍यो कि हामी यो समस्या समाधान गर्न पहिलोबाट टाढा छौं र, सायद, त्यहाँ कुनै प्रकारको विशेष सफ्टवेयर छ। Github मा एउटा भण्डार पत्ता लगाएर जहाँ विधिहरू IsMuonSimple, IsMuon, IsMuonLoose लागू गरिएको थियो, हामीले तिनीहरूलाई सानो परिमार्जनको साथ हाम्रो साइटमा स्थानान्तरण गर्यौं। विधिहरू आफैंमा धेरै सरल थिए: उदाहरणका लागि, यदि ऊर्जा एक निश्चित थ्रेसहोल्ड भन्दा कम छ भने, यो एक muon होइन, अन्यथा यो एक muon हो। त्यस्ता साधारण सुविधाहरूले स्पष्ट रूपमा ग्रेडियन्ट बूस्टिङ प्रयोग गर्ने अवस्थामा वृद्धि दिन सक्दैन, त्यसैले हामीले थ्रेसहोल्डमा अर्को महत्त्वपूर्ण "दूरी" थप्यौं। यी सुविधाहरू पनि थोरै सुधार गरिएको छ। हुनसक्छ, अवस्थित विधिहरूलाई अझ राम्ररी विश्लेषण गरेर, बलियो विधिहरू फेला पार्न र तिनीहरूलाई संकेतहरूमा थप्न सम्भव थियो।

प्रतिस्पर्धाको अन्त्यमा, हामीले दोस्रो समस्याको लागि "छिटो" समाधानलाई थोरै ट्वीक गर्यौं; अन्तमा, यो निम्न बिन्दुहरूमा आधारभूत भन्दा फरक थियो:

1. ऋणात्मक तौल भएको पङ्क्तिमा लक्ष्य उल्टो भयो
2. MatchedHit_ {X,Y,Z}[N] मा छुटेका मानहरूमा भरियो
3. गहिराई 7 मा घटाइयो
4. सिकाइ दरलाई ०.१ मा घटाइयो (०.१९ थियो)

नतिजाको रूपमा, हामीले थप सुविधाहरू (धेरै सफलतापूर्वक छैन), चयन गरिएका प्यारामिटरहरू र प्रशिक्षित catboost, lightgbm र xgboost प्रयास गर्यौं, भविष्यवाणीहरूको विभिन्न मिश्रणहरू प्रयास गर्‍यौं र निजी खोल्नु अघि हामीले दोस्रो कार्यमा विश्वस्तताका साथ जित्यौं, र पहिलोमा हामी बीचमा थियौं। नेताहरू।

प्राइभेट खोलेपछि हामी पहिलो कार्यको लागि १० औं स्थानमा र दोस्रोको लागि तेस्रोमा थियौं। सबै नेताहरू मिश्रित भए, र निजीमा गति लिबबोर्डमा भन्दा बढी थियो। यस्तो देखिन्छ कि डाटा खराब स्तरीकृत थियो (वा उदाहरणका लागि निजीमा नकारात्मक वजनको साथ कुनै पङ्क्तिहरू थिएनन्) र यो अलि निराश थियो।

SNA Hackathon 2019 - पाठहरू। पहिलो चरण

कार्य Odnoklassniki सामाजिक सञ्जालमा प्रयोगकर्ता पोष्टहरूलाई तिनीहरूमा समावेश गरिएको पाठको आधारमा श्रेणीबद्ध गर्ने थियो; पाठको अतिरिक्त, त्यहाँ पोष्टका केही थप विशेषताहरू थिए (भाषा, मालिक, मिति र सिर्जनाको समय, मिति र हेर्ने समय। )।

पाठसँग काम गर्ने शास्त्रीय दृष्टिकोणको रूपमा, म दुई विकल्पहरू हाइलाइट गर्नेछु:

1. प्रत्येक शब्दलाई एन-आयामी भेक्टर स्पेसमा म्यापिङ गर्ने जस्तै कि समान शब्दहरूमा समान भेक्टरहरू छन् (थप पढ्नुहोस् हाम्रो लेख), त्यसपछि या त पाठको लागि औसत शब्द फेला पार्नुहोस् वा शब्दहरूको सापेक्षिक स्थिति (CNN, LSTM/GRU) लाई ध्यानमा राख्ने संयन्त्रहरू प्रयोग गर्नुहोस्।
2. पूरै वाक्यहरूसँग तुरुन्तै काम गर्न सक्ने मोडेलहरू प्रयोग गर्दै। उदाहरणका लागि, बर्ट। सिद्धान्त मा, यो दृष्टिकोण राम्रो काम गर्नुपर्छ।

यो मेरो पहिलो पाठ अनुभव भएकोले, कसैलाई सिकाउनु गलत हुनेछ, त्यसैले म आफैलाई सिकाउनेछु। यी सुझावहरू हुन् जुन मैले प्रतियोगिताको सुरुमा आफैलाई दिनेछु:

1. तपाइँ केहि सिकाउन दौडनु अघि, डाटा हेर्नुहोस्! पाठ आफैंको अतिरिक्त, डाटामा धेरै स्तम्भहरू थिए र तिनीहरूबाट मैले गरेको भन्दा धेरै निचोड गर्न सम्भव थियो। केही स्तम्भहरूका लागि लक्ष्य इन्कोडिङको मतलब गर्नु सरल कुरा हो।
2. सबै डाटाबाट सिक्नुहोस्! त्यहाँ धेरै डाटा थियो (लगभग 17 मिलियन पङ्क्तिहरू) र ती सबै परिकल्पनाहरू परीक्षण गर्न प्रयोग गर्न बिल्कुल आवश्यक थिएन। तालिम र प्रिप्रोसेसिङ एकदम ढिलो थियो, र मसँग स्पष्ट रूपमा थप रोचक परिकल्पनाहरू परीक्षण गर्ने समय थियो।
3. <विवादास्पद सल्लाह> हत्यारा मोडेल खोज्न आवश्यक छैन। मैले एल्मो र बर्ट पत्ता लगाउन लामो समय बिताएँ, उनीहरूले मलाई तुरुन्तै उच्च स्थानमा लैजान्छन् भन्ने आशामा, र परिणाम स्वरूप मैले रूसी भाषाको लागि फास्टटेक्स्ट पूर्व-प्रशिक्षित इम्बेडिङहरू प्रयोग गरें। मैले एल्मोसँग राम्रो गति हासिल गर्न सकिन, र मसँग अझै पनि बर्टसँग यो पत्ता लगाउने समय थिएन।
4. <विवादास्पद सल्लाह> एक हत्यारा सुविधा खोज्न आवश्यक छैन। डाटा हेर्दै, मैले याद गरें कि लगभग 1 प्रतिशत पाठहरूमा वास्तवमा पाठ समावेश छैन! तर त्यहाँ केही स्रोतहरूमा लिङ्कहरू थिए, र मैले एक साधारण पार्सर लेखें जसले साइट खोल्यो र शीर्षक र विवरण निकाल्यो। यो राम्रो विचार जस्तो देखिन्थ्यो, तर त्यसपछि म टाढा भएँ र सबै पाठहरूको लागि सबै लिङ्कहरू पार्स गर्ने निर्णय गरें र फेरि धेरै समय गुमाए। यी सबैले अन्तिम परिणाममा महत्त्वपूर्ण सुधार प्रदान गरेन (यद्यपि मैले स्टेमिङ पत्ता लगाए, उदाहरणका लागि)।
5. क्लासिक सुविधाहरू काम। हामी गुगल, उदाहरणका लागि, "पाठ सुविधाहरू कागल", पढ्नुहोस् र सबै कुरा थप्नुहोस्। TF-IDF ले पाठ लम्बाइ, शब्दहरू, र विराम चिह्नको मात्रा जस्ता सांख्यिकीय सुविधाहरू जस्तै सुधार प्रदान गर्‍यो।
6. यदि त्यहाँ मिति टाइम स्तम्भहरू छन् भने, तिनीहरूलाई धेरै फरक सुविधाहरू (घण्टा, हप्ताका दिनहरू, आदि) मा पार्स गर्न लायक छ। कुन विशेषताहरू हाइलाइट गर्नुपर्छ ग्राफहरू/केही मेट्रिक्स प्रयोग गरेर विश्लेषण गर्नुपर्छ। यहाँ, एक सनक मा, मैले सबै कुरा सहि तरिकाले गरे र आवश्यक सुविधाहरू हाइलाइट गरें, तर सामान्य विश्लेषणले चोट पुर्याउने थिएन (उदाहरणका लागि, हामीले फाइनलमा गरेका थियौं)।

प्रतिस्पर्धाको नतिजाको रूपमा, मैले एउटा केरा मोडेललाई शब्द कन्भोलुसनसहित, र अर्को LSTM र GRU मा आधारित तालिम दिएँ। तिनीहरू दुवैले रूसी भाषाको लागि पूर्व-प्रशिक्षित फास्टटेक्स्ट इम्बेडिङहरू प्रयोग गरे (मैले अन्य धेरै इम्बेडिङहरू प्रयास गरें, तर यी ती थिए जसले राम्रो काम गरे)। भविष्यवाणीको औसत पछि, मैले 7 सहभागीहरूमध्ये अन्तिम 76 औं स्थान लिएँ।

पहिलो चरण पछि प्रकाशित भयो निकोलाई अनोखिन द्वारा लेख, जसले दोस्रो स्थान हासिल गर्यो (उनी प्रतिस्पर्धाबाट बाहिर भए), र उनको समाधान केहि चरणमा मेरो दोहोर्याइएको थियो, तर उनी प्रश्न-कुञ्जी-मान ध्यान संयन्त्रको कारणले अगाडि बढ्यो।

दोस्रो चरण ठीक र IDAO

प्रतियोगिताहरूको दोस्रो चरण लगभग लगातार भयो, त्यसैले मैले तिनीहरूलाई सँगै हेर्ने निर्णय गरें।

पहिलो, म र नयाँ अधिग्रहण गरिएको टोली Mail.ru कम्पनीको प्रभावशाली कार्यालयमा पुग्यौं, जहाँ हाम्रो कार्य पहिलो चरणका तीनवटा ट्र्याकहरूको मोडेलहरू संयोजन गर्ने थियो - पाठ, चित्र र सहयोग। यसका लागि २ दिनभन्दा अलि बढी समय दिइएको थियो, जुन निकै कम भयो । वास्तवमा, हामीले मर्जरबाट कुनै पनि लाभ प्राप्त नगरी मात्र पहिलो चरणबाट हाम्रा परिणामहरू दोहोर्याउन सक्षम थियौं। अन्तमा, हामीले 2 औं स्थान लियौं, तर हामी पाठ मोडेल प्रयोग गर्न असमर्थ थियौं। अन्य सहभागीहरूको समाधानहरू हेरेपछि, यस्तो देखिन्छ कि यो पाठहरू क्लस्टर गर्न र तिनीहरूलाई सहयोगी मोडेलमा थप्न प्रयास गर्न लायक थियो। यस चरणको एक साइड इफेक्ट नयाँ छापहरू, कूल सहभागीहरू र आयोजकहरूसँग भेटघाट र कुराकानी, साथै निद्राको कमी, जसले IDAO को अन्तिम चरणको परिणामलाई असर गरेको हुन सक्छ।

IDAO 2019 अन्तिम चरणको कार्य भनेको एयरपोर्टमा Yandex ट्याक्सी चालकहरूको लागि अर्डरको लागि पर्खने समयको भविष्यवाणी गर्नु थियो। चरण 2 मा, 3 कार्य = 3 एयरपोर्टहरू पहिचान गरियो। प्रत्येक एयरपोर्टको लागि, छ महिनाको लागि ट्याक्सी अर्डरहरूको संख्यामा मिनेट-मिनेट डाटा दिइएको छ। र परीक्षण डेटाको रूपमा, पछिल्लो 2 हप्ताको लागि अर्डरहरूमा अर्को महिना र मिनेट-मिनेट डेटा दिइएको थियो। त्यहाँ थोरै समय (1,5 दिन) थियो, कार्य एकदम विशिष्ट थियो, टोलीबाट मात्र एक व्यक्ति प्रतिस्पर्धामा आयो - र नतिजाको रूपमा, यो अन्त तिर दुखी ठाउँ थियो। चाखलाग्दो विचारहरूमा बाह्य डेटा प्रयोग गर्ने प्रयासहरू समावेश छन्: मौसम, ट्राफिक जाम र यान्डेक्स ट्याक्सी अर्डर तथ्याङ्कहरू। यद्यपि आयोजकहरूले यी एयरपोर्टहरू के हुन् भनेर बताएनन्, तर धेरै सहभागीहरूले उनीहरू शेरेमेत्येवो, डोमोडेडोभो र भनुकोवो हुन् भनी अनुमान गरे। यद्यपि यस धारणालाई प्रतिस्पर्धा पछि खण्डन गरिएको थियो, सुविधाहरू, उदाहरणका लागि, मस्को मौसम डेटाबाट प्रमाणीकरण र लिडरबोर्डमा परिणामहरू सुधार गरियो।

निष्कर्षमा

1. एमएल प्रतियोगिताहरू सुन्दर र रोचक छन्! यहाँ तपाईंले डाटा विश्लेषण, र चालाक मोडेल र प्रविधिहरूमा सीपहरूको प्रयोग पाउनुहुनेछ, र साधारण ज्ञानलाई स्वागत छ।
2. एमएल पहिले नै ज्ञानको एक विशाल शरीर हो जुन द्रुत रूपमा बढिरहेको देखिन्छ। मैले आफैलाई विभिन्न क्षेत्रहरू (सङ्केतहरू, चित्रहरू, तालिकाहरू, पाठ) सँग परिचित हुने लक्ष्य सेट गरें र अध्ययन गर्न कति छ भनेर पहिले नै महसुस गरें। उदाहरणका लागि, यी प्रतियोगिताहरू पछि मैले अध्ययन गर्ने निर्णय गरें: क्लस्टरिङ एल्गोरिदमहरू, ग्रेडियन्ट बूस्टिङ लाइब्रेरीहरूसँग काम गर्ने उन्नत प्रविधिहरू (विशेष गरी, GPU मा CatBoost सँग काम गर्ने), क्याप्सुल नेटवर्कहरू, क्वेरी-कुञ्जी-मान ध्यान संयन्त्र।
3. एक्लै कागलले होइन! त्यहाँ धेरै अन्य प्रतियोगिताहरू छन् जहाँ कम्तिमा एक टी-शर्ट प्राप्त गर्न सजिलो छ, र त्यहाँ अन्य पुरस्कारहरूको लागि धेरै मौकाहरू छन्।
4. सञ्चार! मेसिन लर्निङ र डाटा विश्लेषणको क्षेत्रमा पहिले नै ठूलो समुदाय छ, त्यहाँ टेलिग्राममा विषयगत समूहहरू छन्, स्ल्याक, र Mail.ru, Yandex र अन्य कम्पनीहरूका गम्भीर व्यक्तिहरूले प्रश्नहरूको जवाफ दिन्छन् र शुरुआतीहरूलाई मद्दत गर्छन् र यस क्षेत्रमा आफ्नो मार्ग जारी राख्छन्। ज्ञान को।
5. अघिल्लो बिन्दुबाट प्रेरित भएका सबैलाई म भ्रमण गर्न सल्लाह दिन्छु datafest - मस्कोमा एक प्रमुख नि: शुल्क सम्मेलन, जुन मे 10-11 मा हुनेछ।

स्रोत: www.habr.com