Habré वर मशीन लर्निंग स्पर्धांची थीम चालू ठेवून, आम्ही वाचकांना आणखी दोन प्लॅटफॉर्मवर ओळख करून देऊ इच्छितो. ते नक्कीच कागलसारखे प्रचंड नाहीत, परंतु ते नक्कीच लक्ष देण्यास पात्र आहेत.

वैयक्तिकरित्या, मला अनेक कारणांमुळे कागल फार आवडत नाही:

• प्रथम, तेथे स्पर्धा बर्‍याच महिन्यांपर्यंत चालतात आणि सक्रिय सहभागासाठी खूप प्रयत्न करावे लागतात;
• दुसरे म्हणजे, सार्वजनिक कर्नल (सार्वजनिक उपाय). कागलचे अनुयायी तिबेटी भिक्षूंच्या शांततेने त्यांच्याशी वागण्याचा सल्ला देतात, परंतु प्रत्यक्षात जेव्हा तुम्ही एक किंवा दोन महिन्यांपासून काम करत आहात ती गोष्ट अचानक प्रत्येकासाठी चांदीच्या ताटात ठेवली जाते तेव्हा ही खूप लाजिरवाणी गोष्ट आहे.

सुदैवाने, मशीन लर्निंग स्पर्धा इतर प्लॅटफॉर्मवर आयोजित केल्या जातात आणि यापैकी काही स्पर्धांवर चर्चा केली जाईल.

IDAO	SNA हॅकाथॉन 2019
अधिकृत भाषा: इंग्रजी, आयोजक: Yandex, Sberbank, HSE	अधिकृत रशियन भाषा, आयोजक: Mail.ru गट
ऑनलाइन फेरी: 15 जानेवारी - 11 फेब्रुवारी 2019; ऑन-साइट अंतिम: एप्रिल 4-6, 2019	ऑनलाइन - 7 फेब्रुवारी ते 15 मार्च पर्यंत; ऑफलाइन - 30 मार्च ते 1 एप्रिल पर्यंत.
लार्ज हॅड्रॉन कोलायडरमधील कणांबद्दलच्या डेटाचा विशिष्ट संच (मार्ग, गती आणि इतर जटिल भौतिक मापदंड) वापरून, तो म्यूऑन आहे की नाही हे निर्धारित करा. या विधानावरून, 2 कार्ये ओळखली गेली: - एकामध्ये तुम्हाला तुमचा अंदाज पाठवायचा होता, - आणि दुसर्‍यामध्ये - पूर्ण कोड आणि अंदाजासाठी मॉडेल, आणि अंमलबजावणी चालू वेळ आणि मेमरी वापरावर बर्‍यापैकी कठोर निर्बंधांच्या अधीन होती.	SNA हॅकाथॉन स्पर्धेसाठी, फेब्रुवारी-मार्च 2018 साठी वापरकर्त्याच्या बातम्या फीडमधील खुल्या गटांमधील सामग्री प्रदर्शनांचे लॉग गोळा केले गेले. चाचणी सेटमध्ये मार्चचा शेवटचा आणि दीड आठवडा आहे. लॉगमधील प्रत्येक एंट्रीमध्ये काय दर्शविले गेले आणि कोणाला, तसेच वापरकर्त्याने या सामग्रीवर कशी प्रतिक्रिया दिली याबद्दल माहिती असते: त्यास रेट केले, टिप्पणी दिली, त्याकडे दुर्लक्ष केले किंवा फीडमधून लपवले. SNA हॅकाथॉनच्या कार्यांचे सार म्हणजे ओड्नोक्लास्निकी सोशल नेटवर्कच्या प्रत्येक वापरकर्त्याला त्याच्या फीडची रँक करणे, "वर्ग" प्राप्त करणार्या पोस्ट शक्य तितक्या उच्च करणे. ऑनलाइन टप्प्यावर, कार्य 3 भागांमध्ये विभागले गेले: 1. विविध सहयोगी वैशिष्ट्यांनुसार पोस्ट रँक करा 2. त्यामध्ये असलेल्या प्रतिमांवर आधारित पोस्ट रँक करा 3. त्यामध्ये असलेल्या मजकुरानुसार पोस्ट रँक करा
जटिल कस्टम मेट्रिक, ROC-AUC सारखे काहीतरी	वापरकर्त्याद्वारे सरासरी ROC-AUC
पहिल्या टप्प्यासाठी बक्षिसे - N ठिकाणांसाठी टी-शर्ट, दुसऱ्या टप्प्यात जाण्यासाठी, जेथे स्पर्धेदरम्यान निवास आणि जेवणाचे पैसे दिले गेले. दुसरा टप्पा -??? (काही कारणांमुळे, मी पुरस्कार सोहळ्याला उपस्थित नव्हतो आणि शेवटी बक्षिसे काय आहेत हे शोधू शकलो नाही). त्यांनी विजेत्या संघातील सर्व सदस्यांना लॅपटॉप देण्याचे वचन दिले	पहिल्या टप्प्यासाठी बक्षिसे - 100 सर्वोत्कृष्ट सहभागींसाठी टी-शर्ट, दुसर्‍या टप्प्यापर्यंतचा रस्ता, जिथे मॉस्कोचा प्रवास, स्पर्धेदरम्यान निवास आणि जेवण दिले गेले. तसेच, पहिल्या टप्प्याच्या शेवटी, स्टेज 3 मधील 1 कार्यांमध्ये सर्वोत्कृष्ट कामांसाठी बक्षिसे जाहीर केली गेली: प्रत्येकाने RTX 2080 TI व्हिडिओ कार्ड जिंकले! दुसरा टप्पा एक सांघिक टप्पा होता, संघांमध्ये 2 ते 5 लोक होते, बक्षिसे: 1 ला स्थान - 300 रूबल 2 ला स्थान - 200 रूबल 3 ला स्थान - 100 रूबल जूरी बक्षीस - 100 रूबल
अधिकृत टेलिग्राम गट, ~190 सहभागी, इंग्रजीत संप्रेषण, प्रश्नांच्या उत्तरासाठी बरेच दिवस प्रतीक्षा करावी लागली	टेलिग्राममधील अधिकृत गट, ~1500 सहभागी, सहभागी आणि आयोजकांमधील कार्यांची सक्रिय चर्चा
आयोजकांनी साधे आणि प्रगत असे दोन मूलभूत उपाय दिले. साध्यासाठी 16 GB पेक्षा कमी RAM आवश्यक आहे आणि प्रगत मेमरी 16 मध्ये बसत नाही. त्याच वेळी, थोडेसे पुढे पाहताना, सहभागी प्रगत समाधानापेक्षा लक्षणीय कामगिरी करू शकले नाहीत. हे उपाय सुरू करण्यात कोणतीही अडचण आली नाही. हे लक्षात घेतले पाहिजे की प्रगत उदाहरणामध्ये उपाय सुधारणे कोठून सुरू करावे याच्या संकेतासह एक टिप्पणी होती.	प्रत्येक कार्यासाठी मूलभूत आदिम उपाय प्रदान केले गेले होते, जे सहभागींनी सहजपणे मागे टाकले होते. स्पर्धेच्या सुरुवातीच्या दिवसांमध्ये, सहभागींना अनेक अडचणी आल्या: प्रथम, डेटा अपाचे पर्केट फॉरमॅटमध्ये देण्यात आला होता आणि पायथन आणि पर्केट पॅकेजचे सर्व संयोजन त्रुटींशिवाय कार्य करत नव्हते. दुसरी अडचण मेल क्लाउडवरून चित्रे डाउनलोड करणे होती; याक्षणी एकाच वेळी मोठ्या प्रमाणात डेटा डाउनलोड करण्याचा कोणताही सोपा मार्ग नाही. परिणामी, या समस्यांमुळे सहभागींना काही दिवस उशीर झाला.

IDAO. पहिली पायरी

म्युऑन/नॉन-म्युऑन कणांचे त्यांच्या वैशिष्ट्यांनुसार वर्गीकरण करणे हे काम होते. या कार्याचे मुख्य वैशिष्ट्य म्हणजे प्रशिक्षण डेटामध्ये वजन स्तंभाची उपस्थिती होती, ज्याचा आयोजकांनी स्वतः या ओळीच्या उत्तराचा आत्मविश्वास म्हणून अर्थ लावला. समस्या अशी होती की काही पंक्तींमध्ये नकारात्मक वजन होते.

इशाऱ्याच्या ओळीबद्दल काही मिनिटे विचार केल्यानंतर (इशारेने वजन स्तंभाच्या या वैशिष्ट्याकडे लक्ष वेधले) आणि हा आलेख तयार केल्यावर, आम्ही 3 पर्याय तपासण्याचे ठरविले:

1) ऋणात्मक वजन असलेल्या रेषांचे लक्ष्य उलट करा (आणि त्यानुसार वजन)
2) वजन किमान मूल्यावर हलवा जेणेकरून ते 0 पासून सुरू होतील
3) स्ट्रिंग वेट्स वापरू नका

तिसरा पर्याय सर्वात वाईट ठरला, परंतु पहिल्या दोनने परिणाम सुधारला, सर्वोत्तम पर्याय क्रमांक 1 होता, ज्याने आम्हाला ताबडतोब पहिल्या कार्यात सध्याच्या दुसऱ्या स्थानावर आणले आणि दुसऱ्यामध्ये पहिले.

गहाळ मूल्यांसाठी डेटाचे पुनरावलोकन करणे ही आमची पुढील पायरी होती. आयोजकांनी आम्हाला आधीच एकत्रित केलेला डेटा दिला, जिथे बरीच गहाळ मूल्ये होती आणि ती -9999 ने बदलली.

आम्हाला MatchedHit_{X,Y,Z}[N] आणि MatchedHit_D{X,Y,Z}[N] स्तंभांमध्ये आणि फक्त N=2 किंवा 3 मध्ये गहाळ मूल्ये आढळली. जसे आपण समजतो, काही कण आढळले नाहीत सर्व 4 डिटेक्टर पास करा आणि 3र्या किंवा 4थ्या प्लेटवर थांबा. डेटामध्ये Lextra_{X,Y}[N] स्तंभ देखील होते, जे वरवर पाहता मॅच्डहिट_{X,Y,Z}[N] सारखेच वर्णन करतात, परंतु काही प्रकारचे एक्सट्रापोलेशन वापरतात. या तुटपुंज्या अंदाजांनी सुचवले की Lextra_{X,Y}[N] ला MatchedHit_{X,Y,Z}[N] (केवळ X आणि Y समन्वयांसाठी) मधील गहाळ मूल्यांसाठी बदलले जाऊ शकते. MatchedHit_Z[N] मध्यकाने चांगले भरले होते. या फेरफारांमुळे आम्हाला दोन्ही कामांमध्ये पहिल्या मध्यवर्ती स्थानावर पोहोचता आले.

पहिला टप्पा जिंकण्यासाठी त्यांनी काहीही दिले नाही हे लक्षात घेऊन, आम्ही तिथे थांबू शकलो असतो, परंतु आम्ही पुढे चालू ठेवले, काही सुंदर चित्रे काढली आणि नवीन वैशिष्ट्यांसह आलो.

उदाहरणार्थ, आम्हाला आढळले की जर आपण कणाचे छेदनबिंदू चार डिटेक्टर प्लेट्ससह प्लॉट केले, तर आपण पाहू शकतो की प्रत्येक प्लेटवरील बिंदू 5 ते 4 च्या गुणोत्तरासह 5 आयतांमध्ये गटबद्ध केले आहेत आणि केंद्रस्थानी आहेत. बिंदू (0,0), आणि मध्ये पहिल्या आयतामध्ये कोणतेही बिंदू नाहीत.

प्लेट क्रमांक / आयत परिमाणे	1	2	3	4	5
प्लेट १	500h625	1000h1250	2000h2500	4000h5000	8000h10000
प्लेट १	520h650	1040h1300	2080h2600	4160h5200	8320h10400
प्लेट १	560h700	1120h1400	2240h2800	4480h5600	8960h11200
प्लेट १	600h750	1200h1500	2400h3000	4800h6000	9600h12000

ही परिमाणे निश्चित केल्यावर, आम्ही प्रत्येक कणासाठी 4 नवीन स्पष्ट वैशिष्ट्ये जोडली - आयताची संख्या ज्यामध्ये तो प्रत्येक प्लेटला छेदतो.

आम्ही हे देखील लक्षात घेतले की कण मध्यभागी बाजूंना विखुरलेले दिसत होते आणि या विखुरण्याच्या "गुणवत्तेचे" मूल्यांकन करण्यासाठी कल्पना आली. तद्वतच, टेक-ऑफ पॉइंटवर अवलंबून काही प्रकारचे "आदर्श" पॅराबोला आणणे आणि त्यातून विचलनाचा अंदाज लावणे शक्य आहे, परंतु आम्ही स्वतःला "आदर्श" सरळ रेषेपर्यंत मर्यादित केले. एंट्रीच्या प्रत्येक बिंदूसाठी अशा आदर्श सरळ रेषा तयार केल्यामुळे, आम्ही या सरळ रेषेतून प्रत्येक कणाच्या प्रक्षेपकाच्या प्रमाणित विचलनाची गणना करू शकलो. लक्ष्य = 1 साठी सरासरी विचलन 152 होते आणि लक्ष्य = 0 साठी ते 390 होते, आम्ही तात्पुरते या वैशिष्ट्याचे चांगले मूल्यांकन केले. आणि खरंच, या वैशिष्ट्याने लगेचच ते सर्वात उपयुक्त असलेल्या शीर्षस्थानी बनवले.

आम्हाला आनंद झाला आणि आदर्श सरळ रेषेतून प्रत्येक कणासाठी सर्व 4 छेदनबिंदूंचे विचलन अतिरिक्त 4 वैशिष्ट्ये म्हणून जोडले (आणि त्यांनी देखील चांगले कार्य केले).

स्पर्धेच्या विषयावरील वैज्ञानिक लेखांचे दुवे, आयोजकांनी आम्हाला दिलेले, या समस्येचे निराकरण करण्यात आम्ही पहिल्यापासून दूर आहोत आणि कदाचित काही प्रकारचे विशेष सॉफ्टवेअर आहे याची कल्पना दिली. Github वर एक भांडार शोधून काढल्यानंतर जिथे IsMuonSimple, IsMuon, IsMuonLoose या पद्धती लागू केल्या गेल्या होत्या, आम्ही त्या आमच्या साइटवर किरकोळ बदलांसह हस्तांतरित केल्या. पद्धती स्वतःच खूप सोप्या होत्या: उदाहरणार्थ, जर उर्जा एका विशिष्ट उंबरठ्यापेक्षा कमी असेल तर ती म्यूऑन नाही, अन्यथा ती म्यूऑन आहे. अशी साधी वैशिष्ट्ये स्पष्टपणे ग्रेडियंट बूस्टिंग वापरण्याच्या बाबतीत वाढ देऊ शकत नाहीत, म्हणून आम्ही थ्रेशोल्डमध्ये आणखी एक महत्त्वपूर्ण "अंतर" जोडले. ही वैशिष्ट्ये देखील थोडी सुधारली आहेत. कदाचित, विद्यमान पद्धतींचे अधिक सखोल विश्लेषण करून, मजबूत पद्धती शोधणे आणि त्यांना चिन्हांमध्ये जोडणे शक्य झाले.

स्पर्धेच्या शेवटी, आम्ही दुसर्‍या समस्येसाठी "त्वरित" उपाय किंचित चिमटा काढला; शेवटी, ते खालील मुद्द्यांमधील बेसलाइनपेक्षा वेगळे होते:

1. ऋण वजन असलेल्या पंक्तींमध्ये लक्ष्य उलटे होते
2. MatchedHit_{X,Y,Z}[N] मधील गहाळ मूल्यांमध्ये भरलेले
3. खोली 7 पर्यंत कमी केली
4. शिकण्याचा दर 0.1 पर्यंत कमी केला (0.19 होता)

परिणामी, आम्ही अधिक वैशिष्ट्ये (खूप यशस्वीपणे नाही), निवडलेले पॅरामीटर्स आणि प्रशिक्षित catboost, lightgbm आणि xgboost वापरून पाहिले, अंदाजांचे वेगवेगळे मिश्रण करून पाहिले आणि प्रायव्हेट उघडण्यापूर्वी आम्ही दुसऱ्या टास्कमध्ये आत्मविश्वासाने विजय मिळवला आणि पहिल्या कार्यात आम्ही होतो. नेते

प्रायव्हेट उघडल्यानंतर आम्ही पहिल्या टास्कसाठी 10व्या आणि दुसऱ्यासाठी 1ऱ्या स्थानावर होतो. सर्व नेते मिसळले, आणि खाजगीत गती लिबबोर्डपेक्षा जास्त होती. असे दिसते की डेटा खराब स्तरित होता (किंवा उदाहरणार्थ खाजगीमध्ये नकारात्मक वजन असलेल्या कोणत्याही पंक्ती नव्हत्या) आणि हे थोडे निराशाजनक होते.

SNA हॅकाथॉन 2019 - मजकूर. पहिली पायरी

ओड्नोक्लास्निकी सोशल नेटवर्कवर वापरकर्त्याच्या पोस्ट्समध्ये समाविष्ट असलेल्या मजकुराच्या आधारे रँक करणे हे कार्य होते; मजकुराव्यतिरिक्त, पोस्टची आणखी काही वैशिष्ट्ये होती (भाषा, मालक, निर्मितीची तारीख आणि वेळ, तारीख आणि पाहण्याची वेळ ).

मजकूरासह कार्य करण्यासाठी शास्त्रीय दृष्टिकोन म्हणून, मी दोन पर्याय हायलाइट करेन:

1. प्रत्येक शब्दाला n-आयामी वेक्टर स्पेसमध्ये मॅप करणे जसे की समान शब्दांमध्ये समान वेक्टर असतात (यात अधिक वाचा आमचा लेख), नंतर मजकूरासाठी सरासरी शब्द शोधणे किंवा शब्दांची सापेक्ष स्थिती (CNN, LSTM/GRU) विचारात घेणारी यंत्रणा वापरणे.
2. संपूर्ण वाक्यांसह त्वरित कार्य करू शकणारे मॉडेल वापरणे. उदाहरणार्थ, बर्ट. सिद्धांततः, हा दृष्टीकोन अधिक चांगला कार्य करेल.

मजकुराचा हा माझा पहिलाच अनुभव असल्याने एखाद्याला शिकवणे चुकीचे ठरेल, म्हणून मी स्वतः शिकवेन. स्पर्धेच्या सुरुवातीला मी स्वतःला या टिप्स देईन:

1. काही शिकवायला धावण्यापूर्वी, डेटा पहा! मजकूराच्या व्यतिरिक्त, डेटामध्ये अनेक स्तंभ होते आणि त्यांच्याकडून माझ्यापेक्षा बरेच काही पिळून काढणे शक्य होते. सर्वात सोपी गोष्ट म्हणजे काही स्तंभांसाठी लक्ष्य एन्कोडिंग करणे.
2. सर्व डेटावरून शिकू नका! तेथे भरपूर डेटा होता (सुमारे 17 दशलक्ष पंक्ती) आणि गृहितकांची चाचणी घेण्यासाठी त्या सर्वांचा वापर करणे आवश्यक नव्हते. प्रशिक्षण आणि प्रीप्रोसेसिंग खूपच मंद होते आणि मला नक्कीच अधिक मनोरंजक गृहितकांची चाचणी घेण्यासाठी वेळ मिळाला असता.
3. <वादग्रस्त सल्ला> किलर मॉडेल शोधण्याची गरज नाही. मी एल्मो आणि बर्टचा शोध लावण्यात बराच वेळ घालवला, या आशेने की ते मला ताबडतोब उच्च स्थानावर घेऊन जातील आणि परिणामी मी रशियन भाषेसाठी फास्टटेक्स्ट पूर्व-प्रशिक्षित एम्बेडिंग्ज वापरली. मला एल्मो सोबत चांगली गती मिळू शकली नाही आणि बर्ट सोबत ते शोधण्यासाठी मला अजून वेळ मिळाला नाही.
4. <वादग्रस्त सल्ला> एक किलर वैशिष्ट्य शोधण्याची गरज नाही. डेटा पाहिल्यावर माझ्या लक्षात आले की सुमारे 1 टक्के मजकुरात प्रत्यक्षात मजकूर नाही! परंतु काही स्त्रोतांचे दुवे होते आणि मी एक साधा पार्सर लिहिला ज्याने साइट उघडली आणि शीर्षक आणि वर्णन काढले. ही एक चांगली कल्पना असल्यासारखे वाटले, परंतु नंतर मी वाहून गेलो आणि सर्व मजकूरासाठी सर्व दुवे पार्स करण्याचा निर्णय घेतला आणि पुन्हा बराच वेळ गमावला. या सर्वांनी अंतिम निकालात लक्षणीय सुधारणा केली नाही (जरी मी स्टेमिंग शोधून काढले, उदाहरणार्थ).
5. क्लासिक वैशिष्ट्ये कार्य करतात. आम्ही Google, उदाहरणार्थ, “मजकूर वैशिष्ट्ये कॅगल”, सर्वकाही वाचतो आणि जोडतो. मजकूराची लांबी, शब्द आणि विरामचिन्हांची संख्या यासारख्या सांख्यिकीय वैशिष्ट्यांप्रमाणे TF-IDF ने सुधारणा प्रदान केली.
6. डेटटाइम कॉलम्स असल्यास, त्यांना अनेक स्वतंत्र वैशिष्ट्यांमध्ये पार्स करणे योग्य आहे (तास, आठवड्याचे दिवस इ.). कोणती वैशिष्ट्ये हायलाइट केली जावीत याचे विश्लेषण आलेख/काही मेट्रिक्स वापरून केले पाहिजे. येथे, एका लहरीवर, मी सर्वकाही योग्यरित्या केले आणि आवश्यक वैशिष्ट्ये हायलाइट केली, परंतु सामान्य विश्लेषणाने दुखापत होणार नाही (उदाहरणार्थ, आम्ही अंतिम वेळी केले).

स्पर्धेच्या परिणामी, मी एक केरा मॉडेलला वर्ड कॉन्व्होल्युशनसह प्रशिक्षित केले आणि दुसरे LSTM आणि GRU वर आधारित. त्या दोघांनी रशियन भाषेसाठी पूर्व-प्रशिक्षित फास्टटेक्स्ट एम्बेडिंग्स वापरली (मी इतर अनेक एम्बेडिंगचा प्रयत्न केला, परंतु हे सर्वात चांगले कार्य करणारे होते). अंदाजांची सरासरी काढल्यानंतर, मी 7 सहभागींपैकी अंतिम 76 वे स्थान मिळवले.

पहिल्या टप्प्यानंतर ते प्रकाशित झाले निकोलाई अनोखिन यांचा लेख, ज्याने दुसरे स्थान पटकावले (त्याने स्पर्धेबाहेर भाग घेतला), आणि त्याचे निराकरण काही टप्प्यापर्यंत माझे पुनरावृत्ती झाले, परंतु प्रश्न-की-मूल्य लक्ष देण्याच्या यंत्रणेमुळे तो पुढे गेला.

दुसरा टप्पा ओके आणि आयडीएओ

स्पर्धांचे दुसरे टप्पे जवळजवळ सलग झाले, म्हणून मी त्यांना एकत्र पाहण्याचा निर्णय घेतला.

प्रथम, मी आणि नवीन अधिग्रहित टीम Mail.ru कंपनीच्या प्रभावी कार्यालयात पोहोचलो, जिथे आमचे कार्य पहिल्या टप्प्यातील तीन ट्रॅकचे मॉडेल एकत्र करणे होते - मजकूर, चित्रे आणि सहयोग. यासाठी 2 दिवसांपेक्षा जास्त वेळ देण्यात आला होता, तो फारच कमी निघाला. खरेतर, आम्ही विलीनीकरणातून कोणताही फायदा न मिळवता केवळ पहिल्या टप्प्यापासूनच आमचे निकाल पुनरावृत्ती करू शकलो. शेवटी, आम्ही 5 वे स्थान मिळवले, परंतु आम्ही मजकूर मॉडेल वापरण्यास अक्षम होतो. इतर सहभागींचे निराकरण पाहिल्यानंतर, असे दिसते की मजकूर क्लस्टर करण्याचा आणि त्यांना कोलॅब मॉडेलमध्ये जोडण्याचा प्रयत्न करणे योग्य होते. या स्टेजचा एक दुष्परिणाम म्हणजे नवीन इंप्रेशन, शांत सहभागी आणि आयोजकांशी भेटणे आणि संवाद साधणे, तसेच झोपेची तीव्र कमतरता, ज्याचा परिणाम IDAO च्या अंतिम टप्प्यावर झाला असावा.

IDAO 2019 अंतिम टप्प्यातील कार्य म्हणजे विमानतळावरील Yandex टॅक्सी चालकांच्या ऑर्डरसाठी प्रतीक्षा वेळेचा अंदाज लावणे. स्टेज 2 वर, 3 कार्ये = 3 विमानतळ ओळखले गेले. प्रत्येक विमानतळासाठी, सहा महिन्यांसाठी टॅक्सी ऑर्डरच्या संख्येचा मिनिट-दर-मिनिट डेटा दिला जातो. आणि चाचणी डेटा म्हणून, मागील 2 आठवड्यांच्या ऑर्डरवरील पुढील महिन्याचा आणि मिनिट-दर-मिनिट डेटा दिला गेला. थोडा वेळ (1,5 दिवस) होता, कार्य अगदी विशिष्ट होते, संघातील फक्त एक व्यक्ती स्पर्धेत आली होती - आणि परिणामी, ते शेवटच्या दिशेने एक दुःखी ठिकाण होते. मनोरंजक कल्पनांमध्ये बाह्य डेटा वापरण्याचे प्रयत्न समाविष्ट आहेत: हवामान, ट्रॅफिक जाम आणि यांडेक्स टॅक्सी ऑर्डरची आकडेवारी. हे विमानतळ काय आहेत हे आयोजकांनी सांगितले नसले तरी, अनेक सहभागींनी असे गृहीत धरले की ते शेरेमेत्येवो, डोमोडेडोवो आणि वनुकोवो आहेत. स्पर्धेनंतर या गृहितकाचे खंडन केले गेले असले तरी, वैशिष्ट्य, उदाहरणार्थ, मॉस्को हवामान डेटाने प्रमाणीकरण आणि लीडरबोर्डवर परिणाम सुधारले.

निष्कर्ष

1. एमएल स्पर्धा छान आणि मनोरंजक आहेत! येथे तुम्हाला डेटा विश्लेषण आणि धूर्त मॉडेल्स आणि तंत्रांमध्ये कौशल्यांचा वापर आढळेल आणि सामान्य ज्ञानाचे स्वागत आहे.
2. एमएल हे आधीच ज्ञानाचे एक प्रचंड शरीर आहे जे वेगाने वाढत असल्याचे दिसते. मी स्वतःला वेगवेगळ्या क्षेत्रांशी परिचित होण्यासाठी एक ध्येय ठेवले (सिग्नल, चित्रे, टेबल, मजकूर) आणि आधीच लक्षात आले की किती अभ्यास करायचा आहे. उदाहरणार्थ, या स्पर्धांनंतर मी अभ्यास करण्याचे ठरवले: क्लस्टरिंग अल्गोरिदम, ग्रेडियंट बूस्टिंग लायब्ररीसह कार्य करण्यासाठी प्रगत तंत्रे (विशेषतः, GPU वर CatBoost सह कार्य करणे), कॅप्सूल नेटवर्क्स, क्वेरी-की-व्हॅल्यू अटेन्शन मेकॅनिझम.
3. एकट्या कागलाने नाही! इतर अनेक स्पर्धा आहेत जिथे किमान टी-शर्ट मिळवणे सोपे आहे आणि इतर बक्षिसे मिळण्याची अधिक शक्यता आहे.
4. संवाद साधा! मशीन लर्निंग आणि डेटा विश्लेषणाच्या क्षेत्रात आधीच एक मोठा समुदाय आहे, टेलिग्राम, स्लॅकमध्ये थीमॅटिक गट आहेत आणि Mail.ru, Yandex आणि इतर कंपन्यांमधील गंभीर लोक प्रश्नांची उत्तरे देतात आणि नवशिक्यांना आणि या क्षेत्रात त्यांचा मार्ग सुरू ठेवणाऱ्यांना मदत करतात. ज्ञानाचे.
5. मागील बिंदूने प्रेरित झालेल्या प्रत्येकास मी भेट देण्याचा सल्ला देतो डेटाफेस्ट - मॉस्कोमध्ये एक प्रमुख विनामूल्य परिषद, जी 10-11 मे रोजी होईल.

स्त्रोत: www.habr.com