Faʻaauauina le autu o tauvaga aʻoaʻoga masini i Habré, matou te manaʻo e faʻafeiloaʻi le au faitau i isi faʻavae e lua. E mautinoa lava e le lapopoa e pei o le kaggle, ae e tatau ona latou gauai atu i ai.

I le tagata lava ia, ou te le fiafia tele i le kaggle mo nisi mafuaaga:

• muamua, o tauvaga iina e masani ona umi mo ni nai masina, ma o le auai malosi e manaʻomia ai le tele o taumafaiga;
• lona lua, fatuga lautele (fofo lautele). Ua fautuaina e le au Kaggle le togafitia oi latou i le toʻa o faifeau Tibet, ae o le mea moni o se mea e maasiasi ai pe a faʻafuaseʻi ona tuʻu i luga o se ipu siliva se mea na e galue ai mo le masina pe lua.

O le mea e lelei ai, o tauvaga aʻoaʻoga masini e faia i luga o isi faʻavae, ma o nei tauvaga o le a talanoaina.

IDAO	SNA Hackathon 2019
Gagana aloa'ia: Igilisi, faʻatulagaina: Yandex, Sberbank, HSE	Gagana Rusia aloaia, fa'atonu: Mail.ru Group
Ta'amilosaga i luga ole laiga: Ian 15 - Feb 11, 2019; Fa'ai'uga i luga ole Nofoaga: Ape 4-6, 2019	luga ole laiga - mai Fepuari 7 ia Mati 15; tuimotu - mai Mati 30 ia Aperila 1.
I le faʻaaogaina o se seti o faʻamatalaga e uiga i se vaega i le Large Hadron Collider (ala, malosi, ma isi mea faʻapitoa faʻapitoa), fuafua pe o se muon pe leai. Mai lenei faʻamatalaga, e 2 galuega na faʻaalia: - i le tasi e tatau ona e auina atu lau vavalo, - ma i le isi - o le faʻailoga atoa ma le faʻataʻitaʻiga mo le vavalo, ma o le faʻatinoga na faʻatatau i faʻatapulaʻaina faʻatapulaʻaina o le taʻavale taimi ma le faʻaogaina o mafaufauga.	Mo le tauvaga a le SNA Hackathon, o ogalaau o faʻaaliga faʻaalia mai vaega tatala i faʻasalalauga talafou a tagata faʻaoga mo Fepuari-Mati 2018 na aoina. O le seti su'ega e aofia ai le vaiaso mulimuli ma le afa o Mati. O faʻamatalaga taʻitasi i totonu o le ogalaau o loʻo i ai faʻamatalaga e uiga i mea na faʻaalia ma o ai, faʻapea foʻi ma le auala na tali atu ai le tagata faʻaoga i lenei mea: faʻamauina, faʻaalia, le amanaiaina, pe natia mai le fafaga. O le ute o galuega a le SNA Hackathon o le faʻavasegaina lea o tagata taʻitoʻatasi o le fesoʻotaʻiga lautele Odnoklassniki lana fafaga, faʻatupuina i le maualuga e mafai ai na pou o le a maua se "vasega". I luga ole laiga i luga ole laiga, na vaevaeina le galuega i vaega e 3: 1. fa'avasega pou e tusa ai ma uiga felagolagoma'i eseese 2. fa'avasega pou e fa'atatau i ata o lo'o iai 3. fa'avasega pou e tusa ai ma tusitusiga o lo'o iai
Fua fa'aleaganu'u lavelave, e pei o le ROC-AUC	Ole ROC-AUC ole tagata fa'aoga
Taui mo le laasaga muamua - mitiafu mo N nofoaga, ala i le laasaga lona lua, lea na totogi ai fale ma meaʻai i le taimi o le tauvaga Vaega lona lua - ??? (Mo nisi mafuaaga, sa ou le i ai i le sauniga o le faailoga ma sa le mafai ona ou iloa po o a faailoga i le faaiuga). Na latou folafola atu komepiuta feaveai i sui uma o le au manumalo	Faʻailoga mo le laasaga muamua - mitiafu mo le 100 sili ona lelei tagata auai, ala i le laasaga lona lua, lea na totogi ai malaga i Moscow, fale nofo ma taumafataga i le taimi o le tauvaga. E le gata i lea, i le faaiuga o le laasaga muamua, na faʻasalalau faʻailoga mo le sili i galuega e 3 i le laasaga 1: na manumalo tagata uma ile RTX 2080 TI video card! O le laasaga lona lua o le 'au, o 'au e aofia ai le 2 i le 5 tagata, fa'ailoga: Tulaga muamua - 1 rubles Tulaga muamua - 2 rubles Tulaga muamua - 3 rubles tau o le jury - 100 rubles
Fa'alapotopotoga fa'asalalau aloa'ia, ~ 190 tagata auai, feso'ota'iga i le Igilisi, fesili e tatau ona fa'atali mo ni nai aso mo se tali	Vaega aloa'ia i le telegrama, ~ 1500 tagata auai, talanoaga malosi o galuega i le va o tagata auai ma fa'alapotopotoga
Na saunia e le au faʻatulagaina ni fofo faʻavae se lua, faigofie ma faʻalautele. Faigofie e manaʻomia itiiti ifo i le 16 GB o le RAM, ma le mafaufau maualuga e leʻi ofi i le 16. I le taimi lava e tasi, o loʻo vaʻavaʻai i luma, e leʻi mafai e le au auai ona sili atu le maualuga o le fofo sili atu. Sa leai ni fa'afitauli i le fa'alauiloaina o nei fofo. E tatau ona maitauina i le faʻataʻitaʻiga maualuga sa i ai se faʻamatalaga ma se faʻamatalaga i le mea e amata ai le faʻaleleia o le fofo.	Sa tu'uina atu fo'i vaifofo fa'amuamua mo galuega ta'itasi, lea sa faigofie ona fa'asilisili e tagata auai. I le popofou o le tauvaga, na feagai tagata auai ma le tele o faigata: muamua, o faʻamatalaga na tuʻuina atu i le Apache Parquet format, ma e le o faʻatasi uma o le Python ma le parquet package na galue e aunoa ma ni mea sese. O le faigata lona lua o le siiina mai o ata mai le ao meli; i le taimi nei e leai se auala faigofie e sii mai ai le tele o faʻamatalaga i le taimi e tasi. O se taunuuga, o nei faʻafitauli na faʻatuai ai le au auai mo ni nai aso.

IDAO. Laasaga muamua

O le galuega o le fa'avasegaina o vaega muon/non-muon e tusa ai ma o latou uiga. O le uiga autu o lenei galuega o le i ai lea o se koluma mamafa i faʻamaumauga o aʻoaʻoga, lea na faʻamatalaina e le au faʻalapotopotoga o le talitonuina o le tali mo lenei laina. O le fa'afitauli o le tele o laina o lo'o i ai ni mamafa leaga.

Ina ua uma ona mafaufau mo ni nai minute e uiga i le laina ma le faʻailoga (o le faʻataʻitaʻiga naʻo le tosina atu i lenei vaega o le koluma mamafa) ma fausia lenei kalafi, na matou filifili e siaki 3 filifiliga:

1) fesuia'i le taula'iga o laina o lo'o i ai le mamafa le lelei (ma le mamafa e tusa ai)
2) sui le mamafa i le tau maualalo ina ia amata mai le 0
3) aua le fa'aogaina le mamafa o manoa

O le filifiliga lona tolu na foliga mai e sili ona leaga, ae o le lua muamua na faʻaleleia le iʻuga, o le mea sili o le filifiliga Numera 1, lea na vave aumaia ai i matou i le nofoaga lona lua i le taimi nei i le galuega muamua ma muamua i le lona lua.

O le matou laasaga na sosoo ai o le toe iloiloina lea o faʻamaumauga mo mea taua o loʻo misi. Na tuʻuina mai e le faʻalapotopotoga ia i matou faʻamaumauga ua uma ona selu, lea e tele naua mea e misi, ma na suia e -9999.

Na matou mauaina ni mea taua na misi i koluma MatchedHit_{X,Y,Z}[N] ma MatchedHit_D{X,Y,Z}[N], ma na'o le N=2 po'o le 3. E pei ona matou malamalama ai, o nisi vaega e le'i pasi uma 4 detectors, ma taofi a le o le 3rd po o le 4th ipu. O fa'amaumauga fo'i o lo'o iai le Lextra_{X,Y}[N] koluma, lea e foliga mai o lo'o fa'amatalaina le mea lava e tasi ma MatchedHit_{X,Y,Z}[N], ae fa'aaoga nisi ituaiga o fa'aopoopoga. O nei taumatematega laiti na fautua mai ai e mafai ona sui le Lextra_{X,Y}[N] mo tau o lo'o misi i MatchedHit_{X,Y,Z}[N] (mo na'o X ma Y fa'amaopoopo). MatchedHit_Z[N] sa matua fa'atumuina i le vaeluagalemu. O nei togafiti na mafai ai ona matou oʻo atu i le tulaga muamua i galuega uma e lua.

Mafaufau latou te leʻi tuʻuina atu se mea mo le manumalo i le laasaga muamua, semanu matou te tu ai iina, ae na matou faʻaauau, tusia ni ata matagofie ma o mai ma foliga fou.

Mo se faʻataʻitaʻiga, na matou iloa afai matou te faʻapipiʻi vaega o se vaega ma faʻamaufaʻailoga e fa, e mafai ona matou vaʻaia o togi i luga o papatusi taʻitasi o loʻo faʻavasegaina i 5 rectangles ma le faʻatusatusaga o le 4 i le 5 ma faʻatotonu i le. le mataitusi (0,0), ma le i E leai ni togi i le tafa tafa'afa muamua.

Laupapa nu	1	2	3	4	5
Papatusi 1	500x625	1000x1250	2000x2500	4000x5000	8000x10000
Papatusi 2	520x650	1040x1300	2080x2600	4160x5200	8320x10400
Papatusi 3	560x700	1120x1400	2240x2800	4480x5600	8960x11200
Papatusi 4	600x750	1200x1500	2400x3000	4800x6000	9600x12000

I le fuafuaina o nei fua, matou te faʻaopoopoina 4 vaega fou faʻavasegaina mo vaega taʻitasi - o le numera o le rectangle e fesoʻotaʻi ai ipu taʻitasi.

Na matou matauina foi na foliga mai e salalau solo i itu mai le ogatotonu ma na tulaʻi mai le manatu e iloilo le "lelei" o lenei faʻasalalau. O le mea lelei, atonu o le a mafai ona maua mai se ituaiga o parabola "lelei" e faʻatatau i le mea e alu ese ai ma faʻatusatusa le vaʻaiga mai ai, ae matou faʻatapulaʻaina i matou lava i le laina saʻo "lelei". O le fausia o ia laina sa'o lelei mo vaega ta'itasi e ulufale ai, na mafai ai ona matou fa'atatauina le va'aiga masani o le ala o vaega ta'itasi mai lenei laina sa'o. Talu ai o le averesi o se'ese'esega mo le sini = 1 o le 152, ma mo le sini = 0 o le 390, sa matou iloiloina ma le mautinoa e lelei lenei vaega. Ma o le mea moni, o lenei tulaga na vave ona oʻo i le pito i luga o mea sili ona aoga.

Na matou fiafia ma faʻaopoopoina le faʻaogaina o mea faʻaoga uma e 4 mo vaega taʻitasi mai le laina saʻo lelei e avea ma faʻaopoopoga 4 vaega (ma latou galulue lelei).

O fesoʻotaʻiga i tala faʻasaienisi i luga o le autu o le tauvaga, na tuʻuina mai ia i matou e le au faʻalapotopotoga, na faʻaosofia ai le manatu e mamao ese matou mai le muamua e foia lenei faʻafitauli ma, masalo, o loʻo i ai se ituaiga o polokalama faʻapitoa. I le mauaina o se fale teu oloa i luga o le github lea na faʻaaogaina ai metotia IsMuonSimple, IsMuon, IsMuonLoose, matou te faʻafeiloaʻi i la matou 'upega tafaʻilagi ma ni suiga laiti. O metotia lava ia e matua faigofie lava: mo se faʻataʻitaʻiga, afai o le malosi e itiiti ifo nai lo se faʻailoga, ona le o se muon, a leai o se muon. O ia foliga faigofie e mautinoa lava e le mafai ona tuʻuina atu se faʻaopoopoga i le tulaga o le faʻaogaina o le gradient boosting, o lea na matou faʻaopoopoina ai se isi "mamao" taua i le faitotoʻa. O nei foliga ua faʻaleleia teisi foi. Masalo, e ala i le suʻesuʻeina atili o metotia o loʻo i ai nei, na mafai ai ona maua ni auala sili atu ona malosi ma faʻaopopo i faʻailoga.

I le faʻaiʻuga o le tauvaga, na matou faʻafefeteina le "vave" fofo mo le faʻafitauli lona lua; i le faaiuga, e ese mai le laina faʻavae i vaega nei:

1. I laina e le lelei le mamafa na fa'asolosolo ai le sini
2. Fa'atumuina i mea taua o lo'o misi ile MatchedHit_{X,Y,Z}[N]
3. Fa'aitiitia le loloto i le 7
4. Fa'aititia le fua faatatau o le a'oa'oina i le 0.1 (e 0.19)

O se taunuuga, sa matou taumafai atili i foliga (e le o manuia tele), filifilia parakalafa ma catboost aʻoaʻoina, lightgbm ma xgboost, faʻataʻitaʻiina faʻafefiloi eseese o valoʻaga ma aʻo leʻi tatalaina le faalilolilo sa matou manumalo ma le mautinoa i le galuega lona lua, ma i le taimi muamua sa matou i ai i le taitai.

Ina ua uma le tatalaina o le fale tumaoti sa matou i ai i le tulaga 10 mo le galuega muamua ma le 1 mo le lona lua. Na fefiloi uma ta'ita'i, ma o le saosaoa na'o ia na maualuga atu nai lo le libboard. E foliga mai e le lelei le fa'avasegaina o fa'amaumauga (po'o se fa'ata'ita'iga e leai ni laina e iai le mamafa o le mamafa i totonu o le tagata lava ia) ma sa fai si fa'alavelave.

SNA Hackathon 2019 - Tusitusiga. Laasaga muamua

O le galuega o le faʻavasegaina o tagata faʻaoga i luga o le upega tafaʻilagi a le Odnoklassniki e faʻavae i luga o tusitusiga o loʻo i ai; i le faʻaopoopoga i le tusitusiga, sa i ai ni nai isi uiga o le pou (gagana, pule, aso ma le taimi o le foafoaga, aso ma le taimi o le matamataina. ).

I le avea ai ma auala masani e galue ai ma tusitusiga, ou te faʻamaonia filifiliga e lua:

1. Fa'afanua o upu ta'itasi i totonu o se va'a fa'a-n-dimensional e fa'apea e tutusa upu fa'atusa (faitau atili i tatou tusiga), ona su'e lea o le upu averesi mo le tusitusiga po'o le fa'aogaina o masini e fa'atatau i le tulaga fa'atatau o upu (CNN, LSTM/GRU).
2. Fa'aaogā fa'ata'ita'iga e mafai ona galue vave i fuaiupu atoa. O se faataʻitaʻiga, o Bert. I le talitonuga, o lenei faiga e tatau ona sili atu ona lelei.

Talu ai o loʻu aafiaga muamua lea i tusitusiga, e sese le aʻoaʻoina o se tasi, o lea o le a ou aʻoaʻoina ai aʻu lava. O fautuaga ia o le a ou tuʻuina atu ia te aʻu lava i le amataga o le tauvaga:

1. Ae e te leʻi tamoe e aʻoaʻo se mea, vaʻai i faʻamaumauga! I le faʻaopoopoga i le tusitusiga lava ia, o faʻamaumauga e tele koluma ma na mafai ona faʻapipiʻi sili atu mai ia i latou nai lo aʻu. O le mea sili ona faigofie o le fa'auigaina o le fa'ailoga mo nisi o koluma.
2. Aua le aʻoaʻoina mai faʻamatalaga uma! Sa i ai le tele o faʻamatalaga (e tusa ma le 17 miliona laina) ma e matua le manaʻomia le faʻaaogaina uma e suʻe ai manatu. O a'oa'oga ma mua'i fa'agaioiga sa fai si telegese, ma e mautinoa lava na ou maua se taimi e fa'ata'ita'i ai ni fa'amatalaga mata'ina.
3. <Fautuaga finau> Le mana'omia ona su'e se fa'ata'ita'iga fasioti tagata. Na umi se taimi na ou mafaufau ai ia Elmo ma Bert, ma le faamoemoe o le a vave ona la aveina aʻu i se nofoaga maualuga, ma o se taunuuga na ou faʻaaogaina FastText faʻapipiʻiina muamua mo le gagana Rusia. Sa le mafai ona sili atu lo'u saoasaoa ma Elmo, ma sa le'i maua lava se taimi e mafaufau ai ma Bert.
4. <Fautuaga finau> Leai se mana'omia e su'e se tasi fa'ailoga fasioti tagata. I le vaʻavaʻai i faʻamaumauga, na ou matauina e tusa ma le 1 pasene o tusitusiga e le o iai ni tusitusiga! Ae sa i ai sootaga i nisi o punaoa, ma sa ou tusia se parser faigofie na tatalaina le saite ma toso mai le ulutala ma le faʻamatalaga. Na foliga mai o se manatu lelei, ae na ou alu ese ma filifili e faʻavasega uma soʻotaga mo tusitusiga uma ma toe leiloa le tele o le taimi. O nei mea uma e leʻi maua ai se faʻaleleia atili o le iʻuga mulimuli (e ui lava na ou mafaufauina le aʻafia, mo se faʻataʻitaʻiga).
5. E galue uiga masani. Matou Google, mo se faʻataʻitaʻiga, "text features kaggle", faitau ma faʻaopoopo mea uma. Na saunia e le TF-IDF se faʻaleleia atili, faʻapea foʻi ma fuainumera faʻatusa e pei o le umi o tusitusiga, upu, ma le aofaʻi o faailoga.
6. Afai ei ai koluma DateTime, e aoga le faʻavasegaina i ni vaega eseese (itula, aso o le vaiaso, ma isi). O fea vaega e tatau ona fa'amamafaina e tatau ona su'esu'eina e fa'aoga ai kalafi/nisi metrics. O iinei, i luga o se mea, na ou faia saʻo mea uma ma faʻamaonia uiga talafeagai, ae o se suʻesuʻega masani e le afaina (mo se faʻataʻitaʻiga, e pei ona matou faia i le faaiuga).

O le i'uga o le tauvaga, na ou a'oa'oina ai se tasi fa'ata'ita'iga malosi i le upu convolution, ma le isi fa'atatau i le LSTM ma le GRU. Na latou faʻaaogaina faʻapipiʻi FastText muamua aʻoaʻoina mo le gagana Rusia (Na ou taumafai i le tele o isi faʻapipiʻi, ae o mea ia e sili ona aoga). Ina ua uma ona ave le fua faatatau, sa ou mauaina le tulaga 7 mulimuli mai le 76 tagata auai.

Ina ua uma le laasaga muamua na lomia tusiga a Nikolai Anokhin, o le na maua le tulaga lua (na ia auai mai le tauvaga), ma o lana fofo e oo atu i se laasaga na toe fai mai ia te aʻu, ae na ia agai i luma ona o le faiga o le query-key-value attention mechanism.

Laasaga lona lua OK & IDAO

O vaega lona lua o tauvaga na faia toetoe lava sosoo, o lea na ou filifili ai e tilotilo faatasi.

Muamua, o aʻu ma le au fou na maua na iu i le ofisa mataʻina o le kamupani Mail.ru, lea o la matou galuega o le tuʻufaʻatasia lea o faʻataʻitaʻiga o ala e tolu mai le laasaga muamua - tusitusiga, ata ma faʻatasi. E sili atu nai lo le 2 aso na faʻaavanoaina mo lenei mea, lea na foliga mai e laʻititi lava. O le mea moni, na mafai ona matou toe faia a matou faʻaiʻuga mai le laasaga muamua e aunoa ma le mauaina o ni tupe maua mai le tuʻufaʻatasiga. I le faaiuga, na matou maua le tulaga 5, ae na le mafai ona matou faʻaogaina le faʻataʻitaʻiga o tusitusiga. A maeʻa ona vaʻavaʻai i fofo a isi tagata auai, e foliga mai e aoga le taumafai e faʻapipiʻi tusitusiga ma faʻaopopo i le faʻataʻitaʻiga collab. O se itu o aafiaga o lenei laasaga o ni lagona fou, feiloai ma fesoʻotaʻiga ma tagata auai malulu ma faʻalapotopotoga, faʻapea foʻi ma le le lava o le moe, atonu na aʻafia ai le iʻuga o le vaega mulimuli o le IDAO.

O le galuega i le IDAO 2019 Final stage o le vaʻai lea o le taimi faʻatali mo se faʻatonuga a Yandex taxi drivers i le malaevaalele. I le laasaga 2, 3 galuega = 3 malaevaalele na faailoaina. Mo malae va'alele ta'itasi, e tu'uina atu fa'amatalaga minute ta'i minute i le aofa'i o oka taxi mo le ono masina. Ma e pei o faʻamaumauga o suʻega, o le masina na sosoo ai ma faʻamatalaga minute-minute-minute i luga o poloaiga mo le 2 vaiaso talu ai na tuʻuina atu. Sa itiiti se taimi (1,5 aso), o le galuega sa fai si patino, na o le tasi le tagata mai le 'au na sau i le tauvaga - ma o se taunuuga, o se nofoaga faanoanoa i le faaiuga. Manaia manatu e aofia ai taumafaiga e faʻaoga faʻamatalaga i fafo: tau, taʻavale taʻavale ma Yandex taxi order statistics. E ui lava e leʻi taʻu mai e le au faʻalapotopotoga poʻo a nei malaevaalele, e toʻatele tagata auai na manatu o latou o Sheremetyevo, Domodedovo ma Vnukovo. E ui lava o lenei manatu na faʻamaonia ina ua maeʻa le tauvaga, o foliga, mo se faʻataʻitaʻiga, mai Moscow weather data na faʻaleleia atili ai iʻuga i luga o le faʻamaonia ma luga o le leaderboard.

iʻuga

1. O tauvaga ML e manaia ma manaia! O iinei o le ae maua ai le faʻaogaina o tomai i faʻamatalaga faʻamatalaga, ma i faʻataʻitaʻiga faʻaʻoleʻole ma metotia, ma na o le mafaufau masani e talia.
2. O le ML o se tino tele o le malamalama e foliga mai o loʻo faʻatupulaia faʻateleina. Na ou setiina aʻu lava se sini e faamasani i vaega eseese (faailoga, ata, laulau, tusitusiga) ma ua uma ona ou iloa le tele o mea e tatau ona suʻesuʻe. Mo se faʻataʻitaʻiga, ina ua maeʻa nei tauvaga sa ou filifili e suʻesuʻe: faʻapipiʻi algorithms, auala faʻapitoa mo le galue ai ma le faʻaleleia o faletusi (aemaise lava, galue ma CatBoost i luga o le GPU), fesoʻotaʻiga faʻapipiʻi, le faʻaogaina o le fesili-key-value mechanism.
3. E le na o le kaggle! E tele isi tauvaga e faigofie ai ona maua se mitiafu, ma e tele avanoa mo isi fa'ailoga.
4. Fesootaiga! O loʻo i ai se faʻalapotopotoga tele i le matata o le aʻoaʻoina o masini ma suʻesuʻega faʻamaumauga, o loʻo i ai vaega autu i luga o le telegram, faʻavaivai, ma tagata ogaoga mai Mail.ru, Yandex ma isi kamupani tali fesili ma fesoasoani i tagata amata ma i latou o loʻo faʻaauauina o latou ala i lenei matata. o le poto.
5. Ou te fautua atu i tagata uma na musuia e le manatu muamua e asiasi datafest - o se konafesi saoloto tele i Moscow, lea o le a faia ia Me 10-11.

puna: www.habr.com