Piv txwv li, peb pom tias yog tias peb npaj cov ntsiab lus sib tshuam ntawm ib feem nrog txhua ntawm plaub daim hlau ntes, peb tuaj yeem pom tias cov ntsiab lus ntawm txhua daim phiaj tau muab faib ua 5 daim duab plaub nrog qhov sib piv ntawm 4 txog 5 thiab nyob nruab nrab ntawm tus taw tes (0,0), thiab hauv Tsis muaj cov ntsiab lus hauv thawj daim duab plaub.
Phaj no. / duab plaub qhov ntev
1
2
3
4
5
Phaj 1
500h625
1000h1250
2000h2500
4000h5000
8000h10000
Phaj 2
520h650
1040h1300
2080h2600
4160h5200
8320h10400
Phaj 3
560h700
1120h1400
2240h2800
4480h5600
8960h11200
Phaj 4
600h750
1200h1500
2400h3000
4800h6000
9600h12000
Tom qab txiav txim siab qhov ntev no, peb ntxiv 4 qhov tshiab categorical nta rau txhua qhov - tus naj npawb ntawm cov duab plaub uas nws hla txhua lub phaj.
Peb kuj pom tias cov khoom zoo li tawg mus rau sab ntawm qhov chaw thiab lub tswv yim tau tshwm sim los ntsuas qhov "zoo" ntawm qhov tawg no. Qhov zoo tshaj plaws, tej zaum nws yuav tuaj yeem tuaj nrog qee yam "zoo tagnrho" parabola nyob ntawm qhov taw tes tawm thiab kwv yees qhov sib txawv ntawm nws, tab sis peb txwv peb tus kheej rau txoj kab "zoo tagnrho" ncaj. Tom qab tsim cov kab ncaj nraim zoo li no rau txhua qhov chaw nkag, peb tuaj yeem suav cov qauv sib txawv ntawm qhov sib txawv ntawm txhua qhov ntawm cov kab ncaj nraim no. Txij li qhov nruab nrab sib txawv rau lub hom phiaj = 1 yog 152, thiab rau lub hom phiaj = 0 nws yog 390, peb tau ntsuas qhov kev ntsuas no zoo. Thiab qhov tseeb, qhov no feature tam sim ntawd ua nws mus rau sab saum toj ntawm cov tseem ceeb tshaj plaws sawv daws yuav.
Raws li classical mus kom ze rau kev ua hauj lwm nrog ntawv nyeem, kuv yuav highlight ob txoj kev:
Daim ntawv qhia txhua lo lus rau hauv qhov chaw n-dimensional vector qhov chaw xws li cov lus zoo sib xws muaj cov vectors zoo sib xws (nyeem ntxiv hauv peb tsab xov xwm), tom qab ntawd nrhiav cov lus nruab nrab rau cov ntawv nyeem lossis siv cov txheej txheem uas coj mus rau hauv tus account qhov txheeb ze ntawm cov lus (CNN, LSTM / GRU).
Siv cov qauv uas tuaj yeem ua haujlwm tam sim nrog tag nrho cov kab lus. Piv txwv li, Bert. Hauv txoj kev xav, txoj hauv kev no yuav tsum ua haujlwm zoo dua.
Txij li qhov no yog kuv thawj zaug nrog cov ntawv nyeem, nws yuav yuam kev rau ib tug neeg, yog li kuv yuav qhia kuv tus kheej. Cov no yog cov lus qhia kuv yuav muab rau kuv tus kheej thaum pib ntawm kev sib tw:
Ua ntej koj khiav mus qhia ib yam dab tsi, saib cov ntaub ntawv! Ntxiv nrog rau cov ntawv nyeem nws tus kheej, cov ntaub ntawv muaj ob peb kab thiab nws tuaj yeem nyem tawm ntau ntawm lawv ntau dua li kuv tau ua. Qhov yooj yim tshaj plaws yog los ua lub hom phiaj encoding rau qee cov kab.
Tsis txhob kawm los ntawm tag nrho cov ntaub ntawv! Muaj ntau cov ntaub ntawv (txog 17 lab kab) thiab nws tsis tas yuav tsum siv tag nrho lawv los ntsuas qhov kev xav. Kev cob qhia thiab kev ua haujlwm ua ntej tau qeeb heev, thiab kuv pom tseeb tias yuav muaj sijhawm los ntsuas qhov kev xav zoo dua.
<Cov lus qhia tsis sib haum xeeb> Tsis tas yuav nrhiav tus neeg tua neeg. Kuv siv sijhawm ntev los txheeb xyuas Elmo thiab Bert, vam tias lawv yuav coj kuv mus rau qhov chaw siab tam sim ntawd, thiab vim li ntawd kuv tau siv FastText ua ntej kev cob qhia embeddings rau cov lus Lavxias. Kuv tsis tuaj yeem ua tiav qhov nrawm dua nrog Elmo, thiab kuv tseem tsis muaj sijhawm los txiav txim siab nws nrog Bert.
<Cov lus qhia tsis sib haum xeeb> Tsis tas yuav nrhiav ib tug neeg tua neeg. Saib ntawm cov ntaub ntawv, kuv pom tias nyob ib ncig ntawm 1 feem pua ββββntawm cov ntawv tsis muaj cov ntawv nyeem! Tab sis muaj kev txuas mus rau qee qhov kev pab cuam, thiab kuv tau sau ib qho yooj yim parser uas qhib lub xaib thiab rub tawm lub npe thiab cov lus piav qhia. Nws zoo li lub tswv yim zoo, tab sis tom qab ntawd kuv tau nqa mus thiab txiav txim siab txheeb xyuas txhua qhov txuas rau txhua cov ntawv thiab rov poob ntau lub sijhawm. Tag nrho cov no tsis tau muab kev txhim kho tseem ceeb hauv qhov kawg tshwm sim (txawm tias kuv xam pom qhov stemming, piv txwv li).
Classic nta ua haujlwm. Peb Google, piv txwv li, "ntawv nyeem kaggle", nyeem thiab ntxiv txhua yam. TF-IDF muab kev txhim kho, ib yam li kev txheeb cais xws li cov ntawv ntev, cov lus, thiab tus lej cim.
Yog tias muaj cov kab DateTime, nws tsim nyog parsing rau hauv ob peb yam tshwj xeeb (teev, hnub ntawm lub lim tiam, thiab lwm yam). Cov yam ntxwv twg yuav tsum tau nthuav tawm yuav tsum tau txheeb xyuas siv cov duab / qee qhov ntsuas. Ntawm no, ntawm kev xav, kuv tau ua txhua yam kom raug thiab hais txog cov yam ntxwv tsim nyog, tab sis kev tsom xam ib txwm yuav tsis raug mob (piv txwv li, zoo li peb tau ua thaum kawg).
Raws li qhov tshwm sim ntawm kev sib tw, kuv tau kawm ib tus qauv keras nrog lo lus convolution, thiab lwm tus raws li LSTM thiab GRU. Ob leeg tau siv ua ntej kev cob qhia FastText embeddings rau cov lus Lavxias (Kuv tau sim ntau lwm cov embeddings, tab sis cov no yog cov uas ua haujlwm zoo tshaj). Tom qab qhov nruab nrab qhov kev kwv yees, kuv tau qhov kawg 7 qhov chaw ntawm 76 tus neeg koom.
Tom qab thawj theem nws tau luam tawm tsab xov xwm los ntawm Nikolai Anokhin, leej twg tau txais qhov thib ob (nws tau koom nrog kev sib tw), thiab nws txoj kev daws teeb meem mus rau qee theem rov ua dua kuv, tab sis nws tau mus ntxiv vim yog cov lus nug-qhov tseem ceeb-tus nqi saib xyuas.
Qhov thib ob theem OK & IDAO
Qhov thib ob theem ntawm kev sib tw tau tshwm sim yuav luag sib law liag, yog li kuv txiav txim siab saib lawv ua ke.
Ua ntej, kuv thiab pab pawg tau txais tshiab tau xaus rau hauv qhov chaw ua haujlwm zoo ntawm Mail.ru lub tuam txhab, qhov twg peb txoj haujlwm yog los ua ke cov qauv ntawm peb txoj kev taug kev los ntawm thawj theem - ntawv nyeem, duab thiab sib koom ua ke. Ib me ntsis ntau tshaj 2 hnub tau faib rau qhov no, uas tau dhau los ua tsawg heev. Qhov tseeb, peb tsuas tuaj yeem rov ua peb cov txiaj ntsig los ntawm thawj theem yam tsis tau txais txiaj ntsig los ntawm kev sib koom ua ke. Thaum kawg, peb tau txais qhov thib 5, tab sis peb tsis tuaj yeem siv tus qauv ntawv. Tom qab saib cov kev daws teeb meem ntawm lwm tus neeg koom, zoo li nws tsim nyog sim ua pawg cov ntawv thiab ntxiv rau cov qauv sib koom ua ke. Ib qho kev mob tshwm sim ntawm theem no yog qhov kev xav tshiab, kev sib tham thiab kev sib tham nrog cov neeg koom nrog txias thiab cov koom haum, nrog rau kev pw tsaug zog tsis zoo, uas yuav cuam tshuam rau qhov tshwm sim ntawm theem kawg ntawm IDAO.
Lub luag haujlwm ntawm IDAO 2019 theem kawg yog los kwv yees lub sijhawm tos rau kev txiav txim rau Yandex cov neeg tsav tsheb tavxij ntawm lub tshav dav hlau. Nyob rau theem 2, 3 txoj haujlwm = 3 lub tshav dav hlau tau txheeb xyuas. Rau txhua lub tshav dav hlau, cov ntaub ntawv ib feeb-rau-feeb ntawm cov tsheb tavxij xaj rau rau lub hlis yog muab. Thiab raws li cov ntaub ntawv xeem, lub hli tom ntej thiab cov ntaub ntawv feeb-los-feeb ntawm kev txiav txim rau 2 lub lis piam dhau los tau muab. Muaj sijhawm me ntsis (1,5 hnub), txoj haujlwm tseem ceeb heev, tsuas yog ib tus neeg los ntawm pab pawg tuaj rau hauv kev sib tw - thiab vim li ntawd, nws yog qhov chaw tu siab rau qhov kawg. Cov tswv yim txaus nyiam suav nrog kev sim siv cov ntaub ntawv sab nraud: huab cua, tsheb thauj mus los thiab Yandex tsheb tavxij xaj cov txheeb cais. Txawm hais tias cov koom haum tsis tau hais tias cov tshav dav hlau no yog dab tsi, ntau tus neeg koom xav tias lawv yog Sheremetyevo, Domodedovo thiab Vnukovo. Txawm hais tias qhov kev xav no tau tsis lees paub tom qab kev sib tw, cov yam ntxwv, piv txwv li, los ntawm Moscow cov ntaub ntawv huab cua tau txhim kho cov txiaj ntsig ob qho tib si ntawm kev siv tau thiab ntawm cov thawj coj.
Kuv qhia txhua tus uas tau txais kev tshoov siab los ntawm qhov taw tes dhau los mus xyuas datafest - lub rooj sib tham dawb loj hauv Moscow, uas yuav muaj nyob rau lub Tsib Hlis 10-11.