Kei te haere tonu te kaupapa o nga whakataetae ako miihini i runga i a Habré, e hiahia ana matou ki te whakauru atu ki nga kaipānui ki etahi atu waahanga e rua. He pono ehara i te mea nui penei i te kaggle, engari e tika ana kia arohia.

Ko ahau ake, kaore au e pai ki te kaggle mo etahi take:

• tuatahi, he maha nga marama e tu ana nga whakataetae ki reira, me kaha te kaha ki te whai waahi;
• tuarua, nga kakano a te iwi (nga otinga a te iwi). Ko nga kaikorero a Kaggle e kii ana ki te atawhai i a raatau i runga i te marino o nga moemoeka o Tibet, engari he tino whakama ka puta ohorere mai tetahi mea i mahia e koe mo te marama kotahi ki te rua ranei ka whakatakotoria ki runga i te pereti hiriwa mo te katoa.

Waimarie, ka whakahaerehia nga whakataetae ako miihini i runga i etahi atu papaaho, ka korerohia etahi o enei whakataetae.

IDAO	SNA Hackathon 2019
Reo whaimana: English, nga kaiwhakahaere: Yandex, Sberbank, HSE	Te reo Russian mana, kaiwhakarite: Mail.ru Group
Rauna Online: Hanuere 15 — Feb 11, 2019; Whakamutunga i runga i te Pae: Aperira 4-6, 2019	ipurangi - mai i te 7 o Pepuere ki te 15 o Maehe; tuimotu - mai i te 30 o Maehe ki te 1 o Aperira.
Ma te whakamahi i etahi huinga raraunga e pa ana ki tetahi matūriki i roto i te Large Hadron Collider (te hikoi, te torohaki, me etahi atu tawhā tinana tino uaua), whakatauhia he muon, ehara ranei Mai i tenei korero, e 2 nga mahi i tohua: — i roto i tetahi me tuku noa to matapae, - me tetahi atu - te waehere katoa me te tauira mo te matapae, a ko te mahi i raro i nga here tino tika mo te wa whakahaere me te whakamahi mahara	Mo te whakataetae SNA Hackathon, i kohia nga rarangi o nga whakaaturanga ihirangi mai i nga roopu tuwhera i nga purongo korero a nga kaiwhakamahi mo Hui-tanguru-Maehe 2018. Kei roto i te huinga whakamatautau te wiki whakamutunga me te hawhe o Maehe. Kei ia urunga kei roto i te rangitaki nga korero mo nga mea i whakaatuhia me ki a wai, me pehea te urupare a te kaiwhakamahi ki tenei ihirangi: i tohu, i korero, i warewarehia, i huna ranei i te whangai. Ko te tino o nga mahi a te SNA Hackathon ko te whakarangatira i ia kaiwhakamahi o te whatunga hapori Odnoklassniki tana whangai, me te whakanui ake i nga pou ka whiwhi "akomanga". I te wahanga ipurangi, i wehea te mahi kia 3 nga wahanga: 1. whakarangatira i nga pou i runga i nga ahuatanga mahi tahi 2. whakarangatira i nga pou i runga i nga whakaahua kei roto 3. whakarangatirahia nga pou e ai ki nga tuhinga kei roto
Inenga ritenga matatini, penei i te ROC-AUC	Toharite ROC-AUC ma te kaiwhakamahi
Nga taonga mo te wahanga tuatahi - T-hate mo nga waahi N, haere ki te wahanga tuarua, i utua ai te noho me nga kai i te wa o te whakataetae. Wāhanga tuarua - ??? (Mo etahi take, kaore au i tae ki te hui whakawhiwhi tohu, kaore au i mohio he aha nga taonga i te mutunga). I oati ratou he rorohiko rorohiko ki nga mema katoa o te kapa toa	Nga taonga mo te waahi tuatahi - T-shirts mo nga kaiuru pai 100, haere ki te waahanga tuarua, i reira ka utua te haerenga ki Moscow, te noho me nga kai i te wa o te whakataetae. Ano, i te mutunga o te wahanga tuatahi, i panuitia nga taonga mo te tino pai i roto i nga mahi e 3 i te atamira 1: i toa te katoa i tetahi kaari ataata RTX 2080 TI! Ko te wahanga tuarua ko te wahanga kapa, ko nga roopu e 2 ki te 5 nga tangata, nga taonga: Te waahi tuatahi - 1 rubles Te waahi tuatahi - 2 rubles Te waahi tuatahi - 3 rubles utu kaiwhakawa - 100 rubles
Roopu waea waea mana, ~190 nga kaiuru, korero i te reo Ingarihi, me tatari nga patai mo etahi ra mo te whakautu	Roopu whaimana i roto i te waea waea, ~1500 nga kaiuru, he kaha te korerorero mo nga mahi i waenga i nga kaiuru me nga kaiwhakarite
E rua nga otinga taketake i tukuna e nga kaiwhakarite, ngawari me te matatau. He iti iho i te 16 GB o te RAM, me te mahara matatau kaore i uru ki te 16. I te wa ano, he iti noa te titiro whakamua, kaore i taea e nga kaiuru te kaha ki te whakaputa i te otinga matatau. Karekau he uaua ki te whakarewa i enei otinga. Me tohu kei roto i te tauira matatau he korero me te tohu mo te waahi ka timata ki te whakapai ake i te otinga.	I whakaratohia nga otinga taketake mo ia o nga mahi, he ngawari noa atu i nga kaiuru. I nga ra o mua o te whakataetae, he maha nga uauatanga i pa ki nga kaiuru: tuatahi, i tukuna nga raraunga ki te whakatakotoranga Apache Parquet, kaore nga huinga katoa o Python me te putea parquet i mahi me te kore he. Ko te uaua tuarua ko te tango pikitia mai i te kapua mēra; i tenei wa kaore he huarahi ngawari ki te tango i te nui o nga raraunga i te wa kotahi. Ko te mutunga, ko enei raruraru i whakaroa i nga kaiuru mo nga ra e rua.

IDAO. Te wahanga tuatahi

Ko te mahi he whakarōpū i nga matūriki muon/kore-muon i runga i o raatau ahuatanga. Ko te mea nui o tenei mahi ko te noho mai o te pou taumaha i roto i nga raraunga whakangungu, na nga kaiwhakarite tonu i whakamaori he maia ki te whakautu mo tenei rarangi. Ko te raruraru he torutoru noa nga rarangi kei roto nga taumaha kino.

I muri i te whakaaro mo etahi meneti mo te raina me te tohu (ko te tohu i aro noa ki tenei ahuatanga o te pou taumaha) me te hanga i tenei kauwhata, ka whakatau matou ki te tirotiro i nga whiringa e 3:

1) Hurihurihia te whaainga o nga raina me nga taumahatanga kino (me nga taumahatanga)
2) nukuhia nga pauna ki te uara iti kia timata mai i te 0
3) kaua e whakamahi i nga taumaha aho

Ko te tuatoru o nga whiringa ka puta ko te kino rawa atu, engari ko nga mea tuatahi e rua i pai ake te hua, ko te mea pai ko te whiringa Nama 1, i mau tonu mai ki te waahi tuarua o naianei i te mahi tuatahi me te tuatahi i te tuarua.

Ko ta matou mahi i muri mai ko te arotake i nga raraunga mo nga uara ngaro. I homai e nga kaiwhakarite nga raraunga kua heru, he iti noa nga uara kua ngaro, ka whakakapihia e -9999.

I kitea e matou nga uara ngaro i roto i nga pou MatchedHit_{X,Y,Z}[N] me MatchedHit_D{X,Y,Z}[N], a, i te wa anake N=2, 3 ranei. E mohio ana matou, karekau etahi matūriki. paahihia nga kaitirotiro e 4 katoa, ka mutu i runga i te pereti tuatoru, tuawha ranei. Kei roto ano i nga raraunga nga pou Lextra_{X,Y}[N], he ahua rite tonu te whakaahua ki a MatchedHit_{X,Y,Z}[N], engari he ahua taapiri. I kii enei whakaaro iti ka taea te whakakapi a Lextra_{X,Y}[N] mo nga uara ngaro i MatchedHit_{X,Y,Z}[N] (mo nga taunga X me Y anake). MatchedHit_Z[N] i whakakiia pai ki te tau waenga. Na enei mahi raweke i taea e matou te eke ki te waahi takawaenga tuatahi i roto i nga mahi e rua.

I te whakaaro kaore i hoatu e ratou tetahi mea mo te wikitoria i te waahi tuatahi, ka taea e matou te whakamutu i reira, engari ka haere tonu matou, ka tuhi i etahi pikitia ataahua, ka puta mai nga ahuatanga hou.

Hei tauira, i kitea e matou ki te taraihia e matou nga waahi whakawhiti o tetahi matūriki ki ia o nga pereti e wha, ka kite matou ka whakarōpūhia nga tohu o ia papa ki nga tapawha e 5 me te ahua o te 4 ki te 5 me te pokapū ki te te ira (0,0), me te in Karekau he tohu o te tapawha tuatahi.

Pereti nama / taha tapawhā	1	2	3	4	5
Pereti 1	500h625	1000h1250	2000h2500	4000h5000	8000h10000
Pereti 2	520h650	1040h1300	2080h2600	4160h5200	8320h10400
Pereti 3	560h700	1120h1400	2240h2800	4480h5600	8960h11200
Pereti 4	600h750	1200h1500	2400h3000	4800h6000	9600h12000

I muri i te whakatau i enei inenga, ka taapirihia e matou e 4 nga waahanga waahanga hou mo ia matūriki - te tau o te tapawhā tapawhā e whiti ana i ia pereti.

I kite ano matou i te ahua kua marara nga matūriki ki nga taha mai i te pokapū ka puta te whakaaro ki te arotake i te "kounga" o tenei marara. Ko te mea pai, tera pea ka puta mai etahi momo parapara "pai" i runga i te waahi tangohanga me te whakatau i te rereke mai i tera, engari i whakawhäitihia e mätou ki te raina tika "tino pai". I te hanga i nga raina tika pai mo ia waahi urunga, ka taea e matou te tatau i te ine rereke o te huarahi o ia matūriki mai i tenei raina tika. I te mea ko te inenga toharite mo te whainga = 1 he 152, mo te whaainga = 0 he 390, i whakatauhia e matou he pai tenei ahuatanga. Ae, ko tenei ahuatanga i eke tonu ki te tihi o nga mea tino whai hua.

I harikoa matou me te taapiri i te rereke o nga waahi whakawhitinga e 4 mo ia matūriki mai i te raina tika pai hei taapiri e 4 nga waahanga (he pai hoki te mahi).

Ko nga hononga ki nga tuhinga putaiao mo te kaupapa o te whakataetae, i homai e nga kaiwhakariterite ki a matou, i puta te whakaaro kei tawhiti atu matou i te tuatahi ki te whakaoti i tenei raruraru, a, tera pea, he momo rorohiko motuhake. I te kitenga o tetahi putunga i runga i te github i whakatinanahia ai nga tikanga IsMuonSimple, IsMuon, IsMuonLoose, i whakawhitia e matou ki to maatau papaanga me nga whakarereketanga iti. He tino ngawari nga tikanga: hei tauira, mena he iti ake te kaha i tetahi paepae, karekau he muon, mena he muon. Ko enei ahuatanga ngawari kaore e taea te whakanui ake i te keehi o te whakamahi i te whakanui i te rōnaki, na reira ka taapirihia e matou tetahi atu "tawhiti" ki te paepae. Kua paku pai ake ano enei ahuatanga. Tena pea, na te tino tātari i nga tikanga o naianei, i kitea nga tikanga kaha ake, me te taapiri atu ki nga tohu.

I te mutunga o te whakataetae, he iti nei ta matou whakatika i te otinga "tere" mo te raru tuarua; i te mutunga, he rereke mai i te raarangi i nga waahanga e whai ake nei:

1. I roto i nga rarangi me te taumaha kino ka hurihia te whaainga
2. Kua whakakiia nga uara ngaro i MatchedHit_{X,Y,Z}[N]
3. Whakahekea te hohonu ki te 7
4. I whakahekehia te reeti ako ki te 0.1 (he 0.19)

Ko te mutunga mai, i whakamatauhia e matou etahi atu ahuatanga (kaore i tino angitu), i kowhiria nga tawhā me te catboost whakangungua, lightgbm me te xgboost, i whakamatau i nga momo whakakotahitanga o nga matapae, a i mua i te whakatuwheratanga i te waahi motuhake i toa maia matou ki te mahi tuarua, a i te tuatahi ko matou i roto i nga rangatira.

I muri i te whakatuwheratanga i te waahi motuhake ko matou i te waahi 10 mo te mahi tuatahi me te tuatoru mo te tuarua. Ka uru nga rangatira katoa, ka tere ake te tere i te taha o te libboard. Te ahua nei he kino te whakararangi o nga raraunga (hei tauira, karekau he rarangi me nga taumahatanga kino i roto i te taha) a he ahua pouri tenei.

SNA Hackathon 2019 - Kuputuhi. Te wahanga tuatahi

Ko te mahi ko te whakarangatira i nga pou a nga kaiwhakamahi i runga i te whatunga hapori Odnoklassniki i runga i nga tuhinga kei roto i a raatau; i tua atu i te tuhinga, he iti noa atu nga ahuatanga o te pou (te reo, te rangatira, te ra me te wa i hangaia ai, te ra me te wa o te tirohanga. ).

Ka rite ki nga huarahi tawhito ki te mahi me te tuhinga, ka tohuhia e au nga waahanga e rua:

1. Mahere ia kupu ki roto i te mokowā vector ahu-n kia rite ai te ahua o nga kupu rite (panui atu i roto to tatou tuhinga), ka kimihia te kupu toharite mo te tuhinga, te whakamahi ranei i nga tikanga e whai whakaaro ana ki te tuunga o nga kupu (CNN, LSTM/GRU).
2. Te whakamahi i nga tauira ka taea te mahi tonu me nga rerenga korero katoa. Hei tauira, ko Bert. I roto i te ariā, me pai ake te mahi o tenei huarahi.

I te mea koinei taku wheako tuatahi ki nga tuhinga, he he ki te whakaako i tetahi, no reira ka ako ahau i a au ano. Ko enei nga tohutohu ka hoatu e au i te timatanga o te whakataetae:

1. I mua i to oma ki te whakaako i tetahi mea, tirohia nga raraunga! I tua atu i te tuhinga ake, he maha nga pou o nga raraunga ka taea te kohi atu i a raatau i a au. Ko te mea ngawari ko te mahi whakawaehere whaainga mo etahi o nga pou.
2. Kaua e ako mai i nga raraunga katoa! He nui nga raraunga (e tata ana ki te 17 miriona nga rarangi) a kaore rawa i tika te whakamahi katoa ki te whakamatautau i nga whakapae. He tino puhoi te whakangungu me te mahi o mua, a kua whai taima ahau ki te whakamatau i nga whakapae whakamere.
3. <Tohutohu tautohetohe> Kaore he take ki te rapu tauira whakamate. He roa ahau ki te whakaaro ki a Elmo raua ko Bert, me te tumanako ka haria tonu ahau e raua ki te waahi teitei, na reira ka whakamahia e au nga whakaurunga kua oti te whakangungu a FastText mo te reo Ruhia. Kare e taea e au te tere ake me Elmo, a kare ano au i whai taima ki te whakaaro me Bert.
4. <Tohutohu tautohetohe> Kaore he take ki te rapu mo tetahi waahanga whakamate. I te titiro ki nga raraunga, i kite ahau kei te 1 paiheneti o nga tuhinga kaore he tuhinga kei roto! Engari he hononga ki etahi rauemi, a ka tuhia e ahau he parser ngawari i whakatuwhera i te waahi ka unuhia te taitara me te whakaahuatanga. Ko te ahua he whakaaro pai, engari katahi ka mauria ahau ka whakatau ki te tarai i nga hononga katoa mo nga tuhinga katoa ka ngaro ano te wa. Ko enei katoa kaore i tino pai ake te hua whakamutunga (ahakoa i whakaaro ahau ki te tiimata, hei tauira).
5. Ka mahi nga ahuatanga tawhito. Ko matou a Google, hei tauira, "nga waahanga tuhinga kaggle", panui me te taapiri i nga mea katoa. I whakapai ake a TF-IDF, me nga ahuatanga tatauranga penei i te roa o te kuputuhi, nga kupu, me te nui o nga tohu tohu.
6. Mēnā he tīwae DateTime, he mea tika kia wehewehea kia maha nga waahanga motuhake (haora, ra o te wiki, me etahi atu). Ko ēhea ngā āhuatanga me miramira me tātari mā te whakamahi kauwhata/ētahi inenga. I konei, i runga i te hiahia, i mahi tika ahau i nga mea katoa me te whakaatu i nga ahuatanga e tika ana, engari ko te tātaritanga noa e kore e mamae (hei tauira, penei i a maatau i te mutunga).

Ko te hua o te whakataetae, i whakangungu ahau i tetahi tauira pakeke ki te whakakorikori kupu, me tetahi atu i runga i te LSTM me te GRU. I whakamahia e raua tokorua nga whakaurunga FastText kua whakangungua mo te reo Ruhia (I whakamatauria e ahau etahi atu whakaurunga, engari ko enei nga mea i pai ake). Whai muri i te tauwaenga o nga matapae, ka eke ahau ki te tuunga 7 whakamutunga o nga kaiuru 76.

I muri i te wahanga tuatahi i whakaputaina tuhinga na Nikolai Anokhin, i riro i a ia te turanga tuarua (i uru atu ia ki waho o te whakataetae), a ko tana otinga tae noa ki tetahi atamira ka whakahoki ano i taku, engari i haere whakamua ia na te tikanga arowhai-matua-uara.

Tuarua OK & IDAO

Ko nga wahanga tuarua o nga whakataetae i tu tata tonu, no reira i whakaaro ahau ki te titiro tahi.

Tuatahi, ko ahau me te roopu hou kua riro mai i te tari whakamiharo o te kamupene Mail.ru, ko ta matou mahi ko te whakakotahi i nga tauira o nga ara e toru mai i te waahanga tuatahi - tuhinga, pikitia me te mahi tahi. Neke atu i te 2 nga ra i wehea mo tenei, i puta he iti rawa. Inaa, i taea noa e matou te whakahoki i o maatau hua mai i te waahanga tuatahi me te kore e whiwhi hua mai i te whakakotahitanga. I te mutunga, ka eke matou ki te waahi 5, engari kaore i taea e matou te whakamahi i te tauira tuhinga. I muri i te titiro ki nga otinga a etahi atu kaiuru, te ahua nei he pai te ngana ki te rahui i nga tuhinga me te taapiri atu ki te tauira mahi tahi. Ko tetahi paanga o tenei waahanga ko nga whakaaro hou, te hui me te whakawhitiwhiti korero ki nga kaiuru hauhautanga me nga kaiwhakariterite, tae atu ki te kore moe nui, i pa ki te hua o te wahanga whakamutunga o IDAO.

Ko te mahi i te wahanga Whakamutunga IDAO 2019 ko te matapae i te wa tatari mo te ota mo nga taraiwa taxi Yandex i te taunga rererangi. I te wahanga 2, e 3 nga mahi = 3 nga taunga rererangi i tohua. Mo ia taunga rererangi, ka tukuna he raraunga meneti ia meneti mo te maha o nga ota taxi mo te ono marama. Na hei raraunga whakamatautau, ko te marama o muri mai me nga meneti-meneti-meneti mo nga ota mo nga wiki e 2 kua pahemo i tukuna. He iti te wa (1,5 ra), he tino motuhake te mahi, kotahi noa te tangata o te kapa i tae mai ki te whakataetae - na reira, he waahi pouri ki te mutunga. Ko nga whakaaro whakamere ko te ngana ki te whakamahi i nga raraunga o waho: te huarere, te aukati waka me nga tatauranga ota taxi Yandex. Ahakoa kaore nga kaiwhakarite i korero he aha enei rererangi, he maha nga kaiuru i kii ko Sheremetyevo, Domodedovo me Vnukovo. Ahakoa i whakakorehia tenei whakapae i muri i te whakataetae, ko nga ahuatanga, hei tauira, mai i nga raraunga huarere a Moscow i pai ake nga hua i runga i te whakamana me te papaarahi.

mutunga

1. He hauhautanga, he whakamere nga whakataetae ML! I konei ka kitea e koe te whakamahinga o nga pukenga ki te tātari raraunga, me nga tauira maminga me nga tikanga, me te mohio noa he pai.
2. Ko te ML he roopu matauranga nui e ahua ana kei te tipu haere. I whakaritea e au he whainga kia mohio ahau ki nga waahi rereke (nga tohu, pikitia, ripanga, tuhinga) me te mohio kua mohio ahau ki te nui o te ako. Hei tauira, i muri mai i enei whakataetae ka whakatau ahau ki te ako: whakahiato hātepe, tikanga matatau mo te mahi me nga whare pukapuka whakanui i te rōnaki (otira, te mahi tahi me CatBoost i runga i te GPU), nga whatunga kapi, te tikanga arowhai-matua-uara.
3. Ehara i te kaggle anake! He maha atu nga whakataetae he maamaa ake te tiki T-hate, he maha ake nga waahi mo etahi atu taonga.
4. Whakawhitiwhiti! He hapori nui kei roto i te ako miihini me te tātari raraunga, kei reira nga roopu kaupapa i roto i te waea waea, te mangere, me nga tangata tino nui mai i Mail.ru, Yandex me etahi atu kamupene ki te whakautu i nga patai me te awhina i nga tiimata me te hunga e haere tonu ana ki tenei mara. o te matauranga.
5. Ka tohutohu ahau ki nga tangata katoa i whakaaweahia e te waahi o mua ki te toro Huihuinga raraunga - he huihuinga nui kore utu i Moscow, ka tu i te Mei 10-11.

Source: will.com