Manohy ny lohahevitry ny fifaninanana fianarana milina ao amin'ny Habré, dia tianay ny hampahafantatra ny mpamaky amina sehatra roa hafa. Azo antoka fa tsy lehibe toy ny kaggle izy ireo, saingy mendrika ny hojerena.

Izaho manokana dia tsy tiako loatra ny kaggle noho ny antony maro:

• voalohany, maharitra volana maromaro ny fifaninanana any, ary mitaky ezaka be ny fandraisana anjara mavitrika;
• faharoa, ny voam-bahoaka (vahaolana ho an'ny daholobe). Manoro hevitra ny mpanaraka an'i Kaggle ny hitondrana azy ireo amin'ny fahatonian'ny moanina Tibetana, saingy raha ny tena izy dia mahamenatra tokoa raha toa ka misy zavatra efa niasanao nandritra ny iray na roa ka tonga tampoka teo amin'ny lovia volafotsy ho an'ny rehetra.

Soa ihany fa natao amin'ny sehatra hafa ny fifaninanana fianarana milina, ary roa amin'ireo fifaninanana ireo no horesahina.

IDAO	SNA Hackathon 2019
Fiteny ofisialy: anglisy, mpikarakara: Yandex, Sberbank, HSE	Teny Rosiana ofisialy, mpikarakara: Mail.ru Group
Fihodinana an-tserasera: 15 Jan — 11 Feb 2019; Famaranana eny an-toerana: 4-6 Apr 2019	an-tserasera - manomboka ny 7 febroary ka hatramin'ny 15 martsa; ivelan'ny aterineto - manomboka ny 30 martsa ka hatramin'ny 1 aprily.
Amin'ny fampiasana angon-drakitra sasantsasany momba ny singa iray ao amin'ny Large Hadron Collider (lalana, tosika, ary masontsivana ara-batana saro-pady hafa), hamaritana raha muon izy io na tsia. Avy amin'ity fanambarana ity, asa 2 no fantatra: - amin'ny iray dia tsy maintsy nandefa ny faminanianao ianao, - ary amin'ny iray hafa - ny kaody feno sy modely ho an'ny faminaniana, ary ny famonoana dia niharan'ny fameperana henjana amin'ny fotoana fandehanana sy ny fampiasana fahatsiarovana	Ho an'ny fifaninanana SNA Hackathon, dia nangonina ny diarin'ny votoaty asehon'ny vondrona misokatra amin'ny famahanam-baovaon'ny mpampiasa ho an'ny Febroary-Martsa 2018. Ny andrana dia ahitana ny herinandro sy tapany farany amin'ny volana martsa. Ny fidirana tsirairay ao amin'ny diary dia misy fampahafantarana momba izay naseho sy ho an'iza, ary koa ny fihetsiky ny mpampiasa tamin'ity atiny ity: nanome naoty, naneho hevitra, tsy niraharaha azy, na nanafina azy tamin'ny fahana. Ny tena fototry ny asan'ny SNA Hackathon dia ny mametraka ny mpampiasa tsirairay ao amin'ny tambajotra sosialy Odnoklassniki ny sakafony, mampiakatra avo indrindra ireo lahatsoratra izay hahazo "kilasy". Teo amin'ny sehatra an-tserasera, nozaraina 3 ny asa: 1. laharana ny lahatsoratra araka ny toetran'ny fiaraha-miasa isan-karazany 2. laharao ny lahatsoratra mifototra amin'ny sary ao anatiny 3. laharana ny lahatsoratra araka ny lahatsoratra ao anatiny
Metrika mahazatra sarotra, toa ny ROC-AUC	ROC-AUC salan'ny mpampiasa
Loka ho an'ny dingana voalohany - T-shirt ho an'ny toerana N, lalana mankany amin'ny dingana faharoa, izay nandoavana trano sy sakafo nandritra ny fifaninanana Dingana faharoa - ??? (Noho ny antony sasany, tsy nanatrika ny lanonana fanolorana loka aho ary tsy afaka nahita izay loka tamin'ny farany). Nampanantena solosaina finday ho an'ny mpikambana rehetra ao amin'ny ekipa mpandresy izy ireo	Loka ho an'ny dingana voalohany - T-shirts ho an'ny mpandray anjara 100 tsara indrindra, andalan-teny mankany amin'ny dingana faharoa, izay nandoavana ny fitsangatsanganana ho any Moskoa, trano fonenana ary sakafo mandritra ny fifaninanana. Ary koa, amin'ny fiafaran'ny dingana voalohany, nambara ny loka ho an'ny tsara indrindra amin'ny asa 3 amin'ny dingana 1: samy nahazo karatra video RTX 2080 TI ny rehetra! Ny dingana faharoa dia sehatra ekipa, ekipa ahitana olona 2 hatramin'ny 5, loka: Ny toerana voalohany - 1 300 roubles Ny toerana voalohany - 2 200 roubles Ny toerana voalohany - 3 100 roubles loka mpitsara - 100 roubles
Vondrona telegrama ofisialy, ~ mpandray anjara 190, fifandraisana amin'ny teny anglisy, tsy maintsy niandry andro maromaro ny fanontaniana mba hahazoana valiny	Vondrona ofisialy amin'ny telegrama, ~ mpandray anjara 1500, fifanakalozan-kevitra mavitrika momba ny asa eo amin'ny mpandray anjara sy ny mpikarakara
Vahaolana fototra roa no nomen’ny mpikarakara dia tsotra sy mandroso. Ny tsotra dia mila latsaky ny 16 GB an'ny RAM, ary ny fitadidiana avo lenta dia tsy tafiditra amin'ny 16. Nandritra izany fotoana izany, nitodika tany aloha kely, ny mpandray anjara dia tsy afaka nanalavitra ny vahaolana mandroso. Tsy nisy fahasarotana tamin'ny famoahana ireo vahaolana ireo. Marihina fa tamin'ny ohatra avo lenta dia nisy fanehoan-kevitra miaraka amin'ny soso-kevitra momba ny toerana hanombohana ny fanatsarana ny vahaolana.	Vahaolana fototra fototra no nomena ho an'ny asa tsirairay, izay mora nihoatra ny mpandray anjara. Tany am-piandohan'ny fifaninanana dia nisedra fahasahiranana maro ny mpandray anjara: voalohany, nomena tamin'ny endrika Apache Parquet ny angon-drakitra, ary tsy ny fitambaran'ny Python sy ny fonosana parquet no niasa tsy nisy hadisoana. Ny fahasarotana faharoa dia ny fampidinana sary avy amin'ny rahona mailaka; amin'izao fotoana izao dia tsy misy fomba mora misintona angon-drakitra be dia be indray mandeha. Vokatr'izany dia nanemotra ny mpandray anjara nandritra ny roa andro ireo olana ireo.

IDAO. Dingana voalohany

Ny asa dia ny fanasokajiana ny singa muon/non-muon araka ny toetrany. Ny zava-dehibe amin'ity asa ity dia ny fisian'ny tsanganana lanja ao amin'ny angon-drakitra fanofanana, izay noheverin'ny mpikarakara fa matoky ny valin'io andalana io. Ny olana dia misy andalana vitsivitsy misy lanja ratsy.

Rehefa avy nieritreritra nandritra ny minitra vitsivitsy momba ny tsipika miaraka amin'ny soso-kevitra (ny soso-kevitra dia nanintona ny saina ho amin'ity endri-javatra amin'ny tsanganana lanja ity) ary nanangana ity grafika ity, dia nanapa-kevitra ny hanamarina safidy 3 izahay:

1) avadika ny kendrena amin'ny tsipika misy lanja ratsy (sy ny lanja arak'izany)
2) afindrao amin'ny sanda kely indrindra ny lanja mba manomboka amin'ny 0
3) aza mampiasa lanja tady

Ny safidy fahatelo dia nivadika ho ratsy indrindra, fa ny roa voalohany dia nanatsara ny vokatra, ny tsara indrindra dia ny safidy N° 1, izay nitondra antsika avy hatrany teo amin'ny laharana faharoa amin'izao fotoana izao tamin'ny asa voalohany ary voalohany tamin'ny faharoa.

Ny dingana manaraka dia ny famerenana ny angon-drakitra momba ny soatoavina tsy hita. Nomen'ny mpikarakara anay ny angon-drakitra efa voavolavola, izay misy sanda tsy ampy vitsivitsy, ary nosoloina -9999.

Nahita sanda tsy hita tao amin'ny tsanganana MatchedHit_{X,Y,Z}[N] sy MatchedHit_D{X,Y,Z}[N] izahay, ary rehefa N=2 na 3 ihany. Mandalo ireo mpitsikilo 4 rehetra, ary nijanona na teo amin'ny takelaka faha-3 na faha-4. Ahitana tsanganana Lextra_{X,Y}[N] ihany koa ny angona, izay toa milaza zavatra mitovy amin'ny MatchedHit_{X,Y,Z}[N], saingy mampiasa karazana extrapolation. Ireo vinavina kely ireo dia nanoso-kevitra fa ny Lextra_{X,Y}[N] dia azo soloina amin'ireo sanda tsy hita ao amin'ny MatchedHit_{X,Y,Z}[N] (ho an'ny kôngôro X sy Y ihany). MatchedHit_Z[N] dia feno median. Ireo fanodinkodinana ireo dia nahatonga anay ho tonga amin'ny toerana mpanelanelana voalohany amin'ny asa roa.

Raha jerena fa tsy nanome na inona na inona izy ireo mba handresena ny dingana voalohany, dia afaka nijanona teo izahay, saingy nanohy izahay, nanao sary tsara tarehy ary namoaka endri-javatra vaovao.

Ohatra, hitanay fa raha mamolavola ireo teboka mifanandrify amin'ny singa iray miaraka amin'ny tsirairay amin'ireo takelaka mpitsikilo efatra, dia hitantsika fa ny teboka eo amin'ny takelaka tsirairay dia mivondrona ho 5 mahitsizoro miaraka amin'ny lafiny lafiny 4 ka hatramin'ny 5 ary mifantoka amin'ny. ny teboka (0,0), ary amin'ny Tsy misy teboka amin'ny mahitsizoro voalohany.

Plate no. / refin'ny mahitsizoro	1	2	3	4	5
takelaka 1	500h625	1000h1250	2000h2500	4000h5000	8000h10000
takelaka 2	520h650	1040h1300	2080h2600	4160h5200	8320h10400
takelaka 3	560h700	1120h1400	2240h2800	4480h5600	8960h11200
takelaka 4	600h750	1200h1500	2400h3000	4800h6000	9600h12000

Rehefa avy namaritra ireo refy ireo izahay, dia nanampy endri-javatra sokajy 4 vaovao ho an'ny singa tsirairay - ny isan'ny mahitsizoro izay mampifandona ny takelaka tsirairay.

Tsikaritra ihany koa fa toa miparitaka eny amin'ny sisiny avy eo afovoany ireo poti-javatra ary nipoitra ny hevitra mba hanombanana ny "kalitao" an'io fiparitahana io. Ny tsara indrindra dia mety ho azo atao ny mamorona karazana parabola "idealy" miankina amin'ny teboka fiaingana sy manombatombana ny fiviliana amin'izany, saingy voafetra ny tenantsika amin'ny tsipika mahitsy "idealy". Rehefa avy nanamboatra tsipika mahitsy tsara indrindra ho an'ny teboka tsirairay idirana izahay, dia afaka nikajy ny fivilian-dalana mahazatra ny zotra tsirairay avy amin'io tsipika mahitsy io. Koa satria ny salan'isa ho an'ny tanjona = 1 dia 152, ary ho an'ny tanjona = 0 dia 390, dia noheverinay fa tsara io endri-javatra io. Ary eny tokoa, io endri-javatra io avy hatrany dia nahatonga azy ho eo an-tampon'ireo tena ilaina indrindra.

Faly izahay ary nanampy ny fivilian'ny teboka 4 rehetra ho an'ny singa tsirairay avy amin'ny tsipika mahitsy tsara indrindra ho endri-javatra 4 fanampiny (ary niasa tsara ihany koa izy ireo).

Ny rohy mankany amin'ny lahatsoratra siantifika momba ny lohahevitry ny fifaninanana, nomen'ny mpikarakara anay, dia nanosika ny hevitra fa lavitra ny voalohany hamahana ity olana ity isika ary, angamba, misy karazana rindrambaiko manokana. Rehefa nahita tahiry iray tao amin'ny github izay nampiharana ny fomba IsMuonSimple, IsMuon, IsMuonLoose, dia namindra azy ireo tany amin'ny tranokalanay izahay miaraka amin'ny fanovana kely. Ny fomba dia tena tsotra: ohatra, raha ambany noho ny tokonam-baravarana ny angovo, dia tsy muon izany, raha tsy izany dia muon. Ny endri-javatra tsotra toy izany dia mazava ho azy fa tsy afaka mampitombo ny fampiasana ny gradient boosting, noho izany dia nampianay "halavirana" lehibe hafa ny tokonam-baravarana. Nohatsaraina kely ihany koa ireo endri-javatra ireo. Angamba, tamin'ny famakafakana ireo fomba efa misy amin'ny fomba feno kokoa, dia azo natao ny nahita fomba matanjaka kokoa ary nanampy azy ireo tamin'ny famantarana.

Tamin'ny fiafaran'ny fifaninanana dia nanova kely ny vahaolana "haingana" ho an'ny olana faharoa izahay; amin'ny farany, tsy mitovy amin'ny tsipika fototra amin'ireto teboka manaraka ireto:

1. Ao amin'ny laharana misy lanja ratsy dia navadika ny tanjona
2. Feno sanda tsy hita ao amin'ny MatchedHit_{X,Y,Z}[N]
3. Ahena ny halaliny ho 7
4. Nihena ny tahan'ny fianarana ho 0.1 (dia 0.19)

Vokatr'izany dia nanandrana endri-javatra maro kokoa izahay (tsy dia nahomby), masontsivana voafantina sy catboost voaofana, lightgbm ary xgboost, nanandrana fampifangaroana faminaniana samihafa ary talohan'ny nanokafana ny manokana dia nandresy tamim-pahatokiana tamin'ny asa faharoa izahay, ary tamin'ny voalohany dia isan'ny mpitarika.

Taorian'ny fanokafana ny privé dia teo amin'ny laharana faha-10 izahay tamin'ny asa voalohany ary faha-1 tamin'ny faharoa. Nifamahofaho ny mpitarika rehetra, ary ny hafainganam-pandeha mitokana dia ambony noho ny teo amin'ny libboard. Toa tsy dia narafitra loatra ny angon-drakitra (na ohatra tsy nisy andalana misy lanja ratsy teo amin'ny sehatra manokana) ary somary nahasosotra izany.

SNA Hackathon 2019 - Lahatsoratra. Dingana voalohany

Ny asa dia ny mametraka ny lahatsoratry ny mpampiasa ao amin'ny tambajotra sosialy Odnoklassniki mifototra amin'ny lahatsoratra voarakitra ao; ankoatra ny lahatsoratra dia misy toetra vitsivitsy hafa amin'ny lahatsoratra (fiteny, tompony, daty sy ora namoronana, daty sy fotoana fijerena. ).

Amin'ny fomba fiasa klasika amin'ny fiasana amin'ny lahatsoratra dia manasongadina safidy roa aho:

1. Fametahana sarintany ny teny tsirairay ao anaty habaka vector n-dimensional mba hahatonga ny teny mitovitovy amin'izany (vakio bebe kokoa ao ny lahatsoratra), avy eo na mitady ny teny antonony ho an'ny lahatsoratra na mampiasa mekanika izay mandinika ny toeran'ny teny (CNN, LSTM/GRU).
2. Mampiasa modely izay afaka miasa avy hatrany amin'ny fehezanteny manontolo. Ohatra, Bert. Amin'ny teoria, ity fomba ity dia tokony hiasa tsara kokoa.

Satria ity no traikefako voalohany momba ny lahatsoratra, dia tsy mety ny mampianatra olona, ​​ka hampianatra ny tenako aho. Ireto ny torohevitra homeko ny tenako amin'ny fiandohan'ny fifaninanana:

1. Alohan'ny hihazakazaka hampianatra zavatra dia jereo ny angon-drakitra! Ho fanampin'ny lahatsoratra mihitsy, ny angon-drakitra dia nanana tsanganana maromaro ary azo natao ny nipoitra bebe kokoa tamin'izy ireo noho ny nataoko. Ny zavatra tsotra indrindra dia ny midika hoe fandiovana kendrena ho an'ny tsanganana sasany.
2. Aza mianatra avy amin'ny angona rehetra! Betsaka ny angon-drakitra (eo amin'ny 17 tapitrisa eo ho eo) ary tsy ilaina mihitsy ny mampiasa azy rehetra mba hitsapana vinavina. Tena niadana ny fampiofanana sy ny fanodinana, ary mazava ho azy fa nanam-potoana nanandrana vinavina mahaliana kokoa aho.
3. <Torohevitra mampiady hevitra> Tsy mila mitady modely mpamono olona. Nandany fotoana ela aho nikaroka an'i Elmo sy Bert, nanantena fa hitondra ahy avy hatrany any amin'ny toerana avo izy ireo, ary vokatr'izany dia nampiasa FastText efa voaofana ho an'ny teny Rosiana aho. Tsy afaka nahatratra ny hafainganam-pandeha tsara kokoa niaraka tamin'i Elmo aho, ary mbola tsy nanam-potoana handinihana izany miaraka amin'i Bert.
4. <Torohevitra mampiady hevitra> Tsy mila mitady endri-javatra mpamono olona iray. Rehefa nijery ny angon-drakitra aho dia nahatsikaritra fa manodidina ny 1 isan-jaton'ny lahatsoratra dia tsy misy soratra! Saingy nisy rohy mankany amin'ny loharano sasany, ary nanoratra parser tsotra aho izay nanokatra ny tranokala ary namoaka ny lohateny sy ny famaritana. Toa hevitra tsara ilay izy, saingy avy eo dia lasa aho ary nanapa-kevitra ny hamakivaky ny rohy rehetra ho an'ny lahatsoratra rehetra ary very fotoana be indray. Izany rehetra izany dia tsy nanome fanatsarana manan-danja amin'ny vokatra farany (na dia nihevitra aho fa ny famongorana, ohatra).
5. Ny endri-javatra klasika dia miasa. Izahay Google, ohatra, dia "text features kaggle", mamaky sy manampy ny zava-drehetra. Nanome fanatsarana ny TF-IDF, toy izany koa ireo endri-javatra statistika toy ny halavan'ny lahatsoratra, ny teny, ary ny habetsahan'ny mari-piatoana.
6. Raha misy tsanganana DateTime dia ilaina ny mizara azy ireo amin'ny endri-javatra maromaro samihafa (ora, andro amin'ny herinandro, sns.). Izay endri-javatra tokony hasongadina dia tokony hodinihina amin'ny fampiasana grafika/metrika sasany. Eto aho dia nanao ny zava-drehetra araka ny tokony ho izy ary nanasongadina ireo endri-javatra ilaina, fa ny fanadihadiana ara-dalàna dia tsy handratra (ohatra, toy ny nataontsika tamin'ny farany).

Vokatry ny fifaninanana dia nampiofana modely mafy iray aho miaraka amin'ny teny mifamatotra, ary iray hafa mifototra amin'ny LSTM sy GRU. Samy nampiasa fametahana FastText efa voaofana mialoha ho an'ny teny rosiana izy ireo (nanandrana fametahana maromaro hafa aho, fa ireo no tena niasa tsara). Rehefa avy nanao salan'isa ny vinavina aho dia nahazo ny laharana faha-7 farany tamin'ireo mpandray anjara 76.

Taorian'ny dingana voalohany navoaka lahatsoratra nosoratan'i Nikolai Anokhin, izay nahazo ny laharana faharoa (nandray anjara tamin'ny fifaninanana izy), ary ny vahaolana navoakany hatramin'ny dingana sasany dia namerimberina ny ahy, saingy lasa lavitra izy noho ny mekanika fifantohana amin'ny valin'ny fanontaniana.

Dingana faharoa OK & IDAO

Saika nifanesy ny dingana faharoa tamin’ireo fifaninanana ka nanapa-kevitra ny hiara-hijery azy ireo aho.

Voalohany, nifarana tao amin'ny birao mahavariana an'ny orinasa Mail.ru aho sy ny ekipa vao nahazo, izay ny andraikitray dia ny manambatra ny modely amin'ny lalana telo avy amin'ny dingana voalohany - lahatsoratra, sary ary fiaraha-miasa. 2 andro mahery kely no natokana ho an’izany, izay hita fa kely dia kely. Raha ny marina, afaka namerina ny vokatray tamin'ny dingana voalohany ihany izahay nefa tsy nahazo tombony tamin'ny fampivondronana. Tamin'ny farany dia nahazo ny laharana faha-5 izahay, saingy tsy afaka nampiasa ny maodely lahatsoratra. Rehefa avy nijery ny vahaolana avy amin'ny mpandray anjara hafa, dia toa mendrika ny hanandrana hanangona ny lahatsoratra sy hanampy azy ireo amin'ny modely fiaraha-miasa. Ny voka-dratsin'ity dingana ity dia ny fahatsapana vaovao, ny fihaonana sy ny fifandraisana amin'ny mpandray anjara mangatsiaka sy ny mpikarakara, ary koa ny tsy fahampian'ny torimaso, izay mety hisy fiantraikany amin'ny vokatry ny dingana farany amin'ny IDAO.

Ny asa amin'ny dingana farany IDAO 2019 dia ny maminavina ny fotoana fiandrasana ny baiko ho an'ny mpamily taksi Yandex ao amin'ny seranam-piaramanidina. Tamin'ny dingana 2, asa 3 = seranam-piaramanidina 3 no fantatra. Ho an'ny seranam-piaramanidina tsirairay dia omena ny angon-drakitra isa-minitra momba ny isan'ny komandin'ny taxi mandritra ny enim-bolana. Ary ho angon-drakitra fitsapana dia nomena ny angon-drakitra isam-bolana sy isa-minitra momba ny baiko nandritra ny herinandro 2 lasa. Kely ny fotoana (1,5 andro), voafaritra tsara ny asa, olona iray avy amin'ny ekipa ihany no tonga tamin'ny fifaninanana - ary vokatr'izany, toerana nampalahelo ny farany. Anisan'ny hevitra mahaliana ny fiezahana hampiasa angon-drakitra ivelany: toetrandro, fitohanan'ny fifamoivoizana ary antontan'isa fibaikoana taxi Yandex. Na dia tsy nilaza aza ny mpikarakara hoe inona ireo seranam-piaramanidina ireo, maro ireo mpandray anjara no nihevitra fa Sheremetyevo, Domodedovo ary Vnukovo izy ireo. Na dia nolavina aza io fiheverana io taorian'ny fifaninanana, ny endri-javatra, ohatra, avy amin'ny angona toetr'andro ao Moskoa dia nanatsara ny vokatra na tamin'ny fanamarinana sy tamin'ny tabilao.

famaranana

1. Mahafinaritra sy mahaliana ny fifaninanana ML! Eto ianao dia hahita ny fampiasana ny fahaiza-manao amin'ny fanadihadiana angon-drakitra, ary amin'ny modely sy teknika fetsy, ary ny saina tsotra dia raisina.
2. Ny ML dia efa fitambarana fahalalana goavana izay toa mitombo be. Nametraka tanjona aho mba hifankazatra amin'ny sehatra samihafa (famantarana, sary, latabatra, lahatsoratra) ary efa nahatsapa ny halehiben'ny fianarana. Ohatra, taorian'ireo fifaninanana ireo dia nanapa-kevitra ny hianatra aho: algorithm clustering, teknika avo lenta amin'ny fiaraha-miasa amin'ny tranomboky mampisondrotra ny gradient (indrindra, miara-miasa amin'ny CatBoost amin'ny GPU), tamba-jotra capsule, ny mekanika fifantohana amin'ny sanda manan-danja.
3. Tsy amin'ny kaggle irery! Misy fifaninanana maro hafa izay mora kokoa ny mahazo T-shirt farafaharatsiny, ary betsaka kokoa ny vintana hahazo loka hafa.
4. Mifandraisa! Efa misy vondrom-piarahamonina lehibe eo amin'ny sehatry ny fianarana milina sy ny famakafakana angon-drakitra, misy vondrona lohahevitra amin'ny telegrama, malaina ary matotra avy amin'ny Mail.ru, Yandex ary orinasa hafa mamaly fanontaniana ary manampy ireo vao manomboka sy ireo manohy ny lalany amin'ity sehatra ity. ny fahalalana.
5. Manoro hevitra ny rehetra izay nentanin'ny teboka teo aloha aho mba hitsidika datafest — fihaonambe maimaim-poana lehibe any Moskoa, izay hatao ny 10-11 mey.

Source: www.habr.com