2019 áá¯ááŸá Ạáá±áá±á¬áºáá«áá®áá០áááºáá¡ááœááºážááœáẠáá°ááŸá¯ááœááºáááºááááºááᯠá¡ááá·áºáááºááŸááºááẠááŒáá¯ááºááœá²áá áºáá¯áá»ááºážááá²á·áááºá áá»áœááºáá±á¬áºááá¯á·á¡áááºážá ááááá±áá¬ááᯠááá°áá²á·áá«áááºá áá±á¬ááºážáá«ážááœáẠááŒáá¯ááºááœá²áá¡ááœá²á·á¡á ááºážá áá»áœááºá¯ááºááá¯á·ááŒáá¯ážá á¬ážáá²á·ááá·áº áááºážáááºážáá»á¬ážááŸáá·áº áá±áá¬ááŒá®ážááŒá®ážáá¬ážáá¬ážáá±á·áá»áá·áºááŸá¯á¡ááœáẠcatboost áááºáááºáá»á¬ážááᯠááœá±ážááœá±ážáá«áááºá
SNA Hackathon
á€á¡áááºááŒáá·áº áááºáá¬ááœááºááŒáá¯ááºááœá²ááᯠááááá¡ááŒáááºááŒá±á¬áẠáá»ááºážáááŒááºážááŒá
áºáááºá áááºážááᯠáá°ááŸá¯ááœááºááẠok.ru á០á
á®á
ááºáá¬ážááŒááºážááŒá
áºááŒá®ážá á¡áá¯ááºááŸáá·áº áá±áá¬áá»á¬ážááẠá€áá°ááŸá¯ááœááºáááºááŸáá·áº ááá¯ááºááá¯ááºáááºááá¯ááºáá«áááºá
á€ááá
á¹á
ááœáẠSNA (áá°ááŸá¯áá±ážááœááºáááºááœá²ááŒááºážá
áááºááŒá¬ááŸá¯) ááẠáá°ááŸá¯áá±ážááááºáááœá²ááŒááºážá
áááºááŒá¬ááŸá¯áá
áºáá¯á¡ááŒá
áºááá¯ááºáá² áá°ááŸá¯ááœááºáááºáá
áºáá¯áááœá²ááŒááºážá
áááºááŒá¬ááŸá¯áá
áºáá¯á¡ááŒá
Ạááá¯áááŸááºáááºá
áœá¬áá¬ážáááºáá«áááºá
- 2014 áá¯ááŸá áºááœáẠáá¬áááºááŸá¬ ááá¯á·á áºáá áºáá¯á Like á¡áá±á¡ááœááºááᯠááá·áºááŸááºážáááºááŒá áºáááºá
- 2016 áá¯ááŸá áºááœáẠ- VVZ á¡áá¯áẠ(áááºáááºážááŸá®ážááŒá®ážáá¬ážááŒá áºááá¯ááºáááº)á áá°ááŸá¯áá±ážááááºáá»á¬ážáááœá²ááŒááºážá áááºááŒá¬ááŸá¯ááŸáá·áºááá¯ááá¯áá®ážá ááºáááºá
- 2019 áá¯ááŸá áºááœááºá á¡áá¯á¶ážááŒá¯áá°ááẠááá¯á·á áºááᯠááŒáá¯ááºááŸá áºáááºááá·áº ááŒá áºááá¯ááºááŒá±á¡áá±á«áº á¡ááŒá±áá¶á á¡áá¯á¶ážááŒá¯áá°á ááááºááᯠá¡ááá·áºáááºááŸááºáááºá
2014 á¡ááŒá±á¬ááºáž áááŒá±á¬ááá¯ááºáá±ááá·áº 2016 áá²á· 2019 ááŸá¬áá±á¬á· data analysis á áœááºážáááºááœá±á¡ááŒáẠbig data áá²á· á¡áá¯ááºáá¯ááºáá²á· áá»áœááºážáá»ááºááŸá¯ááœá±áááºáž ááá¯á¡ááºáá«áááºá á ááºáááºáá°ááŸá¯ááŸáá·áº ááŒá®ážáá¬ážáá±á¬áá±áá¬áá¯ááºáá±á¬ááºááŒááºážááá¯ááºáᬠááŒá¿áá¬áá»á¬áž áá±á«ááºážá ááºááŒááºážááẠá€ááŒáá¯ááºááœá²áá»á¬ážááá¯á· áá»áœááºá¯ááºá¡á¬áž ááœá²áá±á¬ááºááá¯ááºáááºáᯠáá»áœááºá¯ááºáááºááŒááºááŒá®áž á¡ááá¯áá«áááºáááºáá»á¬ážááœáẠáá»áœááºá¯ááºáá¡ááœá±á·á¡ááŒá¯á¶áá»á¬ážá áá»áœááºá¯ááºá¡á¬áž á¡ááá¯ááºáááẠáá°áá®áá±ážáá²á·áá«áááºá
mlbootcamp
2019 áá¯ááŸá áºááœáẠááŒáá¯ááºááœá²ááᯠplatform áá±á«áºááœááºáá»ááºážááá²á·áá«áááºá .
ááŒáá¯ááºááœá²ááᯠáá±áá±á¬áºáá«áá® á áááºá á¡áœááºááá¯ááºážá០á áááºáá²á·ááŒá®áž áá¯ááºáááºáž á áᯠáá«áááºáá²á·áááºá áááºáá°áááᯠááá¯ááºááœáẠá á¬áááºážááœááºážá áá±á«ááºážáá¯ááºáá¯ááºááá¯ááºáá«áááºá ááá·áºáá¬ážááᯠáá¬áá®á¡áááºážáááºááŒá¬áááºáá«á áááºá 15 áááºáá±á·á¡áœááºááá¯ááºážá ááºááŒáá·áºá¡áá¯á¶ážááœááºá áááºá 15 ááŸá§ááŒá® 30 áááºá¡áááá»ááºážááá²á·áá±á¬á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºá¡ááœáẠMail.ru áá¯á¶ážááá¯á·ááŸáá¯ážáá¯ááºááŒááºážá¡á á®á¡á ááºáá áºáá¯á á®áááááºáááºáž 1 ááá¯ááááºááŒá¬ážáá²á·áááºá
áá¯ááºáááºáž
á¡áááºážá¡ááŒá áºáá±áá¬ááẠáá¯á¶ážá áœá²áá° ID (userId) ááŸáá·áº post IDs (objectId) ááᯠáá±ážáá±á¬ááºáááºá á¡áááºá á¡áá¯á¶ážááŒá¯áá°ááẠááá¯á·á áºáá áºáá¯ááᯠááŒááá²á·áá»áŸáẠáá±áá¬ááœáẠuserIdá objectIdá á€ááá¯á·á áºá¡ááœáẠá¡áá¯á¶ážááŒá¯áá°áá¯á¶á·ááŒááºááŸá¯áá»á¬áž (áá¯á¶á·ááŒááºááŸá¯) ááŸáá·áº áá¯á¶áá»á¬ážááŸáá·áº á á¬ááá¯áá»á¬ážáá®ááá¯á· á¡áá»áá¯ážáá»áá¯ážáá±á¬ á¡ááºá¹áá«áááºáá»á¬áž ááá¯á·ááá¯áẠááá·áºááºáá»á¬ážáá«ááŸááááºá
| áá¯á¶ážá áœá²áá°á¡áá¯ááºáá® | objectId | ááá¯ááºááŸáẠID | áá¯á¶á·ááŒááºáá»áẠ| áá¯á¶ááááºááœá± |
|---|---|---|---|---|
| 3555 | 22 | 5677 | [ááŒáá¯ááºáááºá ááŸáááºáááº] | [hash1] |
| 12842 | 55 | 32144 | [áááŒáá¯ááº] | [hash2áhash3] |
| 13145 | 35 | 5677 | [ááŸáááºá áá»áŸáá±áááº] | [hash2] |
á
ááºážáááºáá±áá¬á¡á
á¯á¶ááœáẠá¡áá¬ážáá°ááœá²á·á
ááºážáá¯á¶áá«ááŸááááºá ááá¯á·áá±á¬áº áá¯á¶á·ááŒááºáá»ááºá¡ááœáẠáá»á±á¬ááºáá¯á¶ážáá±áá«áááºá áá¬áááºááŸá¬ áá¯á¶á·ááŒááºááŸá¯á¡ááœááºááœáẠ'ááŸá
áºáááºáááº' áá¯á¶á·ááŒááºááŸá¯ááŸáááŒá±á¬ááºáž ááá·áºááŸááºážáááºááŒá
áºáááºá
áááºááŒáá»ááºááá¯ááºááœáẠá¡á±á¬ááºáá«ááœá²á·á
ááºážáá¯á¶áá«ááŸááááºá
| áá¯á¶ážá áœá²áá°á¡áá¯ááºáá® | á á®áá¬ážáá±á¬á á¬áááºáž[objectId] |
|---|---|
| 123 | 78,13,54,22 |
| 128 | 35,61,55 |
| 131 | 35,68,129,11 |
áááºááá áºááẠáá¯á¶ážá áœá²áá°áá»á¬ážá¡ááœáẠáá»ááºážáá»áŸ ROC AUC ááŒá áºáááºá
á¡áá»ááºá¡áááºá¡áá±ážá áááºáá±á¬áºááŒáá»ááºááᯠááœáẠááŒáá·áºááŸá¯ááá¯ááºáá«áááºá. á ááºážáááºááŸá¯áá»á¬ážááŸáá·áº áá¯á¶áá»á¬ážá¡áá«á¡ááẠáá±áá¬áá»á¬ážááá¯áááºáž ááá¯áá±áá¬ááœáẠáá±á«ááºážáá¯ááºáá¯ááºááá¯ááºáá«áááºá
á¡áœááºááá¯ááºážá ááºáá±á«áºááŸá¬
á¡áœááºááá¯ááºážá¡ááá·áºááœááºá áá¯ááºáááºážááᯠá¡ááá¯ááºáž á ááá¯ááºážááœá²áá¬ážáááºá
- â áá¯ááºáá¯á¶áá»á¬ážááŸáá·áº á á¬áá¬ážáá»á¬ážááŸááœá²á á¡ááºá¹áá«áááºá¡á¬ážáá¯á¶áž áá«áááºáááºá
- - áá¯ááºáá¯á¶áá»á¬ážá¡ááŒá±á¬ááºáž á¡áá»ááºá¡áááºáá»á¬ážáᬠáá«áááºááẠá
- - á á¬áá¬ážáá»á¬ážá¡ááŒá±á¬ááºážáᬠá¡áá»ááºá¡áááºáá«áááºáá«áááºá
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áº
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºááœááºá áá±áá¬ááœáẠá á¬áá¬ážáá»á¬ážááŸáá·áº áá¯á¶áá»á¬áž áá»á²áá±áá»áááºááœáẠá¡ááºá¹áá«áááºá¡á¬ážáá¯á¶ážáá«áááºáá«áááºá áá±áá¬á¡ááœá²ááœáẠ1,5 á ááá¯á¡áááºážáá»á¬áž ááŸááááº
ááŒá¿áá¬áá¡ááŒá±
á¡áá¯ááºááŸá¬ CV áá¯ááºááŒá®ážááááºážá âImagesâ á¡áá¯ááºáá²á· áá®ááŒáá¯ááºááœá²ááŸá¬ ááá®ážá
áá²á·áááºá áá¶á·ááá¯ážáá±ážáá¬ážááá·áº áá±áá¬áá»á¬ážááŸá¬ userIdá objectIdá ownerId (ááá¯á·á
áºááᯠááœáŸáá·áºáááºáá²á·ááá·áº á¡ááœá²á·)á ááá¯á·á
áºááᯠáááºáá®ážááŒááºážááŸáá·áº ááŒáááŒááºážá¡ááœáẠá¡áá»áááºáá¶ááááºáá»á¬áž ááŸáá·áº á€ááá¯á·á
áºá¡ááœáẠáá¯á¶ááŒá
áºáááºá
á¡áá»áááºáá¶ááááºáá¯á¶ážáá»á¬ážááᯠá¡ááŒá±áá¶á á¡ááºá¹áá«áááºáá»á¬ážá
áœá¬ááᯠáááºáá®ážááŒá®ážáá±á¬ááºá áá±á¬ááºá
áááºáá°ážááŸá¬ imagenet ááœáẠáá±á·áá»áá·áºáááºááŒá¬ážáá¬ážáá±á¬ áá°ááœááºá áá±á¬ááºáá¯á¶ážá¡ááœáŸá¬ááᯠáá°áᬠááŒáŸááºááŸá¶ááŸá¯áá»á¬ážááᯠááŒáŸáá·áºáááºááẠáá±ážááá¯á·ááŒááºážááŒá
áºáááºá
ááááºááœá±á á¡áááºááŒá®ážá áá¬áááŸááá«áá°ážá imagenet áá»á°ááœááºá០ááŒáŸááºááœááºážááŒááºážáá»á¬ážááẠááááºááá¯ááºáá«á áá»áœááºá¯ááºáááá¯ááºááá¯áẠautoencoder ááŒá¯áá¯ááºááẠááá¯á¡ááºáááºáᯠáá»áœááºá¯ááºáááºáá«áááºá
á¡áá»áááºá¡áá»á¬ážááŒá®ážáá°áááŒá®áž ááááºá áááá¯ážáááºáá²á·áá«áá°ážá
áá°ážááŒá¬ážáá»ááºáá»áá¯ážáááº
áá¯á¶ááœá±áá²á· á¡áá¯ááºáá¯ááºááᬠá¡áá»áááºá¡áá»á¬ážááŒá®ážáá°ááááºá áá«ááŒá±á¬áá·áº ááá¯ááá¯ážááŸááºážáá²á· á¡áá¬áá
áºáá¯áá¯ááºááá¯á· áá¯á¶ážááŒááºááá¯ááºáááºá
áááºáá»ááºáá»ááºážááŒááºááá¯ááºáááºá¡ááá¯ááºážá dataset ááœááºá¡áá»áá¯ážá¡á
á¬ážá¡ááá¯ááºá¡ááºá¹áá«áááºáá»á¬ážá
áœá¬áá« á ááºááŒá®ážá¡ááœááºá¡áááºážá
áááºá¡ááŸá±á¬ááºá¡ááŸááºáááŒá
áºá
á±áááºá áá»áœááºá¯ááºááẠcatboost ááá¯áá¬á¡áá¯á¶ážááŒá¯áá²á·áááºá ááŒá±ááŸááºážáá»ááºá á¡áá±á¬ááºážáá¯á¶ážáá«áá²á áááºáá»áááºááŸááá»ááºááŸááá«áá² áŠážáá±á¬ááºáá¯ááºáá²á· ááááááºážááᯠáá»áœááºáá±á¬áº áá»ááºáá»ááºážáá±á¬ááºááœá¬ážáá²á·áááºá
áá±áá¬áá»á¬ážá áœá¬ááŸáááŒá®áž áááºážááᯠáá«áá±ážáá¯á¶á á¶ááŒáá·áº áááºážáá»ááºážáá¬ážáá±á¬ááŒá±á¬áá·áº ááŸá áºáá«áá ááºážá á¬ážáá²á áá»áœááºáá±á¬áº á ááá¬ááá¯áá°áᬠá¡áá¬á¡á¬ážáá¯á¶ážááᯠáá®ážááœá¬ážááŒáá·áº á áááºáá±ážáá¬ážáá²á·áááºá
áá¯ááºáá¯á¶ááá·áºááœááºážááŒááºážááẠááá¯ááá¯ááŒá®ážááœá¬ážá á±áá±á¬ á¡ááá¯ážááŸááºážáá¯á¶ážá¡ááºá¹áá«áááºáá»á¬áž-
- áá±áá¬ááœáẠobjectIdá userId ááŸáá·áº ownerId á¡ááŒáááºáááºáá»áŸáá±á«áºáá¬ááẠ(áá°ááŒáá¯ááºáá»á¬ážááŸá¯ááŸáá·áº áááºá ááºáá±ááá·áºáááº)á
- ownerId á០userId ááẠposts áááºáá»áŸááŸáááẠ(á¡á¯ááºá á¯ááœááºá¡áá¯á¶ážááŒá¯áá°áá áááºáááºá á¬ážááŸá¯ááŸáá·áºáááºá ááºááá·áºáááº);
- ownerId á០ááá¯á·á áºáá»á¬ážááᯠááŒáá·áºááŸá¯ááá·áº áá®ážááá·áº userIds áááºáá»áŸááŸáááẠ(á¡ááœá²á·á ááááááºá¡ááœááºá¡á á¬ážááᯠáá±á¬ááºááŒááºáááºáááº)á
á¡áá»áááºáá¶ááááºáá¯á¶ážáá»á¬ážá០áá¯á¶ážá áœá²áá°ááẠááááºááá¯ááŒáá·áºááŸá¯ááá·áºáá±á·áá¡áá»ááẠ(ááááº/áá±á·áááº/ááá±/á) áááŸáááá¯ááºáááºá á€á¡áá»áá¯ážá¡á á¬ážáá»á¬ážááᯠáá±á«ááºážá ááºááŒááºážááŒáá·áº áááºááẠá¡ááºá¹áá«áááºáá»á¬ážááᯠáááºáááºáááºáá®ážááá¯ááºáááº-
- ááá±ááœáẠuserId á¡ááŒáááºáá± áááºáá»áŸáááºáá±á¬ááºáááºá
- áá®ááá¯á·á áºááᯠáááºá¡áá»áááºááœá±ááŸá¬ á¡áá»á¬ážáá¯á¶ážááŒááá±á·ááŸááá² (objectId) á áááŒáá·áºáá±á«á·á
á€á¡áá¬á¡á¬ážáá¯á¶ážááẠáááºááá áºáá»á¬ážááᯠáááŒááºážááŒááºáž ááá¯ážáááºá á±áá«áááºá ááá¯á·áá±á¬áº áá±á·áá»áá·áºáá±ážáá±áá¬á¡ááœá²á á¡ááœááºá¡á á¬ážááẠ20M ááŸááºáááºážáá»á¬ážááŒá áºáá±á¬ááŒá±á¬áá·áº á¡ááºá¹áá«áááºáá»á¬ážááá·áºááœááºážááŒááºážááẠáá±á·áá»áá·áºááŸá¯ááᯠá¡ááœááºááŸá±ážááœá±ážá á±áááºá
áá±áá¬á¡áá¯á¶ážááŒá¯ááŒááºážá¡ááœáẠáá»áœááºá¯ááºááá»ááºážáááºáá¯á¶ááᯠááŒááºáááºá ááºážá á¬ážáááá«áááºá áá±áá¬ááẠá¡áá»áááºááá¯áá°áááºáá±á¬áºáááºážá "á¡áá¬áááºááœááº" áááá¬áááºááŸá¬ážáá±á¬á¡áá»ááºá¡áááºáá»á¬ážáá±á«ááºááŒá¬ážááŸá¯ááᯠáá»áœááºá¯ááºáááœá±á·áá²á·ááá²á áááºááá¯á·áááºááá¯á á±áá¬áá°á á€áá²á·ááá¯á· ááŒáá¯ááœá²ááá¯ááºáááá«áááºá
áá»áœááºá¯ááºááá¯á·á¡á¬áž áá¶á·ááá¯ážáá±ážáá±á¬ áááºáááºáž (áá±áá±á¬áºáá«áá®áááŸáá·áº áááºá á áááº) ááᯠá¡ááá¯ááºáž á ááá¯ááºážááœá²áá¬ážáá«áááºá
áá±á¬áºáááºááᯠááŒá®ážáá²á·áá±á¬ N áááºáá»á¬ážá០áá±áá¬ááŒáá·áº áá±á·áá»áá·áºáááºááŒá¬ážáá²á·áááºá á¡áááºááœááºáá±á¬áºááŒáá¬ážáá±á¬ á
á¯á
ááºážááŸá¯áá»á¬ážááᯠá
ááºážáááºááŸá¯á¡áá«á¡ááẠá¡áá»ááºá¡áááºá¡á¬ážáá¯á¶ážáá±á«áºááœáẠáááºáá±á¬ááºáá¬ážáááºá áá
áºáá»áááºáááºážááŸá¬áááºá target variable á á¡áá»áá¯ážáá»áá¯ážáá±á¬ encodings áá»á¬ážááᯠáááºáá±á¬ááºááẠááŒá
áºááá¯ááºááá·áº á¡áá»ááºá¡ááẠáá±á«áºáá¬áááºá á¡ááá¯ážááŸááºážáá¯á¶ážáááºážáááºážááŸá¬ á¡ááºá¹áá«áááºá¡áá
áºáá»á¬áž áááºáá®ážáá¬ážááŒá®ážááŒá
áºáá±á¬ áá¯ááºááᯠááŒááºáááºá¡áá¯á¶ážááŒá¯áááºááŸáá·áº áá±á·áá»áá·áºáááºááŒá¬ážááŒááºážáááŒá¯ááá·áº áá±áá¬ááᯠááá¯ážááŸááºážá
áœá¬ áá»áœá±ážááœá±ážááŒá®áž áá
áºááŸáẠ= 1á
ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááœáẠá¡áá¬ážáá°á¡ááºá¹áá«áááºáá»á¬áž áááŸááá«áááº-
- userId ááẠgroup ownerId ááœáẠááá¯á·á áºáá áºáá¯ááᯠáááºááŸá áºááŒáááºááŒááºáá°ážááááºážá
- group ownerId ááœáẠuserId ááẠááá¯á·á áºááᯠá¡ááŒáááºáá± áááºáá»áŸ ááŸá áºáááºáááºá
- ownerId á០userId ááŒáá¯ááºááŸá áºáááºááá·áº ááá¯á·á áºáá¬ááá¯ááºááŸá¯ááºážá
ááá¯ááá¯áá¬á ááœááºáá¬áááºá ááá¯ááá¯áá¬á áá áºááŸááºáá¯ááºááŒá±á¬ááºážááŒááºáž á¡áá»áá¯ážá¡á á¬ážá¡ááá¯áẠá¡ááºá¹áá«áááºáá»á¬áž áá±á«ááºážá ááºááŸá¯á¡ááœáẠáá±áá¬á¡ááœá²á áá áºá áááºáá áºááá¯ááºážá áá°á¡áá catboost ááẠáá áºááŸááºáá¯ááºááᯠáááºáá®ážáá±ážáááºááŸáá·áº á€ááŸá¯áá±á¬áá·áºááŸááŒáá·áºáá»áŸáẠá¡áá»áá¯ážáááŸááá±á¬áºáááºážá á¥ááá¬á¡á¬ážááŒáá·áºá á€á¡á¯ááºá á¯ááŸá ááá¯á·á áºáá»á¬ážááᯠááŒáá¯ááºááŸá áºáááºáá±á¬ áá°ážááŒá¬ážáá±á¬á¡áá¯á¶ážááŒá¯áá°á¡áá±á¡ááœááºááᯠáá±ááœááºááẠááŒá áºááá¯ááºáááºá áá áºáá»áááºáááºážááŸá¬áááºá á¡ááááááºážááá¯ááºááᯠá¡á±á¬ááºááŒááºáá²á·ááẠ- áá»áœááºá¯ááºááá±áá¬á¡ááœá²ááᯠá¡ááŒáááºáá±á«ááºážáá»á¬ážá áœá¬ áá»áŸá±á¬á·áá»áá²á·ááŒá®áž á¡ááºá¹áá«áááºáá»á¬ážááᯠáááºáááºáááºáá®ážááá¯ááºáá²á·áááºá
catboost ááẠááŒáá¯ááºááŸá áºáááºááá·áºáá¯á¶á·ááŒááºááŸá¯á¡áá±á«áºá¡ááŒá±áá¶ááᬠáá¯ááºáá¯ááºááá¯áááºáá±á¬ááºááá¯ááºáá±á¬áºáááºáž áá¯á¶á·ááŒááºáá»ááºááœáẠá¡ááŒá¬ážáá¯á¶á·ááŒááºááŸá¯áá»á¬ážáá«ááŸááááº- ááŒááºáááºáá»áŸáá±áááºá áááŒáá¯ááºáááºááŒá áºá á± áááŒáá¯ááºáá±á¬á ááŸáááºáá¬ážáááºá áá»á áºáá»á°ááŸá¯áá¬ážáá±á¬á ááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºááá¯ááºááá·áº áá¯ááºáá¶áá«ááºáá»á¬ážá áá±áá¬á¡á á¯á¶ááᯠááá¯ážááá±á«ááºá á±ááẠá á¯á ááºážááŸá¯ á¡áá»áá¯ážá¡á á¬ážá¡á¬ážáá¯á¶ážááᯠááŒááºáááºááœááºáá»ááºááŒá®áž á¡áá±ážáá«ááŸá¯áááºážáá±á¬ á¡ááºá¹áá«áááºáá»á¬ážááᯠáááºááŸá¬ážáá²á·áááºá
ááá¯á¡áá»áááºááœáẠáá»áœááºá¯ááºááẠáá»ááºááŒáá·áºáá±á¬ á¡áá¬ážáááºááŒáá·áº ááááá±áá¬á ááŸááá±áá«áááºá á áááºááŸá¯ááºááœá±ážá á±ááá·áº áá áºáá¯áááºážáá±á¬á¡áá»ááºááŸá¬ áá¯ááºáá¯á¶ ááŒáŸááºááŸá¶ááŸá¯áá»á¬ážááŸá¬ ááŒá®ážááœá¬ážááŸá¯ áááŸáááá±á¬ááºááẠááŒá áºáááºá á¡áá¬áá¬ááᯠááœááºážá¡á¬ážáá±ážááá¯á· á áááºáá°ážáá±á«áºáá¬áááºá áá»áœááºá¯ááºááá¯á·ááẠKmeans áá¯ááºáá¯á¶áá»á¬ážááᯠá á¯á ááºážááŒá®áž á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááá¯ááºáá±á¬ á¡ááºá¹áá«áááºá¡áá ẠimageCat ááᯠáááŸááá«áááºá
á€áááºááŸá¬ KMeans ááŸáááŸááá±á¬ á¡á á¯á¡áá±ážáá»á¬ážááᯠááá¯ááºááá¯ááºá á áºáá¯ááºááŒááºážááŸáá·áº áá±á«ááºážá ááºážááŒááºážááŒá®ážáá±á¬áẠá¡áááºážá¡áá»áá¯á·ááŒá áºáááºá
imageCat ááᯠá¡ááŒá±áá¶á áá»áœááºá¯ááºááá¯á· áá¯ááºáá¯ááºáááº-
- á¡áá»áá¯ážá¡á
á¬ážá¡ááá¯áẠá¡ááºá¹áá«áááºá¡áá
áºáá»á¬áž-
- áááºááá·áº imageCat ááᯠuserId á០á¡áá»á¬ážáá¯á¶ážááŒáá·áºááŸá¯áá²á·áááº;
- áááºááá·áº imageCat ááẠownerId ááᯠá¡áá»á¬ážáá¯á¶ážááŒááá±á·ááŸáááẠá
- áááºááá·áº imageCat ááᯠuserId á០áááŒá¬áá ááŒáá¯ááºááŸá áºáááºáá²á·ááẠá
- áá±á¬ááºáá¬á¡áá»áá¯ážáá»áá¯áž-
- áá°ážááŒá¬ážáá±á¬ imageCat áááºáá»áŸ userId ááá¯ááŒáá·áºááŸá¯áá²á·áááº;
- á¡áááºááœááºáá±á¬áºááŒáá¬ážááá·áºá¡ááá¯ááºáž á¡áá¬ážáá°á¡ááºá¹áá«áááºáá±á«ááºáž 15 áá¯ááá·áºááŸáá·áº áá áºááŸááºáá¯ááºááŒá±á¬ááºážááŒááºážá¡ááŒá±á¬ááºážá
á á¬áá¬ážáá»á¬áž
áá¯ááºáá¯á¶ááŒáá¯ááºááœá²áá²á· ááááºááœá±á áá»áœááºáá±á¬áºáá²á· ááá¯ááºáá®ááŒá®áž á á¬áá¬ážááœá±ááᯠá ááºážááŒáá·áºááá¯á· áá¯á¶ážááŒááºááá¯ááºáááºá á¡áááºá á á¬áá¬ážááœá±áá²á· ááááºááá¯ááºáá°ážáá°ážá ááá¯ááºáá²á áœá¬áá²á·áá² á¡á²áá®áá±á·ááᯠtf-idf áá²á· svd áá²á· áááºááá¯ááºáááºá ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á¡ááºáááºáá»á¬ážááᯠá¡ááá¡áá»áá¯ááºáá±á¬ááºááá¯ááºááá·áº doc2vec ááŸáá·áº á¡ááŒá±áá¶á¡áá»ááºááᯠáá»áœááºá¯ááºááœá±á·ááŒááºáá²á·áááºá doc2vec áá±á¬ááºáá»á¬ážááᯠá¡áááºážááẠáá»áááºááŸáááŒá®ážáá±á¬ááºá áá»áœááºá¯ááºááẠá á¬áá¬ážááá·áºááœááºážááŒááºážáá»á¬ážááᯠáááŸááá²á·áááºá
ááŒá®ážáá±á¬á· áá¯ááºáá¯á¶ááœá±á¡ááœáẠáá¯ááºááᯠááá¯ážááá¯ážááŒááºáá¯á¶ážáá²á·áááºá á¡á²áá®áá²ááŸá¬ áá¯ááºáá¯á¶ááŒáŸá¯ááºááŸá¶ááŸá¯ááœá±ááᯠá á¬áá¬ážááŒáŸááºááŸá¶ááŸá¯ááœá±áá²á· á¡á á¬ážááá¯ážááá¯ááºáááºá ááááºá¡áá±áá²á· á á¬áá¬ážááŒáá¯ááºááœá²ááŸá¬ áá¯ááááá±áá¬ááá²á·áááºá
áá°ážáá±á«ááºážáá±á¬ááºááœááºáá±á¬á áá áº
áá»áœááºáá±á¬áº áá¯ááºáá²á· áááá¯ááºááá±ážáá²á· ááŒáá¯ááºááá¯ááºááŸá¯áá
áºáá¯áá² áá»ááºáá±á¬á·ááŒá®áž áŠážáá±á¬ááºáá°á
á¬áááºážááŸá¬ AUC á á¡áá²ááŒááºáá¬á áá®ááŒáá¯ááºááœá²áá²á· ááááºááœá±á á¡á±á¬á·ááºááá¯ááºážá
ááºááŒáá·áºáá±á«áºááŸá¬ á¡ááŒá®ážáá»ááºáá¯á¶áž áááºáá±á¬ááºááŸá¯ ááŸáááá·áºáááºá
á¡áááºážá¡ááŒá
áºáá±áá¬ááœááºáá«ááŸááá±á¬ á¡ááºá¹áá«áááºá¡á¬ážáá¯á¶ážááᯠáá»áœááºá¯ááºáá°á á¡áá»áá¯ážá¡á
á¬ážá¡ááá¯áẠá¡áá»áá¯ážá¡á
á¬ážáá»á¬ážááᯠááœá±ážáá»ááºáᬠáá¯á¶áá»á¬ážá¡ááá¯áẠá¡ááºá¹áá«áááºáá»á¬ážááŸááœá²á áá¯á¶áá»á¬ážá¡ááœáẠáá°áá®áá±á¬á¡á
á¯á¡áá±ážáá»á¬ážááᯠááœááºáá»ááºáá«áááºá áá«ááᯠcatboost áá²á·áááºááá¯ááºáá¯á¶áá²á· 2nd áá±áá¬ááá¯ááá²á·áá«áááºá
catboost optimization ááááá¡ááá·áº
ááááá±áá¬ááŸáá·áº áá¯ááááá±áá¬ááŸá áºáá¯ááẠáá»áœááºá¯ááºá¡á¬áž áá»á±áááºá á±áá±á¬áºáááºáž áá»áœááºá¯ááºááẠá¡áá°ážáááẠáá¬á០ááá¯ááºááá±ážááŒá±á¬ááºáž áá¬ážáááºááá±á¬áá±á«ááºáá¬ážáááºá ááá¯ááá¯áááºááŸá¬ áá¬áá°ážáá¯á¶ážááŸá¯á¶ážááẠáá»áŸá±á¬áºááá·áºááá¯ááºáááºá
ááŒáá¯ááºááá¯ááºááŸá¯ááá¬áááºááŸá¬ á¡áá¯á¶ážááŒá¯áá°á¡ááœááºáž ááá¯á·á áºáá»á¬ážááᯠá¡ááá·áºáááºááŸááºáááºááŒá áºááŒá®ážá ááá¯á¡áá»áááºááœáẠáá»áœááºá¯ááºááẠááŸá¬ážááœááºážáá±á¬áááºááá áºááᯠá¡áá±á¬ááºážáá¯á¶ážááŒá áºá¡á±á¬áẠá¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážááŒá¿áá¬ááᯠááŒá±ááŸááºážáá±áá«áááºá
ááá¯ážááŸááºážáá±á¬ á¥ááá¬áá áºáá¯áá±ážáá«áá á±á
| áá¯á¶ážá áœá²áá°á¡áá¯ááºáá® | objectId | áááºá·ááŸááºáž | ááŒá±ááŒááºá¡ááŸááºááá¬áž |
|---|---|---|---|
| 1 | 10 | 0.9 | 1 |
| 1 | 11 | 0.8 | 1 |
| 1 | 12 | 0.7 | 1 |
| 1 | 13 | 0.6 | 1 |
| 1 | 14 | 0.5 | 0 |
| 2 | 15 | 0.4 | 0 |
| 2 | 16 | 0.3 | 1 |
á¡áá±ážá¡ááœáŸá¬ážáá±áž ááŒááºá á®á ááºááŒáá·áºáá¡á±á¬ááº
| áá¯á¶ážá áœá²áá°á¡áá¯ááºáá® | objectId | áááºá·ááŸááºáž | ááŒá±ááŒááºá¡ááŸááºááá¬áž |
|---|---|---|---|
| 1 | 10 | 0.9 | 1 |
| 1 | 11 | 0.8 | 1 |
| 1 | 12 | 0.7 | 1 |
| 1 | 13 | 0.6 | 0 |
| 2 | 16 | 0.5 | 1 |
| 2 | 15 | 0.4 | 0 |
| 1 | 14 | 0.3 | 1 |
áá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬ááºáá«ááááºáá»á¬ážááᯠáááŸááá«áááº-
| áá¯á¶á ᶠ| AUC | User1 AUC | User2 AUC | AUC ááá¯ááá¯ááá¯áᬠ|
|---|---|---|---|---|
| option ááᯠ1 | 0,8 | 1,0 | 0,0 | 0,5 |
| option ááᯠ2 | 0,7 | 0,75 | 1,0 | 0,875 |
áááºááœá±á·ááŒááºáááá·áºá¡ááá¯ááºáž AUC áááºááá áºááᯠá¡áá¯á¶ážá á¯á¶ááá¯ážáááºá á±ááŒááºážááẠáá¯á¶ážá áœá²áá°áá áºáŠážá¡ááœááºáž áá»ááºážáá»áŸ AUC áááºááá áºááᯠááá¯ážáááºá á±áááºáᯠáááá¯ááá¯áá«á
Catboost box á០á¡ááá·áºáááºááŸááºáá»ááºááœá±á¡ááŒá±á¬ááºáž áááºáááºá catboost ááá¯á¡áá¯á¶ážááŒá¯ááŒá®áž áá áºááá¯á¶ážáá±á·áá»áá·áºááẠYetiRankPairwise ááᯠáááºááŸááºáá«á ááááºá á¡áááºááŒá®ážá áá¬ááá¯ááºáá«áá°ážá áá»áœááºá¯ááºá¡á¬áž áá±á·áá»áá·áºáááºááŒá¬ážáá¬ážááŒá±á¬ááºáž áá¯á¶ážááŒááºááŒááºážááŒáá·áº áá»áœááºá¯ááºááẠá¡ááŸá¬ážá¡ááœááºážáá¯ááºáá±á¬ááºáá»ááºááᯠQueryRMSE ááá¯á·ááŒá±á¬ááºážáá²ááá¯ááºáááºá áááºážááẠcatboost documentation á¡á ááá¯ááá¯ááŒááºáááºá áœá¬ áá±á«ááºážá ááºážááá¯ááºáááºá á¡áá¯á¶ážááŸá¬áá±á¬á·á áá±á·áá»áá·áºáá±ážáá¯ááºáá¯ááºážááá²á· á¡áá°áá°áá² ááááºááœá±ááá²á·áá±ááá·áº áá®áá±á¬áºáááºááŸá áºáá¯áá²á· á¡á á¯á¡áá±ážááœá±á ááá¯ážááŒáá·áºáá¬áá¬ááŒá±á¬áá·áº ááŒáá¯ááºááœá²áá¯á¶ážáá»áá¯ážá áá¯á¶ážááŸá¬ ááááá±áá¬ááᯠáá°áá±á¬ááºáá¬áá²á·áá«áááºá
"áá°ážáá±á«ááºážáá±á¬ááºááœááºáá±ážá áá áºáá»á¬áž" ááŒáá¯ááºááá¯ááºááŸá¯áá¡áœááºááá¯ááºážá ááºááŒáá·áºáááááºáá® 5 áááá áºá¡ááá¯ááœáẠSergey Shalnov ááẠáá»áœááºá¯ááºá¡á¬áž áá¯ááááá±áá¬ááá¯á· ááŒá±á¬ááºážááœáŸá±á·áá²á·áááºá áá«ááá¯á· á¡áá°áá° áá±á¬ááºáááºáááºážááᯠáá»áŸá±á¬ááºáá²á·ááŒáááºá
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºá¡ááœáẠááŒááºáááºáá±áá«áááºá
RTX 2080 TI áá®áá®ááá¯áááºááŒáá·áº á¡áœááºááá¯ááºážá ááºááŒáá·áºááœáẠáá»áœááºá¯ááºááá¯á· á¡á±á¬ááºááœá²áá¶áááºáᯠá¡á¬ááá¶áá¬ážáá±á¬áºáááºáž á¡ááááᯠ300 áá°áááºááŒá áºááŒá®ážá ááŒá áºááá¯ááºáá»á±á¡áá»á¬ážáá¯á¶ážááŸá¬á áá±á¬ááºáá¯á¶ážáá±áá¬áááẠáá»áœááºá¯ááºááá¯á·ááᯠဠ000 áááºááŒá¬ á¡áá¯ááºááá¯ááºážá á±áá²á·áááºá
ááœááºáá±á«áºáá¬ááá·áºá¡ááá¯ááºáž Sergey áááºáááºáž catboost ááᯠá¡áá¯á¶ážááŒá¯áá²á·áááºá á¡ááŒá¶á¥á¬ááºáá»á¬ážááŸáá·áº á¡ááºá¹áá«áááºáá»á¬ážááᯠáááŸááºáá²á·ááŒááŒá®áž á¡ááŒá±á¬ááºážááᯠáá±á·áá¬áá²á·áááºá ááá¯á¡áá¬ááẠáá»áœááºá¯ááºááá±ážááœááºážáá»á¬ážá áœá¬á¡ááœáẠá¡ááŒá±áá»á¬ážáá«ááŸáááŒá®áž ááá¯á¡áá»áááºá áá»áœááºá¯ááºááááŸááá±ážáá±á¬áá±ážááœááºážáá»á¬ážááẠááŒá áºáá«áááºá
á¡á á®áááºáá¶á á¬ááᯠááŒáá·áºááŸá¯ááŒááºážá ááá·áºáááºáá±á¬ááºá¡á¬ážáá¯á¶ážááᯠáá°áááºážáááºááá¯ážááá¯á· ááŒááºáá±ážááẠááá¯á¡ááºááŒá®áž á¡ááºá¹áá«áááºá¡á á¯á¶ááᯠááŒá¯ááŒááºááŒá®ážááŸáᬠáááºáááºáá»á¬ážááᯠááá¯áá áá¯ááºáá¯ááºáá±á¬ááºááẠááá¯á¡ááºáááºáᯠá¡ááŒá¶áá¬ááºáá±ážáá²á·áááºá ááᯠáá±á·áá»áá·áºááŸá¯áá áºáá¯ááẠ15 áá¬áá®ááá·áºááŒá¬ááŒáá·áºáá±á¬áºáááºáž áá±á¬áºáááºáá áºáŠážááẠá¡ááá·áºáááºááŸááºáá»ááºááŒáá·áº á¡á á¯ááá¯ááºáááŸááá±á¬ á¡ááŒááºááŸá¯ááºážááẠááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ á¡ááŒááºááŸá¯ááºážááᯠááá°ááá¯ááºáá²á·áááºá
áá°ážááŒá¬ážáá»ááºáá»áá¯ážáááº
Collaborative Systems ááŒáá¯ááºááá¯ááºááŸá¯ááœááºá áá±á¬áºáááºá¡ááœáẠá¡áá±ážááŒá®ážáá±á¬ á¡ááºá¹áá«áááºá¡áá»á¬ážá¡ááŒá¬ážááᯠá¡áá²ááŒááºáá«áááºá á¥ááá¬á¡á¬ážááŒááºá·, auditweights_spark_svd - á¡áá±ážááŒá®ážáá¯á¶áž ááááááºááá¹ááá¬á áá«áá±ááá·áº áá¬ááá¯ááá¯ááá¯ááá²ááá¯áá²á· á¡áá»ááºá¡áááºáá±á¬á· áááŸááá«áá°ážá á¡áá±ážááŒá®ážáá±á¬á¡ááºá¹áá«áááºáá»á¬ážá¡áá±á«áºá¡ááŒá±áá¶á á¡áá»áá¯ážáá»áá¯ážáá±á¬á¡á á¯á¡áá±ážáá»á¬ážááá¯áá±ááœááºááŒááºážááẠáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáááºáᯠáá»áœááºáá±á¬áºáááºáá²á·áááºá á¥ááá¬á¡á¬ážááŒáá·áºá á¡áá¯á¶ážááŒá¯áá°ááŸá á¡á¯ááºá á¯á¡ááá¯ááºá á¡áá¬ááá¹áá¯á¡ááá¯áẠáá»ááºážáá»áŸ auditweights_spark_svdá áá±á·áá»áá·áºááŸá¯ááá¯ááºáá±á¬ááºááá·áºáá±áá¬ááᯠá¡áá¯á¶ážááŒá¯á á¡áá¬ážáá°ááœááºáá»ááºááá¯ááºááŒá®áž áá áºááŸáẠ= 1á ááá¯ááá¯áááºááŸá¬ áá»ááºážáá»áŸ auditweights_spark_svd á¡áá¯á¶ážááŒá¯áá°ááŸáá°ááŸá áºáááºáá±á¬á¡áá¬áá»á¬ážá¡á¬ážááŒáá·áºá á¡áá±ážááŒá®ážáá²á· ááá¹ááá¬ááœá±á¡ááŒáẠauditweights_spark_svdá¡áá»á¬ážá¡ááŒá¬ážááŸááá²á·áááºá á€ááœáẠáááºážááá¯á·áá²á០á¡áá»áá¯á·ááŸá¬-
- auditweightsCtrGender
- auditweightsCtrHigh
- userOwnerCounterCreateLikes
á¥ááá¬á¡á¬ážááŒáá·áº áá»ááºážáá»áŸ auditweightsCtrGender userId á¡á áááºážááẠáá»ááºážáá»áŸáááºááá¯ážáá²á·ááá¯á· á¡áá±ážááŒá®ážáá±á¬á¡ááºá¹áá«áááºáá áºáá¯ááŒá áºáá¬áááºá userOwnerCounterCreateLikes userId+ownerId á¡á¬ážááŒáá·áºá áááºážááẠáááºáááºáá»á¬ážá á¡áááá¹áá«ááºááᯠáá¬ážáááºááẠááá¯á¡ááºáá±ááŒá®áᯠáááºáááºá á±ááá·áºáááºá
á¡áá±ážáá«áá²á· á¡ááºá¹áá«áááºááœá±áááºáž áá«áá«áááºá á á¬áááºážá á áºá¡áá±ážáááŒááºážLikesCount О auditweightsShowsCount. áá áºáá¯ááŸáá·áºáá áºáᯠááá¯ááºážááŒá¬ážá ááá¯áá¡áá±ážááŒá®ážáá±á¬ á¡ááºá¹áá«áááºáá áºáá¯ááᯠáááŸááá²á·áááºá
áá±áá¬áá±á«ááºááŒá¬ážááŸá¯
ááŒáá¯ááºááá¯ááºááŸá¯ ááŸáá·áº áá¯ááºáá¯ááºáá±áž áá±á¬áºáááºáẠááẠá¡ááœááºááœá²ááŒá¬ážáá±á¬ á¡áá¯ááºáá»á¬áž ááŒá áºááẠá áá±áá¬ááᯠááŒááºáááºááá·áºá¡áá«á á¡áá±ážá áááºá¡áá»ááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠááá·áºááœááºážá ááºážá á¬ážááẠá¡ááœááºáááºáá²ááŒá®áž á ááºážáááºááŸá¯ááŸá áá áºááŸááºááááºážááŸááºááŸáá·áºáááºáááºáá±á¬ á¡áá±ážá¡ááœá²ááá¯ááºáá±á¬ á¡áá»ááºá¡áááºá¡áá»áá¯á·ááᯠááá±á¬áºááŒáá«á áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá¯ááºááŸá¯ááŒá±ááŸááºážáá»ááºáá áºáá¯ááᯠáááºáá®ážáá±áá«áá áá±á¬áºáááºááᯠáá±á·áá»áá·áºáááºááŒá¬ážááá·áºá¡áá« áá±áá¬áá±á«ááºááŒá¬ážááŸá¯ááᯠááŸá±á¬ááºááŸá¬ážááẠááŒáá¯ážá á¬ážáá«áááºá áá«áá±ááá·áº áá»áœááºáá±á¬áºááá¯á· ááŒáá¯ááºááá¯ááºááŸá¯ááᯠá¡ááá¯ááºáá°áá»ááºáááºááá¯áááºáá±á¬á· Data áá±á«ááºááŒá¬ážááŸá¯á á¡áá±á¬ááºážáá¯á¶áž áá¯ááºáá±á¬ááºáá»ááºááœá±áá«á
áá±áá¬ááá¯áá±á·áá¬ááŒá®ážáá±á¬ááºá objectId áááºááá¯ážáá»á¬ážá¡ááá¯ááºážááŒááºááá¯ááºáááºá á á¬áááºážá á áºá¡áá±ážáááŒááºážLikesCount О auditweightsShowsCount ááŒá±á¬ááºážáá²ááŸá¯á ááá¯ááá¯áááºááŸá¬ á€á¡ááºá¹áá«áááºáá»á¬ážá á¡ááŒáá·áºáá¯á¶ážáááºááá¯ážáá»á¬ážá á¡áá»áá¯ážááẠááŒáááá·áºá¡áá»áááºááœáẠááá¯á·á áºááŒá±á¬ááºážáá²ááŒááºážááẠáá»á¬ážá áœá¬áá¬ááœááºáá±á¬ááºážááœááºáááºááᯠáá±á¬áºááŒáááºááŒá áºáááºá
ááááá¯á¶áž áá±á«ááºááŒá¬ážááŸá¯ááá±á¬á· áá»áœááºáá±á¬áºááá¯á· ááœá±á·áá«áááºá auditweightsLikesCountMax/auditweightsShowsCountMax.
áá«áá±ááá·áº á¡áá»ááºá¡áááºááœá±ááᯠááá¯ááŒá®áž á¡áá®ážáááºááŒáá·áºáááºááá¯áááºáá±á¬á ááŒáááá·áºáááºá
áœá²á¡ááá¯áẠá
á®ááœá²ááŒá®áž ááá°ááŒáá«á
áá¯á·á
| objectId | áá¯á¶ážá áœá²áá°á¡áá¯ááºáá® | auditweightsShowsCount | á á¬áááºážá á áºá¡áá±ážáááŒááºážLikesCount | áá áºááŸáẠ(ááá±á¬áá»áááº) |
|---|---|---|---|---|
| 1 | 1 | 12 | 3 | áááŒá áºááá¯ááºáá°áž |
| 1 | 2 | 15 | 3 | ááŒá áºááá¯ááºáááºá |
| 1 | 3 | 16 | 4 |
áá®ááá¯á¥ááá¬ááᯠááááá¯á¶ážááœá±á·ááá¯ááºááá²á·á¡áá« á¡á¶á·ááŒá
áá¬áá±á¬ááºážáá¬á áá»áœááºáá±á¬á·áºáá²á·ááá·áºááŸááºážáá»ááºá ááááºááŒá
áºáá¬áá¬ááá¯ááºáá«áá°ážá ááá¯á·áá±á¬áº á¡áá¬ááá¹áá¯ááœááºážááŸá á€áááá±áááá¹ááá¬áá»á¬ážá á¡ááŒáá·áºáá¯á¶ážáááºááá¯ážáá»á¬ážááẠááá¯ážááŒáá·áºáá¬áááºáá°áá±á¬á¡áá»ááºááᯠááá·áºááœááºážá
ááºážá
á¬ážáᬠáá»áœááºá¯ááºááá¯á· ááá»ááºážáááá² ááŸá¬ááœá±ááẠáá¯á¶ážááŒááºáá²á·ááŒáááºá auditweightsShowsCountNext О auditweightsLikesCountNextááá¯ááá¯áááºááŸá¬ á¡áá»áááºáá¬áá ááŸááá±á¬ áááºááá¯ážáá»á¬ážááŒá
áºáááºá á¡ááºá¹áá«áááºáá
áºáá¯ááá·áºááœááºážááŒááºážááŒáá·áº
(auditweightsShowsCountNext-auditweightsShowsCount)/(auditweightsLikesCount-auditweightsLikesCountNext) áá»ááºááŒááºá
áœá¬ áá¯ááºáá±á«ááºáá²á·ááŒáááºá
á¡áá¬ážáá° áá±á«ááºááŒá¬ážááŸá¯áá»á¬ážááᯠá¡á±á¬ááºáá«áááºááá¯ážáá»á¬ážááᯠááŸá¬ááœá±ááŒááºážááŒáá·áº á¡áá¯á¶ážááŒá¯ááá¯ááºáááºá userOwnerCounterCreateLikes userId+ownerId á¡ááœááºážááŸáá·áº á¥ááá¬á¡á¬ážááŒáá·áºá auditweightsCtrGender objectId+userGender á¡ááœááºážá áá±á«ááºááŒá¬ážááŸá¯áá»á¬ážáá«ááŸáááá·áº á¡áá¬ážáá°áááºááẠ6 áá¯ááᯠáá»áœááºá¯ááºááá¯á·ááœá±á·ááŸááá²á·ááŒá®áž áááºážááá¯á·áá¶á០áááºááá¯ááºááá»áŸ á¡áá»ááºá¡áááºáá»á¬ážááᯠáá¯ááºáá°áá²á·áááºá
ááá¯á¡áá»áááºááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá°ážáá±á«ááºážáá¯ááºáá±á¬ááºááá·áºá¡ááºá¹áá«áááºáá»á¬ážá០á¡áá»ááºá¡áááºáá»á¬ážááᯠáááºááá¯ááºááá»áŸ ááŸá áºáá¯ááºáá²á·áá±á¬áºáááºáž áá¯ááºáá¯á¶ááŸáá·áº á á¬áá¬ážááŒáá¯ááºááœá²áá»á¬ážááá¯á· ááŒááºááá¬áá±á¬á·áá«á áááºááá¯ááºáá¬ááŒáá¯ááºááœá²áá»á¬ážááœáẠáá¯á¶áá»á¬áž ááá¯á·ááá¯áẠá á¬áá¬ážáá»á¬ážááᯠá¡ááŒá±áá¶á á¡ááºá¹áá«áááºáá»á¬áž áááºáá»áŸáá±ážáááºááᯠá á áºáá±ážááẠá¡ááŒá¶áá±á¬ááºážáá áºáá¯ááŸááá²á·áááºá
áá¯á¶ááŸáá·áº á á¬áá¬ážááŒáá¯ááºááœá²áá»á¬ážááœáẠáá±á«ááºááŒá¬ážááŒááºážáááŸááá±á¬áºáááºáž ááá¯á¡áá»áááºááœáẠáá»áœááºá¯ááºááẠáá°áááºáž catboost parameters áá»á¬ážááᯠááŒááºáá±ážáá²á·ááŒá®ážá áá¯ááºááᯠááŸááºážáááºážááŒá®áž á¡ááºá¹áá«áááºá¡áá»áá¯á·ááᯠááá·áºááœááºážáá²á·áááºá á á¯á á¯áá±á«ááºážááŸá¬-
| áá¯á¶ážááŒááºáá»áẠ| áááŒá¬áá® |
|---|---|
| áá¯á¶áá»á¬ážááŒáá·áº á¡áá»á¬ážáá¯á¶áž | 0.6411 |
| á¡áá»á¬ážáá¯á¶ážáá¯á¶áá»á¬ážáááŸááá«á | 0.6297 |
| áá¯ááááá±áá¬ááá¬áẠ| 0.6295 |
| áá¯á¶ážááŒááºáá»áẠ| áááŒá¬áá® |
|---|---|
| á á¬áá¬ážáá»á¬ážááŒáá·áº á¡áá»á¬ážáá¯á¶áž | 0.666 |
| á á¬áá¬ážááá«áá² á¡áá»á¬ážáá¯á¶áž | 0.660 |
| áá¯ááááá±áá¬ááá¬áẠ| 0.656 |
| áá¯á¶ážááŒááºáá»áẠ| áááŒá¬áá® |
|---|---|
| áá°ážáá±á«ááºážáá¯ááºáá±á¬ááºááŸá¯ááœáẠá¡áá»á¬ážáá¯á¶ážááŒá áºáááºá | 0.745 |
| áá¯ááááá±áá¬ááá¬áẠ| 0.723 |
áá»áœááºá¯ááºááá¯á·ááẠá á¬áá¬ážáá»á¬ážááŸáá·áº áá¯ááºáá¯á¶áá»á¬ážáá²á០á¡áá»á¬ážá¡ááŒá¬ážááᯠááŸá áºáá¯ááºááá¯ááºá áœááºážáááŸáááŒá±á¬ááºáž áááá¬áááºááŸá¬ážáá¬ááŒá®áž á áááºáááºá á¬ážá áá¬á¡áá±á¬ááºážáá¯á¶áž á¡áá¯ááºáá®áá¬á¡áá»áá¯á·ááᯠááŒáá¯ážá á¬ážááŒá®ážáá±á¬áẠáááºážááá¯á·ááŸáá·áº á¡áá¯ááºááá¯ááºáá±á¬á·áá«á
áá°ážáá±á«ááºážáá±á¬ááºááœááºááá·áºá áá áºáá»á¬ážááœáẠá¡ááºá¹áá«áááºáá»á¬áž ááá¯ážááœá¬ážáá¬ááŒááºážáááŸááááŒáá·áº áá»áœááºá¯ááºááá¯á· á¡ááá·áºáááºááŸááºááŒááºážááᯠá áááºáá²á·áááºá á¡áœááºááá¯ááºážá ááºááŒáá·áºááœááºá á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážááŸáá·áº á¡ááá·áºáááºááŸááºááŒááºážá¡á¯ááºá á¯ááẠáá»áœááºá¯ááºá¡á¬áž á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážááᯠáá±á·áá»áá·áºáá¬ážáá±á¬ááŒá±á¬áá·áº ááœááºáá±á«áºáá¬ááá·áºá¡áá»ááºááŸá¬ á¡áááºážáááºááá¯ážáá¬á á±áááºá YetiRanlPairwise á¡áá«á¡ááẠáááºááá·áº error functions á០LogLoss áá¯ááºáá²á·áá±á¬ áááẠ(0,745 ááŸáá·áº 0,725) á¡áá®ážáááá¯ááºááœáẠáááºááá·áºáá±áá¬á០ááá¯ááºáá±ážáá«á áá áááºááá¯ááºáá±ážááá·áº QueryCrossEntropy á¡ááœáẠáá»áŸá±á¬áºááá·áºáá»ááºááŸááá±áá±ážáááºá
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áº
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºááœááºá áá±áá¬ááœá²á·á ááºážáá¯á¶ááẠá¡áá°áá°áááºááŒá áºáá±á¬áºáááºáž ááŒá±á¬ááºážáá²ááŸá¯á¡áááºážáááºááŸááá«áááº-
- userIdá objectIdá ownerId ááá¯á·ááᯠááœá²ááŒá¬ážáááºááŸááºááŸá¯áá»á¬ážááᯠááŒááºáááºá áá áºááá» ááŒá¯áá¯ááºáá¬ážáá«áááºá
- ááá¯ááºážáá¯ááºá¡áá»á¬ážá¡ááŒá¬ážááᯠáááºááŸá¬ážáá²á·ááŒá®áž á¡áá»áá¯á·ááᯠá¡áááºááŒá±á¬ááºážáá²á·áááºá
- áá±áá¬ááẠá.á áááá·áº ááá¯ážáá¬áá²á·áááºá
á
á¬áááºážááœááºážáá¬ážáá±á¬á¡áááºá¡áá²áá»á¬ážá¡ááŒááºá á¡ááœá²á·ááẠRTX 2080TI ááŒáá·áº áá¬áá¬ááŒá®ážáá
áºáá¯ááᯠááœá²áá±áá±ážáá²á·áá«áááºá áá»áœááºáá±á¬áº Htop ááᯠááŒáá¯ááºáá±áᬠááŒá¬áá«ááŒá®á
ááŸáááŸáá·áºááŒá®ážáá¬ážá¡áá¬ááᯠááá¯ážááá¯ážááŸááºážááŸááºáž ááŒááºáá¯ááºááẠá áááºáá°ážáá áºáá¯áᬠááŸááá²á·áááºá áá¬áá¬ááœáẠáááºáááºážáá»ááºááᯠáá¬áá®ááŸá áºáááºááŒá¬ á áá áºááá·áºááœááºážááŒá®ážáá±á¬ááºá ááááºáá»á¬ážááẠááŒááºáááºáá¯ááºáá¯ááºááá¯ááºáááºááá¯áááºááᯠáá»áœááºá¯ááºááá¯á· áááŒááºážááŒááºáž á á áºáá±ážá ááŒá¯áá¬áááºá áá»áœááºá¯ááºááá¯á·áááºááá¯ááºáá±ááá±á¬ á¡áááááŒá¿áá¬ááŸá¬ áá±áá¬ááá¬á ááá¯ážáá¬ááŒááºážááŒá áºáááºá áá»áœááºá¯ááºááá¯á·ááẠáááºááá¯á¡áááºážáááºáá»áŸá±á¬á·áá»ááẠáá¯á¶ážááŒááºááŒá®áž catboost parameter ctr_complexity=1 ááᯠáááºááŸááºáá²á·áááºá áááºážááẠá¡ááŸáááºááᯠá¡áááºážááẠáá»áŸá±á¬á·áá»áá±ážáá±á¬áºáááºáž áá»áœááºá¯ááºá áá±á¬áºáááºááẠá áááºá¡áá¯ááºáá¯ááºááŒá®áž ááááºááŸá¬ 0,733 ááŒá áºáááºá áá»áœááºá¯ááºááŸáá·áºááá°áá² Sergey ááẠáá±áá¬ááᯠá¡ááá¯ááºážááŸá áºááá¯ááºážááœá²ááŒá®áž á¡áœááºááá¯ááºážá ááºááŒáá·áºááœáẠá¡áá±á¬ááºážáá¯á¶ážááááºáá»á¬ážááᯠáá±ážá áœááºážáá±á¬áºáááºáž áá±áá¬á¡á¬ážáá¯á¶ážááᯠáá±á·áá»áá·áºáááºááŒá¬ážááŒááºážáááŸááá±á¬áºáááºáž á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºááœáẠá¡áááºá¡áá²áá»á¬ážá áœá¬ááŸááááºá áá»áœááºá¯ááºááá¯á· áá¯ááºáá¯ááºááá¯ááºáá±á¬ á¡ááºá¹áá«áááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠcatboost á¡ááŒá Ạááœááºážááá¯á·ááẠááŒáá¯ážá á¬ážáá«áá á¡áœááºááá¯ááºážá ááºááŒáá·áºááœáẠáááºááá·áºá¡áá¬á០á¡áá¯ááºáááŒá áºáá«á Sergey ááẠoptimization ááá¯ááá¯ááºááŒá®áž á¥ááá¬á¡á¬ážááŒáá·áº float2 á¡áá»áá¯ážá¡á á¬ážáá»á¬ážááᯠfloat64 ááá¯á·ááŒá±á¬ááºážáááºá áááºáá«áá»á¬ážááœáẠááŸááºáá¬ááºááá¯áá±á¬ááºážá¡á±á¬ááºááŒá¯áá¯ááºááŒááºážááá¯ááºáᬠá¡áá»ááºá¡áááºáá»á¬ážááᯠáááºááŸá¬ááœá±ááá¯ááºáááºá ááááºá¡áá±áá²á· Sergey áᬠdata á¡á¬ážáá¯á¶ážááá¯áá¯á¶ážááŒá®áž CPU ááá¯áá±á·áá»áá·áºááŒá®áž 0,735 áá±á¬ááºááá²á·áá«áááºá
áá®ááááºááœá±á ááá¯ááºááœá²áááá¯á· áá¯á¶áá±á¬ááºáá±ááá·áº áá»áœááºáá±á¬áºááá¯á·áá²á· á á áºááŸááºáá²á· ááŒááºááŸá¯ááºážááᯠáá¯á¶ážááœááºáá¬ážááŒá®áž áááŒá¬ážá¡áááºážááœá± áá®ááá¯áá² áá¯ááºáá±áá¬ááá¯ááºáá°ážááá¯áᬠááá±áá»á¬ááá¯ááºáá«áá°ážá
áá±á¬ááºáá¯á¶ážá¡áá ááá¯ááºááœá²áááºáá«á
Catboost áá»áááºááŸáááŒááºážá
áá»áœááºá¯ááºááá¯á·áááŒá±ááŸááºážáá»ááºááẠá¡ááŒáá·áºá¡áááŒááºáááºáá¯ááºáá¯ááºáá¬ážááŒá®ážá áá»áœááºá¯ááºááá¯á·ááẠá á¬áá¬ážáá±áá¬ááŸáá·áº áá¯ááºáá¯á¶áá»á¬ážáá¡ááºá¹áá«áááºáá»á¬ážááᯠááá·áºááœááºážáá¬ážáá±á¬ááŒá±á¬áá·áº áá»ááºá¡áá¬á¡á¬ážáá¯á¶ážááẠcatboost áá±á¬ááºáá»á¬ážááᯠáá»áááºááŸááááºááŒá áºáááºá Sergey ááẠCPU áá±á«áºááœáẠáááºáá«ááá²áá² á¡áááºážáááºááŒáá·áº áá±á·áá»áá·áºáá²á·ááŒá®áž ctr_complexity=1 ááŒáá·áº áááºážááᯠáá±á·áá»áá·áºáá²á·áááºá áá áºáááºáá¬áá»ááºáá±á¬á·áááºá á¡áááºá áááºááẠáááºáá«ááá²áá²áá¯ááºááŒááºáž ááá¯á·ááá¯áẠctr_complexity ááá¯ážáá¬áá«áá áá¶áááºáááºážááœáẠááá¯áá±á¬ááºážáá±á¬á¡ááŸáááºáááá¯ááºááŒá®áž áá áºáá±á·áá¬áá¯á¶áž áááºážáá»áŸá±á¬ááºááá¯ááºáááºááŒá áºáááºá
á¡á±á¬á·ááºááá¯ááºážá¡ááá·áºááœááºá ááá¯ááºáá±á«áºááŸá á¡áá±á¬ááºážáá¯á¶ážááŒá±ááŸááºážáá»ááºááᯠáááœá±ážáá»ááºáá¯á¶ááŒáá·áº á¡ááŒááºááŸá¯ááºážáá»á¬ážááᯠá¡ááœááºááœááºáá°á áœá¬ ááŸááºáá¬ážááá¯ááºáááºá áááºááœááºážááŸá¯áá»á¬ážááᯠáááááºáá® áá±á¬ááºáá¯á¶ážáááá áºááœáẠáŠážáá±á¬ááºáá°á á¬áááºážááœáẠááŒááºážáááºáá±á¬á¡ááŒá±á¬ááºážá¡áá²áá»á¬ážááᯠáá»áŸá±á¬áºááá·áºáá¬ážááŒá®áž ááááºááá·áºááẠáá¯á¶ážááŒááºáá²á·áááºá
Anna ááá®áá®ááá¯ááŸá áá±á¬áºáááºáá¡áááºá¡ááœá±ážááá¯ááŒáŸáá·áºáááºáááºá á¡á±á¬ááºáá«áá±á¬ááºáá»á¬ážááá¯ááœá±ážáá»ááºááŒááºážáááºá¡áá±á¬ááºážáá¯á¶ážááŒá áºáááº-
- áááºáá°ááŸá¯ááŸá¯ááºáž â áá±áá¬á¡ááœá²á á¡ááœááºá¡á á¬ážáá±á«áºáá°áááºá áá°áááºážáááºááá¯ážááᯠááœááºáá»ááºáááºá áááºáá°ááŸá¯_ááŸá¯ááºážááᯠááá¯ážááŒáŸáá·áºááŒááºážááẠáááºáá¬áááºáᬠá¡áá±á¡ááœááºááᯠááá¯ážááŒáŸáá·áºááẠááá¯á¡ááºáááºá
- l2_leaf_reg â áá¯á¶ááŸááºáááºááŸááºáá±ážáá±á¬ááááºážá áá¯á¶áá±áááºááá¯áž 3á ááá¯áá±á¬ááºážááẠ2 á០30 ááá¯ááœá±ážáá»ááºáá«á áááºááá¯ážááᯠáá»áŸá±á¬á·áá»ááŒááºážááẠááá¯ááŒá¶á·ááá¯ááºááŸá¯ááá¯ážáá¬á á±áááºá
- bagging_temperature â ááá°áá¬ááŸá á¡áá¬ááá¹áá¯áá»á¬ážá á¡áá±ážáá»áááºááᯠáá»áááºážááŒá¯áá¯ááºááŒááºážááᯠáá±á«ááºážááá·áºáááºá áá¯á¶áá±áááºááá¯ážááẠ1 ááŒá áºááŒá®ážá á¡áá±ážáá»áááºáá»á¬ážááᯠáááºááááºážááœá²áá±ááŸá¯áá áºáá¯á០áá¯ááºáá°áááºá áááºááá¯ážááᯠáá»áŸá±á¬á·áá»ááŒááºážááẠááá¯áá»áŸá¶ááŸá¯ ááá¯ážáá¬á á±áááºá
- áá»áááºáž_ááœááºá¡á¬áž - áááºááŸááºáá¬ážáá±á¬ áááºáá«ááá²áá²ááœáẠááœá²ááŒááºážááœá±ážáá»ááºááŸá¯á¡áá±á«áº áááºáá±á¬ááºááŸá¯ááŸááááºá Random_strength ááŒáá·áºáá¬ážáá±á á¡áá±ážáá«ááŸá¯áááºážáá±á¬ ááœá²ááŒááºážááᯠááœá±ážáá»ááºáá¶áááá¯ááºááŒá± ááá¯áá»á¬ážáá±ááŒá áºáááºá áá±á¬ááºáááºááœá² á¡ááŒáááºááá¯ááºážááœááºá áá»áááºážááŒá áºááŸá¯ áá»á±á¬á·áááºážááœá¬ážáááºá áááºááá¯ážááᯠáá»áŸá±á¬á·áá»ááŒááºážááẠááá¯áá»áŸá¶ááŸá¯ ááá¯ážáá¬á á±áááºá
á¡ááŒá¬ážáá±á¬ ááá·áºáááºáá»ááºáá»á¬ážááẠáá±á¬ááºáá¯á¶ážááááºá¡áá±á«áº áááºáá±á¬ááºááŸá¯áá»á¬ážá áœá¬ áá±ážáááºáá±á¬ááŒá±á¬áá·áº áááºážááá¯á·ááᯠááœá±ážáá»ááºááẠáááŒáá¯ážá á¬ážáá²á·áá«á ctr_complexity=1 áá«ááŸáááá·áº áá»áœááºá¯ááºá GPU áá±áá¬á¡ááœá²ááœáẠáá±á·áá»áá·áºááŸá¯áá áºáá¯ááẠáááá Ạ20 ááŒá¬ááŒá®áž áá»áŸá±á¬á·áá»áá¬ážáá±á¬áá±áá¬á¡ááœá²ááŸá ááœá±ážáá»ááºáá¬ážáá±á¬ áá±á¬ááºáá»á¬ážááẠáá±áá¬á¡á á¯á¶á¡áááºááŸá á¡áá±á¬ááºážáá¯á¶ážááŸáá·áº á¡áááºážáááºááœá¬ááŒá¬ážáá«áááºá á¡áá¯á¶ážááŸá¬áá±á¬á· áá±áᬠ30% ááᯠáááºáá«áááºáá« 10 áá±á¬ááºáá¯ááºáá²á·ááŒá®áž áá±áá¬á¡á¬ážáá¯á¶ážááŸá¬ áá±á¬ááºááẠ10 áááºáá¯ááºáá²á·áááºá á€áá²á·ááá¯á· ááœááºáá±á«áºáá¬áááº-
- áááºáá°ááŸá¯ááŸá¯ááºáž áá¯á¶áá±ááá± 40% ááá¯ážáá¬áááºá
- l2_leaf_reg áá®á¡ááá¯ááºážáá¬ážáá²á·áááºá
- bagging_temperature О áá»áááºáž_ááœááºá¡á¬áž 0,8 ááá¯á· áá»áŸá±á¬á·áá»áá²á·áááºá
áá±á¬áºáááºááᯠdefault parameters áá»á¬ážááŒáá·áº áá±á·áá»áá·áºáá¬ážáááºáᯠáá»áœááºá¯ááºááá¯á· áá±á¬ááºáá»ááºáá»ááá¯ááºáá«áááºá
áŠážáá±á¬ááºáá°á á¬áááºážááŸá¬ ááááºááá¯ááŒááºááá²á·á¡áá« á¡áááºážá¡á¶á·ááŒááœá¬ážáááºá
| áá¯á¶á ᶠ| áá±á¬áºááẠ1 | áá±á¬áºááẠ2 | áá±á¬áºááẠ3 | á¡ááœá²á· |
|---|---|---|---|---|
| ááŸáááŒááºážáááŸááá² | 0.7403 | 0.7404 | 0.7404 | 0.7407 |
| áá»áááºááŸáááŸá¯ááŸáá·áºá¡áá° | 0.7406 | 0.7405 | 0.7406 | 0.7408 |
á¡áááºá áá±á¬áºáááºááᯠá¡ááŒááºá¡áá¯á¶ážáá»áááºáááá¯á¡ááºáá«áá á¡ááá·áºáá±á¬áºáá¯á¶ážááá¯ááºáá±á¬ ááá·áºáááºáá±á¬ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áá±á¬áºáááºá¡áá»á¬ážá¡ááŒá¬ážá á¡ááœá²ááá¯ááºááœá±ážáá»ááºááŸá¯ áá«áá¬áá®áá¬áá»á¬ážááᯠá¡á á¬ážááá¯ážááŒááºážááẠááá¯áá±á¬ááºážáááºáᯠáá»áœááºá¯ááºááá¯ááºááá¯áẠáá±á¬ááºáá»ááºáá»áá²á·áááºá
Sergey ááẠGPU áá±á«áºááœáẠrun ááẠdataset áá¡ááœááºá¡á á¬ážááᯠá¡áá±á¬ááºážáá¯á¶ážááŒá áºá¡á±á¬ááºáá¯ááºáá±áááºá á¡ááá¯ážááŸááºážáá¯á¶ážááœá±ážáá»ááºááŸá¯ááŸá¬ áá±áá¬á¡á áááºá¡ááá¯ááºážááᯠááŒááºáá±á¬ááºáááºááŒá áºáááºá ááá¯á·áá±á¬áº áááºážááᯠáááºážáááºážáá»á¬ážá áœá¬ááŒáá·áº áá¯ááºáá±á¬ááºááá¯ááºáááº-
- áá±áá¬á¡á á¯á¶ááẠááŸááºáá¬ááºááœáẠá¡á¶áááºááœááºáá»áááŒá áºáá®á¡áá ááŸá±ážá¡áá»áá¯á¶ážáá±áᬠ(áá±áá±á¬áºáá«áá®áá¡á ) ááᯠááŒááºážááŒááºážáá»ááºáž áááºááŸá¬ážáá«á
- á¡áá±ážá¡áá«áá¯á¶ážáá±á¬ á¡ááºá¹áá«áááºáá»á¬ážááᯠáááºááŸá¬ážáá«á
- áá áºáá¯áááºážáá±á¬áááºáá±á¬ááºááŸá¯ááŸááá±á¬ userIds ááá¯áááºááŸá¬ážáá«á
- á ááºážáááºááŸá¯ááœááºááŸááá±á¬ userIds áá»á¬ážááá¯áá¬áá¬ážáá²á·áá«á
áá±á¬ááºáá¯á¶ážá¡áá±áá²á· ááœá±ážáá»ááºá áá¬á¡á¬ážáá¯á¶ážáá²á á¡á á¯á¡áá±ážáá áºáá¯ááᯠáááºáá®ážááá¯ááºáá«á
áá±á¬ááºáá¯á¶ážá¡ááœá²á·
áá±á¬ááºáá¯á¶ážáá±á·á ááá±ááŸá±á¬ááºážááá¯ááºážááœáẠáá»áœááºá¯ááºááá¯á·ááẠ0,742 áááŸáááá·áº áá»áœááºá¯ááºááá¯á·á áá±á¬áºáááºáá»á¬ážá á¡á á¯á¡áá±ážááᯠáááºážáá»ááºážáá²á·áááºá áá áºááááºážááœáẠáá»áœááºá¯ááºááá±á¬áºáááºááᯠctr_complexity=2 ááŒáá·áº á áááºáá²á·ááŒá®áž áááá Ạ30 á¡á á¬áž 5 áá¬áá®ááŒá¬ áá±á·áá»áá·áºáá²á·áááºá áá¶ááẠá áá¬áá®ááœááºáᬠáá±ááœááºááŒá®áž 4 ááᯠá¡áá»á¬ážáá°ááŸá¬ áŠážáá±á¬ááºáá°á á¬áááºážááœáẠáá±ážáá²á·áá±á¬ áá±á¬ááºáá¯á¶ážá¡ááœá²á·ááᯠááŒá¯áá¯ááºáá²á·áááºá
ááŒá¿áá¬ááá¯ááŒá±ááŸááºážááẠááá°áá®áá±á¬áá»ááºážáááºááŸá¯áá»á¬ážááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·áááá·áºááŸááºážáá»ááºáá»á¬ážááẠááŒááºážááŒááºážáááºáááºáááºááœááºááŸá¯áááŸááá²á á¡á á¯á¡áá±ážááœáẠáá±á¬ááºážá áœá¬ááá¯ážáá¬á á±áááºá á¡á á¯ááá¯ááºá¡ááŒá¯á¶ááá¯ááºáá±á¬ááºážáá áºáá¯ááááºá á¡ááŒááºážááẠáá±á¬áºáááºááá·áºááŸááºážáá»ááºáá»á¬áž ááŒáá¯áááºáá±á¬ááááºáž(prediction_type='RawFormulaVal') ááá¯á¡áá¯á¶ážááŒá¯ááŒá®áž scale_pos_weight=neg_count/pos_count áááºááŸááºááẠááá¯áá±á¬ááºážáá«áááºá
áááºááá¯ááºááœáẠááŒáá·áºááŸá¯ááá¯ááºáá«áááºá .
á¡ááŒá¬ážááŒá±ááŸááºážáá»ááºáá»á¬áž
á¡ááœá²á·á¡áá»á¬ážá¡ááŒá¬ážááẠá¡ááŒá¶ááŒá¯áá°á áá Ạalgorithms á canons áá»á¬ážááᯠááá¯ááºáá¬áá²á·ááŒáááºá áá»áœááºá¯ááºááẠá€áááºáááºááœáẠáá»áœááºážáá»ááºáá°ááá¯ááºáá«á áááºážááá¯á·ááᯠá¡áá²ááŒááºááááá±á¬áºáááºáž á áááºáááºá á¬ážá áá¬áá±á¬ááºážáá±á¬ ááŒá±ááŸááºážáááºáž á áá¯ááᯠááŸááºáááá«áááºá
- . Nikolay ááẠMail.ru á áááºáááºážáá áºáŠážááŒá áºááŒá®áž áá¯áá»á¬ážááá»áŸá±á¬ááºáá¬ážáá²á·áááŒáá·áº áááºážááááºážááá¯ááºááŸá¬ á¡ááŒáá·áºáá¯á¶ážááŒááºááŸá¯ááºážáááŸááááºááá¯ááºáá² ááœááºáá°áá±á¬á¡ááá¯ááºážá¡áá¬ááŒáá·áº ááŒá±ááŸááºážáá»ááºááá°áááºááŒá áºáááºá
- áá»á°áá®áá¯áá¡áááºážá áá¯á¶ážááŒááºáá»ááºá¡áá±á«áº á¡ááŒá±áá¶áááºá ááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºááŒááºážáááŸááá² á¡ááœááºáá±á¬ááºážááœááºáá±á¬ áá¯ááºáá¯á¶á¡á á¯á¡áá±ážá¡ááœáẠááœáá·áºááŒá¯áá¬ážáááºá
áá±á¬ááºáá»ááº
áá«á·ááŸááºáá¬ááºáá²ááŸá¬ á¡ááááºáá¯á¶ážá¡áá¬
- áá±áá¬ááœáẠá¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááá¯ááºáá±á¬ á¡ááºá¹áá«áááºáá»á¬ážááŸáááŒá®áž áá áºááŸááºáá¯ááºááᯠááŸááºáááºá áœá¬ááŒá¯áá¯ááºáááºážááᯠáááºáááá«á catboost á ááºážááŒáá·áºááŒááºážá ááá¯áá±á¬ááºážáá±ážáááºá
- á¡áááºá áááºááẠááŒáá¯ááºááœá²áá áºáá¯ááœáẠáá«áááºáá±áá«áá learning_rate ááŸáá·áº áááºáá¬áááºáᬠááŸááœá²á á¡ááŒá¬áž parameters áá»á¬ážááᯠááœá±ážáá»ááºááŒááºáž á¡áá»áááºáááŒá¯ááºážááá·áºáá«á ááá¯ááá¯ááŒááºáááºáá±á¬ááŒá±ááŸááºážáá»ááºááŸá¬ áá±á¬áºáááºáá»á¬ážá áœá¬á á¡á á¯á¡áá±ážáá áºáᯠáááºáá®ážáááºááŒá áºáááºá
- ááŒáŸáá·áºáááºááŒááºážáá»á¬ážááᯠGPU ááœáẠáá±á·áá¬ááá¯ááºáááºá Catboost ááẠGPU ááœáẠá¡ááœááºáá»ááºááŒááºá áœá¬ áá±á·áá¬ááá¯ááºáá±á¬áºáááºáž áááºážááẠáááºááá¯áá®ááᯠáá»á¬ážá áœá¬á á¬ážáááºá
- á áááºáá°ážáá»á¬ážááᯠáá®ááœááºááŒááºážááŸáá·áº á ááºážáááºááŒááºážá¡ááœááºážá áá±ážáááºáá±á¬ rsm~=0.2 (CPU áá®ážááá·áº) ááŸáá·áº ctr_complexity=1 ááᯠáááºááŸááºááŒááºážááẠááá¯áá±á¬ááºážáááºá
- á¡ááŒá¬ážá¡áááºážáá»á¬ážááŸáá·áºááá°áá²á áá»áœááºá¯ááºááá¯á·ááá±á¬áºáááºáá»á¬ážáá¡á á¯á¡áá±ážááẠááŒá®ážáá¬ážáá±á¬ááá¯ážááŒáá·áºáá¬áá«áááºá áá»áœááºá¯ááºááá¯á·ááẠááá°áá®áá±á¬ áá¬áá¬á áá¬ážáá»á¬ážááŒáá·áº á¡áá°á¡ááá»á¬áž áááŸááºáá²á·ááŒáá«áááºá áá±áá¬ááá¯ááœá²ááŒááºážááẠáá»áœááºá¯ááºááá¯á·ááœáẠááá°áá®áá±á¬áá»ááºážáááºááŸá¯áá áºáá¯ááŸááá²á·ááŒá®áž áá áºáá¯á á®ááœáẠáááºážáááá¯ááºááá¯áẠáá»áœááºááœááºážáá»ááºáá»á¬ážááŸááá±áááºáᯠáá»áœááºáá±á¬áºáááºáá«áááºá
- á¡ááá·áºáááºááŸááºááŒááºáž optimization ááẠá¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážááá¯ááºáᬠááá¯ááá¯áá±á¬ááºážááœááºá¡á±á¬ááºááŒá¯áá¯ááºááŒááºážááẠá¡áááºááŒá±á¬áá·áº ááá¯ááá¯ááá¯ážááœá¬ážáááºááᯠááŸááºážááŸááºážáááºážáááºážáááááá«á
- á á¬áá¬ážáá»á¬ážááŸáá·áº á¡áá¯ááºáá¯ááºááá·áº á¡ááœá±á·á¡ááŒá¯á¶á¡áá»áá¯á·ááŸáá·áº á¡ááŒá¶ááŒá¯áá°á áá áºáá»á¬áž ááŒá¯áá¯ááºáá¯á¶ááá¯á·ááᯠáá¬ážáááºááá±á¬áá±á«ááºáá²á·áá«áááºá
áááŸááá²á·áá²á· áá¶á á¬ážáá»ááºááœá±á ááá¯áá¯áááœá±áá²á· áá¯ááœá± á¡ááœáẠá á®á ááºáá°ááœá±ááᯠáá»á±ážáá°ážáááºáá«áááºá
source: www.habr.com