Продолжувајќи ја темата за натпревари за машинско учење на Habré, би сакале да ги запознаеме читателите со уште две платформи. Сигурно не се огромни како kaggle, но дефинитивно заслужуваат внимание.

Лично, не ми се допаѓа премногу каглирање од неколку причини:

• прво, натпреварите таму често траат неколку месеци, а активното учество бара многу напор;
• второ, јавни кернели (јавни решенија). Приврзаниците на Kaggle советуваат да ги третирате со смиреноста на тибетските монаси, но во реалноста е срамота кога нешто на што сте работеле месец или два одеднаш ќе испадне дека е поставено на сребрен послужавник за секого.

За среќа, натпреварите за машинско учење се одржуваат на други платформи и ќе се дискутира за неколку од овие натпревари.

ИДАО	СНА Хакатон 2019 година
Официјален јазик: англиски, организатори: Yandex, Sberbank, HSE	Официјален руски јазик, организатори: Mail.ru Group
Онлајн круг: 15 јануари - 11 февруари 2019 година; Финале на лице место: 4-6 април 2019 година	онлајн - од 7 февруари до 15 март; офлајн - од 30 март до 1 април.
Користејќи одреден сет на податоци за честичка во Големиот хадронски судирач (траекторија, моментум и други прилично сложени физички параметри), одреди дали е мион или не Од оваа изјава, идентификувани се 2 задачи: — во едно само требаше да го испратите вашето предвидување, - а во другата - целосниот код и модел за предвидување, а извршувањето беше предмет на прилично строги ограничувања за времето на работа и употребата на меморијата	За натпреварот SNA Hackathon, беа собрани дневници за прикажување содржини од отворени групи во доводите на вести од корисниците за февруари-март 2018 година. Тест сетот ја содржи последната недела и половина од март. Секој запис во дневникот содржи информации за тоа што е прикажано и на кого, како и како реагирал корисникот на оваа содржина: ја оценил, коментирал, ја игнорирал или ја сокрил од доводот. Суштината на задачите на SNA Hackathon е да го рангира секој корисник на социјалната мрежа Однокласници неговиот извор, подигајќи ги што е можно повисоко оние објави што ќе добијат „класа“. На онлајн сцената, задачата беше поделена на 3 дела: 1. рангира работни места според различни карактеристики на соработка 2. рангирајте ги објавите врз основа на сликите што ги содржат 3. рангираат објави според текстот што го содржат
Комплексна сопствена метрика, нешто како ROC-AUC	Просечна ROC-AUC по корисник
Награди за првата етапа - маици за N места, премин во втора фаза, каде што се плаќаше сместување и оброци за време на натпреварот Втора фаза - ??? (Од одредени причини не бев присутен на церемонијата на доделување и не можев да дознаам кои се наградите на крајот). Тие ветија лаптопи на сите членови на победничкиот тим	Награди за првата етапа - маици за 100-те најдобри учесници, премин во втората фаза, каде што се плаќаше патување во Москва, сместување и оброци за време на натпреварот. Исто така, кон крајот на првата етапа беа објавени награди за најдобрите во 3 задачи во етапа 1: сите освоија видео картичка RTX 2080 TI! Втората фаза беше екипна, тимовите се состоеја од 2 до 5 лица, награди: Прво место - 1 рубли Прво место - 2 рубли Прво место - 3 рубли награда на жирито - 100 рубли
Официјална телеграма група, ~190 учесници, комуникација на англиски јазик, прашања требаше да чекаат неколку дена за одговор	Официјална група во телеграма, ~1500 учесници, активна дискусија за задачи помеѓу учесниците и организаторите
Организаторите дадоа две основни решенија, едноставни и напредни. Simple бара помалку од 16 GB RAM, а напредната меморија не се вклопува во 16. Во исто време, гледајќи малку напред, учесниците не беа во можност значително да го надминат напредното решение. Немаше потешкотии во лансирањето на овие решенија. Треба да се напомене дека во напредниот пример имаше коментар со навестување од каде да се започне со подобрување на решението.	За секоја од задачите беа обезбедени основни примитивни решенија, кои лесно беа надминати од учесниците. Во раните денови на натпреварот, учесниците наидоа на неколку тешкотии: прво, податоците беа дадени во формат на Apache Parquet, а не сите комбинации на Python и пакетот паркет работеа без грешки. Втората тешкотија беше преземањето слики од облакот за пошта; во моментот не постои лесен начин да преземете голема количина на податоци одеднаш. Како резултат на тоа, овие проблеми ги одложија учесниците за неколку дена.

ИДАО. Прва фаза

Задачата беше да се класифицираат мионските/не-муонските честички според нивните карактеристики. Клучната карактеристика на оваа задача беше присуството на колона со тежина во податоците за тренинзите, што самите организатори го протолкуваа како доверба во одговорот за оваа линија. Проблемот беше што неколку редови содржеа негативни тежини.

Откако размислувавме неколку минути за линијата со навестување (навестувањето едноставно го привлече вниманието на оваа карактеристика на колоната за тежина) и го изградивме овој график, решивме да провериме 3 опции:

1) превртете ја целта на линиите со негативни тежини (и тежини соодветно)
2) поместете ги тежините на минималната вредност така што тие почнуваат од 0
3) не користете тегови на жици

Третата опција се покажа како најлоша, но првите две го подобрија резултатот, најдобра беше опцијата бр.1, која веднаш не доведе до моменталното второ место во првата задача и прво во втората.

Нашиот следен чекор беше да ги прегледаме податоците за вредностите што недостасуваат. Организаторите ни дадоа веќе исчешлани податоци, каде што недостасуваа доста вредности, а тие беа заменети со -9999.

Најдовме вредности што недостасуваат во колоните MatchedHit_{X,Y,Z}[N] и MatchedHit_D{X,Y,Z}[N] и само кога N=2 или 3. Како што разбираме, некои честички не помине сите 4 детектори, и застана или на 3-та или 4-та плоча. Податоците, исто така, содржеа колони Lextra_{X,Y}[N], кои очигледно го опишуваат истото како MatchedHit_{X,Y,Z}[N], но користејќи некаква екстраполација. Овие скудни претпоставки сугерираа дека Lextra_{X,Y}[N] може да се замени со вредностите што недостасуваат во MatchedHit_{X,Y,Z}[N] (само за X и Y координати). MatchedHit_Z[N] беше добро исполнет со медијаната. Овие манипулации ни овозможија да стигнеме до првото средно место во двете задачи.

Со оглед на тоа што не дадоа ништо за победа на првата етапа, можевме да застанеме тука, но продолживме, нацртавме убави слики и дојдовме до нови функции.

На пример, откривме дека ако ги нацртаме пресечните точки на честичката со секоја од четирите детекторски плочи, можеме да видиме дека точките на секоја од плочите се групирани во 5 правоаголници со сооднос од 4 до 5 и центрирани на точката (0,0), а во Нема точки во првиот правоаголник.

Плоча бр / димензии правоаголник	1	2	3	4	5
Плоча 1	500 × 625	1000 × 1250	2000 × 2500	4000 × 5000	8000 × 10000
Плоча 2	520 × 650	1040 × 1300	2080 × 2600	4160 × 5200	8320 × 10400
Плоча 3	560 × 700	1120 × 1400	2240 × 2800	4480 × 5600	8960 × 11200
Плоча 4	600 × 750	1200 × 1500	2400 × 3000	4800 × 6000	9600 × 12000

Откако ги утврдивме овие димензии, додадовме 4 нови категорични карактеристики за секоја честичка - бројот на правоаголникот во кој ја пресекува секоја плоча.

Забележавме и дека честичките се чинеше дека се расејуваат на страните од центарот и се појави идеја некако да се оцени „квалитетот“ на ова расејување. Идеално, веројатно би било можно да се дојде до некаква „идеална“ парабола во зависност од влезната точка и да се процени отстапувањето од неа, но ние се ограничивме на „идеалната“ права линија. Откако изградивме такви идеални прави линии за секоја влезна точка, можевме да го пресметаме стандардното отстапување на траекторијата на секоја честичка од оваа права линија. Бидејќи просечното отстапување за цел = 1 беше 152, а за цел = 0 беше 390, ние проверливо ја оценивме оваа карактеристика како добра. И навистина, оваа функција веднаш се најде на врвот на најкорисните.

Бевме воодушевени и го додадовме отстапувањето на сите 4 пресечни точки за секоја честичка од идеалната права линија како дополнителни 4 карактеристики (и тие исто така функционираа добро).

Линковите до научните написи на темата на натпреварот, кои ни ги дадоа организаторите, ја поттикнаа идејата дека ние сме далеку од првите што ќе го решиме овој проблем и, можеби, постои некој вид специјализиран софтвер. Откако откривме складиште на github каде што беа имплементирани методите IsMuonSimple, IsMuon, IsMuonLoose, ги префрливме на нашата страница со мали измени. Самите методи беа многу едноставни: на пример, ако енергијата е помала од одреден праг, тогаш тоа не е мион, во спротивно тоа е мион. Ваквите едноставни карактеристики очигледно не би можеле да дадат зголемување во случајот со користење на градиент засилување, па додадовме уште едно значајно „растојание“ на прагот. Овие карактеристики се исто така малку подобрени. Можеби, со потемелно анализирање на постоечките методи, беше можно да се најдат посилни методи и да се додадат на знаците.

На крајот на натпреварот, малку го изменивме „брзото“ решение за вториот проблем; на крајот, тоа се разликуваше од основната линија во следните точки:

1. Во редовите со негативна тежина целта беше превртена
2. Пополнетите вредности што недостасуваат во MatchedHit_{X,Y,Z}[N]
3. Намалена длабочина на 7
4. Намалена стапка на учење на 0.1 (беше 0.19)

Како резултат на тоа, пробавме повеќе функции (не многу успешно), одбрани параметри и трениравме catboost, lightgbm и xgboost, пробавме различни мешавини на предвидувања и пред да го отвориме приватниот, самоуверено победивме на втората задача, а на првата бевме меѓу лидери.

По отворањето на приватната бевме на 10 место за 1-ва задача и 3-ти за втора. Сите лидери се измешаа, а брзината приватно беше поголема отколку на таблата. Се чини дека податоците беа слабо стратификувани (или на пример немаше редови со негативни тежини во приватно) и ова беше малку фрустрирачко.

SNA Hackathon 2019 - Текстови. Прва фаза

Задачата беше да се рангираат корисничките објави на социјалната мрежа Однокласници врз основа на текстот што го содржат; покрај текстот, имаше уште неколку карактеристики на објавата (јазик, сопственик, датум и време на создавање, датум и време на гледање ).

Како класични пристапи за работа со текст, би истакнал две опции:

1. Пресликување на секој збор во n-димензионален векторски простор така што слични зборови имаат слични вектори (прочитајте повеќе во нашата статија), потоа или наоѓање на просечниот збор за текстот или користење механизми кои ја земаат предвид релативната положба на зборовите (CNN, LSTM/GRU).
2. Користење на модели кои можат веднаш да работат со цели реченици. На пример, Берт. Во теорија, овој пристап треба да работи подобро.

Бидејќи ова ми беше прво искуство со текстови, би било погрешно да научам некого, па ќе се предавам сам. Ова се советите кои би си ги дал на почетокот на натпреварот:

1. Пред да трчате да научите нешто, погледнете ги податоците! Покрај самиот текст, податоците имаа неколку колони и од нив можеше да се исцеди многу повеќе отколку јас. Наједноставната работа е да се направи значи целно кодирање за некои од колоните.
2. Не учи од сите податоци! Имаше многу податоци (околу 17 милиони редови) и апсолутно не беше неопходно да се користат сите за тестирање хипотези. Тренингот и преобработката беа прилично бавни, и очигледно ќе имав време да тестирам поинтересни хипотези.
3. <Контроверзен совет> Нема потреба да барате модел убиец. Поминав долго време за да ги дознаам Елмо и Берт, надевајќи се дека тие веднаш ќе ме однесат на високо место, и како резултат на тоа користев однапред обучени вградувања на FastText за рускиот јазик. Не можев да постигнам подобра брзина со Елмо, а сè уште немав време да го сфатам тоа со Берт.
4. <Контроверзен совет> Нема потреба да барате една убиствена карактеристика. Гледајќи ги податоците, забележав дека околу 1 процент од текстовите всушност не содржат текст! Но, имаше линкови до некои ресурси, и напишав едноставен парсер кој ја отвори страницата и ги извади насловот и описот. Ми се чинеше добра идеја, но потоа се занесе и решив да ги анализирам сите линкови за сите текстови и повторно изгубив многу време. Сето ова не обезбеди значително подобрување во конечниот резултат (иако го сфатив стемингот, на пример).
5. Класичните карактеристики функционираат. Ние на Гугл, на пример, „текстуалните карактеристики се вртат“, читаме и додаваме сè. TF-IDF обезбеди подобрување, како и статистичките карактеристики како што се должината на текстот, зборовите и количината на интерпункциски знаци.
6. Ако има колони DateTime, вреди да се анализираат во неколку посебни карактеристики (часови, денови во неделата, итн.). Кои карактеристики треба да се истакнат треба да се анализираат со помош на графикони/некои метрики. Овде, по каприц, направив сè правилно и ги истакнав потребните карактеристики, но нормална анализа немаше да боли (на пример, како што направивме на финалето).

Како резултат на натпреварот, тренирав еден керас модел со конволуција на зборови и друг базиран на LSTM и GRU. И двајцата користеа претходно обучени вградувања на FastText за рускиот јазик (пробав голем број други вградувања, но овие беа оние кои најдобро функционираа). По просекот на предвидувањата, го освоив последното 7-мо место од 76 учесници.

По првата фаза беше објавено напис од Николај Анохин, кој го зазеде второто место (учествуваше надвор од конкуренција), а неговото решение до некоја фаза го повторуваше моето, но тој отиде понатаму поради механизмот за внимание клуч-клуч-вредност.

Втора фаза ОК и ИДАО

Вторите фази од натпреварите се одвиваа речиси последователно, па решив да ги погледнеме заедно.

Прво, јас и новосоздадениот тим завршивме во импресивната канцеларија на компанијата Mail.ru, каде што нашата задача беше да ги комбинираме моделите на три песни од првата фаза - текст, слики и колаб. За ова беа одвоени нешто повеќе од 2 дена, што се покажа дека е многу малку. Всушност, можевме само да ги повториме нашите резултати од првата фаза без да добиеме никакви придобивки од спојувањето. На крајот го зазедовме 5то место, но не можевме да го користиме текстуалниот модел. По разгледувањето на решенијата на другите учесници, се чини дека вредеше да се обидеме да ги групираме текстовите и да ги додадеме во колаб моделот. Несакан ефект на оваа фаза беа новите впечатоци, средбата и комуникацијата со кул учесници и организатори, како и сериозниот недостаток на сон, што можеби влијаеше на резултатот од последната фаза на ИДАО.

Задачата на финалната фаза на ИДАО 2019 година беше да се предвиди времето на чекање за нарачка за таксистите на Yandex на аеродромот. Во фаза 2, беа идентификувани 3 задачи = 3 аеродроми. За секој аеродром се дадени податоци од минута во минута за бројот на нарачки за такси за шест месеци. И како податоци за тестирање, беа дадени следниот месец и податоци од минута во минута за нарачките за изминатите 2 недели. Имаше малку време (1,5 дена), задачата беше доста специфична, само едно лице од тимот дојде на натпреварот - и како резултат на тоа, тоа беше тажно место кон крајот. Интересните идеи вклучуваа обиди за користење на надворешни податоци: временски услови, сообраќаен метеж и статистика на нарачки за такси Yandex. Иако организаторите не кажаа кои се овие аеродроми, многу учесници претпоставуваа дека станува збор за Шереметјево, Домодедово и Внуково. Иако оваа претпоставка беше побиена по натпреварот, карактеристиките, на пример, од временските податоци во Москва ги подобрија резултатите и на валидацијата и на таблата на водачи.

Заклучок

1. МЛ натпреварите се кул и интересни! Овде ќе најдете употреба на вештини во анализа на податоци, и во лукави модели и техники, а едноставно здравиот разум е добредојден.
2. ML е веќе огромен број на знаења што се чини дека расте експоненцијално. Си поставив цел да се запознаам со различни области (сигнали, слики, табели, текст) и веќе сфатив колку има за учење. На пример, по овие натпревари решив да учам: алгоритми за кластерирање, напредни техники за работа со библиотеки за засилување на градиент (особено, работа со CatBoost на графичкиот процесор), мрежи со капсули, механизам за внимание на прашалник-клуч-вредност.
3. Не само со кагел! Има многу други натпревари каде што е полесно да се добие барем маица, а има повеќе шанси за други награди.
4. Комуницирајте! Веќе постои голема заедница на полето на машинско учење и анализа на податоци, има тематски групи во телеграма, slack, а сериозни луѓе од Mail.ru, Yandex и други компании одговараат на прашања и им помагаат на почетниците и на оние кои го продолжуваат својот пат во оваа област. на знаењето.
5. Ги советувам сите кои се инспирирани од претходната точка да ја посетат датафест — голема бесплатна конференција во Москва, која ќе се одржи на 10-11 мај.

Извор: www.habr.com