Продължавайки темата за състезанията по машинно обучение на Habré, бихме искали да запознаем читателите с още две платформи. Те със сигурност не са толкова големи като kaggle, но определено заслужават внимание.

Лично аз не харесвам много kaggle поради няколко причини:

• първо, състезанията там често продължават няколко месеца и активното участие изисква много усилия;
• второ, публични ядра (публични решения). Привържениците на Kaggle съветват да се отнасяте към тях със спокойствието на тибетските монаси, но в действителност е доста жалко, когато нещо, върху което сте работили месец или два, изведнъж се окаже, че е изложено на сребърен поднос за всички.

За щастие състезанията по машинно обучение се провеждат на други платформи и няколко от тези състезания ще бъдат обсъдени.

IDAO	SNA Hackathon 2019
Официален език: английски, организатори: Yandex, Sberbank, HSE	официален руски език, организатори: Mail.ru Group
Онлайн кръг: 15 януари — 11 февруари 2019 г.; Финал на място: 4-6 април 2019 г	онлайн - от 7 февруари до 15 март; офлайн - от 30 март до 1 април.
Използвайки определен набор от данни за частица в Големия адронен колайдер (траектория, импулс и други доста сложни физически параметри), определете дали тя е мюон или не От това изявление бяха идентифицирани 2 задачи: — в едно просто трябваше да изпратите вашата прогноза, - а в другата - пълният код и модел за прогнозиране, като изпълнението беше предмет на доста строги ограничения върху времето за изпълнение и използването на паметта	За състезанието SNA Hackathon бяха събрани регистрационни файлове на показваното съдържание от отворени групи в емисиите с новини на потребителите за февруари-март 2018 г. Тестовият комплект съдържа последната седмица и половина на март. Всеки запис в дневника съдържа информация за това какво е показано и на кого, както и как потребителят реагира на това съдържание: оцени го, коментира, игнорира го или го скри от емисията. Същността на задачите на SNA Hackathon е да класира всеки потребител на социалната мрежа Odnoklassniki неговата емисия, като повиши възможно най-високо онези публикации, които ще получат „клас“. На онлайн етапа задачата беше разделена на 3 части: 1. класирайте постовете според различни характеристики на сътрудничество 2. класирайте публикациите въз основа на изображенията, които съдържат 3. класирайте публикациите според текста, който съдържат
Комплексна персонализирана метрика, нещо като ROC-AUC	Средна ROC-AUC по потребител
Награди за първи етап - тениски за N места, преминаване към втория етап, където се заплаща настаняване и храна по време на състезанието Втора фаза - ??? (По определени причини не присъствах на награждаването и не успях да разбера какви са наградите в крайна сметка). Те обещаха лаптопи на всички членове на отбора победител	Награди за първия етап - тениски за 100-те най-добри участници, преминаване към втория етап, където бяха платени пътуването до Москва, настаняване и храна по време на състезанието. Освен това към края на първия етап бяха обявени награди за най-добрите в 3 задачи на етап 1: всеки спечели видеокарта RTX 2080 TI! Вторият етап беше отборен, отборите се състояха от 2 до 5 души, награди: 1-во място - 300 000 рубли 2-во място - 200 000 рубли 3-во място - 100 000 рубли награда на журито - 100 000 рубли
Официална телеграм група, ~190 участници, комуникация на английски, въпросите трябваше да чакат няколко дни за отговор	Официална група в telegram, ~1500 участници, активно обсъждане на задачите между участници и организатори
Организаторите предоставиха две основни решения, прости и разширени. Простата изискваше по-малко от 16 GB RAM, а разширената памет не се побираше в 16. В същото време, гледайки малко напред, участниците не успяха да надминат значително усъвършенстваното решение. Нямаше трудности при стартирането на тези решения. Трябва да се отбележи, че в напредналия пример имаше коментар с намек откъде да започне подобряването на решението.	За всяка една от задачите бяха предоставени основни примитивни решения, които с лекота бяха преодоляни от участниците. В първите дни на състезанието участниците срещнаха няколко трудности: първо, данните бяха дадени във формат Apache Parquet и не всички комбинации от Python и пакета parquet работеха без грешки. Втората трудност беше изтеглянето на снимки от пощенския облак; в момента няма лесен начин за изтегляне на голямо количество данни наведнъж. В резултат на това тези проблеми забавиха участниците за няколко дни.

IDAO. Първи етап

Задачата беше да се класифицират мюонни/немюонни частици според техните характеристики. Основната характеристика на тази задача беше наличието на колона за тегло в данните за обучението, което самите организатори интерпретираха като увереност в отговора за този ред. Проблемът беше, че доста редове съдържаха отрицателни тегла.

След като помислихме няколко минути за линията с подсказката (подсказката просто привлече вниманието към тази характеристика на колоната за тегло) и изградихме тази графика, решихме да проверим 3 опции:

1) обърнете целта на линиите с отрицателни тегла (и съответно тегла)
2) преместете теглата към минималната стойност, така че да започват от 0
3) не използвайте тежести на струни

Третият вариант се оказа най-лош, но първите два подобриха резултата, като най-добър беше вариант №1, който веднага ни изведе на второ място в първата задача и на първо място във втората.

Следващата ни стъпка беше да прегледаме данните за липсващи стойности. Организаторите ни дадоха вече разресани данни, където имаше доста липсващи стойности и те бяха заменени с -9999.

Открихме липсващи стойности в колоните MatchedHit_{X,Y,Z}[N] и MatchedHit_D{X,Y,Z}[N] и само когато N=2 или 3. Както разбираме, някои частици не премина през всичките 4 детектора и спря на 3-та или 4-та плоча. Данните също така съдържаха колони Lextra_{X,Y}[N], които очевидно описват същото нещо като MatchedHit_{X,Y,Z}[N], но използвайки някакъв вид екстраполация. Тези оскъдни предположения предполагат, че Lextra_{X,Y}[N] може да бъде заменено с липсващите стойности в MatchedHit_{X,Y,Z}[N] (само за X и Y координати). MatchedHit_Z[N] беше добре запълнен с медианата. Тези манипулации ни позволиха да достигнем 1-во междинно място и в двете задачи.

Като се има предвид, че те не дадоха нищо за спечелването на първия етап, можехме да спрем дотук, но продължихме, нарисувахме няколко красиви снимки и измислихме нови функции.

Например открихме, че ако начертаем пресечните точки на частица с всяка от четирите детекторни плочи, можем да видим, че точките на всяка от плочите са групирани в 5 правоъгълника със съотношение на страните 4 към 5 и центрирани в точката (0,0), а в В първия правоъгълник няма точки.

Номер на плоча / размери на правоъгълник	1	2	3	4	5
Плоча 1	500 × 625	1000 × 1250	2000 × 2500	4000 × 5000	8000 × 10000
Плоча 2	520 × 650	1040 × 1300	2080 × 2600	4160 × 5200	8320 × 10400
Плоча 3	560 × 700	1120 × 1400	2240 × 2800	4480 × 5600	8960 × 11200
Плоча 4	600 × 750	1200 × 1500	2400 × 3000	4800 × 6000	9600 × 12000

След като определихме тези размери, добавихме 4 нови категориални признака за всяка частица - номера на правоъгълника, в който тя пресича всяка плоча.

Забелязахме също, че частиците сякаш се разпръснаха встрани от центъра и възникна идеята по някакъв начин да оценим „качеството“ на това разсейване. В идеалния случай вероятно би било възможно да се измисли някаква „идеална“ парабола в зависимост от точката на излитане и да се оцени отклонението от нея, но ние се ограничихме до „идеалната“ права линия. След като изградихме такива идеални прави линии за всяка входна точка, успяхме да изчислим стандартното отклонение на траекторията на всяка частица от тази права линия. Тъй като средното отклонение за цел = 1 беше 152, а за цел = 0 беше 390, ние условно оценихме тази характеристика като добра. И наистина, тази функция веднага стигна до върха на най-полезните.

Бяхме възхитени и добавихме отклонението на всичките 4 пресечни точки за всяка частица от идеалната права линия като допълнителни 4 функции (и те също работеха добре).

Връзките към научни статии по темата на състезанието, дадени ни от организаторите, ни подтикнаха към идеята, че далеч не сме първите, които решават този проблем и може би има някакъв специализиран софтуер. След като открихме хранилище в github, където бяха внедрени методите IsMuonSimple, IsMuon, IsMuonLoose, ние ги прехвърлихме на нашия сайт с малки модификации. Самите методи бяха много прости: например, ако енергията е по-малка от определен праг, тогава това не е мюон, в противен случай е мюон. Такива прости функции очевидно не биха могли да дадат увеличение в случай на използване на градиентно усилване, така че добавихме още едно значително „разстояние“ към прага. Тези функции също са леко подобрени. Може би чрез по-задълбочен анализ на съществуващите методи е било възможно да се намерят по-силни методи и да се добавят към знаците.

В края на състезанието леко променихме „бързото“ решение за втория проблем; в крайна сметка то се различава от базовата линия в следните точки:

1. В редове с отрицателно тегло целта беше обърната
2. Попълнени липсващи стойности в MatchedHit_{X,Y,Z}[N]
3. Намалена дълбочина до 7
4. Намален процент на учене до 0.1 (беше 0.19)

В резултат на това опитахме повече функции (не много успешно), избрахме параметри и обучихме catboost, lightgbm и xgboost, опитахме различни смесвания на прогнози и преди да отворим частното, ние уверено спечелихме на втората задача, а на първата бяхме сред лидери.

След отваряне на частното бяхме на 10 място за 1-ва задача и 3-то за втора. Всички лидери се смесиха и скоростта насаме беше по-висока, отколкото на libboard. Изглежда, че данните бяха лошо стратифицирани (или например нямаше редове с отрицателни тегла в личния) и това беше малко разочароващо.

SNA Hackathon 2019 - Текстове. Първи етап

Задачата беше да се класират публикациите на потребителите в социалната мрежа Odnoklassniki въз основа на текста, който съдържат; в допълнение към текста имаше още няколко характеристики на публикацията (език, собственик, дата и час на създаване, дата и час на гледане ).

Като класически подходи за работа с текст бих откроил два варианта:

1. Картографиране на всяка дума в n-измерно векторно пространство, така че подобни думи да имат подобни вектори (прочетете повече в нашата статия), след това или намиране на средната дума за текста, или използване на механизми, които отчитат относителната позиция на думите (CNN, LSTM/GRU).
2. Използване на модели, които могат незабавно да работят с цели изречения. Например Бърт. На теория този подход трябва да работи по-добре.

Тъй като това беше първият ми опит с текстове, би било грешно да уча някого, така че ще се науча сам. Това са съветите, които бих си дал в началото на състезанието:

1. Преди да хукнете да преподавате нещо, вижте данните! В допълнение към самия текст, данните имаха няколко колони и беше възможно да се изтръгне много повече от тях, отколкото аз. Най-простото нещо е да направите означаващо целево кодиране за някои от колоните.
2. Не се учете от всички данни! Имаше много данни (около 17 милиона реда) и абсолютно не беше необходимо да се използват всички за тестване на хипотези. Обучението и предварителната обработка бяха доста бавни и очевидно щях да имам време да тествам по-интересни хипотези.
3. <Противоречив съвет> Няма нужда да търсите убийствен модел. Прекарах дълго време в измисляне на Елмо и Берт, надявайки се, че веднага ще ме отведат на високо място, и в резултат на това използвах предварително обучени вграждания на FastText за руския език. Не можах да постигна по-добра скорост с Елмо и все още нямах време да го разбера с Бърт.
4. <Противоречив съвет> Няма нужда да търсите една убийствена функция. Разглеждайки данните, забелязах, че около 1 процент от текстовете всъщност не съдържат текст! Но имаше връзки към някои ресурси и аз написах прост анализатор, който отвори сайта и извади заглавието и описанието. Изглеждаше добра идея, но тогава се увлякох и реших да анализирам всички връзки за всички текстове и отново загубих много време. Всичко това не осигури значително подобрение на крайния резултат (въпреки че разбрах произтичане, например).
5. Класическите функции работят. Ние Google, например, „text features kaggle“, четем и добавяме всичко. TF-IDF осигури подобрение, както и статистически характеристики като дължина на текста, думи и количество препинателни знаци.
6. Ако има колони DateTime, струва си да ги анализирате на няколко отделни характеристики (часове, дни от седмицата и т.н.). Кои функции трябва да бъдат подчертани, трябва да се анализират с помощта на графики/някои показатели. Тук, по прищявка, направих всичко правилно и подчертах необходимите функции, но нормален анализ нямаше да навреди (например, както направихме на финала).

В резултат на състезанието обучих един keras модел с конволюция на думи и друг, базиран на LSTM и GRU. И двамата използваха предварително обучени вграждания FastText за руския език (опитах редица други вграждания, но тези бяха най-добрите). След осредняване на прогнозите заех крайното 7-мо място от 76 участници.

След първия етап беше публикуван статия на Николай Анохин, който зае второ място (той участва извън състезанието) и неговото решение до известна степен повтори моето, но той отиде по-далеч поради механизма за внимание на заявка-ключ-стойност.

Втори етап OK & IDAO

Вторите етапи на състезанията се проведоха почти последователно, затова реших да ги разгледам заедно.

Първо, аз и новопридобитият екип се озовахме във внушителния офис на компанията Mail.ru, където задачата ни беше да комбинираме моделите на три писти от първия етап - текст, снимки и колаборация. За това бяха отделени малко повече от 2 дни, което се оказа много малко. Всъщност успяхме само да повторим резултатите си от първия етап, без да получим никакви печалби от сливането. В крайна сметка заехме 5-то място, но не успяхме да използваме текстовия модел. След като разгледахме решенията на други участници, изглежда, че си струваше да опитаме да групираме текстовете и да ги добавим към модела за сътрудничество. Страничен ефект от този етап бяха нови впечатления, среща и общуване с готини участници и организатори, както и тежка липса на сън, което може да е повлияло на резултата от финалния етап на IDAO.

Задачата на финалния етап на IDAO 2019 беше да се предвиди времето за изчакване за поръчка на таксиметровите шофьори на Yandex на летището. На етап 2 бяха идентифицирани 3 задачи = 3 летища. За всяко летище се дават ежеминутни данни за броя на поръчките за такси за шест месеца. И като тестови данни бяха дадени следващия месец и ежеминутни данни за поръчките за последните 2 седмици. Имаше малко време (1,5 дни), задачата беше доста специфична, само един човек от екипа дойде на състезанието - и в резултат на това беше тъжно място към края. Интересни идеи включват опити за използване на външни данни: време, задръствания и статистически данни за поръчките на такси Yandex. Въпреки че организаторите не казаха кои са тези летища, много участници предположиха, че това са Шереметиево, Домодедово и Внуково. Въпреки че това предположение беше опровергано след състезанието, функции, например от данните за времето в Москва, подобриха резултатите както при валидиране, така и в класацията.

Заключение

1. ML състезанията са готини и интересни! Тук ще намерите използването на умения за анализ на данни и хитри модели и техники, а просто здравият разум е добре дошъл.
2. ML вече е огромно количество знания, което изглежда расте експоненциално. Поставих си за цел да се запозная с различни области (сигнали, картини, таблици, текст) и вече осъзнах колко много има за изучаване. Например, след тези състезания реших да изучавам: алгоритми за клъстериране, усъвършенствани техники за работа с библиотеки за повишаване на градиента (по-специално работа с CatBoost на GPU), капсулни мрежи, механизма за внимание на заявка-ключ-стойност.
3. Не само с kaggle! Има много други състезания, където е по-лесно да вземеш поне тениска и има повече шансове за други награди.
4. Общувайте! Вече има голяма общност в областта на машинното обучение и анализа на данни, има тематични групи в telegram, slack, а сериозни хора от Mail.ru, Yandex и други компании отговарят на въпроси и помагат на начинаещи и продължаващи пътя си в тази област на знанието.
5. Съветвам всички, които са се вдъхновили от предишната точка, да посетят datafest — голяма безплатна конференция в Москва, която ще се проведе на 10-11 май.

Източник: www.habr.com