Класификација на рачно напишани цртежи. Пријавете во Yandex

Пред неколку месеци нашите колеги од Google потрошени на Kaggle натпревар за создавање класификатор за слики добиени во сензационалното играта "Брзо, цртај!" Тимот, во кој беше вклучен и развивачот на Yandex, Роман Власов, го зазеде четвртото место на натпреварот. На јануарскиот тренинг за машинско учење, Роман ги сподели идеите на неговиот тим, конечната имплементација на класификаторот и интересните практики на неговите противници.

- Здраво на сите! Јас се викам Рома Власов, денес ќе ви кажам за Quick, Draw! Предизвик за препознавање лавра.



Во нашиот тим имаше пет луѓе. Се приклучив непосредно пред крајниот рок за спојување. Немавме среќа, малку се потресевме, но ние се тресевме од паричната позиција, а тие од златната позиција. И го зазедовме почесното четврто место.

(За време на натпреварот, тимовите се набљудуваа себеси во рејтинг, кој беше формиран врз основа на резултатите прикажани на еден дел од предложениот сет на податоци. Конечниот рејтинг, пак, беше формиран на друг дел од сетот. дека учесниците на натпреварот не ги прилагодуваат своите алгоритми на конкретни податоци.Затоа, во финалето, при префрлање помеѓу рејтинзите, позициите малку се тресат (од англискиот shake up - за мешање): на други податоци, резултатот може да излезе да биде поинаков.Тимот на Роман беше прв во првите три. Во овој случај, првата тројка е парична, монетарна рејтинг зона, бидејќи само првите три места добија парична награда. По разместувањето, тимот веќе беше во четврто место. На ист начин, другиот тим ја загуби победата, златната позиција. - Ед.)

Конкуренцијата беше значајна и по тоа што Евгениј Бабахнин доби велемајстор, Иван Сосин доби мајстор, Роман Соловиев остана велемајстор, Алекс Паринов доби мајстор, јас станав експерт, а сега веќе сум мајстор.

Што е ова Брзо, цртај? Ова е услуга од Google. Google имаше цел да ја популаризира вештачката интелигенција и со оваа услуга сакаше да покаже како функционираат невронските мрежи. Одите таму, кликнете Ајде да нацртаме и се појавува нова страница каде што ви е кажано: нацртајте цик-цак, имате 20 секунди да го направите ова. Се обидувате да нацртате цик-цак за 20 секунди, како овде, на пример. Ако успееш, мрежата вели дека е цик-цак и продолжуваш понатаму. Има само шест такви слики.

Ако мрежата на Google не успеа да препознае што сте нацртале, на задачата се става крст. Подоцна ќе ви кажам што ќе значи во иднина дали некој цртеж ќе го препознае мрежата или не.

Оваа услуга собра прилично голем број корисници, а сите слики што ги нацртаа корисниците беа евидентирани.

Успеавме да собереме речиси 50 милиони слики. Од ова беа формирани возот и датумот за тестирање за нашиот натпревар. Патем, количината на податоци во тестот и бројот на класи се означени со задебелени букви со причина. Ќе ви кажам за нив малку подоцна.

Форматот на податоците беше како што следува. Ова не се само RGB слики, туку, грубо кажано, дневник на сè што направил корисникот. Зборот е нашата цел, кодот на земјата е од каде е авторот на лаврата, временскиот печат е времето. Препознатливата ознака само покажува дали мрежата ја препознала сликата од Google или не. А самиот цртеж е низа, приближување на крива што корисникот ја црта со точки. И тајмингот. Ова е време од почетокот на цртањето на сликата.

Податоците беа презентирани во два формати. Ова е првиот формат, а вториот е поедноставен. Оттаму ги прекинаа тајмингот и го приближија овој сет на точки со помал сет на поени. За ова користеле Алгоритам Даглас-Пекер. Имате голем сет на точки кои едноставно приближуваат на права линија, но всушност можете да ја приближите оваа линија со само две точки. Ова е идејата на алгоритмот.

Податоците беа дистрибуирани на следниов начин. Сè е униформно, но има некои оддалечени. Кога го решивме проблемот, не го погледнавме. Главната работа е што немаше класи што беа навистина малку, не моравме да правиме пондерирани семплери и преголеми примероци на податоци.

Како изгледаа сликите? Ова е класата „авион“ и примери од неа со препознаени и непризнаени етикети. Нивниот сооднос беше некаде околу 1 спрема 9. Како што можете да видите, податоците се прилично бучни. Претпоставувам дека е авион. Ако погледнете во непризнаена, во повеќето случаи тоа е само бучава. Некој дури се обиде да напише „авион“, но очигледно на француски.

Повеќето учесници едноставно земаа мрежи, цртаа податоци од оваа низа линии како RGB слики и ги фрлија во мрежата. Цртав приближно на ист начин: зедов палета на бои, ја нацртав првата линија со една боја, која беше на почетокот на оваа палета, последната линија со друга, која беше на крајот од палетата и помеѓу нив Јас интерполирав насекаде користејќи ја оваа палета. Патем, ова даде подобар резултат отколку ако цртате како на првиот слајд - само во црно.

Другите членови на тимот, како што е Иван Сосин, пробаа малку поинакви пристапи за цртање. Со еден канал тој едноставно нацртал сива слика, со друг канал го нацртал секој потег со градиент од почеток до крај, од 32 до 255, а со третиот канал нацртал градиент над сите потези од 32 до 255.

Друга интересна работа е што Алекс Паринов прикачил информации на мрежата користејќи код на земјата.

Метриката што се користи во натпреварот е Средна просечна прецизност. Која е суштината на оваа метрика за конкуренција? Можете да дадете три предика, а ако нема точен предик во овие три, тогаш добивате 0. Ако има точен, тогаш се зема предвид неговиот редослед. И целниот резултат ќе се брои како 1 поделен со редоследот на вашето предвидување. На пример, направивте три предвидувачи, а точниот е првиот, потоа делите 1 со 1 и добивате 1. Ако предвидувачот е точен и неговиот редослед е 2, тогаш поделете 1 со 2, добивате 0,5. Па, итн.

Со претходна обработка на податоци - како да цртаме слики и така натаму - решивме малку. Какви архитектури користевме? Се обидовме да користиме дебели архитектури како што се PNASNet, SENet и такви веќе класични архитектури како SE-Res-NeXt, тие се повеќе влегуваат во нови натпревари. Имаше и ResNet и DenseNet.

Како го научивме ова? Сите модели што ги земавме беа претходно обучени на имиџнет. Иако има многу податоци, 50 милиони слики, но сепак, ако земете мрежа претходно обучена на имиџнет, таа покажала подобри резултати отколку ако едноставно сте ја тренирале од нула.

Какви наставни техники користевме? Ова е Cosing Annealing with Warm Restarts, за што ќе зборувам малку подоцна. Ова е техника што ја користам во скоро сите мои неодамнешни натпревари, а со нив излегува доста добро да ги тренирам мрежите, за да постигнам добар минимум.

Следно Намалете ја стапката на учење на Плато. Почнувате да ја тренирате мрежата, поставувате одредена стапка на учење, продолжувате да ја учите и вашата загуба постепено се конвергира до одредена вредност. Проверете го ова, на пример, десет епохи загубата воопшто не се променила. Ја намалувате стапката на учење за одредена вредност и продолжувате да учите. Повторно опаѓа малку, се конвергира на некој минимум, и повторно ја намалувате стапката на учење и така натаму, додека вашата мрежа конечно не се конвергира.

Следно е интересна техника: Не ја намалувајте стапката на учење, зголемете ја големината на серијата. Има статија со истото име. Кога тренирате мрежа, не мора да ја намалувате стапката на учење, можете едноставно да ја зголемите големината на серијата.

Оваа техника, инаку, ја користеше Алекс Паринов. Тој започна со серија еднаква на 408, а кога неговата мрежа стигна до некое плато, тој едноставно ја удвои големината на серијата, итн.

Всушност, не се сеќавам до која вредност достигна големината на неговата серија, но она што е интересно е дека имаше тимови на Kaggle кои ја користеа истата техника, нивната големина беше околу 10000. Патем, модерни рамки за длабоко учење, како на пр. PyTorch, на пример, ви овозможува да го направите ова многу лесно. Ја генерирате вашата серија и ја испраќате до мрежата не како што е, во целост, туку ја делите на парчиња за да се вклопи во вашата видео картичка, пресметајте ги градиентите и откако ќе го пресметате градиентот за целата серија, ажурирајте теговите.

Патем, големини на серии сè уште беа вклучени во овој натпревар, бидејќи податоците беа прилично бучни, а големата големина на серијата ви помогна попрецизно да го приближите градиентот.

Се користеше и псевдо-етикетирање, најмногу користено од Роман Соловиев. Тој зеде примероци околу половина од податоците од тестот во серии и ја обучи мрежата на такви серии.

Големината на сликите беше важна, но факт е дека имате многу податоци, треба да тренирате долго време, а ако големината на вашата слика е прилично голема, тогаш ќе тренирате многу долго. Но, ова не додаде многу на квалитетот на вашиот конечен класификатор, па вредеше да користите некаков вид компромис. И пробавме само слики кои не беа многу големи по големина.

Како се научи сето тоа? Прво, беа направени слики со мала големина, беа прикажани неколку епохи на нив, ова одзеде доста време. Потоа се даваа слики со големи димензии, се обучуваше мрежата, па уште повеќе, уште повеќе, за да не се тренира од нула и да не се губи многу време.

За оптимизаторите. Ги користевме SGD и Adam. На овој начин беше можно да се добие еден модел, кој даде брзина од 0,941-0,946 на јавната табла на водачи, што е доста добро.

Ако на некој начин ги составите моделите, ќе стигнете некаде околу 0,951. Ако користите уште една техника, ќе добиете конечна оценка од 0,954 на јавната табла, исто како што добивме ние. Но, повеќе за тоа подоцна. Следно ќе ви кажам како ги составивме моделите и како успеавме да постигнеме таква конечна брзина.

Следно, би сакал да зборувам за Cosing Annealing со топло рестартирање или стохастичко спуштање со градиент со топло рестартирање. Грубо кажано, во принцип, можете да користите кој било оптимизатор, но поентата е следна: ако само тренирате една мрежа и постепено таа се конвергира на некој минимум, тогаш сè е во ред, ќе добиете една мрежа, таа прави одредени грешки, но вие може да го тренира малку поинаку. Ќе поставите некоја почетна стапка на учење и постепено ќе ја намалувате според оваа формула. Го намалувате, вашата мрежа доаѓа до одреден минимум, потоа ги зачувувате тежините и повторно ја поставувате стапката на учење што беше на почетокот на тренингот, со што ќе отидете некаде нагоре од овој минимум и повторно ќе ја намалите стапката на учење.

Така, можете да посетите неколку минимуми одеднаш, во кои вашата загуба ќе биде, плус или минус, иста. Но, факт е дека мрежите со овие тежини ќе дадат различни грешки на вашиот датум. Со нивно просекување, ќе добиете некакво приближување, а брзината ќе ви биде поголема.

За тоа како ги составивме нашите модели. На почетокот на презентацијата реков да внимавам на количината на податоци во тестот и на бројот на часови. Ако додадете 1 на бројот на цели во тест сет и поделите со бројот на часови, ќе го добиете бројот 330, а ова беше напишано на форумот - дека класите во тестот се избалансирани. Ова може да се искористи.

Врз основа на ова, Роман Соловиев излезе со метрика, ја нарековме Proxy Score, која доста добро корелираше со таблата на водачи. Поентата е: правите предвидување, земајте ги првите 1 од вашите предвидувачи и броете го бројот на објекти за секоја класа. Следно, одземете 330 од секоја вредност и соберете ги добиените апсолутни вредности.

Добиени се следните вредности. Ова ни помогна да не креираме табла за сондирање, туку локално да ги потврдиме и да избереме коефициенти за нашите ансамбли.

Со ансамбл можеше да добиеш таква брзина. Што друго би можел да направам? Да претпоставиме дека сте ги користеле информациите дека часовите во вашиот тест се избалансирани.

Балансирањето беше поинакво. Пример за еден од нив — балансирање од момците кои го освоија првото место.

Што направивме? Нашето балансирање беше прилично едноставно, тоа го предложи Евгениј Бабахнин. Прво ги подредивме нашите предвидувања по топ 1 и избравме кандидати од нив - така што бројот на часови не надминува 330. Но, за некои часови завршувате со помалку од 330 предвидувачи. , а ќе избереме и кандидати.

Како нашето балансирање се разликуваше од балансирањето на првото место? Тие користеа итеративен пристап, земајќи ја најпопуларната класа и намалувајќи ги веројатностите за таа класа за некој мал број додека таа класа повеќе не беше најпопуларна. Го зедовме следниот најпопуларен час. Така продолжија да ги намалуваат додека не се изедначи бројот на сите класи.

Сите користеа плус или минус еден пристап за возните мрежи, но не сите користеа балансирање. Користејќи балансирање, можете да одите во злато, а ако имате среќа, тогаш во пари.

Како однапред да се обработи датум? Сите претходно го обработуваа датумот, плус или минус, на ист начин - правејќи рачно изработени функции, обидувајќи се да ги кодираат тајмингот со различни бои на удар, итн. За ова зборуваше Алексеј Ноздрин-Плотницки, кој го зазеде 8-то место.

Тој го направи тоа поинаку. Тој рече дека сите овие ваши рачно изработени карактеристики не функционираат, не треба да го правите тоа, вашата мрежа треба да го научи сето ова сама. И наместо тоа, тој смисли модули за учење кои ги преобработуваат вашите податоци. Тој ги фрли оригиналните податоци во нив без претходна обработка - координати на точки и тајминг.

Потоа ја зеде разликата врз основа на координатите и сето тоа го просекуваше врз основа на тајмингот. И тој излезе со прилично долга матрица. Тој применил 1D конволуција на неа неколку пати за да добие матрица со големина 64xn, каде што n е вкупниот број на точки, а 64 е направена со цел добиената матрица да се нахрани на слојот на која било конволуциона мрежа, која го прифаќа бројот на канали - 64. тој доби матрица 64xn, потоа од ова беше неопходно да се создаде тензор со одредена големина, така што бројот на канали беше еднаков на 64. Тој ги нормализира сите точки X, Y во опсег од 0 до 32 за да создаде тензор со големина 32x32. Не знам зошто сакаше 32x32, едноставно така се случи. И на оваа координата постави фрагмент од оваа матрица со големина 64xn. Така штотуку заврши со тензор од 32x32x64 што можете да го ставите понатаму во вашата конволутивна невронска мрежа. Тоа е се што сакав да кажам.

Извор: www.habr.com