Класификација руком писаних цртежа. Извештај у Иандек-у

Пре неколико месеци, наше колеге из Гугла Одржан на Кагглеу конкурс за креирање класификатора за слике добијене у сензационалном игра "Цртеж на брзака!" Тим, који је укључивао Иандек програмера Романа Власова, заузео је четврто место на такмичењу. На јануарском тренингу машинског учења, Роман је поделио идеје свог тима, коначну имплементацију класификатора и занимљиве праксе својих противника.

- Здраво свима! Моје име је Рома Власов, данас ћу вам причати о Куицк, Драв! Доодле Рецогнитион Цхалленге.



У нашем тиму је било пет људи. Придружио сам се непосредно пре истека рока за спајање. Ми нисмо имали среће, били смо мало уздрмани, али ми смо били уздрмани са позиције новца, а они су били уздрмани са позиције злата. И заузели смо почасно четврто место.

(Током такмичења тимови су се посматрали у рејтингу, који је формиран на основу резултата приказаних на једном делу предложеног скупа података. Коначна оцена је, пак, формирана на другом делу скупа података. Ово се ради тако да да учесници такмичења не прилагођавају своје алгоритме одређеним подацима.Због тога у финалу, при преласку између рејтинга, позиције се мало протресу (од енглеског схаке уп - мешати): на другим подацима може се испоставити резултат. да буде другачији. Романов тим је прво био у прва три. У овом случају, прва три је новац, зона монетарног рејтинга, пошто су само прва три места награђена новчаном наградом. После претреса тим је већ био на четвртом месту. На исти начин, други тим је изгубио победу, златну позицију. - Ед.)

Конкуренција је била значајна и по томе што је Евгениј Бабахњин добио велемајстора, Иван Сосин је добио мајстора, Роман Соловјев је остао велемајстор, Алекс Паринов је добио мајстора, ја сам постао стручњак, а сада сам већ мајстор.

Шта је ово Куицк, Драв? Ово је Гоогле-ова услуга. Гугл је имао за циљ популаризацију вештачке интелигенције и овом услугом је желео да покаже како функционишу неуронске мреже. Одеш тамо, кликнеш Хајде да цртамо, и појавиће се нова страница где ти се каже: нацртај цик-цак, имаш 20 секунди да то урадиш. Покушавате да нацртате цик-цак за 20 секунди, као овде, на пример. Ако успете, мрежа каже да је то цик-цак и идете даље. Таквих слика има само шест.

Ако Гуглова мрежа није успела да препозна шта сте нацртали, на задатку се ставља крстић. Касније ћу вам рећи шта ће значити у будућности да ли ће цртеж бити препознат на мрежи или не.

Овај сервис је окупио прилично велики број корисника, а све слике које су корисници нацртали су евидентиране.

Успели смо да прикупимо скоро 50 милиона слика. Из овога је формиран термин воза и теста за наше такмичење. Иначе, количина података у тесту и број часова су са разлогом истакнути подебљаним словима. Рећи ћу вам о њима мало касније.

Формат података је био следећи. То нису само РГБ слике, већ, грубо речено, дневник свега што је корисник урадио. Реч је наша мета, код државе је одакле је аутор дудла, временска ознака је време. Препозната ознака само показује да ли је мрежа препознала слику са Гоогле-а или не. А сам цртеж је низ, апроксимација криве коју корисник црта тачкама. И тајминг. Ово је време од почетка цртања слике.

Подаци су представљени у два формата. Ово је први формат, а други је поједностављен. Одатле су изрезали тајминге и приближили овај скуп тачака мањим скупом тачака. За ово су користили Доуглас-Пецкер алгоритам. Имате велики скуп тачака које једноставно апроксимирају праву линију, али у ствари ову линију можете апроксимирати са само две тачке. Ово је идеја алгоритма.

Подаци су распоређени на следећи начин. Све је уједначено, али има неких одступања. Када смо решили проблем, нисмо га погледали. Главна ствар је да није било класа којих је било заиста мало, нисмо морали да радимо пондерисане узорке и превелико узорковање података.

Како су слике изгледале? Ово је класа „авион” и примери из ње са ознакама препознати и непрепознати. Њихов однос је био негде око 1 према 9. Као што видите, подаци су прилично бучни. Претпостављам да је авион. Ако погледате непризнато, у већини случајева то је само бука. Неко је чак покушао да напише „авион“, али очигледно на француском.

Већина учесника је једноставно узела мреже, извукла податке из овог низа линија као РГБ слике и бацила их у мрежу. Цртао сам отприлике на исти начин: узео сам палету боја, нацртао прву линију једном бојом, која је била на почетку ове палете, последњу линију другом, која је била на крају палете, и између њих Интерполирао сам свуда користећи ову палету. Иначе, ово је дало бољи резултат него да цртате као на првом слајду - само црном бојом.

Други чланови тима, као што је Иван Сосин, покушали су мало другачије приступе цртању. Са једним каналом је једноставно нацртао сиву слику, другим каналом је цртао сваки потез са градијентом од почетка до краја, од 32 до 255, а трећим каналом је нацртао градијент преко свих потеза од 32 до 255.

Још једна занимљива ствар је да је Алекс Паринов уплоадовао информације на мрежу користећи код за државу.

Мера која се користи у такмичењу је средња просечна прецизност. Која је суштина ове метрике за конкуренцију? Можете дати три предвиђања, а ако у ова три нема исправног предвиђања, онда добијате 0. Ако постоји тачна, онда се узима у обзир њен редослед. И циљни резултат ће се рачунати као 1 подељен редоследом вашег предвиђања. На пример, направили сте три предиктора, а тачан је први, онда поделите 1 са 1 и добијете 1. Ако је предиктор тачан и његов редослед је 2, онда поделите 1 са 2, добићете 0,5. Па итд.

Са претходном обрадом података - како цртати слике и тако даље - мало смо одлучили. Које смо архитектуре користили? Покушали смо да користимо масне архитектуре као што су ПНАСНет, СЕНет и такве већ класичне архитектуре као што је СЕ-Рес-НеКст, оне све више улазе у нова такмичења. Постојали су и РесНет и ДенсеНет.

Како смо ово учили? Сви модели које смо узели претходно су обучени на имагенет-у. Иако има пуно података, 50 милиона слика, али ипак, ако узмете мрежу претходно обучену на имагенет-у, она је показала боље резултате него да сте је једноставно обучили од нуле.

Које смо наставне технике користили? Ово је Цосинг Аннеалинг са топлим поновним покретањем, о чему ћу говорити мало касније. Ово је техника коју користим на скоро свим својим недавним такмичењима, а са њима се испоставило да прилично добро тренирам решетке, да постигнем добар минимум.

Следеће Смањите стопу учења на Платоу. Почињете да обучавате мрежу, постављате одређену стопу учења, настављате да је подучавате, а ваш губитак се постепено приближава одређеној вредности. Ово проверите, на пример, за десет епоха губитак се уопште није променио. Смањујете стопу учења за неку вредност и настављате да учите. Поново мало опада, конвергира на неком минимуму, а ви поново снижавате брзину учења, и тако даље, док се ваша мрежа коначно не конвергира.

Следеће је интересантна техника: не смањите брзину учења, повећајте величину серије. Постоји чланак са истим именом. Када тренирате мрежу, не морате да смањујете брзину учења, можете једноставно повећати величину серије.

Ову технику је, иначе, користио Алекс Паринов. Почео је са серијом једнаким 408, а када је његова мрежа достигла неки плато, он је једноставно удвостручио величину серије, итд.

У ствари, не сећам се коју је вредност достигла његова величина групе, али оно што је интересантно је да су постојали тимови на Каггле-у који су користили исту технику, њихова величина групе је била око 10000 XNUMX. Иначе, савремени оквири за дубоко учење, као нпр. ПиТорцх вам, на пример, омогућава да то урадите веома лако. Ви генеришете своју групу и шаљете је мрежи не онакав какав јесте, у целини, већ га поделите на делове тако да се уклапа у вашу видео картицу, израчунајте градијенте и након што израчунате градијент за целу групу, ажурирајте теговима.

Иначе, велике серије су и даље биле укључене у ово такмичење, јер су подаци били прилично бучни, а велика величина серије вам је помогла да прецизније апроксимирате градијент.

Коришћено је и псеудо-етикетирање, које је углавном користио Роман Соловјев. Он је узорковао око половине података из теста у серијама и тренирао мрежу на таквим серијама.

Величина слика је била битна, али чињеница је да имате много података, морате дуго да тренирате, а ако је ваша слика прилично велика, онда ћете тренирати јако дуго. Али ово није много допринело квалитету вашег коначног класификатора, тако да је вредело користити неку врсту компромиса. Пробали смо само слике које нису биле велике.

Како се све то научило? Прво су снимљене мале слике, на њима је вођено неколико епоха, што је одузело доста времена. Затим су дате слике великих димензија, мрежа је обучена, па још више, још више, да се не обучава од нуле и не губи много времена.

О оптимизаторима. Користили смо СГД и Адама. На овај начин је било могуће добити један модел, који је дао брзину од 0,941-0,946 на јавној табели, што је прилично добро.

Ако на неки начин ансамблирате моделе, добићете негде око 0,951. Ако користите још једну технику, добићете коначан резултат од 0,954 на јавној табли, баш као што смо и ми добили. Али више о томе касније. У наставку ћу вам рећи како смо састављали моделе и како смо успели да постигнемо тако коначну брзину.

Следеће бих желео да причам о Цосинг жарењу са топлим поновним покретањем или Стохастичком градијентном спуштању са топлим поновним покретањем. Грубо говорећи, у принципу, можете користити било који оптимизатор, али поента је следећа: ако само тренирате једну мрежу и она постепено конвергира на неки минимум, онда је све у реду, добићете једну мрежу, прави одређене грешке, али ви може да га тренира мало другачије. Поставићете неку почетну стопу учења и постепено је снижавати према овој формули. Снизите га, ваша мрежа дође на неки минимум, затим сачувате тежине, и поново подесите брзину учења која је била на почетку тренинга, и тако иде негде навише од овог минимума и поново снизи брзину учења.

Тако можете посетити неколико минимума одједном, у којима ће ваш губитак бити, плус или минус, исти. Али чињеница је да ће мреже са овим тежинама дати различите грешке на вашем датуму. Њиховим усредњавањем добићете неку врсту апроксимације, а ваша брзина ће бити већа.

О томе како смо састављали наше моделе. На почетку излагања рекао сам да обратите пажњу на количину података у тесту и број часова. Ако броју мета у тестном скупу додате 1 и поделите са бројем часова, добићете број 330, а на форуму је написано – да су класе у тесту избалансиране. Ово би се могло искористити.

На основу овога, Роман Соловјев је смислио метрику, назвали смо је Проки Сцоре, која је прилично добро корелирала са ранг-листом. Поента је: урадите предвиђање, узмете први од ваших предиктора и пребројите број објеката за сваку класу. Затим одузмите 1 од сваке вредности и саберите резултујуће апсолутне вредности.

Добијене су следеће вредности. Ово нам је помогло да не направимо листу лидера за испитивање, већ да локално потврдимо и изаберемо коефицијенте за наше ансамбле.

Са ансамблом можете постићи такву брзину. Шта сам друго могао да урадим? Претпоставимо да сте користили информацију да су класе у вашем тесту избалансиране.

Балансирање је било другачије. Пример једног од њих — балансирање од момака који су заузели прво место.

Шта смо урадили? Наше балансирање је било прилично једноставно, предложио је Евгениј Бабахнин. Прво смо сортирали наша предвиђања по првих 1 и од њих одабрали кандидате - тако да број одељења није већи од 330. Али за неке разреде на крају имате мање од 330 предиктора. У реду, хајде да сортирамо и по прва 2 и прва 3 , а извршићемо и селекцију кандидата.

По чему се наше балансирање разликовало од биланса првог места? Користили су итеративни приступ, узимајући најпопуларнију класу и смањујући вероватноће за ту класу за неки мали број све док та класа више није била најпопуларнија. Узели смо следећи најпопуларнији час. Тако су наставили да их спуштају све док се број свих класа није изједначио.

Сви су користили плус или минус један приступ за мреже возова, али нису сви користили балансирање. Користећи балансирање, могли сте ући у злато, а ако сте имали среће, онда у новац.

Како унапред обрадити датум? Сви су унапред обрађивали датум, плус или минус, на исти начин – правећи ручно израђене карактеристике, покушавајући да кодирају тајминг различитим бојама потеза, итд. Управо о томе је говорио Алексеј Ноздрин-Плотницки, који је заузео 8. место.

Он је то урадио другачије. Рекао је да све ове ваше ручно израђене карактеристике не функционишу, не морате то да радите, ваша мрежа треба да научи све ово сама. И уместо тога, смислио је модуле за учење који су унапред процесуирали ваше податке. У њих је убацио оригиналне податке без претходне обраде – координате тачака и тајминге.

Затим је узео разлику на основу координата, и све усреднио на основу тајминга. И смислио је прилично дугу матрицу. На њега је применио 1Д конволуцију неколико пута да би добио матрицу величине 64кн, где је н укупан број тачака, а 64 је направљено да би се резултујућа матрица нахранила слоју било које конволуционарне мреже, која прихвата број канала - 64. добио је 64кн матрицу, онда је од овога било потребно направити тензор неке величине тако да је број канала једнак 64. Он је нормализовао све тачке Кс, И у опсегу од 0 до 32 да би направио тензор величине 32к32. Не знам зашто је хтео 32к32, једноставно се тако десило. И на ову координату је поставио фрагмент ове матрице величине 64кн. Тако је управо завршио са тензором 32к32к64 који бисте могли даље да ставите у своју конволуциону неуронску мрежу. То је све што сам хтео да кажем.

Извор: ввв.хабр.цом