Класификация на ръкописни рисунки. Докладвайте в Yandex

Преди няколко месеца нашите колеги от Google изразходван на Kaggle състезание за създаване на класификатор за изображения, получени в сензационното играта "Бърза скица!" Отборът, включващ разработчика на Yandex Роман Власов, зае четвърто място в състезанието. На януарското обучение за машинно обучение Роман сподели идеите на своя екип, окончателното внедряване на класификатора и интересни практики на опонентите си.

- Здравейте всички! Казвам се Рома Власов, днес ще ви разкажа за Quick, Draw! Предизвикателство за разпознаване на драскулки.



В екипа ни имаше петима души. Присъединих се точно преди крайния срок за сливане. Нямахме късмет, бяхме малко разклатени, но ние бяхме разклатени от позицията на парите, а те бяха разклатени от позицията на златото. И заехме почетното четвърто място.

(По време на състезанието отборите се самонаблюдаваха в рейтинг, който се формираше на базата на показаните резултати върху една част от предложения набор от данни. Крайният рейтинг от своя страна се формира върху друга част от набора от данни. Това се прави така, че че участниците в състезанието не коригират своите алгоритми към конкретни данни.Следователно, във финалите, при превключване между рейтинги, позициите се разклащат малко (от английски shake up - смесване): на други данни резултатът може да се окаже да бъде различен. Отборът на Роман беше първи в челната тройка. В този случай челната тройка е парична, монетарна рейтингова зона, тъй като само първите три места бяха наградени с парична награда. След разтърсването отборът вече беше в четвърто място. По същия начин другият отбор загуби победата, златната позиция. - Ред.)

Състезанието беше значимо и с това, че Евгений Бабахнин получи гросмайстор, Иван Сосин получи майстор, Роман Соловьов остана гросмайстор, Алекс Паринов получи майстор, аз станах експерт и вече съм майстор.

Какво е това Quick, Draw? Това е услуга от Google. Google имаше за цел да популяризира AI и с тази услуга искаше да покаже как работят невронните мрежи. Отивате там, щракнете върху Да рисуваме и се появява нова страница, където ви се казва: нарисувайте зигзаг, имате 20 секунди, за да направите това. Опитвате се да нарисувате зигзаг за 20 секунди, като тук например. Ако успеете, мрежата казва, че е зигзаг и продължавате напред. Има само шест такива снимки.

Ако мрежата на Google не разпознае това, което сте нарисували, върху задачата се поставя кръст. По-късно ще ви кажа какво ще означава в бъдеще дали дадена рисунка се разпознава от мрежата или не.

Тази услуга събра доста голям брой потребители и всички снимки, които потребителите нарисуваха, бяха регистрирани.

Успяхме да съберем почти 50 милиона изображения. От това бяха формирани датата за обучение и тест за нашето състезание. Между другото, количеството данни в теста и броят на класовете са подчертани с удебелен шрифт с причина. Ще ви разкажа за тях малко по-късно.

Форматът на данните беше както следва. Това не са просто RGB изображения, а, грубо казано, дневник на всичко, което потребителят е направил. Word е нашата цел, кодът на държавата е откъде е авторът на драскулката, timestamp е времето. Разпознатият етикет просто показва дали мрежата е разпознала изображението от Google или не. А самият чертеж е последователност, приближение на крива, която потребителят рисува с точки. И времена. Това е времето от началото на рисуването на картината.

Данните бяха представени в два формата. Това е първият формат, а вторият е опростен. Те изрязаха времената от там и приближиха този набор от точки с по-малък набор от точки. За това са използвали Алгоритъм на Дъглас-Пекер. Имате голям набор от точки, които просто апроксимират права линия, но всъщност можете да апроксимирате тази линия само с две точки. Това е идеята на алгоритъма.

Данните бяха разпределени по следния начин. Всичко е еднакво, но има някои отклонения. Когато решихме проблема, не го разгледахме. Основното е, че нямаше наистина малко класове, не трябваше да правим претеглени семплери и свръхсемплиране на данни.

Как изглеждаха снимките? Това е класът "самолет" и примери от него с разпознати и неразпознати етикети. Съотношението им беше някъде около 1 към 9. Както можете да видите, данните са доста шумни. Предполагам, че е самолет. Ако погледнете неразпознат, в повечето случаи това е просто шум. Някой дори се опита да напише „самолет“, но явно на френски.

Повечето участници просто взеха мрежи, изтеглиха данни от тази последователност от линии като RGB картини и ги хвърлиха в мрежата. Аз рисувах приблизително по същия начин: взех една палитра от цветове, начертах първата линия с един цвят, който беше в началото на тази палитра, последната линия с друг, който беше в края на палитрата и между тях Интерполирах навсякъде, използвайки тази палитра. Между другото, това даде по-добър резултат, отколкото ако рисувате като на първия слайд - само в черно.

Други членове на екипа, като Иван Сосин, опитаха малко по-различни подходи към рисуването. С единия канал той просто начерта сива картина, с друг канал начерта всеки щрих с градиент от началото до края, от 32 до 255, а с третия канал начерта градиент върху всички щрихи от 32 до 255.

Друго интересно нещо е, че Алекс Паринов качи информация в мрежата с помощта на код на страната.

Метриката, използвана в състезанието, е средна средна точност. Каква е същността на този показател за конкуренцията? Можете да дадете три прогнози и ако в тези три няма правилна прогноза, тогава получавате 0. Ако има правилна, тогава нейният ред се взема предвид. И целевият резултат ще се брои като 1, разделено на реда на вашата прогноза. Например, направили сте три предиктора и правилният е първият, след което разделяте 1 на 1 и получавате 1. Ако предикторът е правилен и редът му е 2, след това разделете 1 на 2, получавате 0,5. Е и т.н.

С предварителната обработка на данни - как да рисуваме картини и така нататък - решихме малко. Какви архитектури използвахме? Опитахме се да използваме дебели архитектури като PNASNet, SENet и такива вече класически архитектури като SE-Res-NeXt, те все повече влизат в нови състезания. Имаше и ResNet и DenseNet.

Как научихме това? Всички модели, които взехме, бяха предварително обучени в imagenet. Въпреки че има много данни, 50 милиона изображения, но все пак, ако вземете мрежа, предварително обучена на imagenet, тя показва по-добри резултати, отколкото ако просто я обучите от нулата.

Какви техники на преподаване използвахме? Това е Cosing Annealing with Warm Restarts, за което ще говоря малко по-късно. Това е техника, която използвам в почти всичките си скорошни състезания и с тях се оказва, че тренирам решетките доста добре, за да постигна добър минимум.

Следващото намаляване на скоростта на обучение на платото. Започвате да обучавате мрежата, задавате определена скорост на обучение, продължавате да я обучавате и загубата ви постепенно се сближава до определена стойност. Проверявате това, например, за десет епохи загубата изобщо не се е променила. Намалявате скоростта на учене с някаква стойност и продължавате да учите. Отново пада малко, конвергира до някакъв минимум и вие отново намалявате скоростта на обучение и така нататък, докато вашата мрежа най-накрая се сближи.

Следва интересна техника: Не намалявайте скоростта на обучение, увеличете размера на партидата. Има статия със същото име. Когато обучавате мрежа, не е нужно да намалявате скоростта на обучение, можете просто да увеличите размера на пакета.

Тази техника, между другото, е използвана от Алекс Паринов. Той започна с партида, равна на 408, и когато мрежата му достигна някакво плато, той просто удвои размера на партидата и т.н.

Всъщност не си спомням каква стойност достигна размерът на неговата партида, но интересното е, че имаше екипи на Kaggle, които използваха същата техника, техният размер на партида беше около 10000 XNUMX. Между другото, съвременни рамки за дълбоко обучение, като напр. PyTorch, например, ви позволява да направите това много лесно. Генерирате вашата партида и я изпращате в мрежата не такава, каквато е, в нейната цялост, а я разделяте на части, така че да се побере във вашата видеокарта, изчислявате градиентите и след като сте изчислили градиента за цялата партида, актуализирате тежестите.

Между другото, големи размери на партиди все още бяха включени в това състезание, тъй като данните бяха доста шумни, а големият размер на партида ви помогна да определите по-точно градиента.

Използвано е и псевдоетикетиране, използвано най-вече от Роман Соловьов. Той взе около половината данни от теста на партиди и обучи мрежата на такива партиди.

Размерът на снимките имаше значение, но факт е, че имате много данни, трябва да тренирате дълго време и ако размерът на снимката ви е доста голям, тогава ще тренирате много дълго време. Но това не добави много към качеството на вашия окончателен класификатор, така че си струваше да използвате някакъв вид компромис. И пробвахме само снимки, които не бяха много големи по размер.

Как беше научено всичко? Първо бяха направени снимки с малък размер, върху тях бяха пуснати няколко епохи, което отне доста време. След това бяха дадени снимки с голям размер, мрежата беше обучена, след това още повече, още повече, за да не се обучава от нулата и да не се губи много време.

Относно оптимизаторите. Използвахме SGD и Adam. По този начин беше възможно да се получи един модел, който даде скорост от 0,941-0,946 в публичната класация, което е доста добро.

Ако обедините моделите по някакъв начин, ще получите някъде около 0,951. Ако използвате още една техника, ще получите крайна оценка от 0,954 на публичната дъска, точно както получихме. Но повече за това по-късно. След това ще ви разкажа как сглобихме моделите и как успяхме да постигнем такава крайна скорост.

След това бих искал да говоря за Cosing Annealing с топли рестарти или стохастичен градиентен спускане с топли рестарти. Грубо казано, по принцип можете да използвате всеки оптимизатор, но въпросът е следният: ако просто обучите една мрежа и постепенно тя се сближи до някакъв минимум, тогава всичко е наред, ще получите една мрежа, тя прави определени грешки, но вие може да го тренира малко по-различно. Ще зададете някаква първоначална скорост на обучение и постепенно ще я намалявате според тази формула. Намалявате го, мрежата ви достига до някакъв минимум, след това запазвате тежестите и отново задавате скоростта на обучение, която е била в началото на обучението, като по този начин отивате някъде нагоре от този минимум и отново намалявате скоростта на обучение.

По този начин можете да посетите няколко минимума наведнъж, в които загубата ви ще бъде, плюс или минус, същата. Но факт е, че мрежите с тези тегла ще дадат различни грешки на вашата дата. Осреднявайки ги, ще получите някакво приближение и скоростта ви ще бъде по-висока.

За това как сглобихме нашите модели. В началото на презентацията казах да се обърне внимание на количеството данни в теста и броя на часовете. Ако добавите 1 към броя на целите в набора от теста и разделите на броя на класовете, ще получите числото 330 и това беше написано във форума - че класовете в теста са балансирани. Това може да се използва.

Въз основа на това Роман Соловьов излезе с показател, който нарекохме Прокси резултат, който корелира доста добре с класацията. Въпросът е: правите прогноза, взимате най-добрия 1 от вашите предиктори и преброявате броя на обектите за всеки клас. След това извадете 330 от всяка стойност и добавете получените абсолютни стойности.

Бяха получени следните стойности. Това ни помогна да не създаваме тестова класация, а да валидираме локално и да избираме коефициенти за нашите ансамбли.

С ансамбъл може да се постигне такава скорост. Какво друго можех да направя? Да предположим, че сте използвали информацията, че класовете във вашия тест са балансирани.

Балансирането беше различно. Пример за един от тях — балансиране от момчетата, които заеха първо място.

какво направихме Нашето балансиране беше съвсем просто, предложено от Евгений Бабахнин. Първо сортирахме нашите прогнози по топ 1 и избрахме кандидати от тях - така че броят на класовете да не надвишава 330. Но за някои класове в крайна сметка имате по-малко от 330 прогнози. Добре, нека сортираме и по топ 2 и топ 3 , като ще изберем и кандидати.

С какво се различава нашата равносметка от тази на първото място? Те използваха итеративен подход, като взеха най-популярния клас и намалиха вероятностите за този клас с малко число, докато този клас вече не беше най-популярният. Взехме следващия най-популярен клас. Така те продължиха да ги намаляват, докато броят на всички класове се изравни.

Всеки използва плюс или минус един подход за трениране на мрежи, но не всеки използва балансиране. Използвайки балансиране, можете да отидете в злато, а ако сте имали късмет, тогава в пари.

Как да обработя предварително дата? Всички предварително обработиха датата, плюс или минус, по един и същи начин - правейки ръчно изработени характеристики, опитвайки се да кодират времената с различни цветове на щриха и т.н. Алексей Ноздрин-Плотницки, който зае 8-мо място, говори за това.

Той го направи по различен начин. Той каза, че всички тези ваши ръчно изработени функции не работят, не е нужно да правите това, вашата мрежа трябва да научи всичко това сама. И вместо това той излезе с модули за обучение, които предварително обработват вашите данни. Той хвърли оригиналните данни в тях без предварителна обработка - координати на точки и времена.

След това той взе разликата въз основа на координатите и осредни всичко въз основа на времената. И той излезе с доста дълга матрица. Той прилага 1D конволюция към него няколко пъти, за да получи матрица с размер 64xn, където n е общият брой точки, а 64 се прави, за да се захрани получената матрица към слоя на всяка конволюционна мрежа, която приема броя на каналите - 64. той получи 64xn матрица, след което от това беше необходимо да се създаде тензор с някакъв размер, така че броят на каналите да е равен на 64. Той нормализира всички точки X, Y в диапазона от 0 до 32, за да създаде a тензор с размер 32x32. Не знам защо искаше 32x32, просто така се случи. И на тази координата той постави фрагмент от тази матрица с размер 64xn. Така че току-що завърши с тензор 32x32x64, който можете да поставите по-нататък във вашата конволюционна невронна мрежа. Това е всичко, което исках да кажа.

Източник: www.habr.com