Чанд моҳ пеш ҳамкорони мо аз Google оид ба Kaggle озмун барои эҷоди тасниф барои тасвирҳои ба даст, ки дар ҳассосият — Зуд, каш! Дастае, ки ба он таҳиягари Яндекс Роман Власов шомил буд, дар мусобиқа ҷои чорумро гирифт. Дар тренинги омӯзиши мошинсозӣ дар моҳи январ, Роман ғояҳои дастаи худ, татбиқи ниҳоии таснифкунанда ва таҷрибаҳои ҷолиби рақибони худро мубодила кард.
- Салом ба ҳама! Номи ман Рома Власов, имрӯз ман ба шумо дар бораи Quick, Draw нақл мекунам! Мушкилоти эътирофи Doodle.
Дар дастаи мо панҷ нафар буданд. Ман рост пеш аз мӯҳлати якҷояшавӣ ҳамроҳ шудам. Бахтамон нарасид, андаке ба ларза афтодем, вале мо аз мавқеъи пулӣ ва онҳо аз мавқеъи тилло ларзон шуданд. Ва мо чои чоруми фахриро гирифтем.
(Дар рафти мусобиқа дастаҳо худро дар рейтинге мушоҳида карданд, ки аз рӯи натиҷаҳое, ки дар як қисми маҷмӯи маълумотҳои пешниҳодшуда нишон дода шудаанд. Баҳои ниҳоӣ, дар навбати худ, дар қисми дигари маҷмӯаи додаҳо ташкил карда шуд. Ин чунин анҷом дода мешавад. ки иштирокчиёни мусобика алгоритмхои худро ба маълумоти мушаххас мутобик намекунанд Бинобар ин, дар финал хангоми гузаштан байни рейтингхо мавкеъхо каме ба ларза меоянд (аз забони инглисии shake up — омехта): аз руи маълумоти дигар, натича метавонад ба амал ояд. фарк кардан командаи Роман дар се чои аввал буд Дар ин сурат се чои аввал пул, минтакаи рейтинги пулй мебошад, зеро танхо ба се чои аввал мукофоти пулй дода шуда буд.Баъди ларзиш команда аллакай дар дохил буд. чои чорум.. Хамин тавр, командаи дигар галаба, мавкеи тиллоро аз даст дод.- Ред.)
Мусобика аз он чихат хам ахамияти калон дошт, ки Евгений Бабахнин гроссмейстер, Иван Сосин гроссмейстер, Роман Соловьев гроссмейстер монд, Алекс Паринов гроссмейстер шуд, ман мутахассис шудам, холо ман аллакай устодам.
Ин чӣ зуд аст, кашед? Ин хидмат аз Google аст. Ҳадафи Google маъруф кардани AI буд ва бо ин хидмат мехост нишон диҳад, ки шабакаҳои нейрон чӣ гуна кор мекунанд. Шумо ба он ҷо меравед, "Биёед кашем" -ро клик кунед ва саҳифаи нав пайдо мешавад, ки дар он ҷо ба шумо гуфта мешавад: зигзаг кашед, шумо барои ин кор 20 сония доред. Шумо кӯшиш мекунед, ки дар 20 сония зигзаг кашед, масалан, дар ин ҷо. Агар шумо муваффақ шавед, шабака мегӯяд, ки ин зигзаг аст ва шумо пеш меравед. Ин гуна расмҳо ҳамагӣ шаш нафаранд.
Агар шабакаи Google натавонист он чизеро, ки шумо кашидаед, эътироф кунад, дар болои супориш салиб гузошта шуд. Баъдтар ман ба шумо мегӯям, ки ин дар оянда чӣ маъно хоҳад дошт, ки оё расм аз ҷониби шабака эътироф мешавад ё не.
Ин хидмат шумораи хеле зиёди корбаронро ҷамъ овард ва ҳамаи тасвирҳое, ки корбарон кашидаанд, сабт карда шуданд.
Мо тавонистем, ки тақрибан 50 миллион тасвирҳоро ҷамъ оварем. Аз ин рӯ, санаи қатор ва санаи санҷиши мусобиқаи мо ташкил карда шуд. Дар омади гап, миқдори маълумот дар санҷиш ва шумораи синфҳо бо ҳарфҳои ғафс нишон дода шудаанд. Ман каме дертар дар бораи онҳо ба шумо нақл мекунам.
Формати маълумот чунин буд. Инҳо на танҳо тасвирҳои RGB мебошанд, балки, тақрибан гӯем, як сабти ҳама чизест, ки корбар кардааст. Калом ҳадафи мост, рамзи кишвар аз куҷост, ки муаллифи дудл аз куҷост, тамғаи вақт. Нишони эътирофшуда танҳо нишон медиҳад, ки оё шабака тасвирро аз Google эътироф кардааст ё не. Ва худи расм як пайдарпаӣ, наздикшавии каҷест, ки корбар бо нуқтаҳо мекашад. Ва вақтҳо. Ин вақт аз оғози кашидани расм аст.
Маълумот дар ду формат пешниҳод карда шуданд. Ин формати якум аст ва дуюмаш содда карда шудааст. Онҳо вақтҳоро аз он ҷо буриданд ва ин маҷмӯи нуқтаҳоро бо маҷмӯи нуқтаҳои хурдтар наздик карданд. Барои ин онҳо истифода мекарданд . Шумо маҷмӯи зиёди нуқтаҳо доред, ки танҳо ба хати рост наздик мешаванд, аммо дар асл шумо метавонед ин хатро танҳо бо ду нуқта тахмин кунед. Ин идеяи алгоритм аст.
Маълумот ба таври зерин тақсим карда шуд. Ҳама чиз якхела аст, аммо баъзе чизҳои берунӣ вуҷуд доранд. Вақте ки мо мушкилотро ҳал кардем, мо ба он нигоҳ накардаем. Муҳим он аст, ки синфҳое вуҷуд надоштанд, ки воқеан кам буданд, ба мо лозим набуд, ки намунагирандагони вазншуда ва аз ҳад зиёди маълумотро анҷом диҳем.
Суратҳо чӣ гуна буданд? Ин синфи "ҳавопаймо" ва намунаҳои он бо тамғакоғазҳои эътирофшуда ва эътирофнашуда мебошад. Таносуби онҳо тақрибан аз 1 то 9 буд. Тавре ки шумо мебинед, маълумот хеле пурғавғо аст. Ман тахмин мекунам, ки ин як ҳавопаймо аст. Агар шумо назар кунед, ки эътироф нашудаанд, дар аксари ҳолатҳо ин танҳо садо аст. Касе ҳатто кӯшиш кард, ки "ҳавопаймо" нависад, аммо зоҳиран ба забони фаронсавӣ.
Аксарияти иштирокчиён танҳо шабакаҳоро гирифтанд, маълумотро аз ин пайдарпаии хатҳо ҳамчун тасвирҳои RGB кашиданд ва ба шабака партофтанд. Ман тақрибан ҳамин тавр кашидам: ман палитраи рангҳоро гирифтам, хати аввалро бо як ранг, ки дар аввали ин палитра буд, хати охиринро бо ранги дигар, ки дар охири палитра буд ва дар байни онҳо кашидам. Ман бо истифода аз ин палитра дар ҳама ҷо интерполясия кардам. Дар омади гап, ин назар ба он ки шумо дар слайди аввал тасвир кашед, натиҷаи беҳтар дод - танҳо бо сиёҳ.
Дигар аъзоёни даста, ба монанди Иван Сосин, дар расмкашӣ каме усулҳои дигарро санҷиданд. Бо як канал вай танҳо расми хокистарӣ кашид, бо канали дигар ӯ ҳар як зарбаро бо градиент аз аввал то ба охир, аз 32 то 255 кашид ва бо канали сеюм градиентро дар болои ҳамаи зарбаҳо аз 32 то 255 кашид.
Боз як чизи ҷолиб ин аст, ки Алекс Паринов бо истифода аз рамзи кишвар маълумотро ба шабака бор кардааст.
Метрикие, ки дар озмун истифода мешавад, дақиқии миёнаи миёна аст. Моҳияти ин нишондиҳанда барои рақобат чист? Шумо метавонед се пешгӯиҳоро пешниҳод кунед ва агар дар ин се пешгӯии дуруст мавҷуд набошад, пас шумо 0 мегиред. Агар дуруст бошад, тартиби он ба назар гирифта мешавад. Ва натиҷаи мақсаднок ҳамчун 1 тақсим карда мешавад, ки аз рӯи тартиби пешгӯии шумо ҳисоб карда мешавад. Масалан, шумо се пешгӯикунанда сохтед ва дурусташ аввалин аст, пас шумо 1 ба 1 тақсим карда 1 мегиред. Агар пешгӯӣ дуруст бошад ва тартиби он 2 бошад, пас 1 ба 2 тақсим кунед, шумо 0,5 мегиред. Хуб, ва ғайра.
Бо коркарди пешакии маълумот - чӣ гуна кашидани тасвирҳо ва ғайра - мо каме тасмим гирифтем. Мо кадом меъмориро истифода бурдем? Мо кӯшиш кардем, ки меъмории фарбеҳро аз қабили PNASNet, SENet ва меъмории аллакай классикӣ ба мисли SE-Res-NeXt истифода барем, онҳо торафт бештар ба мусобиқаҳои нав ворид мешаванд. Инчунин ResNet ва DenseNet буданд.
Мо инро чӣ гуна таълим додем? Ҳамаи моделҳое, ки мо гирифтаем, дар imagenet пешакӣ омӯзонида шуда буданд. Ҳарчанд маълумоти зиёд, 50 миллион тасвир вуҷуд дорад, аммо ба ҳар ҳол, агар шумо шабакаеро, ки қаблан дар imagenet омода кардаед, гиред, он назар ба он ки шумо онро аз сифр таълим додаед, натиҷаҳои беҳтар нишон дод.
Мо кадом усулҳои таълимро истифода бурдем? Ин Cosing Annealing бо барқарорсозии гарм аст, ки ман каме дертар дар бораи он сӯҳбат хоҳам кард. Ин як техникаест, ки ман қариб дар ҳама мусобиқаҳои охирини худ истифода мекунам ва бо онҳо маълум мешавад, ки торҳоро хеле хуб машқ мекунанд ва ба ҳадди ақали хуб ноил мешаванд.
Минбаъд сатҳи омӯзишро дар плато коҳиш диҳед. Шумо ба омӯзиши шабака шурӯъ мекунед, суръати муайяни омӯзишро муқаррар мекунед, ба таълим додани он идома медиҳед ва талафоти шумо тадриҷан ба як арзиши муайян табдил меёбад. Шумо инро тафтиш кунед, масалан, дар давоми дах давра талафот тамоман тагьир наёфтааст. Шумо сатҳи омӯзиши худро то андозае кам мекунед ва омӯзишро идома медиҳед. Он боз каме паст мешавад, ба ҳадди ақал наздик мешавад ва шумо боз суръати омӯзишро паст мекунед ва ғайра, то он даме, ки шабакаи шумо ниҳоят ба ҳам наздик шавад.
Минбаъд як техникаи ҷолиб аст: Суръати омӯзишро паст накунед, андозаи партияро зиёд кунед. Бо ҳамин ном мақолае мавҷуд аст. Вақте ки шумо шабакаро таълим медиҳед, ба шумо лозим нест, ки суръати омӯзишро кам кунед, шумо метавонед танҳо андозаи партияро зиёд кунед.
Ин техника, дар омади гап, аз ҷониби Алекс Паринов истифода шудааст. Вай бо партияи баробар ба 408 оғоз кард ва вақте ки шабакаи ӯ ба ягон плато расид, вай андозаи партияро дучанд кард ва ғайра.
Дарвоқеъ, ман дар ёд надорам, ки андозаи партияи ӯ ба чӣ арзише расидааст, аммо ҷолиб он аст, ки дар Kaggle дастаҳое буданд, ки ҳамон техникаро истифода мекарданд, ҳаҷми партияи онҳо тақрибан 10000 XNUMX буд. Дар омади гап, чаҳорчӯбаҳои муосир барои омӯзиши амиқ, ба монанди Масалан, PyTorch ба шумо имкон медиҳад, ки ин корро хеле осон кунед. Шумо партияи худро тавлид мекунед ва онро на ба таври пурра ба шабака пешниҳод мекунед, балки онро ба қисмҳо тақсим кунед, то он ба корти видеои шумо мувофиқат кунад, градиентҳоро ҳисоб кунед ва пас аз ҳисоб кардани градиент барои тамоми партия, навсозӣ кунед. вазнҳо.
Дар омади гап, ҳаҷми зиёди партияҳо то ҳол ба ин озмун дохил карда шуданд, зеро маълумот хеле пурғавғо буд ва андозаи бузурги партия ба шумо кӯмак кард, ки градиентро дақиқтар тахмин кунед.
Псевдо-маркировка низ истифода мешуд, ки бештар аз он Роман Соловьев истифода мешуд. Вай тақрибан нисфи маълумотро аз санҷиш дар гурӯҳҳо интихоб кард ва шабакаро дар чунин гурӯҳҳо омӯзонд.
Андозаи тасвирҳо муҳим буд, аммо далел ин аст, ки шумо маълумоти зиёде доред, шумо бояд муддати тӯлонӣ машқ кунед ва агар андозаи тасвири шумо хеле калон бошад, шумо барои муддати хеле тӯлонӣ машқ хоҳед кард. Аммо ин ба сифати таснифоти ниҳоии шумо чандон илова накард, аз ин рӯ барои истифодаи ягон намуди тиҷорат бамаврид буд. Ва мо танҳо тасвирҳоеро санҷидем, ки андозаашон чандон калон набуд.
Ин ҳама чӣ гуна омӯхта шуд? Аввалан, расмҳои хурдакак гирифта шуданд, дар онҳо якчанд давраҳо гузаронида шуданд, ки ин хеле вақти зиёдро гирифт. Баъд расмҳои калонҳаҷм дода мешуданд, шабакаро таълим медоданд, баъд аз ин ҳам зиёдтар, ҳатто бештар, то ки онро аз сифр таълим надиҳад ва вақти зиёдро сарф накунад.
Дар бораи оптимизаторҳо. Мо SGD ва Одамро истифода мебарем. Бо ин роҳ метавон як модели ягонаро ба даст овард, ки суръати 0,941-0,946 дар ҷадвали пешсафи ҷамъиятӣ дод, ки ин хеле хуб аст.
Агар шумо моделҳоро бо ягон роҳ якҷоя кунед, шумо тақрибан 0,951 ба даст меоред. Агар шумо як техникаи дигарро истифода баред, шумо дар тахтаи ҷамъиятӣ баҳои ниҳоии 0,954 мегиред, ҳамон тавре ки мо дорем. Аммо дар ин бора баъдтар. Минбаъд ман ба шумо мегӯям, ки чӣ тавр мо моделҳоро ҷамъ кардем ва чӣ гуна ба мо тавонистем ба чунин суръати ниҳоӣ ноил шавем.
Минбаъд ман мехоҳам дар бораи Cosing Annealing бо аз нав оғоз кардани гарм ё пайдоиши градиенти стохастикӣ бо дубора оғоз кардани гарм сӯҳбат кунам. Тақрибан гӯем, дар асл, шумо метавонед ҳама гуна оптимизаторро истифода баред, аммо гап ин аст: агар шумо танҳо як шабакаро таълим диҳед ва тадриҷан он ба ҳадди аққал наздик шавад, ҳама чиз хуб аст, шумо як шабака мегиред, он хатоҳои муайян мекунад, аммо шумо метавонад онро каме дигар омӯзонад. Шумо каме суръати омӯзиши ибтидоиро муқаррар мекунед ва мувофиқи ин формула тадриҷан онро паст мекунед. Шумо онро паст мекунед, шабакаи шумо ба ҳадди ақал мерасад, пас шумо вазнҳоро сарфа мекунед ва боз суръати омӯзишро, ки дар оғози омӯзиш буд, муқаррар мекунед ва ба ин васила аз ин минимум ба ҷое боло меравед ва боз суръати омӯзишии худро паст мекунед.
Ҳамин тариқ, шумо метавонед якбора якчанд минимумҳоро дидан кунед, ки дар он талафоти шумо плюс ё минус яксон хоҳад буд. Аммо далел ин аст, ки шабакаҳо бо ин вазнҳо дар санаи шумо хатогиҳои гуногун медиҳанд. Бо ҳисоби миёна ба онҳо, шумо як навъ тахмин ба даст меоред ва суръати шумо баландтар мешавад.
Дар бораи чӣ гуна мо моделҳои худро ҷамъ кардем. Дар оғози муаррифӣ гуфтам, ки ба миқдори маълумот дар тест ва шумораи дарсҳо диққат диҳед. Агар шумо ба шумораи ҳадафҳои маҷмӯи тестӣ 1 илова кунед ва ба шумораи синфҳо тақсим кунед, шумо рақами 330-ро мегиред ва ин дар форум навишта шудааст - ки дарсҳо дар тест мутавозинанд. Инро истифода бурдан мумкин буд.
Дар асоси ин, Роман Соловьев як метрикаеро пеш овард, ки мо онро Proxy Score номидем, ки бо ҷадвали пешсаф хеле хуб алоқаманд буд. Гап дар он аст: шумо пешгӯӣ мекунед, 1-и пешгӯиҳои худро гиред ва шумораи объектҳоро барои ҳар як синф ҳисоб кунед. Баъдан, аз ҳар як арзиш 330-ро хориҷ кунед ва арзишҳои мутлақи ҳосилшударо ҷамъ кунед.
Арзишҳои зерин ба даст оварда шуданд. Ин ба мо ёрӣ дод, ки ҷадвали пешқадамро эҷод накунем, балки барои тасдиқи маҳаллӣ ва интихоб кардани коэффицентҳо барои ансамблҳои мо.
Бо ансамбль чунин суръат ба даст овардан мумкин буд. Боз чӣ кор карда метавонистам? Фарз мекунем, ки шумо маълумотеро истифода бурдед, ки дарсҳо дар санҷиши шумо мутавозинанд.
Мувозинат гуногун буд. — мувозинат аз бачахое, ки чои якумро гирифтанд.
Мо чӣ кор кардем? Тавозуни мо хеле оддӣ буд, онро Евгений Бабахнин пешниҳод кардааст. Мо аввал пешгӯиҳои худро аз рӯи 1-и беҳтарин ҷудо кардем ва номзадҳоро аз онҳо интихоб кардем, то ки шумораи дарсҳо аз 330 зиёд набошад. Аммо барои баъзе синфҳо шумо камтар аз 330 пешгӯикунанда мегиред. Хуб, биёед инчунин аз рӯи 2 ва 3-и боло ҷудо кунем. , ва мо номзадхоро низ интихоб мекунем.
Мувозинати мо аз мувозинати чои якум чй фарк дошт? Онҳо равиши такрориро истифода бурда, синфи маъмултаринро гирифта, эҳтимолияти он синфро ба миқдори кам кам карданд, то он даме, ки ин синф дигар маъмултарин набошад. Мо дарси навбатии маъмултаринро гирифтем. Пас, то он даме, ки шумораи ҳамаи синфҳо баробар шуд, онҳоро паст мекарданд.
Ҳама барои шабакаҳои қатора як усули плюс ё минусро истифода мебурданд, аммо на ҳама мувозинатро истифода мебурданд. Бо истифода аз мувозинат, шумо метавонед ба тилло ворид шавед ва агар шумо хушбахт бошед, пас ба пул.
Чӣ тавр санаро пешакӣ коркард кардан мумкин аст? Хама як хел пешакй санаро кор карда баромада, плюс ё минус — сохтани объектхои дастй, кушиши рамзгузории хронометражхо бо рангхои гуногуни зарба ва гайра Алексей Ноздрин-Плотницкий, ки чои 8-умро гирифт, дар ин бора сухан ронд.
Вай инро ба таври дигар кард. Вай гуфт, ки ин ҳама хусусиятҳои дастии шумо кор намекунанд, ба шумо лозим нест, ки шабакаи шумо ҳамаи инро худаш омӯзад. Ва ба ҷои ин, ӯ бо модулҳои омӯзишӣ баромад, ки маълумоти шуморо пешакӣ коркард мекунанд. Вай маълумоти аслиро ба онҳо бидуни коркарди пешакӣ - координатаҳо ва вақтҳои нуқтаҳо партофт.
Сипас, ӯ фарқиятро дар асоси координатҳо гирифт ва ҳамаашро дар асоси вақт ҳисоб кард. Ва ӯ бо матритсаи хеле дароз баромад. Вай ба он якчанд маротиба конволютсияи 1D-ро барои ба даст овардани матритсаи андозаи 64xn татбиқ кард, ки дар он n шумораи умумии нуқтаҳо аст ва 64 барои ба қабати ҳама гуна шабакаи конволютсионӣ интиқол додани матритса сохта шудааст, ки шумораи каналҳоро қабул мекунад. - 64. вай матритсаи 64xn ба даст овард, пас аз ин тензоре сохтан лозим буд, ки шумораи каналхо ба 64 баробар бошад. Вай хамаи нуктахои X, Y-ро дар диапазони аз 0 то 32 нормал кард. тензор андозаи 32x32. Ман намедонам, ки чаро ӯ 32x32 мехост, ин танҳо ҳамин тавр шуд. Ва дар ин координат ӯ як порчаи ин матритсаи андозаи 64xn ҷойгир кардааст. Ҳамин тавр, он танҳо бо тензори 32x32x64 ба итмом расид, ки шумо метавонед минбаъд ба шабакаи нейронҳои конволютсионии худ ҷойгир кунед. Ин ҳама чизест, ки ман гуфтан мехостам.
Манбаъ: will.com