I nai masina talu ai, a matou paaga mai Google i luga o Kaggle se tauvaga e fatu ai se fa'avasegaga mo ata na maua i le mata'utia "Vave, Tusi!" O le au, lea na aofia ai le Yandex developer Roman Vlasov, na maua le tulaga fa i le tauvaga. I le aʻoaʻoga o le aʻoaʻoina o masini ia Ianuari, na faʻasoa ai e Roma manatu o lana 'au, o le faʻatinoga mulimuli o le faʻavasegaina, ma faiga faʻafiafia a ana fili.
- Talofa uma! O loʻu igoa o Roma Vlasov, o le asō o le a ou taʻu atu ia te oe le Quick, Draw! Doodle Recognition Challenge.
E toalima tagata i le matou au. Na ou auai a o lei oo i le aso e gata ai le tuufaatasia. Sa matou le manuia, sa matou luluina teisi, ae sa luluina i matou mai le tulaga tupe, ma sa luluina i latou mai le tulaga auro. Ma sa matou maua le tulaga fa mamalu.
(I le taimi o le tauvaga, na vaʻaia e 'au i latou lava i se faʻataʻitaʻiga, lea na faia e faʻavae i luga o faʻaiʻuga o loʻo faʻaalia i luga o se tasi vaega o faʻamaumauga faʻatulagaina. e le mafai e le au tauva ona fetuutuunai a latou algorithms i faʻamatalaga faʻapitoa, o le mea lea, i le faʻaiʻuga, pe a fesuiaʻi i le va o faʻataʻitaʻiga, o tulaga e luluina teisi (mai le Igilisi lulu - e faʻafefiloi): i luga o isi faʻamatalaga, e mafai ona faʻaalia le iʻuga. ia ese le au a Roma na muamua i le tolu pito i luga. I lenei tulaga, o le tolu pito i luga o tupe, sone faʻavasega tupe, talu ai naʻo le tolu nofoaga muamua na maua ai le faʻailoga tinoitupe. tulaga fa. I le auala lava lea e tasi, na faia'ina le isi au i le manumalo, le tulaga auro. - Ed.)
O le tauvaga na taua foi i le mauaina e Evgeniy Babakhnin se pule sili, na maua e Ivan Sosin se matai, na tumau pea Roma Soloviev o se matai sili, na maua e Alex Parinov se matai, na avea au ma se tagata tomai faapitoa, ma o lea ua avea aʻu ma matai.
O le a lenei Quick, Draw? Ole tautua lea mai Google. Google sa i ai le sini o le faʻalauiloaina o AI ma faʻatasi ai ma lenei auaunaga na manaʻo e faʻaalia le auala e galue ai neural networks. E te alu i ai, kiliki Let's drawing, ma o se itulau fou e oso i luga o loʻo taʻu atu ia te oe: tusi se zigzag, e 20 sekone e te faia ai lenei mea. O lo'o e taumafai e tusi se zigzag i le 20 sekone, pei o iinei, mo se fa'ata'ita'iga. Afai e te manuia, fai mai le upega tafailagi o se zigzag ma e te alu i luma. E na o le ono lava ata faapena.
Afai e le mafai e le upega tafa'ilagi a Google ona iloa mea na e tusia, na tu'u le koluse i le galuega. Mulimuli ane o le a ou taʻu atu ia te oe le uiga i le lumanaʻi pe o se ata e iloa e le upega tafailagi pe leai.
O lenei auaunaga na faʻapotopotoina se numera tele o tagata faʻaoga, ma o ata uma na tusia e tagata faʻaoga na faʻamauina.
Na mafai ona matou aoina toetoe 50 miliona ata. Mai lea mea, na fausia ai le nofoaafi ma le aso o su'ega mo la matou tauvaga. I le auala, o le aofaʻi o faʻamaumauga i le suʻega ma le numera o vasega o loʻo faʻamaonia i le malosi mo se mafuaʻaga. O le a ou taʻu atu ia te oe e uiga ia i latou i se taimi mulimuli ane.
O le fa'asologa o fa'amaumauga sa fa'apea. E le na'o ni ata RGB, ae, pe a tautala, o se ogalaau o mea uma na faia e le tagata faʻaoga. O le upu o le tatou sini, o le countrycode e sau ai le tusitala o le doodle, o le taimi o le taimi. O le fa'ailoga fa'ailoa e fa'aalia ai pe na iloa e le feso'ota'iga le ata mai Google pe leai. Ma o le ata lava ia o se fa'asologa, o se fa'atusatusaga o se pi'o e tusi e le tagata fa'aoga ma togi. Ma taimi. O le taimi lenei mai le amataga o le tusiaina o le ata.
O faʻamatalaga na tuʻuina atu i faʻatulagaga e lua. O le faatulagaga muamua lea, ma o le lona lua ua faafaigofieina. Na latou tipi ese taimi mai iina ma faʻatusatusa lenei seti o togi i se seti laʻititi o togi. Mo lenei mea na latou faʻaaogaina . E iai sau seti tele o togi e fa'atatau i se laina sa'o, ae o le mea moni e mafai ona e fa'atusatusaina le laina lea i le na'o le lua togi. Ole manatu lea ole algorithm.
O fa'amaumauga sa tufatufa fa'apea. E tutusa mea uma, ae o loʻo i ai ni faʻalavelave. Ina ua matou foia le faafitauli, matou te lei tilotilo i ai. O le mea autu o le leai o ni vasega e matua toʻaitiiti, matou te le tau faia ni faʻataʻitaʻiga mamafa ma faʻamatalaga oversampling.
O a foliga o ata? O le vasega lenei o le "vaalele" ma faʻataʻitaʻiga mai ai ma faʻailoga e iloa ma le le amanaiaina. O le latou fua faatatau na i ai i se mea e tusa ma le 1 i le 9. E pei ona e vaʻaia, o faʻamaumauga e fai si pisapisao. Ou te masalo o se vaalele. Afai e te tilotilo i le le iloaina, i le tele o tulaga e na o le pisapisao. Na taumafai foʻi se tasi e tusi le “vaalele,” ae e foliga mai i Falani.
O le tele o tagata auai na o latou ave faʻasologa, toso faʻamaumauga mai lenei faasologa o laina e pei o ata RGB, ma lafo i totonu o le fesoʻotaʻiga. Na ou tusia i le auala lava e tasi: Na ou ave se paleti lanu, tusi le laina muamua ma le lanu e tasi, lea sa i le amataga o lenei paleti, o le laina mulimuli ma le isi, lea sa i le pito o le paleti, ma le va o latou. Na ou faʻafesoʻotaʻi soʻo se mea e faʻaaoga ai lenei paleti. I le auala, na maua ai se taunuuga sili atu nai lo le tusi e pei o le ata muamua - naʻo le uliuli.
O isi tagata o le au, e pei o Ivan Sosin, sa taumafai i ni auala eseese e tusi ai. I le tasi alalaupapa na na ona ia tusia ai se ata efuefu, ae o le isi alalaupapa na ia tusia ai taʻi taʻitasi i le faʻasolosolo mai le amataga e oʻo i le faʻaiʻuga, mai le 32 i le 255, ae o le ala lona tolu na ia tusia ai se faʻamaʻi i luga o taʻi uma mai le 32 i le 255.
O le isi mea manaia o le faʻapipiʻiina lea e Alex Parinov faʻamatalaga i luga o le upega tafailagi e faʻaaoga ai le code country.
Ole metric na fa'aogaina ile tauvaga ole Mean Average Precision. O le a le ute o lenei metric mo le tauvaga? E mafai ona e tuʻuina atu ni faʻamatalaga se tolu, ma afai e leai se faʻamatalaga saʻo i nei mea e tolu, ona e maua lea o le 0. Afai e saʻo, ona amanaia lea o lana faʻatonuga. Ma o le fa'ai'uga fa'amoemoe o le a faitaulia o le 1 vaevae i le fa'atonuga o lau valo'aga. Mo se fa'ata'ita'iga, na e faia ni va'aiga se tolu, ma o le mea sa'o o le mea muamua lea, ona e vaevae lea o le 1 i le 1 ma maua ai le 1. Afai e sa'o le va'aiga ma lona fa'asologa o le 2, ona vaevae lea o le 1 i le 2, e te maua le 0,5. Ia, ma isi.
Faʻatasi ai ma faʻamatalaga muamua - faʻafefea ona tusi ata ma isi mea - ua matou filifili sina mea itiiti. O a fausaga na matou faaaogaina? Na matou taumafai e faʻaoga faʻataʻitaʻiga gaʻo e pei o PNASNet, SENet, ma faʻataʻitaʻiga masani e pei o SE-Res-NeXt, o loʻo faʻateleina le latou ulufale atu i tauvaga fou. Sa i ai foi ResNet ma DenseNet.
Na faapefea ona matou aoao atu lenei mea? O faʻataʻitaʻiga uma na matou aveina na muaʻi aʻoaʻoina ile imagenet. E ui lava o loʻo i ai le tele o faʻamatalaga, 50 miliona ata, ae peitaʻi, afai e te ave se fesoʻotaʻiga na muaʻi aʻoaʻoina i luga o imagenet, na faʻaalia ai ni taunuuga sili atu nai lo le na o le aʻoaʻoina mai le sasa.
O a ni metotia faafaiaoga na matou faaaogaina? O le Cosing Annealing lea ma Toe amata mafanafana, lea o le a ou talanoa i ai i se taimi mulimuli ane. O se metotia lea ou te faʻaaogaina i le toetoe lava o aʻu tauvaga talu ai nei, ma faʻatasi ai ma i latou e foliga mai e aʻoaʻoina lelei le grids, e ausia ai se tulaga maualalo.
Soso'o Fa'aiti'i le fua o le a'oa'oina ile Plateau. E te amata aʻoaʻoina le fesoʻotaʻiga, seti se fua faatatau o le aʻoaʻoina, faʻaauau ona aʻoaʻoina, ma o lou leiloa e faasolosolo malie ona liliu i se tulaga taua. E te siakiina lenei mea, mo se faʻataʻitaʻiga, mo le sefulu epoch e leʻi suia lava le leiloa. E te fa'aititia lau fua faatatau o le a'oa'oina i sina tau ma fa'aauau a'oa'oga. E toe pa'u teisi, fa'atasi i se tulaga maualalo, ma e te toe fa'aititia le fua faatatau o le a'oa'oga, ma fa'asolo atu, se'ia o'o ina fa'atasi lau feso'otaiga.
O le isi auala manaia: Aua le faʻaleagaina le fua o le aʻoaʻoina, faʻateleina le tele o le vaega. O loʻo i ai se tusiga e tutusa lona igoa. A e a'oa'oina se feso'otaiga, e te le tau fa'aititia le fua faatatau o le a'oa'oina, e mafai lava ona e fa'ateleina le aofa'i o vaega.
O lenei metotia, i le ala, na faʻaaogaina e Alex Parinov. Na ia amata i se vaega e tutusa ma le 408, ma ina ua oʻo atu lana fesoʻotaʻiga i se tulaga maualuga, na ia faaluaina le aofaʻi, ma isi.
O le mea moni, ou te le manatua pe o le a le tau na oʻo i ai lana vaega, ae o le mea e manaia ai o loʻo i ai 'au i luga o Kaggle na faʻaogaina le auala lava e tasi, o la latou vaega e tusa ma le 10000. I le ala, o faʻaonaponei faʻaonaponei mo aʻoaʻoga loloto, e pei o le PyTorch, mo se faʻataʻitaʻiga, faʻatagaina oe e fai lenei mea faigofie tele. E te gaosia lau vaega ma tuʻuina atu i le fesoʻotaʻiga e le pei ona i ai, i lona atoaga, ae vaevae i ni pusi ina ia fetaui i lau kata vitio, fuafua le gradients, ma a maeʻa ona e fuafuaina le gradient mo le vaega atoa, faʻafouina. o mea mamafa.
I le auala, o lapopoa lapopoa o loʻo aofia pea i lenei tauvaga, aua o faʻamaumauga e fai si pisapisao, ma o se lapoʻa tele na fesoasoani ia te oe e sili atu le faʻatusatusaina o le gradient.
Sa fa'aogaina fo'i le fa'ailoga fa'ailoga, tele na fa'aaogaina e Roma Soloviev. Na ia fa'ata'ita'iina pe tusa ma le afa o fa'amaumauga mai le su'ega i vaega, ma a'oa'oina le fa'asologa i luga o ia vaega.
O le tele o ata e taua, ae o le mea moni e tele au faʻamatalaga, e tatau ona e toleni mo se taimi umi, ma afai e fai si tele o lau ata, ona e toleni ai lea mo se taimi umi lava. Ae e leʻi faʻaopoopoina tele i le tulaga lelei o lau faʻavasegaga mulimuli, o lea na aoga ai le faʻaaogaina o se ituaiga fefaʻatauaʻiga. Ma na o ata na matou taumafai e le tetele tele.
Na faapefea ona aoaoina uma? Muamua, na pu'eina ata laiti, e tele ni vaitau na fa'atautaia i luga oi latou, na alu ai le tele o le taimi. Ona tuʻuina atu lea o ata lapopoa, na aʻoaʻoina le fesoʻotaʻiga, ona sili atu lea, sili atu, ina ia aua neʻi aʻoaʻoina mai le sasa ma aua le faʻaumatia le tele o taimi.
E uiga i optimizers. Na matou faʻaaogaina le SGD ma Atamu. I lenei auala na mafai ai ona maua se faʻataʻitaʻiga e tasi, lea na tuʻuina atu ai le saoasaoa o le 0,941-0,946 i luga o le taʻiala lautele, lea e lelei tele.
Afai e te tuʻufaʻatasia faʻataʻitaʻiga i se auala, o le ae maua se mea e tusa ma le 0,951. Afai e te faʻaaogaina se isi metotia, o le ae mauaina le togi mulimuli o le 0,954 i luga o le komiti lautele, e pei lava ona matou maua. Ae sili atu i lena mea mulimuli ane. Le isi o le a ou taʻuina atu ia te oe le auala na matou faʻapotopotoina ai faʻataʻitaʻiga, ma le auala na mafai ai ona matou ausia se saoasaoa mulimuli.
O le isi ou te fia talanoa e uiga i le Cosing Annealing with Warm Restarts or Stochastic Gradient Descent with Warm Restarts. I le tautala faʻapitoa, i le mataupu faavae, e mafai ona e faʻaogaina soʻo se mea e sili ona lelei, ae o le manatu o le mea lenei: afai e te toleniina se tasi fesoʻotaʻiga ma faasolosolo malie ona faʻafeiloaʻi i sina mea maualalo, ona lelei lea o mea uma, o le ae mauaina le tasi fesoʻotaʻiga, e faia ni mea sese, ae o oe. e mafai ona aʻoaʻoina i se tulaga ese teisi. E te setiina se fua faatatau muamua o le aʻoaʻoina, ma faasolosolo malie ona faʻaititia e tusa ai ma lenei fua faʻatatau. E te faʻaititia, o lau fesoʻotaʻiga e oʻo mai i sina laʻititi, ona e faʻasaoina lea o le mamafa, ma toe setiina le fua faatatau o le aʻoaʻoga na i ai i le amataga o aʻoaʻoga, ma alu i luga i luga mai lenei laʻititi, ma toe faʻaititia ai lau fua o le aʻoga.
O le mea lea, e mafai ona e asiasi i le tele o laʻititi i le taimi e tasi, lea o le a avea ai lau gau, faʻaopoopo pe toʻesea, tutusa. Ae o le mea moni o fesoʻotaʻiga ma nei mamafa o le a tuʻuina atu ai mea sese eseese i lau tafaoga faamasani. E ala i le averesi i latou, o le ae mauaina se ituaiga o faʻatatau, ma o lau saoasaoa o le a maualuga.
E uiga i le auala na matou faʻapipiʻiina ai a matou faʻataʻitaʻiga. I le amataga o le faʻaaliga, na ou fai atu e faʻalogo i le aofaʻi o faʻamaumauga i le suʻega ma le numera o vasega. Afai e te faʻaopoopo le 1 i le numera o sini i le seti suʻega ma vaevaeina i le numera o vasega, o le ae mauaina le numera 330, ma na tusia i luga o le forum - o vasega i le suʻega e paleni. E mafai ona faʻaaogaina lenei mea.
E faavae i luga o lenei mea, na sau ai Roma Soloviev ma se metric, matou te taʻua o le Proxy Score, lea e fetaui lelei ma le taʻitaʻi. O le manatu: e te faia se valo'aga, ave le pito i luga 1 o au valo'aga ma faitau le numera o mea faitino mo vasega ta'itasi. Sosoo ai, toese le 330 mai tau ta'itasi ma fa'aopoopo i luga le fa'ai'uga o tau fa'aatoa.
O tau nei na maua. Na fesoasoani lea ia i matou e aua ne'i faia se ta'ita'i su'esu'e, ae ia fa'amaonia i totonu o le atunu'u ma filifili fa'atatau mo a matou fa'apotopotoga.
Faatasi ai ma se ensemble e mafai ona e maua se saoasaoa faapena. O le a se isi mea e mafai ona ou faia? Fa'apea na e fa'aogaina le fa'amatalaga o vasega o lau su'ega e paleni.
Sa ese le paleni. - faapaleni mai tama na maua le tulaga muamua.
O le a le mea na matou faia? O la matou paleni sa fai si faigofie, na fautuaina e Evgeny Babakhnin. Na matou fa'avasega muamua a matou valo'aga i le pito i luga 1 ma filifilia sui mai ia i latou - ina ia le sili atu le aofa'i o vasega i le 330. Ae mo nisi vasega e i'u i lalo ifo o le 330 tagata va'ai. , ma o le a matou filifilia foi sui tauva.
Na faapefea ona ese lo tatou faapaleniina mai le paleni muamua? Na latou fa'aogaina se faiga fa'asolosolo, ave le vasega e sili ona ta'uta'ua ma fa'aitiitia avanoa mo lena vasega i se numera la'ititi seia o'o ina le toe avea ma vasega sili ona lauiloa. Na matou faia le isi vasega sili ona lauiloa. O lea na latou fa'aauau ai ona fa'amaulalo i latou se'ia o'o ina tutusa le aofa'i o vasega uma.
Na fa'aaoga e tagata uma le fa'aopoopo po'o le fa'aitiitia o le tasi i le toleniina o feso'otaiga, ae le o tagata uma na fa'aogaina le paleni. I le faʻaaogaina o le paleni, e mafai ona e alu i le auro, ma afai e te laki, ona e alu lea i tupe.
E fa'afefea ona mua'i fa'agasolo se aso? O tagata uma na muaʻi faʻagasolo le aso, faʻaopoopo pe toesea, i le auala lava e tasi - faia o mea faʻapitoa, taumafai e faʻapipiʻi taimi i lanu eseese o le ta, ma isi. O le mea tonu lea na talanoa ai Alexey Nozdrin-Plotnitsky, o le na maua le tulaga 8.
E ese le mea na ia faia. Fai mai a ia, o nei mea uma e fai ou lima e le aoga, e te le manaʻomia le faia o lena mea, o lau fesoʻotaʻiga e tatau ona aʻoaʻoina nei mea uma na o ia. Ae nai lo lena, na ia sau ma aʻoaʻoga modules na muaʻi faʻatautaia au faʻamatalaga. Na ia lafoina faʻamatalaga muamua i totonu ia i latou e aunoa ma le faʻatulagaina - faʻasologa o faʻasologa ma taimi.
Ona ia ave lea o le eseesega e faavae i luga o faamaopoopo, ma ave averesi uma e faavae i taimi. Ma na sau o ia ma se matrix umi. Na ia faʻaaogaina le 1D convolution i le tele o taimi e maua ai se matrix o le lapopoa 64xn, lea o le n o le aofaʻi atoa o togi, ma le 64 ua faia ina ia fafaga ai le matrix e maua i le laulau o soʻo se fesoʻotaʻiga fesoʻotaʻiga, lea e talia le numera o auala. - 64. na ia mauaina se 64xn matrix, ona tatau ai lea ona faia se tensor o se tele ina ia tutusa le numera o alalaupapa i le 64. Na ia faʻavasega uma togi X, Y i le va o le 0 i le 32 e fatu ai se tensor o le lapopoa 32x32. Ou te le iloa pe aisea na ia manaʻo ai i le 32x32, naʻo le mea na tupu. Ma i lenei fa'amaopoopo na ia tu'uina se vaega o lenei matrix o le tele 64xn. O lea na iu lava i le 32x32x64 tensor e mafai ona e tuʻuina atili i lau fesoʻotaʻiga neural convolutional. Na o le pau lena sa ou manao e fai atu ai.
puna: www.habr.com