Likhoeli tse 'maloa tse fetileng, basebetsi-'moho le rona ba Google ho Kaggle tlholisano ea ho theha sehlopha sa litšoantšo tse fumanoeng ka mokhoa o makatsang "Potlaka, Thala!" Sehlopha, se neng se kenyelletsa moqapi oa Yandex Roman Vlasov, se nkile sebaka sa bone tlholisanong. Koetlisong ea ho ithuta mochine oa January, Roman o ile a arolelana maikutlo a sehlopha sa hae, ts'ebetsong ea ho qetela ea lihlopha, le mekhoa e thahasellisang ea bahanyetsi ba hae.
- Lumelang bohle! Lebitso la ka ke Roma Vlasov, kajeno ke tla u bolella ka Quick, Draw! Phephetso ea Tsebiso ea Doodle.
Ho ne ho e-na le batho ba bahlano sehlopheng sa rōna. Ke kene hang pele ho nako ea ho kopanya. Re ne re le malimabe, re ile ra sisinyeha hanyenyane, empa re ile ra sisinyeha ho tloha boemong ba chelete, 'me ba ile ba sisinyeha ho tloha boemong ba khauta. Mme re nkile sebaka se hlomphehang sa bone.
(Nakong ea tlholisano, lihlopha li ile tsa itebela ka tekanyo, e ileng ea thehoa ho latela liphetho tse bontšitsoeng karolong e 'ngoe ea sete ea data e sisintsoeng. Lebelo la ho qetela le ile la thehoa karolong e 'ngoe ea dataset. Sena se etsoa joalo hore barupeluoa ba tlhōlisano ba se ke ba fetola li-algorithms tsa bona ho data e itseng.Ka hona, qetellong, ha u fetola pakeng tsa litekanyetso, maemo a sisinyeha hanyenyane (ho tloha ho Senyesemane ho sisinyeha - ho kopanya): ho lintlha tse ling, phello e ka 'na ea hlaha. Ho fapana.Sehlopha sa Roman e ne e le sa pele ho tse tharo tse holimo. Tabeng ena, tse tharo tse holimo ke chelete, sebaka sa boemo ba lichelete, kaha ke libaka tse tharo feela tsa pele tse ileng tsa fuoa moputso oa chelete.Ka mor'a ho sisinyeha, sehlopha se ne se se se kene. Sebaka sa bone. Ka mokhoa o ts'oanang, sehlopha se seng se ile sa lahleheloa ke tlholo, boemo ba khauta. - Mohl.)
Tlhōlisano e ne e boetse e le ea bohlokoa ka hore Evgeniy Babakhnin o ile a fumana setloholo, Ivan Sosin o ile a fumana mong'a, Roman Soloviev o ile a lula e le moholo-holo, Alex Parinov o ile a fumana monghali, ke ile ka ba setsebi, 'me hona joale ke se ke ntse ke le monghali.
Toro ee ea Quick, Draw ke eng? Ena ke tšebeletso e tsoang ho Google. Google e ne e na le sepheo sa ho tsebahatsa AI mme ka ts'ebeletso ena e ne e batla ho bonts'a hore na marang-rang a neural a sebetsa joang. E ea moo, tobetsa Ha re toroeng, 'me leqephe le lecha le hlaha moo u bolelloang: taka lesela le pota-potileng, u na le metsotsoana e 20 ho etsa sena. U leka ho hula zigzag ka metsotsoana e 20, joalo ka mona, mohlala. Haeba u atleha, marang-rang a re ke zigzag 'me u tsoela pele. Ho na le litšoantšo tse joalo tse tšeletseng feela.
Haeba marang-rang a Google a hloleha ho lemoha seo u se totileng, ho ile ha behoa sefapano mosebetsing. Hamorao ke tla u bolella hore na ho tla bolela eng nakong e tlang hore na setšoantšo se tsejoa ke marang-rang kapa che.
Ts'ebeletso ena e ile ea bokella palo e kholo ea basebelisi, 'me litšoantšo tsohle tse toroang ke basebelisi li ile tsa bolokoa.
Re khonne ho bokella litšoantšo tse ka bang limilione tse 50. Ho tloha mona, ho ile ha thehoa terene le letsatsi la teko bakeng sa tlhōlisano ea rona. Ka tsela, palo ea data tekong le palo ea lihlopha li totobatsoa ka sebete ka lebaka. Ke tla le bolella ka tsona hamorao.
Sebopeho sa data se ne se le tjena. Tsena ha se litšoantšo tsa RGB feela, empa, ka mantsoe a mang, ke lethathamo la tsohle tseo mosebelisi a li entseng. Lentsoe ke sepheo sa rona, naha ea naha ke moo mongoli oa doodle a tsoang teng, setempe sa nako ke nako. Leibole e tsebahalang e bontša feela hore na marang-rang a hlokometse setšoantšo ho tsoa ho Google kapa che. 'Me setšoantšo ka boeona ke tatellano, e leng khakanyo ea lekhalo leo mosebelisi a le hulang ka lintlha. Le linako. Ena ke nako ho tloha qalong ea ho taka setšoantšo.
Lintlha li ile tsa hlahisoa ka mekhoa e 'meli. Ena ke mokhoa oa pele, 'me oa bobeli o nolofalitsoe. Ba ile ba khaola linako ho tloha moo 'me ba lekanya sehlopha sena sa lintlha ka lintlha tse nyane. Bakeng sa sena ba ile ba sebelisa . U na le lintlha tse ngata tse batlang li lekana le mola o otlolohileng, empa ha e le hantle u ka hakanya moeli ona ka lintlha tse peli feela. Ona ke mohopolo oa algorithm.
Lintlha li ile tsa ajoa ka tsela e latelang. Ntho e 'ngoe le e' ngoe e tšoana, empa ho na le tse ling tse ka ntle. Ha re rarolla bothata, ha rea ka ra bo sheba. Taba ea mantlha ke hore ho ne ho se na litlelase tse neng li hlile li fokola, re ne re sa tlameha ho etsa li-samplers tse boima le oversampling ea data.
Litšoantšo li ne li shebahala joang? Ena ke sehlopha sa "sefofane" le mehlala e tsoang ho eona e nang le mangolo a tsejoang le a sa tsejoe. Karolelano ea bona e ne e le kae-kae ho pota 1 ho ea ho 9. Joalokaha u ka bona, data e lerata haholo. Ke nahana hore ke sefofane. Haeba u sheba ha e tsejoe, hangata ke lerata feela. Motho e mong o bile a leka ho ngola “sefofane,” empa kamoo ho bonahalang kateng ka Sefora.
Boholo ba barupeluoa ba ile ba nka li-grids, ba hula lintlha ho tsoa tatellanong ena ea mela joalo ka litšoantšo tsa RGB, 'me ba li lahlela marang-rang. Ke ile ka hula hoo e batlang e le ka tsela e ts'oanang: Ke ile ka nka pente ea mebala, ka hula mola oa pele ka 'mala o le mong, o neng o le qalong ea phalete ena, mola oa ho qetela le o mong, o neng o le qetellong ea phalete, le pakeng tsa bona. Ke kenelletse hohle ke sebelisa phalete ena. Ka tsela, sena se fane ka sephetho se betere ho feta ha o taka joalo ka selaeteng sa pele - ka botšo feela.
Litho tse ling tsa sehlopha, joalo ka Ivan Sosin, li lekile mekhoa e fapaneng hanyane ea ho taka. Ka kanale e le 'ngoe o ne a toroea setšoantšo se seputsoa, ka kanale e 'ngoe a taka seterouku se seng le se seng ho tloha qalong ho isa qetellong, ho tloha ho 32 ho isa ho 255,' me ka mocha oa boraro o ile a taka "gradient" holim'a lichapo tsohle ho tloha ho 32 ho ea ho 255.
Ntho e 'ngoe e khahlisang ke hore Alex Parinov o kentse tlhahisoleseling ho marang-rang a sebelisa nahacode.
Metric e sebelisitsoeng tlholisanong ke Mean Average Precision. Moko oa metric ee ea tlholisano ke eng? U ka fana ka li-predics tse tharo, 'me haeba ho se na li-predic tse nepahetseng ho tsena tse tharo, joale u fumana 0. Haeba ho na le e nepahetseng, joale taelo ea eona e nkoa. 'Me sephetho sa sepheo se tla baloa e le 1 e arotsoe ka tatellano ea ponelopele ea hau. Ka mohlala, u entse li-predictors tse tharo, 'me e nepahetseng ke ea pele, joale u arola 1 ka 1' me u fumane 1. Haeba selelekela se nepahetse 'me taelo ea eona ke 2, joale arola 1 ka 2, u fumana 0,5. Joale, joalo-joalo.
Ka data preprocessing - mokhoa oa ho taka litšoantšo joalo-joalo - re entse qeto e nyenyane. Re sebelisitse meralo efe? Re lekile ho sebelisa meralo ea mafura e kang PNASNet, SENet, le meaho e seng e ntse e le ea khale joalo ka SE-Res-NeXt, ba ntse ba kenella litlholisanong tse ncha. Ho ne ho boetse ho na le ResNet le DenseNet.
Re ile ra ruta see joang? Mefuta eohle eo re e nkileng e koetlisitsoe pele ho imagenet. Le hoja ho na le boitsebiso bo bongata, litšoantšo tse limilione tse 50, empa leha ho le joalo, haeba u nka marang-rang a koetlisitsoeng pele ho imagenet, e bontšitse liphello tse molemo ho feta haeba u e koetlisitse ho tloha qalong.
Re ile ra sebelisa mekhoa efe ea ho ruta? Ena ke Cosing Annealing with Warm Restarts, eo ke tla bua ka eona hamorao. Ena ke mokhoa oo ke o sebelisang hoo e batlang e le litlhōlisano tsohle tsa ka tsa morao-rao, 'me ka tsona ho fetoha ho koetlisa li-grids hantle, ho finyella bonyane bo botle.
E latelang Fokotsa Sekhahla sa ho Ithuta ho Plateau. U qala ho koetlisa marang-rang, beha tekanyo e itseng ea ho ithuta, tsoela pele ho e ruta, 'me tahlehelo ea hau butle-butle e fetohela boleng bo itseng. U hlahloba sena, ka mohlala, bakeng sa linako tse leshome tahlehelo ha e so fetohe ho hang. O fokotsa sekhahla sa ho ithuta ka boleng bo itseng mme o tsoela pele ho ithuta. E theoha hanyane hape, e kopana ka bonyane, 'me u boetse u theola sekhahla sa ho ithuta, joalo-joalo, ho fihlela marang-rang a hau a qetella a fetoha.
E latelang ke mokhoa o khahlisang: Se ke oa senya sekhahla sa ho ithuta, eketsa boholo ba batch. Ho na le sehlooho se nang le lebitso le tšoanang. Ha u koetlisa marang-rang, ha ua tlameha ho fokotsa sekhahla sa ho ithuta, u ka eketsa boholo ba batch.
Mokhoa ona, ka tsela, o ne o sebelisoa ke Alex Parinov. O ile a qala ka sehlopha se lekanang le 408, 'me ha marang-rang a hae a fihla sehlabeng se seng, o ile a eketsa boholo ba batch habeli, joalo-joalo.
Ha e le hantle, ha ke hopole hore na boholo ba batch ea hae bo fihlile boleng bofe, empa se thahasellisang ke hore ho ne ho e-na le lihlopha tsa Kaggle tse neng li sebelisa mokhoa o tšoanang, boholo ba bona ba batch bo ne bo ka ba 10000 XNUMX. Ka tsela, mekhoa ea morao-rao ea thuto e tebileng, e kang Ka mohlala, PyTorch e u lumella ho etsa sena habonolo. U hlahisa sehlopha sa hau ebe u se romella marang-rang eseng kamoo se leng kateng, ka kakaretso, empa u se arole ka likotoana e le hore se kenelle kareteng ea hau ea video, u bale li-gradients, 'me ka mor'a hore u bale gradient bakeng sa sehlopha sohle, ntlafatsa. boima.
Ka tsela, boholo ba li-batch bo ne bo ntse bo kenyelelitsoe tlholisanong ena, hobane data e ne e le lerata haholo, 'me boholo ba batch bo u thusitse ka nepo ho lekanya gradient.
Ho ne ho boetse ho sebelisoa pseudo-labeling, haholo-holo e sebelisoang ke Roman Soloviev. O ile a etsa sampole e ka bang halofo ea data ho tsoa tekong ka lihlopha, mme a koetlisa marang-rang ka lihlopha tse joalo.
Boholo ba litšoantšo bo ne bo le bohlokoa, empa 'nete ke hore u na le lintlha tse ngata, u lokela ho koetlisa nako e telele,' me haeba boholo ba setšoantšo sa hau se le seholo haholo, joale u tla koetlisa nako e telele haholo. Empa sena ha sea ka sa eketsa boleng ba sehlopha sa hau sa ho qetela, kahoo ho ne ho loketse ho sebelisa mofuta o itseng oa khoebo. 'Me re ile ra leka feela litšoantšo tse neng li se khōlō haholo ka boholo.
E ile ea ithutoa joang kaofela? Pele, litšoantšo tse nyane li ile tsa nkuoa, ho ile ha tsamaisoa linako tse 'maloa, sena se ile sa nka nako e ngata haholo. Joale litšoantšo tse kholo li ile tsa fanoa, marang-rang a koetlisoa, joale le ho feta, le ho feta, e le hore a se ke a koetlisa ho tloha qalong mme a se ke a senya nako e ngata.
Mabapi le li-optimizers. Re sebelisitse SGD le Adama. Ka tsela ena ho ne ho ka khoneha ho fumana mohlala o le mong, o faneng ka lebelo la 0,941-0,946 holim'a boardboard ea sechaba, e ntle haholo.
Haeba u kopanya mehlala ka tsela e itseng, u tla fumana kae-kae ho pota 0,951. Haeba u sebelisa mokhoa o mong hape, u tla fumana lintlha tsa ho qetela tsa 0,954 ho boto ea sechaba, joalo ka ha re fumane. Empa ho feta ka seo hamorao. Ka mor'a moo ke tla u bolella kamoo re ileng ra bokella mehlala kateng, le hore na re khonne ho finyella lebelo le joalo la ho qetela joang.
Ka mor'a moo ke rata ho bua ka Cosing Annealing le Warm Restarts kapa Stochastic Gradient Descent le Mofuthu Restarts. Ha e le hantle, ha e le hantle, u ka sebelisa optimizer leha e le efe, empa ntlha ke ena: haeba u koetlisa marang-rang a le mong 'me butle-butle e fetoha bonyane, joale ntho e' ngoe le e 'ngoe e lokile, u tla fumana marang-rang a le mong, e etsa liphoso tse itseng, empa u e ka e koetlisa ka tsela e fapaneng hanyane. U tla beha sekhahla sa ho ithuta sa pele, 'me butle-butle u se theole ho latela foromo ena. U e theola, marang-rang a hau a fihla bonyane, ebe o boloka litekanyo, hape o beha tekanyo ea ho ithuta e neng e le qalong ea koetliso, ka tsela eo u ea kae-kae holimo ho tloha bonyaneng bona, 'me hape u theola sekhahla sa thuto ea hau.
Kahoo, o ka etela bonyane ba 'maloa ka nako e le' ngoe, moo tahlehelo ea hau e tla ba teng, hammoho kapa ho tlosa, e ts'oanang. Empa 'nete ke hore marang-rang a nang le litekanyo tsena a tla fana ka liphoso tse fapaneng ka letsatsi la hau. Ka ho li lekanya, u tla fumana mofuta o itseng oa likhakanyo, 'me lebelo la hau le tla ba holimo.
Mabapi le mokhoa oa ho kopanya mehlala ea rona. Qalong ea nehelano, ke ile ka re ho ela hloko palo ya data tekong le palo ea lihlopha. Haeba u eketsa 1 ho palo ea lipakane tse behiloeng tekong 'me u arola ka palo ea lihlopha, u tla fumana palo ea 330,' me sena se ngotsoe sethaleng - hore lihlopha tsa tlhahlobo li leka-lekane. Sena se ka sebelisoa.
Ho ipapisitsoe le sena, Roman Soloviev o ile a tla le metric, re e bitsitse Proxy Score, e neng e amana hantle le boardboard. Taba ke hore: o etsa ponelopele, nka 1 e kaholimo ea li-predictors tsa hau mme u bale palo ea lintho bakeng sa sehlopha ka seng. Ka mor'a moo, tlosa 330 ho boleng bo bong le bo bong 'me u kenyelle litekanyetso tse feletseng tse hlahisoang.
Ho ile ha fumanoa litekanyetso tse latelang. Sena se re thusitse hore re se ke ra theha boto ea baetapele, empa ho netefatsa sebakeng sa rona le ho khetha li-coefficients bakeng sa li-ensembles tsa rona.
Ka ensemble u ka fumana lebelo le joalo. Ke eng hape eo nka e etsang? A re re u sebelisitse lintlha tsa hore litlelase tsa tlhahlobo ea hau li leka-lekane.
Ho leka-lekanya ho ne ho fapane. - ho leka-lekanya ho tloha ho bashanyana ba ileng ba nka sebaka sa pele.
Re ile ra etsa’ng? Ho leka-lekanya ha rona ho ne ho le bonolo, ho khothalelitsoe ke Evgeny Babakhnin. Re ile ra hlophisa likhakanyo tsa rona pele ka top 1 mme ra khetha bakhethoa ho bona - e le hore palo ea litlelase e se ke ea feta 330. Empa bakeng sa litlelase tse ling u qetella u e-na le li-predictors tse ka tlase ho 330. Ho lokile, a re hlophiseng hape ka top 2 le top 3 , hape re tla khetha bakhethoa.
Ho leka-lekanya ha rōna ho ne ho fapane joang le ho leka-lekanya ha sebaka sa pele? Ba ile ba sebelisa mokhoa oa ho pheta-pheta, ho nka sehlopha se tsebahalang haholo le ho fokotsa menyetla ea sehlopha seo ka palo e nyane ho fihlela e se e se sehlopha se tsebahalang haholo. Re ile ra nka sehlopha se latelang se tsebahalang haholo. Kahoo ba tsoela pele ho li theola ho fihlela palo ea lihlopha tsohle e lekana.
Motho e mong le e mong o ne a sebelisa mokhoa oa ho kopanya kapa ho tlosa o le mong ho koetlisa marang-rang, empa ha se bohle ba sebelisang ho leka-lekanya. U sebelisa ho leka-lekanya, u ka kena khauta, 'me haeba u ne u le lehlohonolo, joale u kene chelete.
Joang ho lokisa letsatsi pele? Motho e mong le e mong o ne a rerile letsatsi, hammoho kapa ho fokotsa, ka tsela e ts'oanang - ho etsa likarolo tse entsoeng ka letsoho, ho leka ho kenyelletsa nako ka mebala e sa tšoaneng ea stroke, joalo-joalo Alexey Nozdrin-Plotnitsky, ea ileng a nka sebaka sa 8, o buile ka sena.
O e entse ka tsela e fapaneng. O itse likarolo tsena tsohle tsa hau tse entsoeng ka matsoho ha li sebetse, ha ho hlokahale hore u etse joalo, marang-rang a hau a lokela ho ithuta tsena tsohle a le mong. Mme ho fapana le moo, o ile a tla le li-module tsa ho ithuta tse ntlafalitseng data ea hau esale pele. O ile a lahlela data ea mantlha ho bona ntle le ho e lokisa esale pele - likhokahano tsa lintlha le linako.
Eaba o nka phapang e ipapisitse le likhokahano, mme a e lekanya kaofela ho latela nako. Mme a tla ka matrix a malelele. O ile a sebelisa 1D convolution ka makhetlo a 'maloa ho fumana matrix ea boholo ba 64xn, moo n e leng palo eohle ea lintlha,' me 64 e etsoa e le ho fepa matrix a hlahisoang ho lera la marang-rang leha e le afe a convolutional, a amohelang palo ea liteishene. - 64. o ile a fumana matrix a 64xn, joale ho tloha ho sena ho ne ho hlokahala hore a thehe tensor ea boholo bo itseng e le hore palo ea likanale e lekana le 64. O ile a etsa hore lintlha tsohle li tloaelehe X, Y ho tloha ho 0 ho ea ho 32 ho theha tensor ea boholo ba 32x32. Ha ke tsebe hore na ke hobane'ng ha a ne a batla 32x32, e ile ea etsahala ka tsela eo. 'Me kopanong ena o ile a beha sekhechana sa matrix a boholo ba 64xn. Kahoo e ile ea qetella e e-na le tensor ea 32x32x64 eo u ka e kenyang ho netweke ea hau ea convolutional neural. Ke phetho seo ke neng ke batla ho se bua.
Source: www.habr.com