I etahi marama ki muri, ko o maatau hoa mahi mai i a Google i runga i a Kaggle he whakataetae ki te hanga i te whakarōpūtanga mo nga whakaahua ka riro mai i te rawe "Hohoro, Tuhia!" Ko te kapa, ko te kaiwhakawhanake a Yandex a Roman Vlasov, i tu ki te tuawha o te whakataetae. I te whakangungu miihini o Hanuere, i whakapuaki a Roman i nga whakaaro o tana roopu, i te whakatinanatanga whakamutunga o te kaikorero, me nga mahi whakamere a ona hoa whawhai.
- Kia ora katoa! Ko Roma Vlasov toku ingoa, i tenei ra ka korero ahau ki a koe mo te Tere, Tuhia! Wero Whakaaetanga Doodle.
Tokorima nga tangata o ta matou roopu. I uru atu ahau i mua tonu i te wa mutunga hanumi. Kare matou i waimarie, he iti te ruirui, engari i ruia mai matou i te turanga moni, i ruia ratou i te turanga koura. Na ka eke matou ki te tuunga tuawha honore.
(I te wa o te whakataetae, i kite nga kapa i a ratou ano i roto i te whakatauranga, i hangaia i runga i nga hua kua whakaatuhia ki tetahi waahanga o te huinga raraunga i whakaarohia. Ko te whakatauranga whakamutunga, i hangaia ki tetahi atu waahanga o te huinga raraunga. kia kore nga kaiuru whakataetae e whakatika i o raatau algorithm ki nga raraunga motuhake. Na reira, i nga whiringa toa, ka huri i waenga i nga reiti, he iti te ruru o nga tuunga (mai i te reo Ingarihi ka wiri ake - ki te whakauru): ki etahi atu raraunga, ka puta te hua. He rerekee. Ko te kapa a Roman i te tuatahi ki te toru o runga. I tenei keehi, ko te toru o runga ko te moni, te rohe reiti moni, na te mea ko nga waahi tuatahi e toru anake i whakawhiwhia he putea putea. wahi tuawha. I pera ano, i hinga te wikitoria i tera atu kapa, te turanga koura. - Ed.)
He mea nui ano te whakataetae i riro i a Evgeniy Babakhnin te rangatira rangatira, i riro a Ivan Sosin i te rangatira, i noho tonu a Roman Soloviev hei rangatira, i riro a Alex Parinov i te rangatira, kua riro ahau hei tohunga, inaianei kua rangatira ahau.
He aha tenei Tere, Tuhia? He ratonga tenei na Google. Ko te whainga a Google ki te whakanui i a AI me tenei ratonga i hiahia ki te whakaatu me pehea te mahi o nga whatunga neural. Haere koe ki reira, pawhiria Kia tuhi tatou, ka puta ake he wharangi hou e kii atu ana koe: tuhia he kopikopiko, he 20 hekona to mahi. E ngana ana koe ki te tuhi i te zigzag i roto i te 20 hēkona, penei i konei, hei tauira. Ki te angitu koe, e kii ana te whatunga he kopikopiko, ka haere tonu koe. E ono noa nga pikitia pera.
Mena karekau te whatunga a Google i mohio ki taau i tuhi, ka tukuna he ripeka ki runga i te mahi. Hei muri ka korero atu ahau ki a koe he aha te tikanga a muri ake nei mena ka mohiohia he tuhi e te whatunga, kaore ranei.
I kohia e tenei ratonga te maha o nga kaiwhakamahi, a ko nga pikitia katoa i tuhia e nga kaiwhakamahi kua tuhia.
I kaha matou ki te kohikohi tata ki te 50 miriona whakaahua. Mai i tenei, i hangaia te ra tereina me te ra whakamatautau mo to taatau whakataetae. Ma te ara, ko te nui o nga raraunga i roto i te whakamatautau me te maha o nga karaehe ka tohua ki te maia mo tetahi take. Ka korero ahau ki a koe mo ratou i muri tata nei.
Ko te whakatakotoranga raraunga e whai ake nei. Ehara enei i nga whakaahua RGB anake, engari, ko te korero, he raarangi mo nga mea katoa i mahia e te kaiwhakamahi. Ko Word ta matou whainga, ko te waehere whenua no hea te kaituhi o te doodle, ko te tohu wa ko te waa. Ko te tapanga mohio e whakaatu ana mena i mohio te whatunga ki te ahua mai i a Google, kaore ranei. A ko te tuhi ano he raupapa, he tata ki te pihi ka tuhia e te kaiwhakamahi me nga tohu. Me nga wa. Koinei te wa mai i te timatanga o te tuhi pikitia.
I whakaatuhia nga raraunga i roto i nga whakatakotoranga e rua. Ko te whakatakotoranga tuatahi tenei, ko te tuarua ka whakangwarihia. Ka tapahia e ratou nga wa mai i reira ka tata ki tenei huinga tohu me te huinga tohu iti ake. Mo tenei i whakamahia e ratou . Kei a koe he huinga tohu nui e tata ana ki te raina tika, engari ka taea e koe te tata ki tenei raina me nga tohu e rua noa. Koinei te whakaaro o te algorithm.
I tohatohahia nga raraunga e whai ake nei. He rite nga mea katoa, engari tera ano etahi o waho. I te wa i whakatauhia e matou te raruraru, kaore matou i titiro. Ko te mea nui karekau he karaehe he iti rawa, kaore matou e mahi i nga tauira taumaha me te taapiri raraunga.
He aha te ahua o nga pikitia? Koinei te karaehe "rererangi" me nga tauira mai i a ia me nga tapanga e mohiotia ana, e kore e mohiotia. Ko to raatau owehenga i tetahi waahi tata ki te 1 ki te 9. Ka kite koe, he tino haruru te raraunga. Ki taku whakaaro he waka rererangi. Mena ka titiro koe ki te kore e mohiotia, i te nuinga o te waa he haruru noa iho. I ngana ano tetahi ki te tuhi "rererangi," engari ko te ahua ki te reo French.
Ko te nuinga o nga kaiuru ka tango matiti noa, ka tango raraunga mai i tenei raupapa raina hei pikitia RGB, ka maka ki roto i te whatunga. He rite tonu taku tuhi: I tango ahau i tetahi papatae tae, i tohia te rarangi tuatahi me te tae kotahi, kei te timatanga o tenei papatae, ko te rarangi whakamutunga me tetahi atu, kei te pito o te papatae, kei waenganui i a raatau. I interpolate ahau ki nga waahi katoa ma te whakamahi i tenei papatae. Ma te ara, he pai ake te hua ki te tuhi koe i runga i te kiriata tuatahi - he pango noa.
Ko etahi o nga mema o te roopu, penei i a Ivan Sosin, i whakamatau i etahi huarahi rereke ki te tuhi. Ma te hongere kotahi ka tuhi noa ia i tetahi pikitia hina, me tetahi atu hongere ka tuhi ia ia whiu me te rōnaki mai i te timatanga ki te mutunga, mai i te 32 ki te 255, me te hongere tuatoru ka tuhia e ia he rōnaki ki runga i nga whiu katoa mai i te 32 ki te 255.
Ko tetahi atu mea whakamiharo ko Alex Parinov i tuku korero ki te whatunga ma te whakamahi i te waehere whenua.
Ko te inenga e whakamahia ana i roto i te whakataetae ko te Mean Average Precision. He aha te ngako o tenei ine mo te whakataetae? Ka taea e koe te tuku matapae e toru, a ki te kore he matapae tika i roto i enei e toru, ka whiwhi koe i te 0. Mena he mea tika, katahi ka whai whakaaro ki tana ota. A ko te hua i whäia ka kiia hei 1 wehea e te raupapa o to matapae. Hei tauira, e toru nga matapae i mahia e koe, a ko te mea tika ko te mea tuatahi, katahi ka wehea te 1 ki te 1 ka whiwhi 1. Ki te tika te matapae me te 2 tona raupapa, ka wehea te 1 ki te 2, ka whiwhi koe i te 0,5. Well, etc.
Ma te tukatuka raraunga - me pehea te tuhi pikitia me etahi atu - kua whakatauhia e matou he iti. He aha nga hoahoanga i whakamahia e matou? I ngana matou ki te whakamahi i nga hoahoanga momona penei i te PNASNet, SENet, me nga hoahoanga matarohia kua rite ki te SE-Res-NeXt, kei te uru atu ki nga whakataetae hou. I reira ano a ResNet me DenseNet.
I pehea ta matou whakaako i tenei? Ko nga tauira katoa i tangohia e matou i whakangungua i mua i te imagenet. Ahakoa he nui nga raraunga, 50 miriona nga whakaahua, engari, ki te tango koe i tetahi whatunga kua whakangunguhia i mua i te imagenet, he pai ake nga hua i puta mai i te mea ka whakangunguhia e koe mai i te waahi.
He aha nga tikanga whakaako i whakamahia e matou? Ko tenei te Cosing Annealing me te Whakahou Mahana, ka korerohia e au i muri tata nei. He tikanga tenei e whakamahia ana e au i roto i te tata katoa o aku whakataetae tata nei, a na enei ka puta he pai te whakangungu i nga matiti, kia eke ki te iti rawa.
Panuku Whakaitihia te Reeti Ako i runga i te Paparahi. Ka timata koe ki te whakangungu i te whatunga, ka whakatauhia he reiti ako, ka ako tonu koe, ka huri haere to mate ki tetahi uara. Ka tirohia e koe tenei, hei tauira, mo nga wa tekau kaore i rereke te mate. Ka whakaitihia e koe to reeti ako ma etahi uara me te ako tonu. He iti nei te heke iho, ka huri i te iti rawa, ka whakaheke ano koe i te reiti ako, ka pera tonu, kia huri ra ano to whatunga.
Whai muri ko te tikanga whakamere: Kaua e pirau te reiti ako, whakanuia te rahi o te puranga. He tuhinga rite te ingoa. Ina whakangungu koe i tetahi whatunga, kaore koe e whakaiti i te reeti ako, ka taea noa e koe te whakanui ake i te rahi o te puranga.
Ko tenei tikanga, i te ara, i whakamahia e Alex Parinov. I timata ia me te roopu e rite ana ki te 408, a, i te taenga atu o tana kupenga ki tetahi paparahi, ka ruarua noa iho te rahi o te puranga, aha atu.
Inaa, kare au e mahara he aha te uara i eke ki tana rahinga puranga, engari ko te mea whakamere ko te mea he roopu kei runga i a Kaggle i whakamahi i taua tikanga, ko te rahi o to ratou puranga i te 10000. Ae, ko nga anga hou mo te ako hohonu, penei i te PyTorch, hei tauira, ka taea e koe te mahi ngawari. Ka whakaputahia e koe to puranga ka tukuna atu ki te whatunga kaore i te ahua, i te katoa, engari ka wehewehea ki nga wahanga kia uru ki to kaari ataata, tatauhia nga rōnaki, a, i muri i to tatau i te rōnaki mo te puranga katoa, whakahou. nga taumaha.
Ae ra, i uru tonu nga rahi o te puranga nui ki tenei whakataetae, na te mea he ngangau te raraunga, a na te nui o te puranga i awhina i a koe ki te tata i te rōnaki.
I whakamahia ano te tapanga pseudo, ko te nuinga i whakamahia e Roman Soloviev. I whakatauirahia e ia te haurua o nga raraunga mai i te whakamatautau i roto i nga roopu, me te whakangungu i te matiti ki runga i aua waahanga.
Ko te rahi o nga pikitia he mea nui, engari ko te mea he nui to raraunga, me whakangungu koe mo te wa roa, a mena he nui te rahi o to pikitia, katahi ka whakangungu koe mo te wa roa. Engari kaore tenei i tino taapiri atu ki te kounga o to whakarōpūtanga whakamutunga, no reira he pai te whakamahi i etahi momo hokohoko. A i whakamatau noa matou i nga pikitia kaore i tino nui te rahi.
I pehea te ako katoa? Tuatahi, i tangohia nga pikitia iti-rahi, he maha nga wa i mahia ki runga, he roa te waa. Na ka tukuna nga pikitia nui-rahi, ka whakangunguhia te whatunga, ka nui ake, ka nui ake, kia kore ai e whakangunguhia mai i te waahi me te kore e roa te wa.
Mo nga kaiwhakangungu. I whakamahia e matou te SGD me Adamu. I tenei ara i taea ki te tiki i te tauira kotahi, i hoatu te tere o 0,941-0,946 i runga i te leaderboard tūmatanui, i te mea tino pai.
Mena ka whakakotahi koe i nga tauira, ka tae koe ki te 0,951. Mena ka whakamahi koe i tetahi atu tikanga, ka whiwhi koe i te kaute whakamutunga o te 0,954 i runga i te poari whanui, pera i a maatau. Engari mo tera i muri mai. I muri mai ka korero atu ahau ki a koe me pehea ta matou whakaemi i nga tauira, me te pehea i tutuki ai te tere whakamutunga.
Panuku e hiahia ana ahau ki te korero mo te Cosing Annealing with Warm RestStarts or Stochastic Gradient Descent with Warm Startans. I runga i te tikanga, ka taea e koe te whakamahi i tetahi kaitirotiro, engari ko te kaupapa tenei: ki te whakangungu koe i tetahi whatunga ka huri haere ki te iti rawa, ka pai nga mea katoa, ka whiwhi koe i tetahi whatunga, ka he etahi, engari ko koe ka taea e ia te whakangungu he rereke rereke. Ka whakatauhia e koe etahi reiti ako tuatahi, ka whakaheke haere i runga i tenei tikanga. Ka whakahekehia e koe, ka tae mai to whatunga ki te iti rawa, ka tiakina e koe nga taumahatanga, ka tautuhi ano i te reiti ako i te timatanga o te whakangungu, na reira ka piki ki runga ake i tenei iti, ka whakaheke ano i to reeti ako.
No reira, ka taea e koe te toro atu ki etahi mea iti i te wa kotahi, ka rite tonu to mate, me te iti ranei. Engari ko te meka ko nga hononga me enei taumahatanga ka rereke nga hapa i to ra. Ma te whakataurite i a raatau, ka whiwhi koe i etahi momo tata, ka piki ake to tere.
Mo te pehea i whakahiato ai a maatau tauira. I te timatanga o te whakaaturanga, i kii ahau ki te aro ki te nui o nga raraunga i roto i te whakamatautau me te maha o nga karaehe. Mena ka tapiritia e koe te 1 ki te maha o nga whaainga i roto i te huinga whakamatautau ka wehewehe ki te maha o nga karaehe, ka whiwhi koe i te nama 330, a ka tuhia tenei ki runga i te huinga - he taurite nga karaehe o te whakamatautau. Ka taea tenei te whakamahi.
I runga i tenei, i puta mai a Roman Soloviev he ine, ka kiia e matou he Tohu Takawaenga, he pai te hono ki te papatohu. Ko te kaupapa: ka mahi koe i te matapae, tangohia te 1 o runga o o matapae ka tatauhia te maha o nga mea mo ia akomanga. Muri iho, tangohia te 330 mai i ia uara me te taapiri i nga uara tuturu ka puta.
Ko nga uara e whai ake nei i whiwhi. Na tenei i awhina i a matou kia kaua e hanga he papaarahi tirotiro, engari ki te whakamana i te rohe me te kowhiri i nga whakarea mo o matou roopu.
Ma te roopu ka taea e koe te tere tere. He aha atu ka taea e au? Mehemea i whakamahia e koe nga korero he taurite nga karaehe o to whakamatautau.
He rereke te whakataurite. — te whakataurite mai i nga taangata i eke ki te waahi tuatahi.
I aha tatou? He maamaa noa ta maatau whakataurite, na Evgeny Babakhnin i kii. I te tuatahi i tohua e matou o maatau matapae ma te 1 o runga me nga kaitono i tohua mai i a raatau - kia kore ai te maha o nga karaehe e neke ake i te 330. Engari mo etahi karaehe ka iti ake i te 330 nga matapae. , a ma matou ano e whiriwhiri nga kaitono.
He pehea te rereke o to maatau pauna ki te toenga o te tuatahi? I whakamahia e ratou he huarahi tukurua, he tango i te karaehe tino rongonui me te whakaheke i nga tupono mo taua karaehe ma te iti o te tau kia kore ra ano taua karaehe te tino rongonui. I mau matou i te akomanga rongonui i muri mai. Na ka whakaitihia e ratou kia rite ra ano te maha o nga karaehe katoa.
I whakamahia e nga tangata katoa te taapiri, te tango ranei i tetahi huarahi ki te whakangungu i nga whatunga, engari kaore i whakamahia e te katoa te whakataurite. Ma te whakataurite, ka taea e koe te haere ki te koura, a ki te waimarie koe, ka uru ki te moni.
Me pehea te tukatuka i te ra? He rite tonu te mahi a nga tangata katoa i te ra, me te taapiri, te iti ranei - he mahi hanga-a-ringa, e ngana ana ki te whakawaehere i nga waa me nga tae whiu rereke, me era atu. Koia tonu te korero a Alexey Nozdrin-Plotnitsky, nana nei i eke ki te tuunga 8.
He rereke tana mahi. I kii ia karekau enei ahuatanga hanga-a-ringa e mahi ana, kaore koe e mahi, me ako e to whatunga enei mea katoa. Engari, i puta mai i a ia nga waahanga ako i tukatuka i o raraunga. I makahia e ia nga raraunga taketake ki roto i a raatau kaore i te tukatuka - nga tohu tohu me nga wa.
Na ka tangohia e ia te rereketanga i runga i nga taunga, ka whakatauhia katoa i runga i nga waa. Na ka puta mai he matrix tino roa. He maha nga wa i tonohia e ia te hurihanga 1D ki a ia kia whiwhi ai i te matrix 64xn te rahi, ko n te tapeke o nga tohu, ka mahia te 64 hei whangai i te matrix hua ki te paparanga o tetahi kupenga hurihanga, e whakaae ana ki te maha o nga awa. - 64. I whiwhi ia i te matrix 64xn, katahi ka tika ki te hanga i te tensor o etahi rahi kia rite te maha o nga hongere ki te 64. I whakaritea e ia nga tohu katoa X, Y i roto i te awhe mai i te 0 ki te 32 hei hanga he 32x32 te rahi. Kaore au i te mohio he aha ia i hiahia ai ki te 32x32, i penei noa. A, ki tenei ruruku ka whakatakotoria e ia he kongakonga o tenei matrix 64xn te rahi. Na ka mutu me te 32x32x64 tensor ka taea e koe te whakauru atu ki to whatunga neural convolutional. Heoi ano taku hiahia ki te korero.
Source: will.com