I kekahi mau mahina i hala aku nei, ko mākou mau hoa hana mai Google ma Kaggle kahi hoʻokūkū e hoʻokumu i ka classifier no nā kiʻi i loaʻa i ka sensational "E kiʻi wikiwiki!" ʻO ka hui, ʻo ia hoʻi ka mea hoʻomohala Yandex ʻo Roman Vlasov, ua loaʻa i ka hā o ka hoʻokūkū. Ma ka hoʻomaʻamaʻa aʻo mīkini ʻo Ianuali, ua haʻi ʻo Roma i nā manaʻo o kāna hui, ka hoʻokō hope loa o ka papa helu, a me nā hana hoihoi a kona mau hoa paio.
- Aloha kākou! ʻO Roma Vlasov koʻu inoa, i kēia lā e haʻi aku wau iā ʻoe e pili ana iā Quick, Draw! Paʻi ʻike Doodle.
He ʻelima poʻe ma kā mākou hui. Ua hui au ma mua o ka lā palena pau. ʻAʻole mākou i pōmaikaʻi, ua hoʻoluliluli iki mākou, akā, ua hoʻoluliluli ʻia mākou mai ke kūlana kālā, a ua lulu ʻia lākou mai ke kūlana gula. A loaʻa iā mākou kahi hanohano ʻehā.
(I ka wā o ka hoʻokūkū, nānā nā hui iā lākou iho i kahi helu, i hoʻokumu ʻia ma muli o nā hopena i hōʻike ʻia ma kekahi ʻāpana o ka hoʻonohonoho ʻikepili i manaʻo ʻia. ʻAʻole hiki i nā mea hoʻokūkū ke hoʻololi i kā lākou algorithms i ka ʻikepili kikoʻī. No laila, i ka hopena, i ka wā e hoʻololi ai i waena o nā helu, haʻalulu liʻiliʻi nā kūlana (mai ka haʻalulu Pelekane - e hui pū): ma nā ʻikepili ʻē aʻe, hiki ke huli ka hopena. ʻOkoʻa ka hui o Roma i ka mua ma ka papa ʻekolu. I kēia hihia, ʻo nā mea ʻekolu ʻekolu he kālā, ʻo ka pae helu kālā, ʻoiai ʻo nā wahi mua ʻekolu wale nō i hāʻawi ʻia i ka makana kālā. Ma hope o ka lulu ʻana, ua pau ka hui ma kahi ʻehā. Ma ke ʻano like, ua eo ka hui ʻē aʻe i ka lanakila, ke kūlana gula. - Ed.)
He mea koʻikoʻi ka hoʻokūkū ma ka loaʻa ʻana o Evgeniy Babakhnin i ka haku nui, ua loaʻa iā Ivan Sosin kahi haku, ua noho ʻo Roman Soloviev i haku nui, ua loaʻa iā Alex Parinov kahi haku, ua lilo wau i mea akamai, a i kēia manawa ua haku wau.
He aha kēia wikiwiki, Draw? He lawelawe kēia mai Google. Loaʻa iā Google ka pahuhopu o ka hoʻolaha ʻana iā AI a me kēia lawelawe makemake e hōʻike i ka hana ʻana o nā neural network. Hele ʻoe i laila, kaomi Let's draw, a puka mai kahi ʻaoʻao hou i ʻōlelo ʻia iā ʻoe: e kaha zigzag, loaʻa iā ʻoe he 20 kekona e hana ai i kēia. Ke hoʻāʻo nei ʻoe e kaha i kahi zigzag i 20 kekona, e like me ʻaneʻi, no ka laʻana. Inā lanakila ʻoe, ʻōlelo ka pūnaewele he zigzag a neʻe ʻoe. ʻEono wale nō nā kiʻi like.
Inā ʻaʻole ʻike ka pūnaewele o Google i kāu mea i kaha ai, ua kau ʻia kahi keʻa ma ka hana. Ma hope e haʻi wau iā ʻoe i ke ʻano o ka wā e hiki mai ana inā ʻike ʻia kahi kiʻi e ka pūnaewele a ʻaʻole paha.
Ua hōʻiliʻili kēia lawelawe i ka heluna nui o nā mea hoʻohana, a ua hoʻopaʻa ʻia nā kiʻi a pau a nā mea hoʻohana i kaha ai.
Ua hiki iā mākou ke hōʻiliʻili ma kahi o 50 miliona mau kiʻi. Mai kēia, ua hoʻokumu ʻia ke kaʻaahi a me ka lā hoʻāʻo no kā mākou hoʻokūkū. Ma ke ala, ua hōʻike ʻia ka nui o ka ʻikepili i ka hoʻāʻo a me ka helu o nā papa i ka wiwo ʻole no ke kumu. E haʻi aku wau iā ʻoe e pili ana iā lākou ma hope iki.
Penei ke ano o ka ikepili. ʻAʻole kēia nā kiʻi RGB wale nō, akā, ma ka ʻōlelo ʻana, he log o nā mea a pau a ka mea hoʻohana. ʻO ka huaʻōlelo kā mākou pahuhopu, ʻo ka helu ʻāina kahi i loaʻa ai ka mea kākau o ka doodle, ʻo ka timestamp ka manawa. Hōʻike wale ka lepili i ʻike ʻia inā ʻike ka pūnaewele i ke kiʻi mai Google a ʻaʻole paha. A ʻo ke kaha kiʻi ponoʻī he kaʻina, kahi hoʻohālikelike o kahi pihi i huki ʻia e ka mea hoʻohana me nā kiko. A me nā manawa. ʻO kēia ka manawa mai ka hoʻomaka ʻana o ke kaha kiʻi.
Ua hōʻike ʻia nā ʻikepili ma nā ʻano ʻelua. ʻO kēia ke ʻano mua, a ua maʻalahi ka lua. ʻOki lākou i nā manawa mai laila mai a hoʻohālikelike i kēia pūʻulu helu me kahi pūʻulu liʻiliʻi. No kēia mea ua hoʻohana lākou . Loaʻa iā ʻoe kahi pūʻulu helu nui e pili wale ana i kahi laina pololei, akā ʻoiaʻiʻo hiki iā ʻoe ke hoʻohālikelike i kēia laina me ʻelua mau kiko. ʻO kēia ka manaʻo o ka algorithm.
Ua puunaueia ka ikepili penei. Ua like nā mea a pau, akā aia kekahi mau mea i waho. Ke hoʻoponopono mākou i ka pilikia, ʻaʻole mākou i nānā. ʻO ka mea nui, ʻaʻohe papa i liʻiliʻi maoli, ʻaʻole pono mākou e hana i nā samplers kaumaha a me ka oversampling data.
He aha ke ʻano o nā kiʻi? ʻO kēia ka papa "mokulele" a me nā hiʻohiʻona mai ia mea me nā lepili i ʻike ʻia a ʻike ʻole ʻia. ʻO kā lākou lakio ma kahi o 1 a 9. E like me kāu e ʻike ai, ʻoi aku ka walaʻau o ka ʻikepili. Manaʻo wau he mokulele. Inā ʻoe e nānā ʻaʻole ʻike ʻia, ma ka hapanui o nā hihia he walaʻau wale nō. Ua hoʻāʻo kekahi e kākau i ka "mokulele," akā ma ka ʻōlelo Farani.
ʻO ka hapa nui o nā mea komo i lawe wale i nā grids, unuhi i ka ʻikepili mai kēia kaʻina laina e like me nā kiʻi RGB, a hoʻolei iā lākou i loko o ka pūnaewele. Ua kahakiʻi au ma ke ʻano like: Ua lawe au i kahi palette kala, huki i ka laina mua me kahi kala, aia ma ka hoʻomaka o kēia palette, ka laina hope me kekahi, aia ma ka hope o ka palette, a ma waena o lākou. Hoʻopili wau i nā wahi āpau me ka hoʻohana ʻana i kēia palette. Ma ke ala, hāʻawi kēia i kahi hopena ʻoi aku ka maikaʻi ma mua o ka huki ʻana e like me ka paheʻe mua loa - ma ka ʻeleʻele wale nō.
Ua hoʻāʻo nā lālā ʻē aʻe e like me Ivan Sosin i nā ala ʻokoʻa ʻē aʻe i ke kaha kiʻi. Me hoʻokahi kanal ua kaha kiʻi ʻo ia i ke kiʻi hina, a me kahi kaha ʻē aʻe ua kaha ʻo ia i kēlā me kēia maʻi me ka ʻanuʻu mai ka hoʻomaka a i ka hopena, mai ka 32 a i ka 255, a me ke kaha ʻekolu ua kaha ʻo ia i ka ʻanuʻu ma luna o nā kaha āpau mai 32 a 255.
ʻO kekahi mea hoihoi ʻo Alex Parinov i hoʻouka i ka ʻike i ka pūnaewele me ka hoʻohana ʻana i ka ʻāina.
ʻO ka metric i hoʻohana ʻia i ka hoʻokūkū ʻo Mean Average Precision. He aha ke ʻano o kēia metric no ka hoʻokūkū? Hiki iā ʻoe ke hāʻawi i ʻekolu wānana, a inā ʻaʻohe wānana pololei i loko o kēia mau mea ʻekolu, a laila loaʻa iā ʻoe ka 0. Inā pololei kekahi, a laila mālama ʻia kāna kauoha. A e helu ʻia ka hopena i manaʻo ʻia he 1 i puʻunaue ʻia e ke ʻano o kāu wānana. No ka laʻana, ua hana ʻoe i ʻekolu mau wānana, a ʻo ka mea pololei ka mea mua, a laila e puʻunaue ʻoe i ka 1 me 1 a loaʻa iā ʻoe ka 1. Inā pololei ka wānana a ʻo kāna kauoha ʻo 2, a laila e puʻunaue i ka 1 me 2, loaʻa iā ʻoe ka 0,5. Well, etc.
Me ka ʻikepili preprocessing - pehea e huki ai i nā kiʻi a pēlā aku - ua hoʻoholo mākou i kahi liʻiliʻi. He aha nā hale hana a mākou i hoʻohana ai? Ua ho'āʻo mākou e hoʻohana i nā hale hoʻolālā momona e like me PNASNet, SENet, a me nā hale hana kahiko kahiko e like me SE-Res-NeXt, ke hoʻonui nei lākou i nā hoʻokūkū hou. Aia pū kekahi ResNet a me DenseNet.
Pehea mākou i aʻo ai i kēia? Ua hoʻomaʻamaʻa mua ʻia nā kumu hoʻohālike a mākou i lawe ai ma imagenet. ʻOiai he nui nā ʻikepili, 50 miliona mau kiʻi, akā naʻe, inā ʻoe e lawe i kahi pūnaewele i hoʻomaʻamaʻa mua ʻia ma ka imagenet, ua hōʻike ʻo ia i nā hopena ʻoi aku ka maikaʻi ma mua o ka hoʻomaʻamaʻa wale ʻana iā ia mai ka ʻōpala.
He aha nā ʻenehana aʻo a mākou i hoʻohana ai? ʻO kēia ka Cosing Annealing me nā Hoʻomaka Hou, aʻu e kamaʻilio e pili ana ma hope. He ʻenehana kēia aʻu e hoʻohana ai i kaʻu mau hoʻokūkū hou, a me lākou e hoʻomaʻamaʻa maikaʻi i nā grids, e hoʻokō i kahi haʻahaʻa maikaʻi.
E hoemi i ka heluna a'o ma Plateau. Hoʻomaka ʻoe i ka hoʻomaʻamaʻa ʻana i ka pūnaewele, hoʻonohonoho i kahi helu aʻo, hoʻomau i ke aʻo ʻana iā ia, a huli mālie kou poho i kekahi waiwai. E nānā ʻoe i kēia, no ka laʻana, no nā manawa he ʻumi ʻaʻole i loli iki ka poho. Hoʻemi ʻoe i kāu helu aʻo ma kekahi waiwai a hoʻomau i ke aʻo ʻana. Ua hāʻule iki hou, converges ma kahi liʻiliʻi loa, a hoʻohaʻahaʻa hou ʻoe i ka helu hoʻonaʻauao, a pēlā aku, a hiki i kou hui ʻana.
ʻO ka mea aʻe he ʻenehana hoihoi: Mai pohō i ka helu aʻo, hoʻonui i ka nui o ka pūʻulu. Aia kekahi ʻatikala me ka inoa like. Ke hoʻomaʻamaʻa ʻoe i kahi pūnaewele, ʻaʻole pono ʻoe e hōʻemi i ka nui o ke aʻo ʻana, hiki iā ʻoe ke hoʻonui i ka nui o ka hui.
ʻO kēia ʻano, ma ke ala, ua hoʻohana ʻia e Alex Parinov. Ua hoʻomaka ʻo ia me kahi pūʻulu e like me 408, a i ka hiki ʻana o kāna pūnaewele i kahi pāpū, ua pālua ʻo ia i ka nui o ka hui, etc.
ʻOiaʻiʻo, ʻaʻole wau e hoʻomanaʻo i ka waiwai i hiki i kāna nui o ka pūʻulu, akā ʻo ka mea hoihoi, aia nā hui ma Kaggle i hoʻohana i ka ʻenehana like, ʻo kā lākou pūʻulu ma kahi o 10000. Ma ke ala, nā ʻōnaehana hou no ke aʻo hohonu, e like me ʻO PyTorch, no ka laʻana, hiki iā ʻoe ke hana maʻalahi i kēia. Hoʻokumu ʻoe i kāu pūʻulu a hoʻouna i ka pūnaewele ʻaʻole e like me ia, ma kona ʻano holoʻokoʻa, akā e puʻunaue i nā ʻāpana i kūpono i kāu kāleka wikiō, e helu i nā gradients, a ma hope o kou helu ʻana i ka gradient no ka pūʻulu holoʻokoʻa, hoʻonui. na kaumaha.
Ma ke ala, ua hoʻokomo pū ʻia nā ʻāpana nui i kēia hoʻokūkū, no ka mea, ua walaʻau loa ka ʻikepili, a ua kōkua ka nui o ka pūʻulu nui iā ʻoe e pili pono i ka gradient.
Ua hoʻohana pū ʻia ka pseudo-labeling, ka hapa nui i hoʻohana ʻia e Roman Soloviev. Ua hoʻāʻo ʻo ia ma kahi o ka hapalua o ka ʻikepili mai ka hoʻāʻo ʻana i nā pūʻulu, a hoʻomaʻamaʻa i ka pā ma ia mau pūʻulu.
He mea nui ka nui o nā kiʻi, akā ʻo ka ʻoiaʻiʻo he nui kāu ʻikepili, pono ʻoe e hoʻomaʻamaʻa no ka manawa lōʻihi, a inā ʻoi aku ka nui o kāu kiʻi, a laila e aʻo ʻoe no ka manawa lōʻihi loa. Akā ʻaʻole kēia i hoʻohui nui i ka maikaʻi o kāu papa helu hope, no laila ua kūpono ke hoʻohana ʻana i kekahi ʻano kālepa. A ua hoʻāʻo wale mākou i nā kiʻi ʻaʻole nui ka nui.
Pehea i aʻo ʻia ai? ʻO ka mua, ua kiʻi ʻia nā kiʻi liʻiliʻi, ua hoʻohana ʻia kekahi mau manawa ma luna o lākou, ua lōʻihi ka manawa. A laila ua hāʻawiʻia nā kiʻi nui nui, ua aʻoʻia ka pūnaewele, a lailaʻoi aku,ʻoi aku, iʻole e hoʻomaʻamaʻa iā ia mai ka'ōpala aʻaʻole e pau ka manawa.
E pili ana i ka optimizers. Ua hoʻohana mākou iā SGD a me Adamu. Ma kēia ala ua hiki ke kiʻi i hoʻokahi kumu hoʻohālike, i hāʻawi i ka wikiwiki o 0,941-0,946 ma ka alakaʻi alakaʻi lehulehu, kahi maikaʻi loa.
Inā hoʻohui ʻoe i nā hiʻohiʻona ma kekahi ʻano, e loaʻa ʻoe i kahi ma kahi o 0,951. Inā hoʻohana ʻoe i hoʻokahi ʻenehana hou, e loaʻa iā ʻoe ka helu hope o 0,954 ma ka papa lehulehu, e like me kā mākou i loaʻa. Akā ʻoi aku ka nui o kēlā ma hope. A laila e haʻi wau iā ʻoe pehea mākou i hōʻuluʻulu ai i nā hiʻohiʻona, a pehea mākou i hoʻokō ai i ka wikiwiki hope loa.
A laila makemake wau e kamaʻilio e pili ana i ka Cosing Annealing me ka Hoʻomaka Hou ʻana a i ʻole Stochastic Gradient Descent me nā Hoʻomaka Hou. ʻO ka ʻōlelo koʻikoʻi, ma ke kumu, hiki iā ʻoe ke hoʻohana i kekahi optimizer, akā ʻo ke kumu kēia: inā ʻoe e hoʻomaʻamaʻa i hoʻokahi pūnaewele a hoʻololi mālie ia i kahi liʻiliʻi, a laila maikaʻi nā mea āpau, e loaʻa iā ʻoe hoʻokahi pūnaewele, hana ia i kekahi mau hewa, akā ʻo ʻoe. hiki ke hoʻomaʻamaʻa ʻokoʻa. E hoʻonoho ʻoe i kahi helu aʻo mua, a e hoʻohaʻahaʻa mālie e like me kēia kumu. Oe e hoʻohaʻahaʻa, hiki i kāu pūnaewele i kahi liʻiliʻi, a laila mālama ʻoe i nā kaupaona, a hoʻonohonoho hou i ka helu aʻo i ka hoʻomaka ʻana o ka hoʻomaʻamaʻa ʻana, a laila e hele i kahi i luna mai kēia liʻiliʻi, a e hoʻohaʻahaʻa hou i kāu helu aʻo.
No laila, hiki iā ʻoe ke kipa i kekahi mau mea liʻiliʻi loa i ka manawa hoʻokahi, kahi e lilo ai kāu pohō, hoʻohui a ʻemi paha, like. Akā ʻo ka ʻoiaʻiʻo, ʻo nā pūnaewele me kēia mau paona e hāʻawi i nā hewa like ʻole i kāu lā. Ma ka awelika ʻana iā lākou, e loaʻa iā ʻoe kekahi ʻano hoʻohālikelike, a ʻoi aku ka kiʻekiʻe o kou wikiwiki.
E pili ana i kā mākou hui ʻana i kā mākou mau hiʻohiʻona. I ka hoʻomakaʻana o ka hōʻike, ua'ōlelo au e hoʻolohe i ka nui o nāʻikepili i ka ho'āʻo a me ka helu o nā papa. Inā hoʻohui ʻoe i ka 1 i ka helu o nā pahuhopu i ka hoʻonohonoho hoʻāʻo a puʻunaue i ka helu o nā papa, e loaʻa iā ʻoe ka helu 330, a ua kākau ʻia kēia ma ka ʻaha kūkā - ua kaulike nā papa i ka hoʻāʻo. Hiki ke hoʻohana ʻia kēia.
Ma muli o kēia, ua hele mai ʻo Roman Soloviev me kahi metric, ua kapa mākou iā ia Proxy Score, i hoʻopili maikaʻi ʻia me ka papa alakaʻi. ʻO ke kumu: hana ʻoe i kahi wānana, e lawe i ka 1 kiʻekiʻe o kāu mau wānana a helu i ka helu o nā mea no kēlā me kēia papa. A laila, e unuhi i ka 330 mai kēlā me kēia waiwai a hoʻohui i nā kumu waiwai piha.
Ua loaʻa kēia mau waiwai. Ua kōkua kēia iā mākou ʻaʻole e hana i kahi alakaʻi hoʻokolokolo, akā e hōʻoia i ka kūloko a koho i nā coefficients no kā mākou hui.
Me kahi hui hiki iā ʻoe ke loaʻa ka wikiwiki. He aha hou aʻe kaʻu e hana ai? Inā ʻoe i hoʻohana i ka ʻike i kaulike nā papa i kāu hoʻāʻo.
ʻOkoʻa ke kaulike. - ke kaulike ʻana mai nā poʻe i lawe i ka wahi mua.
He aha kā mākou i hana ai? He mea maʻalahi ko mākou kaulike, ua manaʻo ʻia e Evgeny Babakhnin. Hoʻokaʻawale mua mākou i kā mākou wānana e ka 1 kiʻekiʻe a koho i nā moho mai iā lākou - no laila ʻaʻole i ʻoi aku ka nui o nā papa ma mua o 330. Akā no kekahi mau papa e hoʻopau ʻoe me ka liʻiliʻi o 330 mau wānana. , a na makou no e koho i na moho.
Pehea ka ʻokoʻa o kā mākou kaulike ʻana mai ka hoʻohālikelike ʻana o ka mua? Ua hoʻohana lākou i kahi ʻano hoʻohālikelike, lawe i ka papa kaulana loa a hoʻemi i nā probabilities no kēlā papa ma kahi helu liʻiliʻi a hiki i ka wā ʻaʻole i kaulana loa kēlā papa. Lawe mākou i ka papa kaulana loa. No laila, hoʻomau lākou i ka hoʻohaʻahaʻa ʻana a hiki i ka helu ʻana o nā papa a pau.
Ua hoʻohana ka poʻe a pau i ka hoʻohui a i ʻole ka hoʻemi ʻana i hoʻokahi ala e hoʻomaʻamaʻa i nā pūnaewele, akā ʻaʻole i hoʻohana nā mea a pau i ke kaulike. Ke hoʻohana nei i ke kaulike, hiki iā ʻoe ke hele i ke gula, a inā ʻoe i laki, a laila i ke kālā.
Pehea e hana mua ai i kahi lā? Ua hana mua nā kānaka a pau i ka lā, hoʻohui a i ʻole ka liʻiliʻi, ma ke ʻano like - hana i nā hiʻohiʻona hana lima, e hoʻāʻo ana e hoʻopili i nā manawa me nā kala kala like ʻole, a pēlā aku.
He ʻokoʻa kāna hana. Ua ʻōlelo ʻo ia ʻaʻole pono kēia mau hiʻohiʻona hana lima āu, ʻaʻole pono ʻoe e hana i kēlā, pono kāu pūnaewele e aʻo i kēia mau mea a pau. A ma kahi, ua hele mai ʻo ia me nā modula aʻo i hana mua i kāu ʻikepili. Ua hoʻolei ʻo ia i ka ʻikepili kumu i loko o lākou me ka ʻole o ka preprocessing - nā kuhikuhi kikoʻī a me nā manawa.
A laila lawe ʻo ia i ka ʻokoʻa e pili ana i nā hoʻonohonoho, a hoʻopaʻa ʻia i nā mea āpau e pili ana i nā manawa. A ua hele mai ʻo ia me kahi matrix lōʻihi. Ua hoʻohana pinepine ʻo ia i ka 1D convolution iā ia no ka loaʻa ʻana o kahi matrix o ka nui 64xn, kahi n ka huina o nā helu, a ua hana ʻia ʻo 64 i mea e hānai ai i ka matrix hopena i ka papa o kekahi pūnaewele convolutional, e ʻae i ka helu o nā kahawai. - 64. Ua loaʻa iā ia kahi matrix 64xn, a laila mai kēia mea pono e hana i kahi tensor o kekahi nui i like ka helu o nā kaha me 64. Ua hoʻohālikelike ʻo ia i nā kiko āpau X, Y ma ka laulā mai 0 a 32 e hana i kahi ka nui o ka manawa 32x32. ʻAʻole maopopo iaʻu ke kumu i makemake ai ʻo ia i ka 32x32, ʻo ia wale nō ka hana. A ma kēia hoʻonohonoho ʻana ua kau ʻo ia i kahi ʻāpana o kēia matrix o ka nui 64xn. No laila ua hoʻopau wale ʻia me kahi tensor 32x32x64 i hiki iā ʻoe ke hoʻokomo hou i kāu pūnaewele neural convolutional. ʻO ia wale nō kaʻu i makemake ai e ʻōlelo.
Source: www.habr.com