Dhowr bilood ka hor, asxaabteena Google-ka on Kaggle tartan si loo abuuro kala soocida sawirada lagu helay dareenka "Dhakhso, Sawir!" Kooxda, oo ay ku jiraan horumarinta Yandex Roman Vlasov, ayaa galay kaalinta afaraad ee tartanka. Tababarka barashada mashiinka Janaayo, Roman wuxuu la wadaagay fikradaha kooxdiisa, hirgelinta kama dambaysta ah ee kala-soocida, iyo dhaqamada xiisaha leh ee ka soo horjeeda.
- Salaamu calaykum! Magacaygu waa Roma Vlasov, maanta waxaan kuu sheegi doonaa Quick, Draw! Loolanka Aqoonsiga Doodle.
Kooxdayada waxaa ku jiray shan qof. Waxaan ku biiray isla wakhtiga kama dambaysta ah ee isku darka Waa nala xumaaday, waa nala gariiray, laakiin booskii lacagta ayaa nala gariiray, dahabkiina waa nala gariiray. Waxaana aanu qaadanay kaalin afraad oo sharaf leh.
(Intii uu socday tartanka, kooxuhu waxay isku fiiriyeen qiimeyn, taas oo la sameeyay iyada oo lagu salaynayo natiijooyinka lagu muujiyay qayb ka mid ah xogta la soo jeediyay. Qiimaynta kama dambaysta ah, ayaa sidoo kale lagu sameeyay qayb kale oo ka mid ah xogta. Sidan ayaa loo sameeyay. in ka qaybgalayaasha tartanku aanay hagaajin algorithms-kooda xog gaar ah.Sidaas darteed, finalka, marka la beddelo qiimeynta, boosaska wax yar ayay ruxayaan (laga bilaabo Ingiriisi rux - isku-dhafka): xogta kale, natiijadu waxay soo bixi kartaa Kooxda Roman ayaa markii ugu horeysay ku soo baxday seddexda kooxood ee ugu sareysa, kiiskan, seddexda ugu sareysa waa lacagta, aagga qiimeynta lacagta, maadaama seddexdii boos ee ugu horeysay kaliya la siiyay abaalmarin lacageed. kaalinta afraad, si la mid ah, kooxda kale waxay lumiyeen guusha, booska dahabka. - Ed.)
Tartanku wuxuu sidoo kale ahaa mid muhiim ah in Evgeniy Babakhnin uu helay awow, Ivan Sosin wuxuu helay Master, Roman Soloviev wuxuu sii ahaa awow, Alex Parinov wuxuu helay sayid, waxaan noqday khabiir, hadda waxaan ahay sayid.
Waa maxay kan Degdega ah, barbaro? Kani waa adeeg Google ka yimid. Google waxa uu lahaa hadafka ah in la faafiyo AI waxaana adeegan uu rabay in uu muujiyo sida shabakadaha neerfaha u shaqeeyaan. Waxaad aadaysaa halkaas, guji Aynu sawirno, waxaana soo baxay bog cusub oo laguu sheegay: sawir zigzag, waxaad haysataa 20 ilbiriqsi si aad tan u sameyso. Waxaad isku dayaysaa inaad ku sawirto zigzag 20 ilbiriqsi gudahood, sida halkan, tusaale ahaan. Haddii aad ku guulaysato, shabakadu waxay odhanaysaa waa zigzag oo waad sii socotaa. Waxaa jira lix sawir oo keliya.
Haddii shabakadda Google ay ku guul darreysato inay aqoonsato waxaad sawirtay, iskutallaab ayaa la dul saaray hawsha. Ka dib waxaan kuu sheegi doonaa waxa ay ka dhigan tahay mustaqbalka haddii sawir lagu aqoonsanayo shabakadu iyo in kale.
Adeeggani waxa uu soo ururiyay tiro aad u badan oo isticmaaleyaal ah, waxaana la galiyay dhammaan sawirada isticmaalayaashu sawireen.
Waxaan ku guuleysanay inaan aruurinno ku dhawaad ββ50 milyan oo sawir. Laga soo bilaabo halkaas, tareenka iyo taariikhda imtixaanka tartanka ayaa la sameeyay. By habka, cadadka xogta ee imtixaanka iyo tirada fasalada waxaa lagu muujiyay si geesinimo leh sabab. Wax yar ka dib ayaan kaaga sheekayn doonaa.
Qaabka xogta ayaa ahaa sida soo socota. Kuwani maaha sawirada RGB oo kaliya, laakiin, qiyaas ahaan, qoraal ahaan wax kasta oo isticmaaluhu sameeyay. Eraygu waa yoolkayaga, code-ka waddanku waa halka qoraaga doodle uu ka yimid, wakhtiga shaambada wakhtiga. Calaamadda la aqoonsan yahay waxay kaliya tusinaysaa in shabakadu ka aqoonsatay sawirka Google iyo in kale. Sawirka laftiisana waa isku xigxig, qiyaasid qalooca uu isticmaaluhu ku sawiro dhibco. Iyo waqtiyada. Tani waa wakhtiga laga bilaabo bilawga sawirka sawirka.
Xogta ayaa loo soo bandhigay laba qaab. Kani waa qaabka koowaad, kan labaadna waa la fududeeyay. Halkaa ayay ka soo jareen wakhtiyada waxayna ku qiyaaseen dhibcahan tiro yar. Taas waxay u adeegsadeen . Waxaad haysataa dhibco badan oo si fudud ku qiyaasa xariiq toosan, laakiin dhab ahaantii waxaad ku qiyaasi kartaa xariiqan laba dhibcood oo keliya. Tani waa fikradda algorithm.
Xogta ayaa loo qeybiyay sida soo socota. Wax walba waa labis, laakiin waxaa jira qaar ka baxsan. Markii aan xallinay dhibaatada, ma aan eegin. Waxa ugu weyni waa in aysan jirin fasalo runtii yaraa, ma ahayn in aan samayno muunado miisaan leh iyo xog-ururin.
Maxay u ekaayeen sawiradu? Tani waa fasalka "diyaarad" iyo tusaaleyaal iyada oo leh calaamadaha la aqoonsan yahay oo aan la aqoonsanayn. Saamigoodu wuxuu ahaa meel ku dhow 1 ilaa 9. Sida aad arki karto, xogtu waa buuq badan. Waxaan qiyaasayaa inay tahay diyaarad Haddii aad eegto inaan la aqoonsanayn, inta badan kiisaska waa uun buuq. Qof ayaa xitaa isku dayay inuu qoro "diyaarad," laakiin sida muuqata Faransiis.
Ka qaybgalayaasha intooda badani waxay si fudud u qaateen xariiqyada, waxay ka sawireen xogta taxanahan sida sawirada RGB, waxayna ku dhex tuureen shabakada. Waxaan sawiray qiyaastii si la mid ah: Waxaan soo qaatay palette midabyo ah, waxaan ku sawiray xariiqda ugu horeysa ee hal midab, taas oo ahayd bilawga palette this, kan ugu dambeeya - mid kale, kaas oo ahaa dhamaadka palette, iyo inta u dhaxaysa Meel walba waan dhexgalay anigoo isticmaalaya palette-kan. By habka, tani waxay bixisay natiijo ka wanaagsan haddii aad sawirto sida slide ugu horeysay - kaliya madow.
Xubnaha kale ee kooxda, sida Ivan Sosin, ayaa isku dayay habab waxyar oo kala duwan oo wax lagu sawirayo. Mid ka mid ah kanaalka wuxuu si fudud u sawiray sawir cawl ah, kan kalena wuxuu ku sawiray istaroog kasta oo bilaw ilaa dhammaad ah, min 32 ilaa 255, kanaalka saddexaadna wuxuu ku sawiray gradient dhammaan strokes min 32 ilaa 255.
Arrin kale oo xiiso leh ayaa ah in Alex Parinov uu macluumaadka ku soo galiyay shabakadda isaga oo isticmaalaya lambarka waddaniga.
Qiyaasta loo isticmaalo tartanka waa celceliska saxda ah. Waa maxay nuxurka cabbirkan tartanka? Waxaad bixin kartaa saddex saadaasha, haddii aysan jirin saadaasha saxda ah ee saddexdan, waxaad heleysaa 0. Haddii uu jiro mid sax ah, markaa amarkiisa ayaa la tixgeliyaa. Natiijada bartilmaameedka ayaa loo tirin doonaa sida 1 loo qaybiyay habka saadaalintaada. Tusaale ahaan, waxaad samaysay saddex saadaaliye, kan saxda ahna waa kan ugu horreeya, markaas waxaad u qaybinaysaa 1 1 waxaadna helaysaa 1. Haddii saadaashahu sax tahay oo nidaamkeedu yahay 2, ka dibna u qaybi 1 2, waxaad helaysaa 0,5. Waa hagaag, iwm.
Iyada oo la adeegsanayo diyaarinta xogta - sida loo sawiro sawirada iyo wixii la mid ah - waxaan go'aansanay wax yar. Waa maxay naqshadaha aan isticmaalnay? Waxaan isku daynay inaan isticmaalno qaab-dhismeedyada dufanka leh sida PNASNet, SENet, iyo naqshadaha hore ee caadiga ah sida SE-Res-NeXt, waxay si isa soo taraysa u gelayaan tartamo cusub. Waxa kale oo jiray ResNet iyo DenseNet.
Sidee baan tan u barnay? Dhammaan moodooyinka aan qaadnay waxaa horay loogu tababaray imagenet. Inkasta oo ay jiraan xog badan, 50 milyan oo sawirro ah, laakiin weli, haddii aad qaadato shabakad horay loogu tababaray imagenet, waxay muujisay natiijooyin ka fiican marka loo eego haddii aad si fudud u tababartay xoqan.
Farsamooyinka waxbarida ee aan isticmaalnay? Tani waa Cosing Annealing oo leh Dib u Bilow Diiran, kaas oo aan ka hadli doono wax yar ka dib. Tani waa farsamo aan ku isticmaalo ku dhawaad ββββdhammaan tartamadaydii dhowaa, oo iyaga waxaa soo baxday in aan si fiican u tababaro shabakadaha, si aan u gaaro ugu yaraan wanaagsan.
Marka xigta Yaree Heerka Waxbarashada ee Plateau. Waxaad bilawday inaad tababarto shabakada, dejiso heer waxbarasho oo gaar ah, sii wad inaad wax barato, khasaarahaagu wuxuu si tartiib tartiib ah ugu soo biirayaa qiimo gaar ah. Waxaad hubisaa tan, tusaale ahaan, tobankii xilli khasaaruhu waxba iskama beddelin. Waxaad yaraynaysaa heerkaaga waxbarasho xoogaa qiimo ah oo aad sii wadato waxbarashada. Wax yar ayay mar kale hoos u dhacdaa, isku ururtaa ugu yaraan, oo waxaad mar kale hoos u dhigtaa heerka waxbarashada, iyo wixi la mid ah, ilaa inta shabakadaadu ugu dambeyntii isku ururto.
Marka xigta waa farsamo xiiso leh: Ha dumin heerka waxbarashada, kordhi xajmiga dufcada. Waxaa jira maqaal isku magac ah. Markaad tababarto shabakad, maaha inaad hoos u dhigto heerka waxbarashada, waxaad si fudud u kordhin kartaa cabbirka dufcada.
Farsamadan, habka, waxaa loo adeegsaday Alex Parinov. Waxa uu ku bilaabay Dufcaddii u dhiganta 408, markii ay Shabakadiisu gaadhay meel dhul ah, waxa uu si fudud u labanlaabay cabbirkii Dufcadda, iwm.
Dhab ahaantii, ma xasuusto qiimaha xajmiga dufcadiisa uu gaadhay, laakiin waxa xiisaha leh ayaa ah in ay jiraan kooxo Kaggle ah oo isticmaalay farsamo isku mid ah, cabbirkoodu wuxuu ahaa qiyaastii 10000. By habka, qaababka casriga ah ee barashada qoto dheer, sida PyTorch, tusaale ahaan, waxay kuu ogolaanaysaa inaad tan si fudud u samayso. Waxaad samaysaa dufcadaada oo aad u soo gudbisaa shabakada sidi ay tahay, gabi ahaanba, laakiin u kala qaybi qaybo si ay ugu haboonaato kaadhkaaga fiidyaha, xisaabi gradients, ka dib markaad xisaabiso gradient ee dufcada oo dhan, cusbooneysii miisaanka.
Jid ahaan, cabbirro waaweyn ayaa wali lagu daray tartankan, sababtoo ah xogtu aad ayay u buuq badnayd, cabbirka dufcada weyna waxay kaa caawisay inaad si sax ah u qiyaasto jaangooyooyinka.
Calaamadaynta been abuurka ah ayaa sidoo kale la isticmaalay, inta badan waxaa isticmaalay Roman Soloviev. Waxa uu muunad kala badh ah ka soo qaaday xogta imtixaanka dufcooyin, waxaanu ku tababaray shabaqyada dufcadahan oo kale.
Baaxadda sawirada ayaa muhiim ah, laakiin xaqiiqadu waxay tahay inaad haysatid xog badan, waxaad u baahan tahay inaad tababarto wakhti dheer, iyo haddii cabbirka sawirkaagu uu aad u weyn yahay, markaa waxaad tababari doontaa wakhti aad u dheer. Laakiin tani wax badan kuma kordhin tayada kala-soocidaada kama dambaysta ah, markaa waxay ahayd mid mudan in la isticmaalo nooc ka mid ah ganacsiga-off. Waxaana isku daynay oo kaliya sawiro aan aad u weynayn.
Sidee loo wada bartay? Marka hore, sawiro yar yar ayaa la qaaday, dhowr xilli ayaa lagu dul orday, tani waxay qaadatay waqti aad u badan. Dabadeed sawirro waaweyn ayaa la bixiyay, shabakadda ayaa la tababaray, ka dibna xitaa in ka badan, xitaa ka sii badan, si aan loo tababarin meel eber ah oo aan waqti badan lumin.
Ku saabsan optimizers Waxaan isticmaalnay SGD iyo Adam. Sidan oo kale waxaa suurtagal ah in la helo hal nooc, kaas oo siinaya xawaaraha 0,941-0,946 ee hogaanka dadweynaha, taas oo ah mid aad u wanaagsan.
Haddii aad u ururiso moodooyinka si uun, waxaad heli doontaa meel ku dhow 0,951. Haddii aad isticmaasho hal farsamo oo dheeri ah, waxaad heli doontaa dhibcaha ugu dambeeya ee 0,954 ee guddiga dadweynaha, sida aan helnay. Laakin intaas ka dib. Marka xigta waxaan kuu sheegi doonaa sida aan u ururinay moodooyinka, iyo sida aan u suurtagelinay inaan gaarno xawaaraha ugu dambeeya.
Marka xigta waxaan jeclaan lahaa inaan ka hadlo Cosing Annealing oo leh Dib-u-bilaabid Diiran ama Farsamaynta Degdegga ah ee Dib-u-bilaabashada diiran. Ku dhawaad ββββhadalka, mabda'a ahaan, waxaad isticmaali kartaa wax-qabad kasta, laakiin ujeedadu waa tan: haddii aad kaliya tababarto hal shabakad oo si tartiib tartiib ah ugu biirto ugu yaraan, markaa wax walba waa caadi, waxaad heli doontaa hal shabakad, waxay samaysaa khaladaad gaar ah, laakiin adiga si ka duwan ayuu u tababari karaa. Waxaad dejin doontaa xoogaa waxbarasho bilow ah, oo si tartiib tartiib ah hoos ugu dhig si waafaqsan qaacidadan. Waxaad hoos u dhigtaa, shabakadaadu waxay timaaddaa ugu yaraan, ka dib waxaad badbaadinaysaa miisaanka, oo haddana dejisay heerka waxbarasho ee bilawga tababarka, si aad meel sare uga socoto ugu yaraan, oo haddana hoos u dhigto heerkaaga waxbarasho.
Sidaa darteed, waxaad hal mar booqan kartaa dhowr ugu yaraan, kuwaas oo khasaarahaagu uu noqon doono, lagu daray ama laga jaray, isku mid. Laakiin xaqiiqadu waxay tahay in shabakadaha leh miisaankani ay ku siin doonaan khaladaad kala duwan taariikhdaada. Celcelis ahaan iyaga, waxaad heli doontaa nooc qiyaas ah, xawaarahaaguna wuu sarreyn doonaa.
Ku saabsan sida aan u ururinay moodooyinkayaga. Bilowgii bandhigga, waxaan ku idhi inaad fiiro gaar ah u yeelato qaddarka xogta imtixaanka iyo tirada fasallada. Haddii aad ku darto 1 tirada bartilmaameedyada ee tijaabada tijaabada oo aad u qaybiso tirada fasallada, waxaad heli doontaa lambarka 330, tanna waxaa lagu qoray madasha - in fasallada imtixaanku ay yihiin kuwo isku dheelitiran. Tan waa la isticmaali karaa.
Iyadoo taas ku saleysan, Roman Soloviev wuxuu la yimid mitir, waxaan ugu yeernay Dhibcaha Proxy, kaas oo si fiican ula xiriiray hogaanka. Ujeedadu waa: waxaad samaynaysaa saadaal, qaado 1 sare ee saadaaliyayaashaada oo tiri tirada walxaha fasal kasta. Marka xigta, ka jar 330 qiimo kasta oo ku dar qiimaha dhabta ah ee ka dhashay.
Qiimaha soo socda ayaa la helay. Tani waxay naga caawisay inaanaan abuurin hogaan wax baadha, laakiin si aan u ansixino maxali ah oo aan u doorano isku-duwayaashayada isku xidhkayada.
Isku-dhafka waxaad ku heli kartaa xawaarahaas oo kale. Maxaa kale oo aan samayn karaa? Ka soo qaad inaad isticmaashay macluumaadka ah in fasallada imtixaankaagu ay isku dheeli tiran yihiin.
Isku-dheellitirku wuu ka duwanaa. - isu dheelli tirka raggii kaalinta koowaad galay.
Maxaan samaynay? Isku dheellitirnaantayadu waxay ahayd mid fudud, waxaa soo jeediyay Evgeny Babakhnin. Waxa aanu marka hore saadaasha u kala saarnay 1 ka mid ah kuwa ugu sareeya oo aanu ka soo xulnay β si aanay tirada fasaladu u dhaafin 330. Laakin fasalada qaar waxa aad ku dambaynaysaa wax ka yar 330 saadaaliya. , waxaana sidoo kale dooran doonaa musharaxiinta.
Sidee isu-dheellitirnaanteenu kaga duwanayd isu-dheellitirkii meesha ugu horreysay? Waxay isticmaaleen hab ku celcelin ah, iyagoo qaadanaya fasalka ugu caansan waxayna yareeyeen suurtagalnimada fasalkaas tiro yar ilaa fasalkaas uusan ahayn kan ugu caansan. Waxaan qaadanay fasalka ugu caansan. Sidaas daraaddeed way sii wadeen inay hoos u dhigaan ilaa tirada dhammaan fasallada ay noqdeen siman yihiin.
Qof kastaa wuxuu isticmaalay oo lagu daray ama laga jaray hal hab si uu u tabobarro shabakadaha, laakiin qof kastaa ma isticmaalin dheellitirka. Isticmaalka dheelitirka, waxaad geli kartaa dahab, iyo haddii aad nasiib leedahay, ka dibna lacag.
Sidee loo sii diyaariyaa taariikhda? Qof kastaa wuxuu u sii diyaariyay taariikhda, oo lagu daray ama laga jaray, si la mid ah - samaynta sifooyin gacmeed, isku dayaya in ay codeeyaan waqtiyada midabada istaroogga, iwm. Alexey Nozdrin-Plotnitsky, oo galay kaalinta 8aad, ayaa ka hadlay arrintan.
Si ka duwan ayuu u sameeyay. Waxa uu sheegay in dhammaan sifooyinkaa gacanta lagu sameeyay aanay shaqaynayn, uma baahnid inaad taas samayso, shabakadaadu waa inay waxyaalahan oo dhan iskeed u barataa. Taa beddelkeedana, waxa uu la yimid qaybo waxbarasho oo ka sii horumariyay xogtaada. Waxa uu ku dhex tuuray xogta asalka ah iyaga oo aan horay u sii samayn - isku xidhka dhibcaha iyo wakhtiyada.
Dabadeed wuxuu qaatay faraqa ku salaysan isku-dubbaridka, wuxuuna isku celceliyay dhammaan ku salaysan waqtiyada. Wuxuuna la yimid matrix aad u dheer. Wuxuu ku dabaqay 1D convolution dhowr jeer si uu u helo matrix cabbirkiisu yahay 64xn, halkaasoo n ay tahay tirada guud ee dhibcaha, iyo 64 ayaa loo sameeyay si loogu quudiyo matrixka ka soo baxa lakabka shabakad kasta oo is khilaafsan, taas oo aqbaleysa tirada kanaalada. - 64. wuxuu helay matrix 64xn ah, ka dibna waxaa lagama maarmaan ah in la abuuro tensor of size qaar ka mid ah si tirada channels la siman yahay 64. Waxa uu caadi ka dhigay dhammaan dhibcood X, Y ee kala duwan ee 0 ilaa 32 si loo abuuro a tensor cabbirka 32x32. Ma garanayo sababta uu u rabay 32x32, sidaas ayay u dhacday. Isku-dubaridkanna wuxuu dhigay qayb ka mid ah matrixkan cabbirkiisu yahay 64xn. Markaa waxay ku dhammaatay 32x32x64 tensor oo aad ku sii dari karto shabakadaada neerfaha ee isbedbeddelka ah. Taasi waa waxa aan rabay in aan sheego.
Source: www.habr.com