Ob peb lub hlis dhau los, peb cov npoj yaig los ntawm Google ntawm Kaggle kev sib tw los tsim ib qho kev cais rau cov duab tau txais hauv qhov kev xav "Qis, Kos!" Pab neeg, uas suav nrog Yandex tus tsim tawm Roman Vlasov, tau txais qhov thib plaub hauv kev sib tw. Thaum Lub Ib Hlis Ntuj kev kawm tshuab, Roman tau qhia nws pab neeg cov tswv yim, qhov kawg kev siv ntawm cov chav kawm, thiab nthuav kev coj ua ntawm nws cov neeg tawm tsam.
- Nyob zoo txhua tus! Kuv lub npe yog Roma Vlasov, hnub no kuv yuav qhia koj txog Quick, Kos! Doodle Recognition Challenge.
Muaj tsib tus neeg ntawm peb pab neeg. Kuv koom txoj cai ua ntej hnub kawg ntawm kev sib koom ua ke. Peb tsis muaj hmoo, peb tau shaken me ntsis, tab sis peb tau shaken los ntawm txoj hauj lwm nyiaj, thiab lawv tau shaken los ntawm txoj hauj lwm kub. Thiab peb tau txais qhov chaw zoo thib plaub.
(Thaum lub sijhawm sib tw, cov pab pawg tau pom lawv tus kheej hauv qhov ntsuas, uas tau tsim los ntawm cov txiaj ntsig tau pom ntawm ib feem ntawm cov ntaub ntawv tau npaj tseg. Qhov kev ntsuam xyuas zaum kawg, dhau los, tau tsim los ntawm lwm qhov ntawm cov ntaub ntawv. Qhov no ua tiav. tias cov neeg koom nrog kev sib tw tsis kho lawv cov algorithms rau cov ntaub ntawv tshwj xeeb.Yog li ntawd, nyob rau hauv qhov kawg, thaum hloov ntawm kev ntaus nqi, cov hauj lwm co me ntsis (los ntawm cov lus Askiv co - mus sib tov): ntawm lwm cov ntaub ntawv, qhov tshwm sim yuav tig tawm. sib txawv, Roman pab neeg yog thawj nyob rau hauv peb sab saum toj, nyob rau hauv cov ntaub ntawv no, lub sab saum toj peb yog nyiaj, monetary rating cheeb tsam, txij li thaum tsuas yog thawj peb qhov chaw tau txais ib tug nqi zog. Qhov chaw thib plaub, tib txoj kev, lwm pab pawg poob yeej, txoj haujlwm kub. - Ed.)
Kev sib tw kuj tseem ceeb heev uas Evgeniy Babakhnin tau txais ib tug grandmaster, Ivan Sosin tau txais ib tug tswv, Roman Soloviev tseem yog ib tug grandmaster, Alex Parinov tau txais ib tug tswv, kuv los ua ib tug kws, thiab tam sim no kuv twb yog ib tug tswv.
Qhov no Quick, Kos yog dab tsi? Nov yog kev pabcuam los ntawm Google. Google muaj lub hom phiaj ntawm kev nyiam AI thiab nrog rau qhov kev pabcuam no xav qhia tias kev sib koom tes neural ua haujlwm li cas. Koj mus rau qhov ntawd, nyem Cia's kos, thiab nplooj ntawv tshiab pops qhov twg koj tau hais: kos zigzag, koj muaj 20 vib nas this los ua qhov no. Koj tab tom sim kos zigzag hauv 20 vib nas this, zoo li ntawm no, piv txwv. Yog tias koj ua tiav, lub network hais tias nws yog zigzag thiab koj tsiv mus. Tsuas muaj rau daim duab no xwb.
Yog tias Google lub network tsis lees paub qhov koj kos, tus ntoo khaub lig tau muab tso rau hauv txoj haujlwm. Tom qab ntawd kuv yuav qhia rau koj seb nws yuav txhais li cas yav tom ntej seb daim duab puas tau lees paub los ntawm lub network lossis tsis.
Qhov kev pabcuam no tau sau ntau tus neeg siv ntau, thiab tag nrho cov duab uas cov neeg siv kos tau nkag mus.
Peb tswj tau yuav luag 50 lab cov duab. Txij ntawm no, lub tsheb ciav hlau thiab hnub xeem rau peb qhov kev sib tw tau tsim. Los ntawm txoj kev, tus nqi ntawm cov ntaub ntawv nyob rau hauv qhov kev xeem thiab tus naj npawb ntawm cov chav kawm yog highlighted nyob rau hauv bold rau ib tug yog vim li cas. Kuv mam li qhia koj txog lawv me ntsis tom qab.
Cov ntaub ntawv hom tau raws li nram no. Cov no tsis yog RGB cov duab xwb, tab sis, hais lus ntxhib, lub cav ntawm txhua yam uas tus neeg siv tau ua. Lo lus yog peb lub hom phiaj, lub teb chaws code yog qhov twg tus sau ntawm doodle yog los ntawm, timestamp yog lub sij hawm. Daim ntawv lees paub tsuas yog qhia seb lub network puas paub cov duab los ntawm Google lossis tsis. Thiab daim duab nws tus kheej yog ib ntus, qhov kwv yees ntawm qhov nkhaus uas tus neeg siv kos nrog cov ntsiab lus. Thiab lub sijhawm. Lub sijhawm no yog lub sijhawm pib ntawm kev kos duab.
Cov ntaub ntawv tau nthuav tawm hauv ob hom ntawv. Qhov no yog thawj hom, thiab qhov thib ob yog yooj yim. Lawv txiav tawm lub sijhawm los ntawm qhov ntawd thiab kwv yees cov ntsiab lus no nrog cov ntsiab lus me me. Rau qhov no lawv siv . Koj muaj cov ntsiab lus loj uas tsuas yog kwv yees ib txoj kab ncaj nraim, tab sis qhov tseeb koj tuaj yeem kwv yees cov kab no tsuas yog ob lub ntsiab lus. Qhov no yog lub tswv yim ntawm algorithm.
Cov ntaub ntawv tau muab faib raws li hauv qab no. Txhua yam yog uniform, tab sis muaj ib co outliers. Thaum peb daws qhov teeb meem, peb tsis saib nws. Qhov tseem ceeb tshaj plaws yog tias tsis muaj cov chav kawm uas muaj tsawg heev, peb tsis tas yuav ua qhov hnyav piv txwv thiab cov ntaub ntawv oversampling.
Cov duab zoo li cas? Qhov no yog chav kawm "lub dav hlau" thiab piv txwv los ntawm nws nrog cov ntawv lees paub thiab tsis lees paub. Lawv qhov piv tau nyob ib puag ncig ntawm 1 txog 9. Raws li koj tuaj yeem pom, cov ntaub ntawv no nrov heev. Kuv xav tias nws yog lub dav hlau. Yog tias koj saib tsis paub, feem ntau nws tsuas yog suab nrov xwb. Ib tug txawm sim sau "lub dav hlau," tab sis pom tau hais tias ua lus Fab Kis.
Feem ntau cov neeg tuaj koom tsuas yog siv daim phiaj, kos cov ntaub ntawv los ntawm cov kab no raws li RGB duab, thiab muab pov rau hauv lub network. Kuv kos nyob rau hauv kwv yees li tib txoj kev: Kuv coj ib tug palette ntawm cov xim, kos thawj kab nrog ib tug xim, uas yog nyob rau hauv thaum pib ntawm no palette, lub xeem kab nrog rau lwm yam, uas yog nyob rau hauv lub kawg ntawm lub palette, thiab ntawm lawv. Kuv interpolated txhua qhov chaw siv cov palette no. Los ntawm txoj kev, qhov no tau muab qhov txiaj ntsig zoo dua yog tias koj kos li ntawm thawj zaug swb - tsuas yog dub.
Lwm cov tswv cuab, xws li Ivan Sosin, sim ua kom sib txawv me ntsis rau kev kos duab. Nrog ib lub channel nws tsuas kos ib daim duab grey, nrog rau lwm cov channel nws kos txhua qhov mob stroke nrog gradient los ntawm qhov pib mus rau qhov kawg, los ntawm 32 mus rau 255, thiab nrog rau qhov thib peb channel nws kos gradient tshaj tag nrho cov strokes ntawm 32 mus rau 255.
Lwm qhov nthuav yog tias Alex Parinov tau xa cov ntaub ntawv mus rau lub network siv lub teb chaws code.
Cov metric siv hauv kev sib tw yog Mean Average Precision. Dab tsi yog qhov tseem ceeb ntawm qhov ntsuas no rau kev sib tw? Koj tuaj yeem muab peb qhov predic, thiab yog tias tsis muaj qhov tseeb hauv peb qhov no, ces koj tau txais 0. Yog tias muaj qhov tseeb, ces nws qhov kev txiav txim yuav raug coj mus rau hauv tus account. Thiab cov txiaj ntsig ntawm lub hom phiaj yuav raug suav ua 1 faib los ntawm qhov kev txiav txim ntawm koj qhov kev twv ua ntej. Piv txwv li, koj tau ua peb qhov kev twv ua ntej, thiab qhov tseeb yog thawj tus, ces koj faib 1 los ntawm 1 thiab tau 1. Yog tias tus kwv yees raug thiab nws qhov kev txiav txim yog 2, ces faib 1 los ntawm 2, koj tau txais 0,5. Zoo, thiab lwm yam.
Nrog cov ntaub ntawv ua ntej - yuav ua li cas kos duab thiab lwm yam - peb tau txiav txim siab me ntsis. Peb siv architectures li cas? Peb tau sim siv cov qauv rog xws li PNASNet, SENet, thiab cov qauv qub qub xws li SE-Res-NeXt, lawv tau nkag mus rau kev sib tw tshiab. Kuj tseem muaj ResNet thiab DenseNet.
Peb qhia li cas txog qhov no? Tag nrho cov qauv peb coj tau raug cob qhia ua ntej ntawm imagenet. Txawm hais tias muaj ntau cov ntaub ntawv, 50 lab dluab, tab sis tseem, yog tias koj siv lub network ua ntej kev cob qhia ntawm imagenet, nws pom tau tias zoo dua yog tias koj tsuas tau kawm los ntawm kos.
Peb siv cov kev qhia dab tsi? Qhov no yog Cosing Annealing nrog Sov Restarts, uas kuv yuav tham txog me ntsis tom qab. Qhov no yog cov txheej txheem uas kuv siv nyob rau hauv yuav luag tag nrho kuv cov kev sib tw tsis ntev los no, thiab nrog lawv nws hloov tawm los qhia cov phiaj xwm zoo heev, kom ua tiav qhov tsawg kawg nkaus.
Tom ntej no Txo Kev Kawm Qib Siab ntawm Plateau. Koj pib cob qhia lub network, teeb tsa tus nqi kawm ntawv, qhia ntxiv mus, thiab koj qhov kev poob maj mam hloov mus rau qee yam nqi. Koj xyuas qhov no, piv txwv li, rau kaum lub sijhawm poob tsis tau hloov hlo li. Koj txo koj txoj kev kawm los ntawm qee qhov nqi thiab kawm txuas ntxiv. Nws poob me ntsis dua, converges ntawm qee yam tsawg kawg, thiab koj rov txo qis qhov kev kawm, thiab lwm yam, kom txog thaum koj lub network thaum kawg sib sau ua ke.
Tom ntej no yog cov txheej txheem nthuav: Tsis txhob lwj qhov kev kawm, ua kom cov batch loj. Muaj ib tsab xov xwm nrog tib lub npe. Thaum koj cob qhia lub network, koj tsis tas yuav txo qhov kev kawm, koj tuaj yeem nce qhov loj me.
Cov txheej txheem no, los ntawm txoj kev, tau siv los ntawm Alex Parinov. Nws pib nrog ib pawg sib npaug rau 408, thiab thaum nws lub network mus txog qee qhov toj siab, nws tsuas yog muab ob npaug rau qhov loj me, thiab lwm yam.
Qhov tseeb, kuv tsis nco qab tias nws qhov loj npaum li cas tau mus txog, tab sis qhov nthuav yog tias muaj pab pawg ntawm Kaggle uas siv cov txheej txheem tib yam, lawv cov batch loj yog kwv yees li 10000. Los ntawm txoj kev, cov txheej txheem niaj hnub rau kev kawm tob, xws li Piv txwv li, PyTorch tso cai rau koj ua qhov no yooj yim heev. Koj tsim koj cov batch thiab xa mus rau lub network tsis zoo li nws yog, tag nrho, tab sis faib nws mus rau hauv chunks kom nws haum rau koj daim video, xam cov gradients, thiab tom qab koj tau xam cov gradient rau tag nrho batch, hloov tshiab. cov luj.
Los ntawm txoj kev, qhov loj batch loj tseem muaj nyob rau hauv qhov kev sib tw no, vim hais tias cov ntaub ntawv no nrov heev, thiab ib tug loj batch loj pab koj ntau yog kwv yees li gradient.
Pseudo-labeling kuj tau siv, feem ntau yog siv los ntawm Roman Soloviev. Nws tau ua piv txwv txog ib nrab ntawm cov ntaub ntawv los ntawm kev xeem hauv batch, thiab cob qhia cov kab sib chaws ntawm cov khoom siv li no.
Qhov loj ntawm cov duab tseem ceeb, tab sis qhov tseeb yog tias koj muaj ntau cov ntaub ntawv, koj yuav tsum tau cob qhia ntev, thiab yog tias koj daim duab loj heev, ces koj yuav tau cob qhia ntev heev. Tab sis qhov no tsis ntxiv ntau rau qhov zoo ntawm koj qhov kawg classifier, yog li nws tsim nyog siv qee hom kev lag luam tawm. Thiab peb tsuas yog sim cov duab uas tsis loj heev.
Nws kawm tau li cas? Ua ntej, cov duab me me tau raug coj, ntau lub sijhawm tau khiav ntawm lawv, qhov no siv sijhawm ntau heev. Tom qab ntawd cov duab loj loj tau muab, lub network tau cob qhia, tom qab ntawd ntau dua, ntau dua, yog li tsis txhob cob qhia nws los ntawm kos thiab tsis nkim sijhawm ntau.
Hais txog optimizers. Peb siv SGD thiab Adas. Nyob rau hauv txoj kev no nws yog ua tau kom tau txais ib tug qauv, uas muab ib tug ceev ntawm 0,941-0,946 nyob rau hauv lub pej xeem cov thawj coj, uas yog heev zoo.
Yog tias koj koom nrog cov qauv hauv qee txoj kev, koj yuav tau txais qhov chaw nyob ib puag ncig 0,951. Yog tias koj siv ib qho ntxiv, koj yuav tau txais qhov qhab nia kawg ntawm 0,954 ntawm pawg thawj coj saib xyuas pej xeem, ib yam li peb tau txais. Tab sis ntau ntxiv txog qhov ntawd tom qab. Tom ntej no kuv yuav qhia rau koj paub seb peb tau sib sau ua ke cov qauv li cas, thiab peb tswj tau li cas kom ua tiav qhov nrawm kawg.
Tom ntej no kuv xav tham txog Cosing Annealing nrog Sov Restarts lossis Stochastic Gradient qhovntsej thiaj tsis mob rov pib dua. Hais lus ntxhib, hauv txoj cai, koj tuaj yeem siv txhua qhov kev ua kom zoo, tab sis lub ntsiab lus yog qhov no: yog tias koj tsuas yog cob qhia ib lub network thiab maj mam hloov mus rau qee qhov tsawg kawg nkaus, ces txhua yam zoo, koj yuav tau txais ib lub network, nws ua yuam kev, tab sis koj. tuaj yeem cob qhia nws txawv me ntsis. Koj yuav teem qee qhov kev kawm thawj zaug, thiab maj mam txo nws raws li cov qauv no. Koj txo qis, koj lub network los rau qee qhov tsawg kawg nkaus, tom qab ntawd koj txuag qhov hnyav, thiab rov teeb tsa tus nqi kawm uas yog thaum pib ntawm kev cob qhia, yog li mus rau qhov chaw nce siab ntawm qhov tsawg kawg nkaus, thiab rov txo koj qhov kev kawm.
Yog li, koj tuaj yeem mus ntsib ntau qhov tsawg kawg nkaus ib zaug, qhov uas koj qhov poob yuav yog, ntxiv lossis rho tawm, tib yam. Tab sis qhov tseeb yog tias cov tes hauj lwm nrog cov luj no yuav muab qhov sib txawv ntawm koj hnub. Los ntawm qhov nruab nrab ntawm lawv, koj yuav tau txais qee yam kev kwv yees, thiab koj qhov nrawm yuav siab dua.
Hais txog yuav ua li cas peb assembled peb cov qauv. Thaum pib ntawm qhov kev nthuav qhia, kuv hais kom them nyiaj rau cov ntaub ntawv hauv qhov kev xeem thiab cov chav kawm. Yog tias koj ntxiv 1 rau tus naj npawb ntawm cov hom phiaj hauv qhov kev xeem teeb tsa thiab faib los ntawm cov chav kawm, koj yuav tau txais tus lej 330, thiab qhov no tau sau rau ntawm lub rooj sab laj - tias cov chav kawm hauv qhov kev xeem yog sib npaug. Qhov no tuaj yeem siv tau.
Raws li qhov no, Roman Soloviev tuaj nrog qhov ntsuas, peb hu ua Proxy Score, uas sib raug zoo nrog cov thawj coj. Lub ntsiab lus yog: koj ua qhov twv ua ntej, coj qhov saum toj kawg nkaus 1 ntawm koj qhov kev twv thiab suav cov khoom rau txhua chav kawm. Tom ntej no, rho tawm 330 los ntawm txhua tus nqi thiab ntxiv cov txiaj ntsig zoo.
Cov txiaj ntsig hauv qab no tau txais. Qhov no tau pab peb tsis txhob tsim cov thawj coj soj ntsuam, tab sis kom muaj tseeb hauv zos thiab xaiv cov coefficients rau peb pawg.
Nrog ib pab pawg neeg koj yuav tau txais xws li ib tug ceev. Kuv tuaj yeem ua dab tsi ntxiv? Piv txwv tias koj siv cov ntaub ntawv uas cov chav kawm hauv koj qhov kev xeem sib npaug.
Qhov sib npaug sib txawv. - ntsuas los ntawm cov txiv neej uas ua thawj qhov chaw.
Peb ua dab tsi? Peb qhov ntsuas tau yooj yim heev, nws tau hais los ntawm Evgeny Babakhnin. Peb thawj zaug txheeb xyuas peb qhov kev kwv yees los ntawm sab saum toj 1 thiab xaiv cov neeg sib tw los ntawm lawv - yog li cov chav kawm tsis tshaj 330. Tab sis rau qee chav kawm koj xaus nrog tsawg dua 330 tus neeg twv. , thiab peb tseem yuav xaiv cov neeg sib tw.
Peb qhov ntsuas qhov sib txawv li cas ntawm qhov sib npaug ntawm thawj qhov chaw? Lawv tau siv txoj hauv kev rov ua dua, coj cov chav kawm nrov tshaj plaws thiab txo qhov tshwm sim rau cov chav kawm ntawd los ntawm qee tus lej tsawg kom txog thaum chav kawm ntawd tsis yog cov neeg nyiam tshaj plaws. Peb coj cov chav kawm nrov tshaj plaws tom ntej. Yog li ntawd, lawv txuas ntxiv txo lawv mus txog thaum tus naj npawb ntawm txhua chav kawm tau sib npaug.
Txhua leej txhua tus siv ntxiv lossis rho tawm ib txoj hauv kev los qhia kev sib koom tes, tab sis tsis yog txhua tus siv qhov ntsuas. Siv qhov sib npaug, koj tuaj yeem mus rau hauv kub, thiab yog tias koj muaj hmoo, ces mus rau hauv nyiaj.
Yuav ua li cas preprocess ib hnub? Txhua leej txhua tus preprocessed hnub, ntxiv los yog rho tawm, nyob rau hauv tib txoj kev - ua handcrafted nta, sim encode sij hawm nrog txawv stroke xim, thiab lwm yam Alexey Nozdrin-Plotnitsky, uas coj 8th qhov chaw, hais txog qhov no.
Nws ua nws txawv. Nws hais tias tag nrho cov khoom siv tes ua ntawm koj li tsis ua haujlwm, koj tsis tas yuav ua li ntawd, koj lub network yuav tsum kawm txhua yam ntawm nws tus kheej. Thiab xwb, nws tuaj nrog kev kawm modules ua ntej koj cov ntaub ntawv. Nws pov cov ntaub ntawv qub rau hauv lawv yam tsis tau ua ua ntej - taw tes ua haujlwm thiab sijhawm.
Tom qab ntawd nws coj qhov sib txawv raws li qhov sib koom ua ke, thiab nruab nrab txhua qhov raws li lub sijhawm. Thiab nws tuaj nrog ib tug ntev matrix. Nws thov 1D convolution rau nws ob peb zaug kom tau ib tug matrix ntawm loj 64xn, qhov twg n yog tag nrho cov ntsiab lus, thiab 64 yog tsim nyob rau hauv thiaj li yuav pub lub resulting matrix rau txheej ntawm tej convolutional network, uas lees txais cov xov tooj ntawm cov channel. - 64. nws tau txais 64xn matrix, ces los ntawm qhov no nws yog tsim nyog los tsim ib tug tensor ntawm ib co loj kom tus naj npawb ntawm channel yog sib npaug zos rau 64. Nws normalized tag nrho cov ntsiab lus X, Y nyob rau hauv qhov ntau ntawm 0 mus rau 32 los tsim ib tug. tensor loj 32x32. Kuv tsis paub yog vim li cas nws xav tau 32x32, nws nyuam qhuav tshwm sim li ntawd. Thiab ntawm qhov kev sib koom tes no nws tau tso ib feem ntawm qhov matrix ntawm qhov loj 64xn. Yog li nws tsuas yog xaus nrog 32x32x64 tensor uas koj tuaj yeem tso ntxiv rau hauv koj lub convolutional neural network. Qhov ntawd yog txhua yam kuv xav hais.
Tau qhov twg los: www.hab.com