Jedi metotia mo le faʻaitiitia o fesoʻotaʻiga faʻalavelave - teuteu

I luma o oe o le galuega o le sailia o mea faitino. O le fa'amuamua o le saoasaoa o le fa'agaioiga ma le sa'o sa'o talia. E te ave le fausaga o le YOLOv3 ma toe a'oa'oina. Sa'o (mAp75) e sili atu nai lo le 0.95. Ae o loʻo maualalo lava le tau o le taʻavale. leaga.

O aso nei o le a tatou pasia le quantization. Ma i lalo o le tipi o le a tatou tilotilo ai Fa'ata'ita'iga Teuga — fa'aoti vaega tele ole feso'ota'iga e fa'avavevave ai Fa'ailoga e aunoa ma le leiloa o le sa'o. E manino le mea, pe fia ma pe faapefea ona tipi. Se'i tatou va'ai pe fa'afefea ona fai ma le lima lenei mea ma le mea e mafai ona e fa'autometi ai. I le faaiuga o loʻo i ai se fale teu oloa i luga o keras.

Faatomuaga

I loʻu nofoaga muamua o le galuega, Macroscop i Perm, na ou mauaina se tasi masani - ia mataʻituina pea le taimi o le faʻatinoina o algorithms. Ma siaki pea le taimi o feso'otaiga e ala i se faamama talafeagai. E masani ona fa'aonaponei i le gaosiga e le pasia lenei faamama, lea na ta'ita'ia ai a'u i le Pruning.

O le teuteuina o se mataupu tuai na talanoaina i totonu Stanford lauga i le 2017. O le manatu autu o le faʻaitiitia o le tele o fesoʻotaʻiga aʻoaʻoina e aunoa ma le leiloa o le saʻo e ala i le aveeseina o nodes eseese. E manaia, ae seasea ou faalogo i lona faaaogaina. Masalo, e le lava le faʻatinoga, e leai ni tala faʻa-Rusia, pe naʻo tagata uma e manatu o le teuteuina o le poto ma nofo filemu.
Ae sei o tatou tuueseeseina

Se vaaiga i le biology

Ou te fiafia pe a vaʻavaʻai le Deep Learning i manatu e sau mai le biology. Latou, pei o le evolusione, e mafai ona faʻatuatuaina (pe e te iloa o ReLU e tutusa lelei ma galuega o le fa'agaoioia neuron i le fai'ai?)

O le Fa'ata'ita'iga Fa'ata'otoga e latalata fo'i ile biology. O le tali a le upega tafaʻilagi iinei e mafai ona faʻatusatusa i le palasitika o le faiʻai. E i ai ni nai fa'ata'ita'iga mata'ina i totonu o le tusi. Norman Doidge:

1. O le faiʻai o se fafine na fanau mai e na o le tasi le afa ua toe faʻatulagaina ia lava e faʻatino galuega a le afa o loʻo misi.
2. Na fana e le tama le vaega o lona fai'ai e nafa ma le vaai. I le aluga o taimi, na pulea e isi vaega o le faiʻai nei galuega. (matou te le o taumafai e toe fai)

E faʻapea foʻi, e mafai ona e tipi ese nisi o faʻalavelave vaivai mai lau faʻataʻitaʻiga. I le tulaga mulimuli, o le a fesoasoani fusi o totoe e sui ai mea tipi.

E te fiafia i le Transfer Learning pe o e a'oa'o mai le sasa?

Filifiliga numera tasi. E te fa'aogaina le Transfer Learning ile Yolov3. Retina, Mask-RCNN poʻo U-Net. Ae o le tele o taimi tatou te le manaʻomia le iloaina o 80 mea faitino vasega pei ole COCO. I laʻu faʻataʻitaʻiga, e gata mea uma i vasega 1-2. Atonu e manatu se tasi o le fausaga mo vasega 80 e le toe maua iinei. O le manatu e fautua mai ia te ia lava e tatau ona faʻaititia le fausaga. E le gata i lea, ou te manaʻo e fai lenei mea e aunoa ma le leiloa o le mamafa o loʻo iai muamua.

Filifiliga numera lua. Masalo e tele au faʻamatalaga ma mea tau komepiuta, pe naʻo le manaʻomia o se fausaga faʻapitoa masani. Leai se mea o iai. Ae o loʻo e aʻoaʻoina le fesoʻotaʻiga mai le amataga. Ole faiga masani ole va'ava'ai ile fa'asologa o fa'amaumauga, filifili se fausaga e sili atu le malosi, ma tulei le to'a mai le toe a'oa'oina. Na ou vaʻaia le 0.6 na pa'ū, Karl.

I tulaga uma e lua, e mafai ona faʻaitiitia le fesoʻotaʻiga. Faaosofia. Se'i o tatou va'ava'ai po'o le a le ituaiga teuteu o le peritomeina

Algoritimi lautele

Sa tonu ia i matou e mafai ona matou aveese ia fusi. E foliga faigofie lava:

O le aveeseina o soʻo se faʻalavelave e faʻalavelave mo le fesoʻotaʻiga, lea e masani ona taʻitaʻia ai le faʻateleina o mea sese. I le tasi itu, o lenei faʻaopoopoga o mea sese o se faʻaaliga o le saʻo o le aveesea o convolutions (mo se faʻataʻitaʻiga, o se faʻaopoopoga tele e faʻaalia ai o loʻo tatou faia se mea sese). Ae o se faʻaopoopoga laʻititi e talia lelei ma e masani ona faʻaumatia e ala i isi aʻoaʻoga faʻaopoopo malamalama ma se LR laʻititi. Fa'aopoopo se laasaga fa'aa'oa'oga fa'aopoopo:

O lea la e tatau ona tatou iloa po'o afea tatou te manana'o ai e taofi le tatou A'oa'oina<->Tape'i. Atonu e iai ni filifiliga fa'apitoa iinei pe a mana'omia ona fa'aitiitia le feso'otaiga i se tele ma le saoasaoa (mo se fa'ata'ita'iga, mo masini feavea'i). Ae ui i lea, o le filifiliga sili ona taatele o le faʻaauau pea o le taamilosaga seia oʻo ina maualuga le mea sese nai lo le taliaina. Fa'aopoopo se aiaiga:

O lea la, e manino le algorithm. O lo'o tumau pea le mafaufau pe fa'afefea ona fa'amauina fa'aletonu ua tapeina.

Su'e mo afifi ua tapeina

E tatau ona tatou aveese nisi faʻalavelave. O le faanatinati i luma ma "fanaina" soo se tasi o se manatu leaga, e ui lava o le a aoga. Ae talu ai o loʻo i ai sou ulu, e mafai ona e mafaufau ma taumafai e filifili "vaivai" convolutions mo le aveeseina. E tele filifiliga:

1. Laiti L1-fua po'o le la'ititi_magnitude_pruning. O le manatu e fa'apea o fa'atasi ma ni mamafa laiti e itiiti sona sao i le fa'ai'uga mulimuli
2. L1 la'ititi la'ititi-fuafua e amana'ia ai le uiga ma le eseesega masani. Matou te faaopoopo atu i se iloiloga o le natura o le tufatufaga.
3. Ufiufi fa'alavelave ma fa'ate'a ai mea e itiiti le a'afiaina o le sa'o mulimuli. E sili atu le sa'o o le fa'ai'uga o fa'alavelave fa'atauva'a, ae fa'aalu tele le taimi ma fa'aalu alagaoa.
4. Isi

O filifiliga ta'itasi e iai le aia tatau i le ola ma ona lava fa'atinoga fa'atinoga. O iinei tatou te mafaufau ai i le filifiliga ma le laʻititi L1-fua

Fa'asologa tusi mo YOLOv3

O le fausaga muamua o lo'o iai poloka o totoe. Ae tusa lava po o le a le manaia o latou mo fesoʻotaʻiga loloto, latou te faʻalavelaveina i tatou. O le faigata o le le mafai ona e tapeina faʻalelei ma faʻailoga eseese i nei laulau:

O le mea lea, seʻi o tatou filifilia ni laupepa e mafai ona tatou tapeina saoloto ai le faaleleiga:

Sei o tatou fausia se taamilosaga galue:

1. Tu'uina atu o fa'agaioiga
2. Fuaina pe fia le tele e tipi
3. Oti ese
4. A'oa'oina 10 vaitau ma LR=1e-4
5. Su'ega

O le la'u ese o uta e aoga e fuafua ai le tele o vaega e mafai ona tatou aveese i se laasaga patino. La'u uta fa'ata'ita'iga:

Matou te vaʻaia e toetoe lava o soʻo se mea e 5% o convolutions e maualalo tele le L1-masani ma e mafai ona matou aveesea. I la'asaga ta'itasi, sa toe fa'aauau ai le la'uina o uta ma faia se iloiloga po'o fea fa'apapa ma pe fia le aofa'i e mafai ona tipi ese.

O le faagasologa atoa na maeʻa i 4 laasaga (numera iinei ma soʻo se mea mo le RTX 2060 Super):

E tasi le a'afiaga lelei na fa'aopoopoina i le Laasaga 2 - o le vaega 4 e fetaui lelei i le mafaufau, lea na fa'atelevaveina ai le fa'agasologa o a'oa'oga fa'aopoopo.
I le Laasaga 4, na taofia le faagasologa ona e o'o lava i a'oa'oga fa'aopoopo umi umi e le'i si'itia ai le mAp75 i tau tuai.
O se taunuuga, na mafai ona matou faatelevaveina le faaiuga e 15%, fa'aititia le tele e 35% ma e le leiloa tonu.

Otometi mo fausaga faigofie

Mo fausaga feso'ota'iga faigofie (e aunoa ma ni fa'aopoopo fa'aopoopo, tu'u fa'atasi ma poloka totoe), e mafai lava ona taula'i atu i le fa'agaioiina o fa'aputuga uma ma fa'autometi le fa'agasologa o le tipiina o fa'alavelave.

Na ou faʻatinoina lenei filifiliga iinei.
E faigofie: e te manaʻomia naʻo se galuega leiloa, se mea e sili ona lelei ma faʻaputuga:

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

Afai e manaʻomia, e mafai ona e suia le config parameters:

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

E le gata i lea, o se tapulaʻa e faʻavae i luga o le tulaga masani o loʻo faʻatinoina. O le sini o le faʻatapulaʻaina o le vaega e aveese, e le aofia ai faʻalavelave ua uma ona "lava" L1 fua:

O le mea lea, matou te faʻatagaina oe e aveese naʻo faʻalavelave vaivai mai tufatufaga tutusa ma le saʻo ma e le afaina ai le aveesea mai tufatufaga tutusa ma le agavale:

A oʻo atu le tufatufaga masani, e mafai ona filifilia le paʻu_standart_deviation_part coefficient mai:

Ou te fautuaina se manatu o le 2 sigma. Pe mafai foi ona e le amana'ia lenei uiga, ma tu'u ai le tau <1.0.

O le gaioiga o se kalafi o le tele o fesoʻotaʻiga, leiloa, ma fesoʻotaʻiga taimi taʻavale mo le suʻega atoa, faʻavasega i le 1.0. Mo se faʻataʻitaʻiga, o iinei na faʻaititia ai le tele o fesoʻotaʻiga e toetoe lava 2 taimi e aunoa ma le leiloa o le lelei (laʻititi fesoʻotaʻiga faʻatasi ma 100k mamafa):

Ole saosaoa ole tamo'e e fa'atatau ile fesuiaiga masani ma e tumau pea e le suia. O loʻo i ai se faʻamatalaga mo lenei mea:

1. Ole numera o faʻalavelave e suia mai le faigofie (32, 64, 128) e le sili ona faigofie mo kata vitio - 27, 51, ma isi. E mafai ona ou sese iinei, ae e foliga mai e i ai sona aafiaga.
2. O le fausaga e le lautele, ae tumau. E ala i le faʻaitiitia o le lautele, matou te le afaina ai le loloto. O le mea lea, matou te faʻaitiitia le uta, ae le suia le saoasaoa.

O le mea lea, o le faʻaleleia na faʻaalia i le faʻaitiitia o le uta CUDA i le taimi o le taʻavale e 20-30%, ae le o le faʻaitiitia o le taimi taʻavale.

O taunuʻuga

Sei o tatou manatunatu. Na matou iloiloina ni filifiliga se 2 mo le teuteuina - mo YOLOv3 (pe a tatau ona e galue ma ou lima) ma mo fesoʻotaʻiga ma fausaga faigofie. E mafai ona iloa i tulaga uma e lua e mafai ona ausia le faʻaititia o le tele o fesoʻotaiga ma le saoasaoa e aunoa ma le leiloa o le saʻo. I'uga:

• Fa'aitiitia le tele
• Fa'avavevave tamo'e
• Fa'aitiitia le uta CUDA
• O le iʻuga, faʻafeiloaʻi o le siʻosiʻomaga (Matou te faʻaogaina le lumanaʻi faʻaogaina o punaoa tau komepiuta. O se mea e fiafia ai se tasi Greta Thunberg)

faʻaopoopoga

• A maeʻa le laʻasaga teuteu, e mafai ona e faʻaopoopo le quantization (mo se faʻataʻitaʻiga, ma TensorRT)
• Tensorflow e maua ai le gafatia mo la'ititi_magnitude_pruning. Galuega.
• faleteuoloa Ou te fia atiina ae ma o le a fiafia e fesoasoani

puna: www.habr.com