Priusquam iterum tibi negotium est deprehendendi obiecta. Primatus celeritas est operandi subtiliter acceptabili. YOLOv3 architecturam accipis et eam exerce amplius. Sagax (mAp75) maior est quam 0.95. Sed cursus cursus est sed pretium. Crap.
Hodie quantitatis praetereo. Et sub incisione te videbimus Exemplar Pruning β Pampinatio redundans retis partes accelerare Conlationem sine cura. Ubi, quantum et quomodo secare patet. Inspice quid manually hoc facere et ubi illud automate facere potes. In fine repositio est in keras.
introduction
In priore loco laboris, Macroscop in Perm, unum habitum acquisivi - ad tempus algorithmorum semper monitorem exsecutionis. Et semper retiaculum runtime per colum adaequationem reprehendo. Solet status-of-artis in productione hunc colum non transit, qui me ad Putationem duxit.
Vetus putatio locus est, qui in in MMXVII. Praecipua notio est reducere magnitudinem retis exercitatorum sine accuratione amissis nodis variis removendis. Frigidum sonat, sed raro de usu audio. Probabiliter, non sunt satis exsecutiones, nullae sunt articuli russico-linguae, vel simpliciter omnes existimant eam putationem scire-quomodo et silere.
Sed abeamus
A conspectum in biologiam
Eam amo, cum Alta Learning ideas inspicit quae ex biologia veniunt. Ii, sicut evolutionis, credi possunt (scisne ReLU simillimum esse ?)
Exemplar Putationis processus etiam prope biologiam est. Responsio retis hic comparari potest cum plasticitate cerebri. Sunt duo exempla iucunda in libro. :
- Cerebrum mulieris, quae cum dimidia parte nata est, se reprogrammavit ad functiones dimidias defuit.
- Guido iecit partem cerebri visionis responsalem. Subinde aliae partes cerebri has functiones accepere. (Non sumus conatur repetere)
Item ex exemplari tuo volutiones infirmae quaedam excidere potes. Ad ultimum recursum, reliqui fasciculi incisis succedent.
Amasne Transfer Discendi an discis de integro?
Optio numerus unus. Uteris Translatio Doctrinae in Yolov3. Retina, Mask-Rcnn or U-Net. Sed frequentius temporis non oportet ut 80 classes objecti cognoscamus sicut in COCO. In usu meo omnia contrahitur ad gradus 1-2. Posset ponere architecturae pro LXXX generibus hic redundare. Hoc suggerit architecturae minoris fieri debere. Hoc autem facere vellem, nisi praerepta gravia praeexistentia amitterent.
Optio numerus duorum. Forsitan multum notitias et facultates computandi habes, vel solum architecturae consuetudinis necessariae. Non refert. Sed retia de integro discis. Solet processus notitiarum structuram intueri, architecturam quae in potentia superflua est eligere, et dropouts arcere. 0.6 stillae vidi, Karl.
In utroque casu retia reduci possunt. comprobata. Nunc eamus figuram, qualis putatio circumcisio est
Algorithmus generalis
Nos placuit fasciculos removere posse. Spectat satis simplex;
Aliqua convolutio removenda est stressful retis, quae ad errorem aliquem augeri solet. Ex altera parte, haec errorum incrementa signum est quam recte volutiones removemus (exempli gratia, magnum incrementum indicat nos aliquid mali facere). Sed parva incrementa satis grata sunt et saepe eliminantur per sequentem lucem additamenta disciplinae cum parva LR. Adde an additional disciplina gradus:
Nunc opus est instar sicco cum volumus discere<->Putationis fasciam prohibere. Forsitan hic optiones exoticae cum retia ad certam magnitudinem et velocitatem reducere oportet (exempli gratia ad mobiles cogitationes). Attamen optio communissima est cyclum continuare donec error altior evadat quam acceptus. Adde condicionem:
Sic patet algorithmus. Reliquum est ut de schemate quomodo gyros deletos determinet.
Quaere delevit fasciculos
Non opus est aliquos volutiones removere. Praecurrentes et "iaculantes" quis malam opinionem habet, quamvis operabitur. Sed quia caput habes, cogitare potes et experiri volutiones "imbecilli" eligere pro remotione. Plures sunt optiones:
- . Idea quae volutiones cum parvis ponderibus parum conferunt ad ultimam decisionem
- Minutiae L1-mensurae attentis mediae ac normae declinationis. Addimus aestimationem naturae distributionis.
- . Accuratior est determinatio parvarum volutionum, sed valde vicis- sumptio et ingenioso edax.
- alium
Quaelibet optionum ius habet ad vitam et ad eius exsecutionem. Hic optio cum minima mensura L1 consideratur
Manual processum pro YOLOv3
Architectura originalis cuneos residua continet. Sed quamvis frigidi sint ad alta retiacula, aliquid nos impedient. Difficultas est quia reconciliationes cum diversis indicibus in his strata delere non potes:
delecti proinde sint e quibus reconciliationes libere delere possumus:
Nunc opus cyclum faciamus:
- Discas activations
- Remanens quantum ad cut
- Secare eum
- Doctrina epochae X cum LR = 10e-1
- Testis
Convolutionibus exonerare utilis est aestimare quantam partem certo gradu removere possimus. Exempla exonerare:
Videmus fere ubique 5% volutionum L1-normam nimis habere et eas removere posse. In unoquoque gradu, haec expositio repetita est et aestimatio facta est ex quibus laminis et quot exscindi possent.
Totum processum in 4 gradibus completum est (numeri hic et ubique pro RTX 2060 Super);
| gradus | mAp75 | parametri numerum, decies centena millia | Magnitudo retis, mb | Ab initio, % | Currite tempus, Ms | Circumcisio conditio |
|---|---|---|---|---|---|---|
| 0 | 0.9656 | 60 | 241 | 100 | 180 | - |
| 1 | 0.9622 | 55 | 218 | 91 | 175 | V% omnium |
| 2 | 0.9625 | 50 | 197 | 83 | 168 | V% omnium |
| 3 | 0.9633 | 39 | 155 | 64 | 155 | XV% pro stratis 15+ volutionibus |
| 4 | 0.9555 | 31 | 124 | 51 | 146 | XV% pro stratis 10+ volutionibus |
Unus effectus positivus additus est gradus 2-batch amplitudo 4 apta in memoriam, quae processum additae disciplinae valde acceleravit.
In gradu IV, processus omissus est, quia etiam diu-terminus additus disciplina mAp4 ad vetera bona non excitavit.
Quam ob rem nos ad consequentiam accelerare potuimus 15%, 35% nec prorsus perdere.
Automation pro simplicioribus architecturae
Simpliciores retis architecturae (sine conditione addendi, concaternis et stipitibus residualibus), satis possibilis est ut versari in omnibus stratis convolutionalibus et automate processum incidendi convolutionum expediendas.
Ego hanc optionem implemented .
Simplex est: munus amittere tantum opus est, optimizer et generantibus massam:
import pruning
from keras.optimizers import Adam
from keras.utils import Sequence
train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...
opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)
pruner.prune(train_batch, valid_batch)Si opus est, config parametri mutare potes;
{
"input_model_path": "model.h5",
"output_model_path": "model_pruned.h5",
"finetuning_epochs": 10, # the number of epochs for train between pruning steps
"stop_loss": 0.1, # loss for stopping process
"pruning_percent_step": 0.05, # part of convs for delete on every pruning step
"pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}Accedit limitatio quae in vexillum deviationis impletur. Propositum est circumscribere partem quae remota est, exclusis iam mensuris "satis" L1;
Ita permittimus, ut convolutiones tantum infirmas a distributionibus rectis similes removeas, et a distributionibus similes sinistrorsum removeas non afficere;
Cum distributio ad normalem accesserit, ex putatione coefficiens potest eligi:
2 sigma assumptio commendo. Vel ignorare potes hanc plumam, valorem relinquens < 1.0.
graph est graphium retis magnitudine, detrimento, ac retis runtime totius probationis, normalized ad 1.0. Exempli gratia, hic retis amplitudo per 2 fere temporibus sine qualitatis detrimento redacta est (retis convolutionis parvis cum 100k ponderibus);
Celeritas cursus ambigua normalibus subiecta est et paene immutata manet. Hujus rei explicatio est;
- Numerus volutionum mutationes ab opportuno (32, 64, 128) ad non aptissima video chartas - 27, 51, etc. Errare hic potui, sed effectum maxime probabile est.
- Architectura lata non est, sed constat. Reducendo latitudinem profunditatem non afficimus. Sic onus minuimus, sed celeritatem non mutamus.
Emendatio ergo expressa est reductione in onere CUDA in cursu 20-30%, non autem in reductione temporis procursu.
results
cogitemus. Consideravimus 2 optiones putationis - pro YOLOv3 (cum opus est manibus tuis) et pro reticulis cum simplicioribus architecturis. Perspici potest in utroque casu consequi posse retis magnitudinem reductionem et celeritatem sine detrimento accurationis. Proventus:
- Reducere magnitudinem
- Acceleratio run
- Redigendo CUDA Lond
- Quam ob rem, environmental amicitia (optimizemus futurum usum computandi facultates. Alicubi aliquis laetus est )
Appendix
- Post gradus putationis addere potes quantitatem (exempli gratia cum TensorRT)
- Tensorflow praebet facultatem for . Opera omnia.
- Volo ut develop et exsultabimus in auxilium
Source: www.habr.com