Paucis abhinc mensibus, collegae nostri ex Google in Kaggle certamen creare classifier pro imaginibus nactus in sensational "Festina, trahe!" Turma, quae Yandex elit Romani Vlasov comprehendit, quartum in certaminis locum suscepit. Mense Ianuario apparatus disciplinae discendae, Romani turmas suas notiones communicaverunt, finalem classificantis exsecutionem, et iucundam praxim adversariorum suorum.
- Hi omnes! Nomen meum est Roma Vlasov, hodie tibi dicam de Celeri, Trahe! Doodle Recognitio provocare.
Quinque homines in quadrigis nostris fuerunt. Coniunxi ante merge notificata. Infausti eramus, paulum concussi sumus, sed a pecunia dignitate agitati sumus, et ex auro posito concussi sumus. Honorabilem et quartum locum cepimus.
(Per certamen, iunctiones in censu observaverunt, quae formata est ex eventibus quae ex una parte propositae notae propositae sunt. Postrema rating rursus alia pars electronicarum formata est. Quod ita factum est. ut participes certationis algorithmos suos ad certas notitias non accommodent. Itaque in finalibus, cum permutatio inter ratings, positiones paulum concutiunt (ex Anglica concutere - miscere): in aliis notitiis, eventum evenire potest. In hoc casu, summa tria pecunia est, zona census nummariae, cum prima tria loca praemium nummorum adiudicata sunt. Post concussionem, turma iam in quarto loco.* Sic et alter quadrigis victoriam amisit, et aurum po- tuit. β Ed.)
Certamen etiam significans in eo quod Evgeniy Babakhnin proavimum accepit, Ivan Sosin magistrum accepit, Solovievus Romanus magister mansit, Alex Parinov magistrum accepit, peritus factus sum, et iam iam dominus sum.
Quid est hoc ocius, atrahe? Hoc est officium a Google. Google propositum habuit popularis AI et cum hoc ministerio volui ostendere quomodo retiacula neutralia laborant. Tu ibis, preme Eamus, et nova pagina pops sursum ubi auditur: obliquum trahere, 20 seconds hoc facere habes. Conaris obliquum trahere in 20 secundis, sicut hic, exempli gratia. Si efficis, retiacula dicit illud obliquum esse et in te moveri. Tales imagines sex tantum sunt.
Si retis Google non agnovit quid traxeris, crux in negotio posita est. Postea dicam tibi quid futurum sit, utrum extractio a retis agnita sit necne.
Hoc officium magnum numerum utentium collegit, omnesque tabulae quae utentes hauserunt initium sunt.
Fere 50 miliones imagines colligere potuimus. Hinc agmen et dies probati pro certaminibus nostris formati sunt. Obiter moles notitiarum in examinibus et numero classium in audaci causa elucidantur. De illis paulo post dicam.
Data forma talis erat. Hae imagines non solum RGB, sed, fere loquendo, truncum omnium utentis fecerunt. Verbum nostrum est scopum, patria est ubi auctor cubile est, indicatione temporis. Pittacium agnitum modo ostendit num retis imaginem ex Google agnoverit necne. Ipsa autem tractus est sequenti, approximatio curvae quam usor punctis trahit. ET TIONES. Hoc tempus est ab initio picturae ductae.
Data sistebantur in duas formas. Haec est prima forma, et secunda simplicior. Timoria inde excidunt et hanc punctorum seriem cum minori punctorum approximant. Hoc enim utebantur . Magnum punctum habes punctorum quod rectae simpliciter approximat, re vera autem hanc lineam duobus tantum punctis appropinquare potes. Haec est idea algorithmi.
Notitia sic distributa est. Omnia aequabilia sunt, sed quaedam manor sunt. Cum rem solvimus, eam non videbamus. Summa est, quod nullae erant classes, quae vere paucae erant, non facere nos ponderis specimen et notitia oversampling.
Quid tamquam imaginibus? Haec est "avis" genus et exempla inde cum pittaciis agnitis et ignotis. Eorum proportio erat alicubi circa 1 ad 9. Ut videre potes, notitia est satis tumultuosa. Aeroplanum coniecto velim. Si notum spectes, in pluribus iustum est sonum. Avis etiam aliquis scribere temptavit, sed Gallice videtur.
Plerique participes craticulas simpliciter acceperunt, notitias ex hac linearum serie ut RGB picturas hauserunt, easque in retiaculum iecerunt. Eodem fere modo traxi: palette de coloribus cepi primam aciem cum uno colore, qui fuit in principio huius palette, ultimam lineam cum alio, qui erat in fine palette, et inter eos. Interpolavi ubique hoc palette utens. Obiter hoc melius evenit quam si ducas sicut in primo lapsu - modo in nigro.
Cetera membra iugis, ut Ivan Sosin, leviter diversis aditus ad hauriendum conati sunt. Uno canali tantum imaginem griseam traxit, alio canali unoquoque ictum cum gradiente ab initio ad finem ab 32 ad 255 traduxit, et tertio canali gradiente per omnes ictus ab 32 ad 255 traduxit.
Aliud interesting res est quod Alex Parinov informationes uploaded ad network utens countrycode.
Usus metricus in certatione est medium Mediocris Precisionis. Quaenam est ratio huius metricae certationis? Et si in istis tribus non fuerit recta predic, tunc habebis 0. Si est recta, tunc consideratur ordo. Et scopus eventum reputabitur sicut 1 divisi iussu vestro vaticinii. Exempli gratia, tres praedicatores fecistis, et rectum unum est primum, tunc divides 1 per 1 et posside 1. Si predictor est verus et eius ordo est 2, divide 1 per 2, accipias 0,5. Bene, etc.
Cum notitia praeprocessione - picturas et cetera quae ad hauriendam - parum decrevimus. Quibus architecturis utimur? PNASNet, SENet, et huiusmodi architecturae iam classicae ut SE-Res-NeXt, magis magisque novas certationes ingrediuntur. Erant etiam ResNet et DenseNet.
Quomodo hoc docemus? Omnia exemplaria cepimus in imagenet praestructa. Etsi multa data est, 50 decies centena imagines, sed tamen, si retiaculum in imagenet praestructum accipias, meliores eventus ostendit quam si a scabro simpliciter exercuistis.
Quibus artibus docendis utimur? Hoc est Cosing Annealing cum tepido Restart, quod paulo post dicam. Haec ars est, qua in omnibus fere recentibus certationibus utimur, cum quibus evenit ut bene minimum desideria exerceant.
Doctrina Rate in regione altera reducere. Disciplina retiaculis incipis, certam eruditionis ratem pone, eam doce perge, et damnum tuum paulatim ad certum valorem convenit. Hoc sisto, exempli gratia, decem epochae iacturae omnino non mutatae sunt. Doctrinam tuam aliquo pretio minuis et doctrinam pergas. Aliquantum defluit, ad minimum convergit, et iterum deprime ratem discendi, et sic deinceps, donec retia tua tandem convergat.
Proxima ars an interesting: Doctrinam rate ne corrumpas, massam auge magnitudine. Est articulus ejusdem nominis. Cum reticulum instituis, discere ratem minuere non debes, massam solum augere potes.
Haec ars obiter adhibita est ab Alex Parinov. Pergit cum batch aequalis 408, et cum retis eius in planitiem aliquam pervenit, solum massam magnitudinis duplicavit, etc.
Re vera non memini quanti eius massae magnitudo pervenerit, sed quid interest quod iunctiones in Kaggle fuerunt quae eadem arte utebantur, massarum magnitudo circiter 10000. Obiter recentiores compages altae eruditionis, qualia sunt. PyTorch, verbi gratia, facillime id facere permittit. Massam tuam generas et retiaculum non ut est in toto subicies, sed eam in chunkas divide ut in schedulam tuam conveniat, gradationes computas, et postquam gradationem ad totam massam, renovationem computasti. de ponderibus.
Obiter magnae moles moles in hac certatione adhuc inclusae erant, quia notitia satis strepebat, et magna batch amplitudo te ad clivum accuratius approximavit.
Etiam pseudo-labelling usi sunt, vulgo Soloviev Romani usi. Dimidiam partem e batches experimenti gustavit, et malesuada euismod in huiusmodi batches exercuit.
Magnitudo picturarum refert, sed multum notitiae habes, diu instituendi opus est, et si picturae magnitudo satis magna est, diutissime exercebis. Sed hoc non multum adiunxit qualitatem classificantis tui finalis, ideo operae pretium fuit utendo aliquo genere mercaturae. Nos tantum imagines probavimus quae magnitudine non admodum magnae erant.
Quomodo omnes didicerunt? Primum, imagines parvae amplissimae captae sunt, aliquot aeculae in iis currunt, quae multum temporis sumpserunt. Tum picturae magnae amplitudo datae sunt, reticulum instructum est, tum etiam magis, etiam plus, ut eam de integro non exerceat nec multum temporis consumat.
Fere optimizers. SGD et Adam usi sumus. Hoc modo unum exemplar haberi potuit, quod velocitatem 0,941-0,946 in ductore publico dedit, quod satis bonum est.
Exempla si aliquo modo erigas, alicubi feres 0,951. Si uno artificio uteris, summam summam summam 0,954 in tabula publica habebis, sicut nos comparamus. Sed de hoc alias. Deinde narrabo tibi quomodo exempla congregaverimus, et quomodo tandem talem celeritatem assequi curemus.
Proximam loqui velim de Cosing Annealing cum tepido Restarts seu Stochastic Gradientis Descensus cum tepido Restart. Dure loquendo, in principio, aliquo optimizer uti potes, sed punctum hoc est: si unam retem tantum institues et paulatim ad minimum convergat, omnia bene sunt, unam retem habebis, quaedam errata facit, sed tu paulo aliter exercere potest. Doctrinam aliquam initialem constitues, eamque secundum hanc formulam paulatim deprimes. Deprimis eam, retis tua ad minimum venit, deinde pondera servas, et iterum pone ratem discendi quae in principio disciplinae fuit, inde alicubi ab hoc minimo sursum iens, et iterum discendi ratem deprimens.
Sic plura statim visitare potes minima, in quibus damnum tuum idem erit plus vel minus. Sed plane retia cum his ponderibus diversos errores in tuo tempore dabunt. Per illas fere, approximationem aliquam habebis, et celeritas tua altior erit.
Qualiter exempla nostra contulimus. Principio praesentationis dixi attendere summam notitiarum in probatione et numero classium. Si numerum scutorum 1 addas in testi- monio et divide per numerum classium, habebis numerum 330, et hoc inscriptum est in foro, quod classes in probatione librantur. Hoc adhiberi posset.
Secundum hoc, Soloviev Romanus cum metrico accessit, illud Proxy Score appellavimus, quod cum ductori tabula satis bene connectitur. Punctum est: praedictionem facis, sume summam 1 praedicatorum tuorum, et numerum objectorum pro singulis classibus numera. Deinde detrahe ab unoquoque valore 330 et adde valores absolutos consequentes.
Valores sequentes habiti sunt. Quae res nos adiuvit non ut ducem perscrutandis crearemus, sed localiter et coefficientes nostris centuriis convalesceremus.
Cum globo tantam celeritatem habere posses. Quid aliud facerem? Pone indicium quod classes in probatione compensantur.
Alia erat libratio. β Ex guys qui primum locum conpensabant.
Quid fecimus? Nostra libratio satis simplex erat, suggerebatur Evgeny Babakhnin. Praedictiones nostras primum a capite primo sortiti sumus, et candidatos ex eis delecti, ut numerus classium 1 non excedat. Sed per aliquot classes pauciores quam 330 Predictores evadunt. ac nos quoque candidatos eligemus.
Quid interest a libratione principatus? Accedunt iterativa, maxime populares classis, et probabilia illi classis decrescebant ab aliquo numero usque ad illud genus non amplius popularis. Proxima classis festissimè cepimus. Ita eos deprimere, donec omnium generum numerus aequalis fieret.
Omnes plus vel minus accesserunt ad retiacula instituendi, sed non omnes conparando usi sunt. Conpensatione utens, in aurum potuisti ire, et si felix esses, deinde in pecuniam.
Quomodo preprocessurus diem? Omnes tempus, plus vel minus praecessere, eodem modo - lineamenta artificiosa faciens, timings vario ictu coloribus enodare conatur, etc. Alexey Nozdrin-Plotnitsky, qui VIII locum iniit, de hac re locutus est.
Aliter id fecit. Dixit omnia haec manus artificia tua non operari, non opus facere ut, retia tua haec omnia de se ipso disceret. Et loco, qui preprocessed notitiarum tuarum modulorum eruditione ascendit. Primigeniam datam in eos proiecit sine praeprocessionaliter - punctum coordinatas et timings.
Deinde accepit differentiam coordinatarum, et omnia secundum timings Curabitur. et venit cum matrice longiore. Convolutionem 1D pluries apposuit ad obtinendam matrix magnitudinis 64xn, ubi n est numerus punctorum, et fit 64 ad alendum matrix consequens ad lavacrum cuiuslibet retis convolutionis, quae recipit numerum canalium. - 64. Obtinuit matrix 64xn, tum ex eo necesse fuit tensorem alicuius magnitudinis creare ut numerus canalium aequalis esset 64. omnia puncta X, Y in extensione ab 0 ad 32 creare normalizavit. tensor magnitudinis 32x32. Nescio cur 32x32 vellet, modo hoc modo factum est. Et in coordinata hac matrice huius magnitudinis fragmentum posuit LXIIIIn. Hoc modo finitum est tensorem cum 64x32x32 ut ulterius in network convolutionale neurale tuum ponere possis. Haec omnia volui dicere.
Source: www.habr.com