Heus Habr!
Non saepe statuimus translationes textuum hic biennium sine codice et plane naturae academicae ponere - sed hodie exceptionem faciemus. Speramus dilemma in titulo articuli sollicitudines multas legentium positas, et iam legis praecipuum opus in rationibus evolutionis, cum quibus haec tabella in originali disputat vel nunc legetur. Welcome to felis!
Mense Martio MMXVII, OpenAI fluctus in alta societate discendi fecit cum charta ". Hoc opus gravissimos eventus describit pro eo quod supplementum doctrinae (RL) cuneus non factus est, et cum retiacula neuralis implicata instituens, alias methodos experiri convenit. Tum disceptatio orta est de momentum doctrinae supplementi et quam dignus statu suo ut technologiam "debet-habere" ad problema solvendum docendum. Hic libet dicere duas has technologias non habendas esse certatim, quarum una altera plane melior est; e contra tandem se invicem complent. Imo, si parum cogitas de eo quod facit creare et huiusmodi systemata, quae per totum exsistentiam ad discendum, consilium et consilium capaces essent, fere certe ad conclusionem hanc vel illam coniunctam solutionem requiri debebimus. Obiter sane haec coniunctio solutio ad naturam pervenit, quae mammalia et alia superiora animalia complexa intelligentia per evolutionem dotavit.
Strategies Evolutionary
Praecipua propositio chartarum OpenAI erat quod, pro supplemento studiorum cum tradito backpropagatione coniuncto, reticulum neurale ad solvendum implicatas difficultates utentes quod "consilium evolutionis" (ES" appellaverunt, feliciter instituerunt. Accessus hic ES constat ponere retis amplitudinem ponderum, quae multiplices agentium in parallelis laborantibus ac parametris ex hac distributione delectis utitur. Unumquodque agens in suo ambitu operatur, et expleto certo numero episodium vel stadium eventus, algorithmus reddit praemium cumulativum, expressum ut score congruens. Hoc valore ratione habita, distributio parametri in agentia feliciora transferri potest, minus prosperos privans. Milia temporum iterando talem operationem, centenis agentium participatione, movere potest distributio ponderum ad spatium, quod procuratores permittit edicere praecipuum quale consilium ad solvendum negotium illis datum. Re quidem vera eventus qui in articulo sunt impressivi sunt: ostenditur quod si mille agentium in parallelis curris, tum motivum anthropomorphicum in duobus cruribus disci posse minus quam media hora (dum etiam methodi antecedens RL plus exigunt. una hora est). Pro accuratioribus informationibus, lectioni excellenti commendo ex experimenti auctoribus necnon .
Varia consilia docendae anthropomorphicae rectae ambulationis, studuit methodo ES utendi ab OpenAI.
Niger arca
Magna huius methodi utilitas est, ut facile pareatur. Dum RL modi, ut A3C, informationes postulant ut inter fila laborantium et servientem modularis permutanda sint, ES solum aestimationes idoneitatem indiget et notitias parametri distribuendi. Huic simplicitati obvenit quod methodus haec modernis RL longe antecedat methodis in terminis scalandis facultatibus. Sed haec omnia non incassum veniunt: habes ipsum secundum principium nigrum ad optimize retis. Hoc in casu, "arca nigra" significat in institutione retis structuram internam penitus ignorari, et solum totius eventus (praemium pro facto) adhibetur, et ab ea pendet num pondera alicuius retis voluntas. a posteris possidenda. In casibus in quibus non multae opiniones de ambitu accipimus — et in multis traditis RL quaestionibus profluxus praemiorum valde sparsus est — quaestio de "parte nigra capsa" esse "arcam omnino nigram". Hoc in casu, signanter augere potest fructibus, ita nimirum talis transactio iustificatur. "Quis eget gradientibus, si usquam tumultuantur?" — Haec communis opinio est.
Sed in casibus ubi opiniones magis activae sunt, res errare incipiunt pro ES. Turma OpenAI describit quomodo retis classificationis simplex MNIST utens ES instructus est, et hoc tempore 1000 temporibus tardius fuit. Re vera est signum gradientis in classificatione imaginis perquam informativum quoad modum quo melius classificationem retiacula doceret. Ita quaestio minus est cum RL arte et pluribus praemiis sparsis in ambitibus quae gradationes strepitus gignunt.
Naturae solutio
Si ex exemplo naturae cognoscere conamur, cogitando de modis evolvendi AI, quandoque AI in casibus cogitari potest. . Ceterum natura in angustiis operatur quod physici computatrum simpliciter non habent. Opinio est quod mere theoretica accessus ad particularem problema solvendum efficacius solutiones praebere potest quam opifices empiricas. Nihilominus tamen operae pretium fore puto probare quomodo systema dynamicum operans sub quibusdam angustiis (terrae) agentium (animalia, praecipue mammalia) generavit capax morum flexibilium et multiplex. Dum haec cohiberi non valent in simulatis notitiae scientiae mundos, alii denique sunt.
Perspectis moribus intellectualibus mammalium, perspicimus eam formari ex multiplici mutua influxu duorum processuum proxime inter se cohaerentium; discere ab aliis experientiis и discere agendo. Illa saepe cum evolutione naturali electione impulsa aequatur, hic autem ampliori vocabulo utimur ad rationem epigeneticorum, microbiomarum, aliarumque mechanismatum, quae communicationem experientiarum inter organismos genetice extraneos efficiunt. Secundus processus, ab experientia discens, est omne indicium quod animal ad discendum per totam vitam agit, et haec informatio directe determinatur per commercium huius animalis cum extra mundum. Haec categoria omnia comprehendit a discendo res cognoscendi ad coercendam communicationem in processu discendi inhaerentem.
Dure loquendo, hi duo processus in natura occurrentes comparari possunt cum duobus optionibus ad retiacula optimizing neuralis. Insidijs evolutionis, ubi de gradibus informationes adhibentur ad informationes de organismo renovandas, propius ad discendum ab aliorum experientia accedunt. Similiter modi gradientes, ubi unam vel aliam experientiam obtinentes aliamve mutationem in moribus agentis perducunt, discendi ex propria experientia comparantur. Si consideremus de generibus intellegentium morum vel facultatum, quae singulae istae duae accessiones fiunt in animalibus, fit comparatio acutior. In utroque casu, "modos evolutionis" promovere studium reactivum agendi, qui permittit aliquem congruum enucleare (sufficiens ad vivendum). Doctrina ambulandi vel fugae captivitatis multis in casibus aequivalet moribus "instinctivis", qui "durum wired" in multis animalibus in gradu genetico sunt. Praeterea, hoc exemplum confirmat methodos evolutionis applicandas esse in casibus in quibus signum praemium rarissimum est (exempli gratia, res felicis suscitationis infantis). Hoc in casu, impossibile est praemium referre quamlibet speciem actionum quae multis annis ante huius rei eventum fieri potest. Ex altera parte, si consideremus casum in quo ES deficit, nempe imago classificationis, eventus egregie comparantur cum eventibus discendi animalis consecuti in innumerabilibus experimentis psychologicis gerendi ultra 100 annos peractis.
Discendi ab animalibus
Modi in doctrina supplementi adhibiti sunt in multis casibus directe ex litteris psychologicis desumptis et operans condicionibus psychologia animali utens studebat. Obiter Richard Sutton, unus e duobus fundatoribus doctrinae subsidii, gradum baccalaurei habet in psychologia. In contextu condiciones operantis, animalia praemium vel poenam cum certis morum exemplaribus coniungere discunt. Lanistis et inquisitores hanc mercedem consociationis alio modo vel alio modo mutare possunt, provocantes bestias ad intelligentiam vel certos mores demonstrandos. Condiciones autem operativae, uti in investigationibus animalis, nihil aliud est quam forma acutior eiusdem condicionis ex qua animalia per totam vitam discunt. Constanter signa positivi subsidii ex ambitu accipimus ac mores nostros componimus proinde. Multi enim neuroscientists et phisici cognitivi credunt homines et alia animalia actu in altiori gradu operari et continue discunt praedicere exitum suae conversationis in futuris adiunctis ex potential praemiis.
Praedictio praecipua in experientia discendi ab experientia mutat motus quos supra notabiliter describit. Signum quod antea nimis sparsum erat (praemium episodic) evadit densissimum esse. Res speculativae est aliquid simile: quovis tempore cerebrum mammalium computat eventus, in complexu stimulorum et actionum sensuum, animal simpliciter in hoc flumine immersum. In hoc casu, finalis animalis mores validum signum dat, quod ad moderandas praenotiones et progressionem agendi adhibenda est. His omnibus significationibus cerebrum utitur ad praenuntiationes optimizandas (ac proinde actionum qualitates) in futurum. Cuius accessionis recensio habetur in optimo libro.cognitivus physicus et philosophus Andy Clark. Si talem rationem ad institutionem agentium artificialium expromeremus, tunc praecipuum vitium in supplemento doctrinae revelatur: signum in hoc paradigma adhibitum haudquaquam debili comparatur ad id quod fieri potest (vel debet). In casibus in quibus fieri non potest ut signum satietatem augeat (fortasse quia in se debilis est vel cum reactivitate humili coniungitur), fortasse melius est praeponere methodum bene parallelam instituendam, exempli gratia, ES.
Ditior disciplina retiacula neural
Ex principiis activitatis neuralis altioris inhaerentis cerebro mammalio, quae assidue occupatur praedictiones, recentes progressiones factae sunt in supplementum doctrinae, quae nunc considerat momentum talium praedictionum. Duo similia opera tibi statim commendare possum:
In utroque chartarum auctoribus auctoribus defaltam propriae retiacula neuralis eorum supplementum adiungit cum vaticinio eventus de statu ambitus in futuro. In primo articulo, praevidens applicatur variarum mensurarum variabilium, et in secundo praevisio applicatur mutationum rerum et agendi secundum se gerendi; In utroque casu, signum sparsum cum subsidiis positive coniungendis multo uberior fit informativus, permittens tam citius discendi quam multiplicior agendi ratio. Emendationes eiusmodi tantum in promptu sunt cum modis qui signo gradiente utuntur, non cum methodis quae in principio "nigrae arca" operantur, sicut ES.
Praeterea, doctrina experientiae et methodi gradientes multo efficaciores sunt. Etiam in casibus ubi fieri potuit ut problema particulari studeret utens methodo ES citius quam utens supplementum discendi, lucrum consecutum est ex eo quod consilium ES pluries plurium notitiarum quam cum RL implicavit. In hoc enim considerando principia addiscendorum in animalibus, notamus quod ex exemplo alterius discendi post multas generationes se manifestat, quandoque autem unum quod per se expertus est, sufficit animali ad discendum semper lectionem. dum sicut Dum non satis convenit in methodos traditionales gradientes, multo magis intelligibilis quam ES. Sunt, enim, adit ut , ubi Q-valores reponuntur in processu paedagogico, post quem programma cohibet antequam actiones peragant. Effectus est modus clivus, qui permittit discere quomodo quaestiones solvendas multo celerius quam ante. In articulo de neurale episodio potestate, auctores nominant humanum hippocampum, quod potest habere informationem de eventu etiam post unum experientiam ac proinde fabulas. in processu recordationis. Tales machinae accessum requirunt ad ordinationem agentis internam, quae etiam per definitionem impossibilis est in paradigma ES.
Quidni igitur ea cogenda?
Verisimile est quod multa huius articuli impressionem relinqueret quod ego RL modos auctor. Ego tamen existimo optimam utriusque methodi solutionem detegere, ut in iis adiunctis, in quibus aptissimum est, uterque adhibeatur. Patet, in multis reacceptis consiliis, vel in condicionibus cum raris significationibus positivi subsidii, ES vincit, praesertim si vim computandi in arbitrio tuo habes, in qua rudimenta massive comparare potes. Ex altera parte, methodi gradientes utentes ad doctrinam supplementum vel ad eruditionem procurandam utiles erunt cum accessus ad amplas opiniones et opus est ad solvendam quaestionem cito et cum minori notitia discendum.
Conversus ad naturam invenimus quod primus modus secundum essentiam fundat secundum. Hac de causa, per cursum evolutionis, mammalia cerebra effecta sunt, quae permittunt ut efficaciter discere a signis complexis ex ambitu ortis. Patet igitur quaestio. Insidijs evolutionis fortasse adiuvabit ut architecturae discendi efficaces adinveniant, quae etiam ad methodos discendi gradientes utiles erunt. Ceterum solutio a natura inventa est quidem prospere.
Source: www.habr.com