Hey Habr!
Ha se hangata re nkang qeto ea ho beha liphetolelo tsa mangolo a neng a le lilemo tse peli mona, ntle le khoutu le ka mokhoa o hlakileng oa thuto - empa kajeno re tla etsa mokhelo. Re tšepa hore bothata bo hlahisitsoeng sehloohong sa sehlooho sena bo tšoenya babali ba rona ba bangata, 'me u se u balile mosebetsi oa motheo oa mekhoa ea ho iphetola ha lintho eo poso ena e hanyetsanang le eona qalong kapa e tla e bala hona joale. Rea u amohela katse!
Ka Hlakubele 2017, OpenAI e ile ea etsa maqhubu sechabeng sa thuto e tebileng ka pampiri "" Mosebetsi ona o hlalositse liphetho tse khahlang molemong oa hore thuto ea ho matlafatsa (RL) ha e so fetohe, 'me ha u koetlisa marang-rang a rarahaneng a methapo, ho bohlokoa ho leka mekhoa e meng. Khang e ile ea qhoma mabapi le bohlokoa ba ho matlafatsa thuto le hore na e tšoaneloa ke boemo ba eona e le theknoloji e "tlamehileng ho ba le" bakeng sa ho ruta ho rarolla mathata. Mona ke batla ho re litheknoloji tsena tse peli ha lia lokela ho nkoa e le tlholisano, e 'ngoe ea eona e ntle ka ho hlaka ho feta e' ngoe; ho fapana le hoo, qetellong lia tlatsana. Ehlile, haeba u nahana hanyane ka se hlokahalang ho bopa le litsamaiso tse joalo, tseo ho pholletsa le boteng ba tsona li ka khonang ho ithuta, ho ahlola le ho rera, joale ka sebele re tla fihlela qeto ea hore sena kapa tharollo e kopantsoeng e tla hlokahala. Ka tsela, e ne e le hantle tharollo ena e kopantsoeng eo tlhaho e ileng ea tla ho eona, e ileng ea fa liphoofolo tse anyesang le liphoofolo tse ling tse phahameng ka bohlale bo rarahaneng nakong ea ho iphetola ha lintho.
Mekhoa ea ho Tsoela Pele
Taba e ka sehloohong ea pampiri ea OpenAI e ne e le hore, ho e-na le ho sebelisa thuto ea matlafatso e kopantsoeng le mokhoa oa ho khutlela morao, ba atlehile ho koetlisa marang-rang a marang-rang ho rarolla mathata a rarahaneng ba sebelisa seo ba se bitsang "leano la ho iphetola ha lintho" (ES). Mokhoa ona oa ES o kenyelletsa ho boloka litekanyo tsa marang-rang ka bophara, tse kenyelletsang mahlahana a mangata a sebetsang ka mokhoa o ts'oanang le ho sebelisa litekanyetso tse khethiloeng ho tloha kabong ena. Moemeli e mong le e mong o sebetsa tikolohong ea hae, 'me ha ho phetheloa palo e itseng ea liketsahalo kapa methati ea ketsahalo, algorithm e khutlisa moputso o akaretsang, o hlahisoang e le lintlha tsa boikoetliso. Ho ela hloko boleng bona, ho ajoa ha li-parameter ho ka fetisetsoa ho baemeli ba atlehileng haholoanyane, ho thibela ba atlehileng haholo. Ka ho pheta ts'ebetso e joalo ka makhetlo a limilione ka ho kenya letsoho ha baemeli ba makholo, hoa khoneha ho fetisetsa kabo ea litekanyo sebakeng se tla lumella baemeli ho etsa leano la boleng bo phahameng bakeng sa ho rarolla mosebetsi oo ba o filoeng. Ka sebele, liphetho tse hlahisitsoeng sehloohong sena li tsoteha: ho bontšoa hore haeba u tsamaisa mahlahana a sekete ka mokhoa o ts'oanang, joale anthropomorphic locomotion ka maoto a mabeli e ka ithutoa ka nako e ka tlaase ho halofo ea hora (ha esita le mekhoa e tsoetseng pele ka ho fetisisa ea RL e hloka ho sebelisa chelete e ngata. ho feta hora ho sena). Bakeng sa tlhaiso-leseling e batsi, ke khothaletsa ho bala tse ntle haholo ho tsoa ho bangoli ba teko, hammoho le .
Mekhoa e fapaneng ea ho ruta anthropomorphic ho tsamaea hantle, e ithutoang ho sebelisoa mokhoa oa ES ho tloha OpenAI.
Lebokose le letšo
Molemo o moholo oa mokhoa ona ke hore o ka bapisa habonolo. Le hoja mekhoa ea RL, e kang A3C, e hloka hore tlhahisoleseding e fapanyetsane pakeng tsa likhoele tsa basebetsi le seva sa parameter, ES e hloka feela likhakanyo tsa ho ikoetlisa le tlhahisoleseding e akaretsang ea kabo ea parameter. Ke ka lebaka la bonolo bona mokhoa ona o ka pele ho mekhoa ea morao-rao ea RL mabapi le bokhoni ba ho lekanya. Leha ho le joalo, sena sohle ha se tle ka lefeela: o tlameha ho ntlafatsa marang-rang ho latela molao-motheo oa lebokose le letšo. Tabeng ena, "lebokose le letšo" le bolela hore nakong ea koetliso mohaho oa ka hare oa marang-rang o hlokomolohuoa ka ho feletseng, 'me ho sebelisoa feela phello e akaretsang (moputso bakeng sa ketsahalo), 'me ho itšetlehile ka eona hore na boima ba marang-rang bo itseng bo tla. ho fuwa ke meloko e latelang. Maemong ao re sa fumaneng maikutlo a mangata a tsoang tikolohong-le mathateng a mangata a tloaelehileng a RL phallo ea meputso e fokola haholo-bothata bo tloha ho "lebokose le letšo" ho "lebokose le letšo ka ho feletseng." Tabeng ena, o ka eketsa tlhahiso haholo, ka hona, ehlile, ho sekisetsa ho joalo hoa utloahala. "Ke mang ea hlokang li-gradients haeba leha ho le joalo li lerata ka mokhoa o nyahamisang?" - ena ke maikutlo a akaretsang.
Leha ho le joalo, maemong ao maikutlo a sebetsang haholo, lintho li qala ho tsamaea hampe bakeng sa ES. Sehlopha sa OpenAI se hlalosa kamoo marang-rang a bonolo a lihlopha tsa MNIST a ileng a koetlisoa kateng ka ES, 'me lekhetlong lena koetliso e ne e le butle ka makhetlo a 1000. 'Nete ke hore lets'oao la gradient ho tlhophiso ea litšoantšo le ruta haholo mabapi le mokhoa oa ho ruta marang-rang ho hlophisa hantle. Kahoo, bothata bo fokotseha ka mokhoa oa RL mme ho feta ka meputso e fokolang libakeng tse hlahisang likhahla tse lerata.
Tharollo ea tlhaho
Haeba re leka ho ithuta mohlaleng oa tlhaho, ho nahana ka litsela tsa ho hlahisa AI, joale maemong a mang AI e ka nkoa e le . Ntle le moo, tlhaho e sebetsa ka har'a litšitiso tseo bo-ramahlale ba likhomphutha ba se nang tsona. Ho na le maikutlo a hore mokhoa feela oa khopolo-taba oa ho rarolla bothata bo itseng o ka fana ka litharollo tse sebetsang ho feta mekhoa e meng e matla. Leha ho le joalo, ke ntse ke nahana hore ho tla ba molemo ho hlahloba hore na tsamaiso e matla e sebetsang tlas'a mathata a itseng (Lefatše) e hlahisitse li-agents (liphoofolo, haholo-holo liphoofolo tse anyesang) tse khonang ho fetoha le boitšoaro bo rarahaneng. Le ha tse ling tsa litšitiso tsena li sa sebetse lefats'eng la mahlale a data, tse ling li lokile.
Ha re se re hlahlobile boits'oaro ba bohlale ba liphoofolo tse anyesang, rea bona hore bo thehiloe ka lebaka la ts'usumetso e rarahaneng ea mekhoa e 'meli e amanang haufi-ufi: ho ithuta ho tsoa liphihlelong tsa ba bang и ho ithuta ka ho etsa. Ea pele hangata e tšoantšoa le ho iphetola ha lintho e tsamaisoang ke khetho ea tlhaho, empa mona ke sebelisa lentsoe le pharaletseng ho ela hloko epigenetics, microbiomes, le mekhoa e meng e nolofalletsang ho arolelana liphihlelo pakeng tsa lintho tse phelang tse sa amaneng le lefutso. Mokhoa oa bobeli, ho ithuta ho tsoa phihlelong, ke boitsebiso bohle boo phoofolo e khonang ho ithuta eona bophelong bohle ba eona, 'me boitsebiso bona bo khethoa ka ho toba ke ho sebelisana ha phoofolo ena le lefatše le ka ntle. Sehlopha sena se kenyelletsa ntho e 'ngoe le e' ngoe ho tloha ho ithuta ho lemoha lintho ho isa ho ho tseba puisano e teng nakong ea ho ithuta.
Ka mantsoe a mang, lits'ebetso tsena tse peli tse etsahalang tlhahong li ka bapisoa le likhetho tse peli tsa ho ntlafatsa marang-rang a neural. Mekhoa ea ho iphetola ha lintho, moo tlhahisoleseding e mabapi le li-gradients e sebelisoang ho ntlafatsa tlhahisoleseding e mabapi le sebōpuoa, e atamela haufi le ho ithuta ho tsoa phihlelong ea ba bang. Ka mokhoa o ts'oanang, mekhoa ea gradient, moo ho fumana phihlelo e le 'ngoe kapa e' ngoe ho lebisang phetohong e le 'ngoe boitšoarong ba moemeli, e bapisoa le ho ithuta ho tsoa phihlelong ea hae. Haeba re nahana ka mefuta ea boitšoaro bo bohlale kapa bokhoni boo e mong le e mong oa mekhoa ena e 'meli e hlahisoang ke liphoofolo, papiso e ba e hlakileng haholoanyane. Maemong ana ka bobeli, "mekhoa ea ho iphetola ha lintho" e khothalletsa thuto ea boitšoaro bo hlephileng bo lumellang motho ho hlaolela ho itekanela ho itseng (ho lekaneng ho lula a phela). Ho ithuta ho tsamaea kapa ho baleha botlamuoeng hangata ho tšoana le mekhoa e mengata ea "tlhaho" e nang le "maele a thata" ho liphoofolo tse ngata boemong ba liphatsa tsa lefutso. Ho phaella moo, mohlala ona o tiisa hore mekhoa ea ho iphetola ha lintho e sebetsa maemong ao pontšo ea moputso e sa tloaelehang haholo (mohlala, 'nete ea ho hōlisa lesea ka katleho). Boemong bo joalo, ho ke ke ha khoneha ho hokahanya moputso le sete e itseng ea liketso tse ka 'nang tsa etsoa lilemo tse ngata pele ho etsahala taba ena. Ka lehlakoreng le leng, haeba re nahana ka nyeoe eo ES e hlōlehang ho eona, e leng ho khetholla litšoantšo, liphello li tšoana ka mokhoa o tsotehang le liphello tsa thuto ea liphoofolo tse fihletsoeng litekong tse ngata tsa boitšoaro ba kelello tse entsoeng ka lilemo tse fetang 100-plus.
Ho Ithuta ho Liphoofolo
Mekhoa e sebelisoang ho matlafatsa thuto e maemong a mangata e nkiloe ka ho toba ho lingoliloeng tsa kelello ka , 'me boemo ba opereishene bo ile ba ithutoa ho sebelisoa psychology ea liphoofolo. Ka tsela, Richard Sutton, e mong oa bathehi ba babeli ba thuto ea matlafatso, o na le lengolo la bachelor ho psychology. Boemong ba maemo a ts'ebetso, liphoofolo li ithuta ho amahanya moputso kapa kotlo le mekhoa e itseng ea boitšoaro. Bakoetlisi le bafuputsi ba ka fetola mokhatlo ona oa moputso ka tsela e 'ngoe kapa e' ngoe, ba hlohlelletsa liphoofolo ho bontša bohlale kapa boitšoaro bo itseng. Leha ho le joalo, boemo bo sebetsang, joalo ka ha bo sebelisoa liphuputsong tsa liphoofolo, ha se letho haese mokhoa o hlakileng haholoanyane oa boemo bo tšoanang motheong oo liphoofolo li ithutang tsona bophelong bohle ba tsona. Re lula re fumana matšoao a matlafatso a tsoang tikolohong le ho lokisa boitšoaro ba rona ka nepo. Ebile, bo-ramahlale ba bangata ba methapo ea kutlo le bo-ramahlale ba kelello ba lumela hore batho le liphoofolo tse ling ba hlile ba sebetsa maemong a holimo le ho feta 'me ba lula ba ithuta ho bolela esale pele sephetho sa boitšoaro ba bona maemong a tlang ho latela meputso e ka bang teng.
Karolo e ka sehloohong ea ho bolela esale pele ho ithuta ho tsoa phihlelong e fetola matla a hlalositsoeng ka holimo ka litsela tse kholo. Letšoao leo pele le neng le nkoa le fokola haholo (moputso oa episodic) le fetohile le letenya haholo. Ka khopolo, boemo ke ntho e kang ena: ka nako leha e le efe, boko ba phoofolo e anyesang bo bala liphetho ho latela mokhoa o rarahaneng oa tšusumetso ea maikutlo le liketso, ha phoofolo e ntse e qoelisoa feela molapong ona. Tabeng ena, boitšoaro ba ho qetela ba phoofolo bo fana ka pontšo e matla e lokelang ho sebelisoa ho tataisa tokiso ea esale pele le nts'etsopele ea boitšoaro. Boko bo sebelisa mats'oao ana kaofela ho ntlafatsa bolepi ('me, ka hona, boleng ba liketso tse nkuoeng) nakong e tlang. Kakaretso ea mokhoa ona e fanoe bukeng e ntle haholo "” rasaense ea nang le kelello le rafilosofi Andy Clark. Haeba re fetisa monahano o joalo koetlisong ea mahlahana a maiketsetso, joale ho na le bofokoli ba bohlokoa thutong ea matlafatso e senotsoeng: lets'oao le sebelisitsoeng paradigm ena le fokola haholo ha le bapisoa le seo le ka bang sona (kapa le lokelang ho ba lona). Maemong ao ho ke keng ha khoneha ho eketsa tšitiso ea pontšo (mohlomong hobane e fokola ka tlhaho kapa e amahanngoa le reactivity ea boemo bo tlaase), mohlomong ho molemo ho khetha mokhoa oa koetliso o bapisoang hantle, mohlala, ES.
Koetliso e matla ea marang-rang a neural
Ho aha holim'a melao-motheo ea ts'ebetso e phahameng ea methapo ea kutlo bokong ba mammalian, bo lulang bo tšoarehile ka ho bolela esale pele, tsoelo-pele ea morao-rao e entsoe thutong ea matlafatso, eo joale e nkang bohlokoa ba likhakanyo tse joalo. Hang-hang nka khothaletsa mesebetsi e 'meli e tšoanang le uena:
Lipampiring tsena ka bobeli, bangoli ba tlatselletsa leano le tloaelehileng la kamehla la marang-rang a bona a marang-rang ka liphetho tse boletsoeng esale pele mabapi le boemo ba tikoloho nakong e tlang. Sehloohong sa pele, ho bolela esale pele ho sebelisoa ho mefuta e fapaneng ea litekanyo, 'me ea bobeli, ho bolela esale pele ho sebelisoa liphetohong tsa tikoloho le boitšoaro ba moemeli joalo. Maemong ana ka bobeli, lets'oao le fokolang le amanang le matlafatso e ntle le fetoha lerui le le rutang haholoanyane, le lumellang ho ithuta ka potlako le ho fumana boitšoaro bo rarahaneng. Lintlafatso tse joalo li fumaneha feela ka mekhoa e sebelisang letšoao la gradient, eseng ka mekhoa e sebetsang ka molao-motheo oa "black box", joalo ka ES.
Ho feta moo, ho ithuta ho tsoa phihlelong le mekhoeng ea gradient ho sebetsa haholo. Esita le maemong ao ho neng ho khoneha ho ithuta bothata bo itseng ho sebelisa mokhoa oa ES ka potlako ho feta ho sebelisa thuto ea ho matlafatsa, phaello e ile ea finyelloa ka lebaka la hore leano la ES le ne le ameha ka makhetlo a mangata ho feta ka RL. Ha re nahana tabeng ena ka melao-motheo ea ho ithuta liphoofolong, rea hlokomela hore phello ea ho ithuta mohlaleng oa motho e mong e iponahatsa ka mor’a meloko e mengata, athe ka linako tse ling ketsahalo e le ’ngoe e nang le phihlelo ka boeona e lekane hore phoofolo e ithute thuto eo ka ho sa feleng. Leha ho le joalo Le hoja e sa lumellane hantle le mekhoa ea setso ea gradient, e utloahala ho feta ES. Ho na le, mohlala, mekhoa e kang , moo litekanyetso tsa Q li bolokiloeng nakong ea thupelo, ka mor'a moo lenaneo le li hlahloba pele le nka liketso. Sephetho ke mokhoa oa gradient o u lumellang hore u ithute ho rarolla mathata ka potlako ho feta pele. Sengoliloeng se mabapi le neural episodic control, bangoli ba bua ka hippocampus ea motho, e khonang ho boloka tlhahisoleseling mabapi le ketsahalo leha e le ka mor'a boiphihlelo bo le bong, ka hona, e bapala. mokgoa wa ho hopola. Mekhoa e joalo e hloka ho fihlella mokhatlong oa ka hare oa moemeli, oo hape, ka tlhaloso, o ke keng oa khoneha ho paradigm ea ES.
Kahoo, ke hobane'ng ha u sa li kopanye?
Ho ka etsahala hore boholo ba sengoloa sena se ka siea maikutlo a hore ke buella mekhoa ea RL. Leha ho le joalo, ha e le hantle ke nahana hore ka nako e telele tharollo e molemo ka ho fetisisa ke ho kopanya mekhoa e 'meli, e le hore e' ngoe le e 'ngoe e sebelisoe maemong ao ho eona e loketseng ka ho fetisisa. Ho hlakile hore molemong oa maano a mangata a sebetsang kapa maemong a nang le matšoao a fokolang haholo a matlafatso e ntle, ES e ea hlola, haholo haeba o na le matla a komporo ao o ka tsamaisang koetliso e tšoanang ho ona. Ka lehlakoreng le leng, mekhoa ea gradient e sebelisang ho matlafatsa thuto kapa thuto e hlokometsoeng e tla ba molemo ha re fumana maikutlo a mangata 'me re hloka ho ithuta ho rarolla bothata kapele le ka lintlha tse fokolang.
Ha re retelehela tlholehong, re fumana hore mokhoa oa pele, ha e le hantle, o rala motheo oa oa bobeli. Ke ka lebaka leo, nakong ea ho iphetola ha lintho, liphoofolo tse anyesang li thehileng boko bo li lumellang hore li ithute ka katleho ho tsoa lipontšong tse rarahaneng tse tsoang tikolohong. Kahoo, potso e ntse e bulehile. Mohlomong maano a ho iphetola ha lintho a tla re thusa ho qapa meralo e sebetsang ea ho ithuta e tla ba molemo le mekhoeng ea ho ithuta ea gradient. Etsoe, tharollo e fumanoeng ka tlhaho e hlile e atlehile haholo.
Source: www.habr.com