Hlo Habr!
Peb tsis feem ntau txiav txim siab tshaj tawm ntawm no cov lus txhais ntawm cov ntawv uas muaj ob xyoos, tsis muaj cai thiab kom meej meej ntawm kev kawm - tab sis hnub no peb yuav ua qhov zam. Peb cia siab tias qhov teeb meem tshwm sim hauv lub npe ntawm tsab xov xwm txhawj xeeb ntau ntawm peb cov neeg nyeem, thiab koj twb tau nyeem cov haujlwm tseem ceeb ntawm cov tswv yim evolutionary uas cov ntawv tshaj tawm no sib cav hauv thawj lossis yuav nyeem tam sim no. Txais tos rau tus miv!
Thaum Lub Peb Hlis 2017, OpenAI tau ua nthwv dej hauv zej zog kev kawm tob nrog daim ntawv "β Txoj haujlwm no tau piav qhia txog cov txiaj ntsig zoo hauv qhov kev pom zoo ntawm qhov kev txhawb nqa kev kawm (RL) tsis tau dhau los ua ib qho kev sib tw, thiab thaum cob qhia cov kev sib txuas ntawm cov neural, nws raug nquahu kom sim lwm txoj hauv kev. Kev sib cav tom qab ntawd tau tshwm sim txog qhov tseem ceeb ntawm kev txhawb nqa kev kawm thiab qhov tsim nyog ntawm nws cov xwm txheej li cas "yuav tsum muaj" thev naus laus zis rau kev qhia daws teeb meem. Ntawm no kuv xav hais tias ob lub thev naus laus zis no yuav tsum tsis txhob suav tias yog kev sib tw, ib qho yog kom meej meej zoo dua li lwm qhov; ntawm qhov tsis sib xws, lawv thaum kawg ua tiav ib leeg. Qhov tseeb, yog tias koj xav me ntsis txog qhov nws yuav siv los tsim thiab cov tshuab no, uas thoob plaws hauv lawv lub neej yuav muaj peev xwm kawm, kev txiav txim siab thiab kev npaj, ces peb yuav luag txhua qhov kev txiav txim siab tias qhov no lossis qhov kev daws teeb meem yuav tsum tau ua. Los ntawm txoj kev, nws yog qhov tseeb qhov kev sib xyaw ua ke uas qhov tshwm sim tuaj rau, uas tau txais cov tsiaj nyeg thiab lwm yam tsiaj siab dua nrog kev txawj ntse nyuaj thaum lub sijhawm evolution.
Evolutionary Strategies
Lub ntsiab lus tseem ceeb ntawm OpenAI daim ntawv yog tias, es tsis txhob siv kev txhawb nqa kev kawm ua ke nrog kev rov ua dua qub, lawv tau kawm tiav lub network neural los daws cov teeb meem nyuaj uas lawv hu ua "evolutionary strategy" (ES). Txoj hauv kev ES no suav nrog kev tswj hwm kev sib faib thoob plaws hauv lub network ntawm qhov hnyav, suav nrog ntau tus neeg ua haujlwm ua haujlwm sib luag thiab siv cov kev txwv xaiv los ntawm qhov kev faib tawm no. Txhua tus neeg sawv cev ua haujlwm hauv nws tus kheej ib puag ncig, thiab tom qab ua tiav cov ntu ntu lossis ntu ntu ntawm ntu ntu, cov txheej txheem rov qab tau txais txiaj ntsig ntau ntxiv, qhia raws li cov qhab nia muaj zog. Ua raws li tus nqi no rau hauv tus account, qhov kev faib tawm ntawm qhov tsis tuaj yeem hloov mus rau cov neeg ua haujlwm tau zoo dua, ua rau tsis muaj kev vam meej. Los ntawm kev rov ua haujlwm ntau lab lub sijhawm nrog kev koom tes ntawm ntau pua tus neeg sawv cev, nws muaj peev xwm txav tau qhov kev faib tawm ntawm qhov hnyav mus rau qhov chaw uas yuav tso cai rau cov neeg ua haujlwm tsim txoj cai zoo rau kev daws cov haujlwm uas tau muab rau lawv. Tseeb tiag, cov txiaj ntsig tau nthuav tawm hauv tsab xov xwm yog qhov zoo siab: nws tau pom tias yog tias koj khiav ib txhiab tus neeg sawv cev ua ke, tom qab ntawd anthropomorphic locomotion ntawm ob txhais ceg tuaj yeem kawm tau tsawg dua li ib nrab teev (thaum txawm tias cov txheej txheem RL feem ntau xav tau kev siv nyiaj ntau dua. tshaj ib teev ntawm qhov no). Yog xav paub ntxiv, kuv xav kom nyeem qhov zoo tshaj plaws los ntawm cov kws sau ntawv ntawm kev sim, thiab .
Cov tswv yim sib txawv rau kev qhia anthropomorphic upright taug kev, kawm siv ES txoj kev los ntawm OpenAI.
Lub thawv dub
Qhov txiaj ntsig zoo ntawm txoj kev no yog tias nws tuaj yeem ua tau yooj yim parallelized. Thaum RL txoj kev, xws li A3C, xav tau cov ntaub ntawv sib pauv ntawm cov neeg ua haujlwm cov xov thiab cov neeg ua haujlwm tsis sib xws, ES tsuas yog xav tau kev kwv yees kev noj qab haus huv thiab cov ntaub ntawv faib tawm dav dav. Nws yog vim qhov yooj yim no uas txoj kev no nyob deb ua ntej ntawm cov txheej txheem RL niaj hnub no nyob rau hauv cov nqe lus ntawm kev ua kom muaj peev xwm. Txawm li cas los xij, txhua yam no tsis tuaj yeem tsis muaj txiaj ntsig: koj yuav tsum txhim kho lub network raws li lub hauv paus ntsiab lus ntawm lub thawv dub. Hauv qhov no, "black box" txhais tau hais tias thaum lub sij hawm kev cob qhia cov txheej txheem sab hauv ntawm lub network yog tsis quav ntsej kiag li, thiab tsuas yog cov txiaj ntsig tag nrho (khoom plig rau ntu) yog siv, thiab nws nyob ntawm seb qhov hnyav ntawm ib lub network tshwj xeeb yuav tau txais los ntawm cov tiam tom ntej. Nyob rau hauv cov xwm txheej uas peb tsis tau txais kev tawm tswv yim ntau los ntawm ib puag ncig-thiab hauv ntau qhov teeb meem RL ib txwm muaj qhov kev txaus siab ntawm cov khoom plig yog qhov sib txawv heev - qhov teeb meem mus los ntawm kev ua "ib nrab lub thawv dub" mus rau "lub thawv dub tag." Nyob rau hauv cov ntaub ntawv no, koj muaj peev xwm ho nce productivity, yog li ntawd, ntawm chav kawm, xws li kev sib haum xeeb yog tsim nyog. "Leej twg xav tau gradients yog tias lawv tsis muaj kev cia siab tsis muaj suab nrov?" - qhov no yog kev xav.
Txawm li cas los xij, nyob rau hauv cov xwm txheej uas tawm tswv yim ntau dua, txhua yam pib mus tsis ncaj ncees lawm rau ES. Pab neeg OpenAI piav qhia txog qhov yooj yim MNIST kev faib tawm network tau kawm siv ES, thiab lub sijhawm no qhov kev cob qhia tau qeeb dua 1000 zaug. Qhov tseeb yog tias cov teeb liab gradient hauv kev faib cov duab yog cov ntaub ntawv tsis tshua muaj txiaj ntsig txog kev qhia cov kev faib network zoo dua li cas. Yog li, qhov teeb meem tsawg dua nrog cov txheej txheem RL thiab ntau dua nrog cov khoom plig me me hauv ib puag ncig uas tsim cov gradients nrov.
Ntuj daws
Yog tias peb sim kawm los ntawm qhov piv txwv ntawm qhov xwm txheej, xav txog txoj hauv kev los tsim AI, ces qee zaum AI tuaj yeem xav txog. . Tom qab tag nrho, xwm ua haujlwm nyob rau hauv kev txwv uas cov kws tshawb fawb hauv computer tsuas tsis muaj. Muaj ib lub tswv yim hais tias ib txoj hauv kev theoretical nkaus xwb los daws qhov teeb meem tshwj xeeb tuaj yeem muab cov kev daws teeb meem zoo dua li lwm txoj hauv kev. Txawm li cas los xij, kuv tseem xav tias nws yuav tsim nyog rau kev sim seb lub cev muaj zog ua haujlwm li cas hauv qee qhov kev txwv (Lub Ntiaj Teb) tau tsim cov neeg ua haujlwm (tsiaj, tshwj xeeb yog tsiaj txhu) muaj peev xwm hloov tau thiab ua rau tus cwj pwm nyuaj. Txawm hais tias qee qhov kev txwv no tsis siv rau hauv simulated cov ntaub ntawv tshawb fawb ntiaj teb, lwm tus tsuas yog zoo.
Tom qab tshuaj xyuas tus cwj pwm kev txawj ntse ntawm cov tsiaj nyeg, peb pom tias nws yog tsim los ntawm kev sib nrig sib cuam tshuam ntawm ob txoj kev sib raug zoo: kawm los ntawm lwm tus txoj kev paub ΠΈ kawm los ntawm kev ua. Cov qub feem ntau sib npaug nrog cov kev hloov pauv uas tau tsav los ntawm kev xaiv ntuj, tab sis ntawm no kuv siv lub ntsiab lus dav dua los coj mus rau hauv tus account epigenetics, microbiomes, thiab lwm yam txheej txheem uas ua rau muaj kev sib koom ntawm cov kev paub ntawm cov kab mob uas tsis sib xws. Cov txheej txheem thib ob, kev kawm los ntawm kev paub dhau los, yog tag nrho cov ntaub ntawv uas tus tsiaj tswj kom kawm tau thoob plaws hauv nws lub neej, thiab cov ntaub ntawv no ncaj qha txiav txim siab los ntawm kev sib cuam tshuam ntawm tus tsiaj no nrog lub ntiaj teb sab nraud. Pawg no suav nrog txhua yam los ntawm kev kawm kom paub txog cov khoom mus rau kev paub txog kev sib txuas lus hauv kev kawm.
Hais lus ntxhib, ob txheej txheem no tshwm sim hauv qhov tuaj yeem muab piv nrog ob txoj kev xaiv rau kev ua kom zoo dua neural networks. Cov tswv yim Evolutionary, qhov twg cov ntaub ntawv hais txog gradients yog siv los hloov kho cov ntaub ntawv hais txog lub cev, los ze rau kev kawm los ntawm kev paub ntawm lwm tus. Ib yam li ntawd, txoj kev gradient, qhov twg tau txais ib qho los yog lwm qhov kev paub ua rau ib lossis lwm qhov kev hloov pauv ntawm tus neeg sawv cev tus cwj pwm, piv rau kev kawm los ntawm nws tus kheej. Yog tias peb xav txog hom kev coj cwj pwm ntse lossis lub peev xwm uas txhua yam ntawm ob txoj hauv kev no txhim kho nyob rau hauv cov tsiaj, qhov kev sib piv yuav tshwm sim. Hauv ob qho xwm txheej, "txoj kev hloov pauv hloov pauv" txhawb kev kawm txog kev coj cwj pwm uas tso cai rau ib tus los tsim kom muaj kev noj qab haus huv (tseem muaj sia nyob). Kev kawm taug kev lossis kev khiav tawm ntawm kev poob cev qhev yog nyob rau ntau qhov sib npaug rau ntau "kev xav" tus cwj pwm uas yog "nyuaj-hloov" hauv ntau tus tsiaj ntawm qib caj ces. Tsis tas li ntawd, qhov piv txwv no lees paub tias txoj hauv kev hloov pauv tau siv tau rau hauv cov xwm txheej uas qhov khoom plig tsis tshua muaj (piv txwv li, qhov tseeb ntawm kev loj hlob ntawm tus menyuam). Hauv qhov xwm txheej zoo li no, nws tsis tuaj yeem cuam tshuam qhov khoom plig nrog rau ib qho tshwj xeeb ntawm kev ua haujlwm uas yuav tau ua ntau xyoo ua ntej qhov tshwm sim ntawm qhov tseeb. Ntawm qhov tod tes, yog tias peb xav txog qhov xwm txheej uas ES ua tsis tiav, xws li kev faib cov duab, cov txiaj ntsig tau zoo sib xws rau cov txiaj ntsig ntawm kev kawm tsiaj ua tiav hauv suav tsis txheeb cov kev sim kev puas siab puas ntsws ua ntau dua 100-ntxiv xyoo.
Kawm los ntawm Tsiaj
Cov txheej txheem siv hauv kev txhawb nqa kev kawm yog nyob rau hauv ntau kis tau ncaj qha los ntawm cov ntaub ntawv puas siab ntsws rau , thiab kev ua haujlwm txias tau kawm siv tsiaj kev puas siab puas ntsws. Los ntawm txoj kev, Richard Sutton, ib qho ntawm ob tus tsim ntawm kev txhawb nqa kev kawm, muaj bachelor's degree hauv kev puas siab ntsws. Nyob rau hauv cov ntsiab lus ntawm kev ua haujlwm txias, tsiaj kawm los koom nrog cov nqi zog lossis kev rau txim nrog cov qauv kev coj cwj pwm. Cov kws qhia thiab cov kws tshawb fawb tuaj yeem tswj hwm lub koom haum khoom plig no hauv ib txoj hauv kev lossis lwm qhov, ua rau tsiaj ua kom pom kev txawj ntse lossis qee yam cwj pwm. Txawm li cas los xij, kev ua haujlwm txias, raws li siv hauv kev tshawb fawb tsiaj, tsis muaj dab tsi ntau tshaj li cov lus tshaj tawm ntawm tib qho kev txias raws li cov tsiaj kawm thoob plaws hauv lawv lub neej. Peb niaj hnub tau txais cov cim qhia ntawm kev txhawb nqa zoo los ntawm ib puag ncig thiab kho peb tus cwj pwm kom haum. Qhov tseeb, ntau tus kws tshawb fawb neuroscientists thiab cov kws tshawb fawb paub ntseeg tias tib neeg thiab lwm yam tsiaj yeej ua haujlwm ntawm qib siab dua thiab kawm txuas ntxiv los kwv yees qhov tshwm sim ntawm lawv tus cwj pwm hauv cov xwm txheej yav tom ntej raws li cov khoom plig muaj peev xwm.
Lub luag haujlwm tseem ceeb ntawm kev twv ua ntej hauv kev kawm los ntawm kev paub dhau los hloov cov kev hloov pauv tau piav qhia saum toj no hauv txoj hauv kev tseem ceeb. Lub teeb liab uas yav tas los suav hais tias yog qhov sib txawv heev (cov nqi zog ntu ntu) hloov mus rau qhov ntom ntom. Raws li kev xav, qhov xwm txheej yog ib yam zoo li no: txhua lub sijhawm, tus tsiaj lub hlwb yog xam cov txiaj ntsig raws li cov kwj deg ntawm kev hnov ββββmob thiab kev ua, thaum tus tsiaj tsuas yog raus hauv cov dej no. Nyob rau hauv cov ntaub ntawv no, tus cwj pwm zaum kawg ntawm tus tsiaj muab lub teeb liab muaj zog uas yuav tsum tau siv los coj kev hloov kho ntawm kev kwv yees thiab kev loj hlob ntawm tus cwj pwm. Lub hlwb siv tag nrho cov cim no txhawm rau txhim kho kev kwv yees (thiab, raws li, qhov ua tau zoo ntawm kev ua) yav tom ntej. Ib qho kev piav qhia ntawm txoj hauv kev no tau muab rau hauv phau ntawv zoo ""Tus kws paub txog kev txawj ntse thiab tus kws tshawb fawb Andy Clark. Yog tias peb nthuav tawm cov laj thawj zoo li no rau kev cob qhia cov neeg ua haujlwm dag, ces qhov tsis txaus ntseeg hauv kev txhawb nqa kev kawm tau tshwm sim: lub teeb liab siv nyob rau hauv qhov kev ua yeeb yam no tsis muaj kev cia siab tsis muaj zog piv rau qhov nws yuav yog (lossis yuav tsum yog). Nyob rau hauv rooj plaub uas nws tsis tuaj yeem ua kom lub teeb liab saturation (tej zaum vim tias nws tsis muaj zog los yog cuam tshuam nrog kev ua haujlwm qis), nws yog qhov zoo dua los xaiv txoj kev kawm uas zoo sib xws, piv txwv li, ES.
Richer kev cob qhia ntawm neural networks
Tsim los ntawm cov hauv paus ntsiab lus ntawm ntau dua neural kev ua ub no nyob rau hauv lub hlwb mammalian, uas yog tas li tibneeg hu tauj coob ua kwv yees, tsis ntev los no kev nce qib tau ua nyob rau hauv kev txhawb zog kev kawm, uas tam sim no yuav siv sij hawm mus rau hauv tus account qhov tseem ceeb ntawm cov kev kwv yees. Kuv tuaj yeem pom zoo ob txoj haujlwm zoo sib xws rau koj tam sim:
Nyob rau hauv ob qho tib si ntawm cov ntaub ntawv no, cov neeg sau ntawv ntxiv cov kev cai tsis raug cai ntawm lawv cov neural networks nrog kev twv txiaj ntsig txog lub xeev ntawm ib puag ncig yav tom ntej. Nyob rau hauv thawj tsab xov xwm, forecasting yog siv rau ib tug ntau yam ntawm kev ntsuas variables, thiab nyob rau hauv lub thib ob, forecasting yog siv rau kev hloov nyob rau hauv ib puag ncig thiab tus cwj pwm ntawm tus neeg sawv cev raws li xws li. Nyob rau hauv ob qho tib si, cov teeb liab sib txawv uas cuam tshuam nrog kev txhawb nqa zoo ua kom muaj txiaj ntsig ntau dua thiab nthuav qhia ntau dua, tso cai rau ob qho tib si kev kawm sai dua thiab nrhiav tau ntawm kev coj cwj pwm nyuaj. Cov kev txhim kho no tsuas yog muaj nrog cov txheej txheem uas siv lub teeb liab gradient, thiab tsis yog nrog cov txheej txheem uas ua haujlwm ntawm "black box" hauv paus ntsiab lus, xws li ES.
Tsis tas li ntawd, kev kawm los ntawm kev paub dhau los thiab cov txheej txheem gradient muaj txiaj ntsig zoo dua. Txawm hais tias nyob rau hauv cov xwm txheej uas nws muaj peev xwm kawm txog ib qho teeb meem uas siv ES txoj kev sai dua li kev siv cov kev kawm ntxiv, qhov kev nce qib tau ua tiav vim qhov tseeb tias ES lub tswv yim koom nrog ntau zaus cov ntaub ntawv ntau dua nrog RL. Xav txog qhov no ntawm cov hauv paus ntsiab lus ntawm kev kawm ntawm cov tsiaj, peb nco ntsoov tias qhov tshwm sim ntawm kev kawm los ntawm lwm tus tus yam ntxwv tshwm sim nws tus kheej tom qab ntau tiam neeg, thaum qee zaum ib qho xwm txheej tshwm sim los ntawm nws tus kheej yog txaus rau tsiaj los kawm zaj lus qhia mus ib txhis. Thaum nyiam Txawm hais tias nws tsis haum rau hauv cov txheej txheem gradient ib txwm, nws yog qhov paub ntau dua li ES. Muaj, piv txwv li, txoj hauv kev xws li , qhov twg Q-tus nqi khaws cia thaum lub sijhawm kev cob qhia, tom qab ntawd qhov kev zov me nyuam kuaj xyuas lawv ua ntej ua. Qhov tshwm sim yog ib txoj kev gradient uas tso cai rau koj kawm paub daws teeb meem sai dua li yav dhau los. Nyob rau hauv ib tsab xov xwm ntawm neural episodic tswj, cov kws sau ntawv hais txog tib neeg hippocampus, uas muaj peev xwm khaws cov ntaub ntawv hais txog ib qho kev tshwm sim txawm tias tom qab ib qho kev paub dhau los thiab, yog li ntawd, ua si. nyob rau hauv tus txheej txheem ntawm kev nco. Cov txheej txheem zoo li no yuav tsum tau nkag mus rau lub koom haum sab hauv ntawm tus neeg sawv cev, uas yog, los ntawm kev txhais, tsis yooj yim sua hauv ES paradigm.
Yog li, vim li cas ho tsis muab lawv?
Nws zoo li ntau ntawm cov kab lus no yuav tawm hauv kev xav tias kuv tab tom tawm tswv yim RL txoj kev. Txawm li cas los xij, kuv xav tias nyob rau lub sijhawm ntev, qhov kev daws teeb meem zoo tshaj plaws yog muab ob txoj hauv kev, kom txhua tus siv nyob rau hauv cov xwm txheej uas nws yog qhov zoo tshaj plaws. Obviously, nyob rau hauv cov ntaub ntawv ntawm ntau reactive txoj cai los yog nyob rau hauv lub sij hawm uas muaj me ntsis cov cim qhia ntawm qhov zoo, ES yeej, tshwj xeeb tshaj yog yog hais tias koj muaj lub xam lub hwj chim ntawm koj pov tseg uas koj muaj peev xwm khiav loj heev thaum uas tig mus kev cob qhia. Ntawm qhov tod tes, gradient txoj kev siv kev txhawb nqa kev kawm lossis kev saib xyuas kev kawm yuav muaj txiaj ntsig thaum peb nkag mus rau cov lus qhia dav dav thiab yuav tsum tau kawm yuav daws qhov teeb meem sai npaum li cas thiab cov ntaub ntawv tsawg dua.
Tig rau qhov xwm txheej, peb pom tias thawj txoj kev, hauv qhov tseem ceeb, nteg lub hauv paus rau qhov thib ob. Qhov no yog vim li cas, nyob rau hauv cov chav kawm ntawm evolution, cov tsiaj txhu tau tsim lub hlwb uas tso cai rau lawv kawm tau zoo heev los ntawm complex teeb liab los ntawm ib puag ncig. Yog li, lo lus nug tseem qhib. Tej zaum cov tswv yim evolutionary yuav pab peb tsim cov kev kawm zoo uas yuav pab tau rau txoj kev kawm gradient. Tom qab tag nrho, qhov kev daws teeb meem pom los ntawm xwm yog qhov ua tau zoo heev.
Tau qhov twg los: www.hab.com