Qhov kev ua si zoo qub ntawm kev zais thiab nrhiav tuaj yeem yog qhov kev sim zoo rau kev txawj ntse (AI) bots los ua kom pom tias lawv txiav txim siab li cas thiab cuam tshuam nrog ib leeg thiab ntau yam khoom nyob ib puag ncig lawv.
Hauv nws , luam tawm los ntawm cov kws tshawb fawb los ntawm OpenAI, lub koom haum tshawb fawb txog kev txawj ntse uas tsis muaj txiaj ntsig uas tau muaj npe nrov Hauv kev ua si hauv computer Dota 2, cov kws tshawb fawb piav qhia txog yuav ua li cas cov neeg ua haujlwm tswj hwm los ntawm kev txawj ntse txawj ntse tau txais kev cob qhia kom txawj ntse dua hauv kev tshawb nrhiav thiab zais ntawm ib leeg hauv ib puag ncig virtual. Cov txiaj ntsig ntawm txoj kev tshawb fawb pom tau tias ib pab pawg ntawm ob lub bots kawm tau zoo thiab nrawm dua li ib tus neeg sawv cev tsis muaj phooj ywg.
Cov kws tshawb fawb tau siv ib txoj hauv kev uas tau yeej nws lub koob meej ntev , nyob rau hauv uas kev txawj ntse dag tau muab tso rau hauv ib puag ncig tsis paub txog nws, thaum muaj qee txoj hauv kev cuam tshuam nrog nws, nrog rau cov txheej txheem ntawm cov khoom plig thiab nplua rau ib lossis lwm qhov txiaj ntsig ntawm nws qhov kev ua. Txoj kev no zoo heev vim muaj peev xwm ntawm AI los ua ntau yam kev ua hauv ib puag ncig virtual ntawm qhov nrawm nrawm, ntau lab lub sijhawm sai dua li tus neeg tuaj yeem xav txog. Qhov no tso cai rau kev sim thiab ua yuam kev los nrhiav cov tswv yim zoo tshaj plaws los daws qhov teeb meem. Tab sis txoj hauv kev no kuj muaj qee qhov kev txwv, piv txwv li, tsim ib puag ncig thiab ua ntau yam kev cob qhia yuav tsum muaj kev siv nyiaj txiag loj, thiab cov txheej txheem nws tus kheej yuav tsum muaj qhov tseeb rau kev sib piv cov txiaj ntsig ntawm AI kev ua nrog nws lub hom phiaj. Tsis tas li ntawd, cov txuj ci tau txais los ntawm tus neeg sawv cev hauv txoj kev no tsuas yog txwv rau cov haujlwm tau piav qhia thiab, sai li sai tau thaum AI kawm los tiv thaiv nws, yuav tsis muaj kev txhim kho ntxiv.
Txhawm rau cob qhia AI los ua si nkaum thiab nrhiav, cov kws tshawb fawb tau siv txoj hauv kev hu ua "Undirected exploration," uas yog qhov chaw uas cov neeg ua haujlwm muaj kev ywj pheej ua tiav los txhim kho lawv txoj kev nkag siab ntawm lub ntiaj teb kev ua si thiab tsim cov tswv yim yeej. Qhov no zoo ib yam li kev kawm ntau tus neeg sawv cev uas cov kws tshawb fawb ntawm DeepMind tau siv thaum ntau lub tshuab txawj ntse . Raws li qhov no, AI cov neeg ua haujlwm tsis tau kawm yav dhau los hauv cov cai ntawm kev ua si, tab sis dhau sijhawm lawv tau kawm cov tswv yim yooj yim thiab tseem tuaj yeem ua rau cov neeg tshawb nrhiav xav tsis thoob nrog cov kev daws teeb meem tsis tseem ceeb.
Hauv kev ua si ntawm kev zais thiab nrhiav, ntau tus neeg sawv cev uas nws txoj haujlwm yuav tsum nkaum yuav tsum zam kom tsis txhob muaj lawv cov neeg sib tw txoj kab ntawm qhov pom tom qab pib lub taub hau me ntsis thaum pab pawg tshawb nrhiav cov neeg ua haujlwm raug kaw. Ntxiv mus, "kab ntawm qhov pom" hauv cov ntsiab lus no yog 135 degree lub khob hliav qab ntawm ib tus neeg bot. Cov neeg ua haujlwm tsis tuaj yeem tawm mus deb dhau ntawm qhov chaw ua si thiab raug yuam kom taug kev randomly generated chav nrog lub peev xwm los siv qee yam khoom sab nraud (lub thawv, phab ntsa txav tau, tshwj xeeb ramps) tawg nyob ib puag ncig uas tuaj yeem siv ob qho tib si los tsim cov npog thiab nkag mus rau hauv lawv. .
Los ntawm cov txheej txheem kev kawm ntev, cov neeg ua haujlwm AI tau kawm rau 25 lub tswv yim tshwj xeeb, txhua tus uas pab lawv mus rau theem tom ntej ntawm qhov kev ua si. Thaum xub thawj, pab pawg neeg nrhiav thiab neeg nkaum tsuas yog khiav tawm thiab sib tw, tab sis tom qab kwv yees li 75 lab qhov kev sib tw, pab pawg neeg nkaum tau kawm los thaiv cov kab lus nrog lub thawv thiab tsim cov chaw tawm ntawm lawv. Tom qab lwm qhov kev sib tw 10 lab, pab pawg tau tshawb pom txoj hauv kev siv ramps kom nkag mus rau hauv cov chaw nkaum no. Tom qab lwm XNUMX lab qhov kev sib tw, cov neeg nkaum tau kawm rub ramps mus rau ntawm ntug ntawm qhov chaw ua si thiab kaw lawv hauv qhov chaw kom tiv thaiv cov neeg tawm tsam los ntawm kev siv lawv.
Tom qab 388 lab qhov kev sib tw, cov neeg nrhiav tau kawm siv cov kev thaiv thaiv kom nce mus rau hauv cov thawv coj los rau lawv, thiab tom qab ntawd, txav ncaj qha mus rau lawv, nkag mus rau cov yeeb ncuab qhov chaw nkaum tsim los ntawm cov phab ntsa portable. Thiab thaum kawg, tom qab 458 lab qhov kev sib tw, pab pawg neeg nkaum tau txiav txim siab tias lawv yuav tsum tau thaiv txhua yam khoom thiab tom qab ntawd tsim lub vaj tse, uas pom tau tias ua rau lawv yeej kawg.
Dab tsi yog qhov tshwj xeeb tshaj yog tias tom qab 22 lab qhov kev sib tw, cov neeg ua haujlwm tau kawm los tswj lawv cov kev ua thiab kev ua haujlwm ntawm lawv txoj kev sib koom tes tsuas yog nce ntxiv rau yav tom ntej, piv txwv li, txhua tus coj nws lub thawv lossis phab ntsa los tsim vaj tse thiab xaiv nws cov khoom sib faib rau. thaiv, kom nyuaj qhov nyuaj game rau cov neeg sib tw.
Cov kws tshawb fawb kuj tau sau tseg ib qho tseem ceeb hais txog qhov cuam tshuam ntawm cov khoom siv kev cob qhia (cov ntaub ntawv ntau dhau los ntawm neural network - "Batch Size") ntawm kev kawm ceev. Tus qauv ua ntej xav tau 132,3 lab qhov sib tw dhau 34 teev ntawm kev cob qhia kom mus txog qhov chaw uas pab pawg neeg nkaum tau kawm los thaiv ramps, thaum cov ntaub ntawv ntau ntxiv ua rau muaj kev cuam tshuam rau lub sijhawm kawm. Piv txwv li, nce tus naj npawb ntawm cov tsis muaj (ib feem ntawm cov ntaub ntawv tau txais thaum lub sij hawm tag nrho cov txheej txheem kev cob qhia) los ntawm 0,5 lab mus rau 5,8 lab nce tus qauv efficiency los ntawm 2,2 lub sij hawm, thiab nce qhov loj ntawm cov ntaub ntawv input los ntawm 64 KB mus rau 128 KB txo kev kawm. sij hawm yuav luag ib thiab ib nrab zaug.
Thaum kawg ntawm lawv txoj haujlwm, cov kws tshawb fawb tau txiav txim siab los sim ntau npaum li cas kev cob qhia hauv kev ua si tuaj yeem pab cov neeg ua haujlwm tiv thaiv cov haujlwm zoo sib xws sab nraum qhov kev ua si. Muaj tsib qhov kev sim hauv tag nrho: kev paub txog cov khoom siv (xws li kev nkag siab tias ib yam khoom tseem muaj nyob txawm tias nws tsis pom thiab tsis siv); "lock thiab rov qab" - lub peev xwm nco qab ib tus thawj txoj haujlwm thiab rov qab mus rau nws tom qab ua tiav qee txoj haujlwm ntxiv; "kev thaiv kab ke" - 4 lub thawv tau nyob hauv peb chav yam tsis muaj qhov rooj, tab sis nrog cov ramps kom nkag mus rau sab hauv, cov neeg ua haujlwm yuav tsum nrhiav thiab thaiv lawv txhua tus; tso cov thawv rau ntawm qhov chaw uas tau teem tseg; tsim kom muaj vaj tse nyob ib ncig ntawm ib qho khoom hauv daim ntawv ntawm lub tog raj kheej.
Yog li ntawd, hauv peb ntawm tsib txoj haujlwm, bots uas tau kawm ua ntej hauv qhov kev ua si tau kawm sai dua thiab pom cov txiaj ntsig zoo dua li AI uas tau kawm los daws teeb meem los ntawm kos. Lawv ua tau zoo dua me ntsis ntawm kev ua tiav txoj haujlwm thiab rov qab mus rau qhov chaw pib, ua ntu ntu thaiv cov thawv hauv cov chav kaw, thiab muab cov thawv tso rau hauv qhov chaw, tab sis ua tau me ntsis tsis muaj zog ntawm kev paub txog cov khoom siv thiab tsim npog ib ncig ntawm lwm yam khoom.
Cov kws tshawb fawb qhia cov txiaj ntsig sib xyaw ua kom AI kawm tau li cas thiab nco ntsoov qee yam kev txawj. "Peb xav tias cov dej num uas nyob rau hauv-kev ua si pre-kev cob qhia ua tau zoo tshaj plaws koom tes nrog reused yav tas los kev txawj ntse nyob rau hauv ib txoj kev paub, thaum ua cov hauj lwm seem zoo dua li cov AI kawm los ntawm kos yuav tsum tau siv lawv nyob rau hauv ib tug txawv txoj kev, uas ntau npaum li cas. nyuaj dua, "sau tus kws sau ntawv ua haujlwm. "Qhov kev tshwm sim no qhia txog qhov yuav tsum tau tsim txoj hauv kev kom rov siv tau cov txuj ci uas tau txais los ntawm kev cob qhia thaum hloov lawv ntawm ib puag ncig mus rau lwm qhov."
Txoj haujlwm ua tiav yog qhov zoo kawg nkaus, txij li lub zeem muag ntawm kev siv txoj kev qhia no nyob deb dhau qhov txwv ntawm ib qho kev ua si. Cov kws tshawb fawb hais tias lawv txoj haujlwm yog ib kauj ruam tseem ceeb rau kev tsim AI nrog "physics-based" thiab "zoo li tib neeg" tus cwj pwm uas tuaj yeem kuaj xyuas cov kab mob, kwv yees cov qauv ntawm cov protein ntau molecules thiab tshuaj xyuas CT scans.
Hauv daim vis dis aus hauv qab no koj tuaj yeem pom meej tias tag nrho cov txheej txheem kev kawm tau tshwm sim li cas, AI kawm ua haujlwm pab pawg li cas, thiab nws cov tswv yim tau dhau los ua kev txawj ntse thiab nyuaj.
Tau qhov twg los: 3d xov.ru