Hi Habr!
Chan ann tric a cho-dhùnas sinn eadar-theangachaidhean de theacsaichean a bha dà bhliadhna a dh’ aois a phostadh an seo, gun chòd agus gu soilleir de nàdar acadaimigeach - ach an-diugh nì sinn eisgeachd. Tha sinn an dòchas gu bheil an dileab a th’ ann an tiotal an artaigil a’ cur dragh air mòran den luchd-leughaidh againn, agus tha thu mu thràth air an obair bhunasach air ro-innleachdan mean-fhàs a leughadh leis a bheil an dreuchd seo ag argamaid anns an dreach thùsail no a leughas tu a-nis e. Fàilte don chat!
Anns a’ Mhàrt 2017, rinn OpenAI tonnan anns a’ choimhearsnachd ionnsachaidh dhomhainn leis a’ phàipear “.” Thug an obair seo cunntas air toraidhean drùidhteach airson nach eil ionnsachadh neartachaidh (RL) air a thighinn gu bhith na gheam, agus nuair a bhios tu a’ trèanadh lìonraidhean neòil iom-fhillte, tha e ciallach dòighean eile fheuchainn. Thòisich deasbad an uairsin a thaobh cho cudromach sa tha ionnsachadh ath-neartachaidh agus cho airidh air an inbhe aige mar theicneòlas “riatanach” airson fuasgladh cheistean a theagasg. An seo tha mi airson a ràdh nach bu chòir beachdachadh air an dà theicneòlas seo mar cho-fharpaiseach, agus tha aon dhiubh gu soilleir nas fheàrr na am fear eile; air an làimh eile, tha iad mu dheireadh a 'cur ri chèile. Gu dearbh, ma smaoinicheas tu beagan mu na tha a dhìth airson a chruthachadh agus siostaman mar sin, a bhiodh comasach air ionnsachadh, breithneachadh agus planadh fad am beatha, cha mhòr gun tig sinn chun cho-dhùnadh gum bi feum air seo no am fuasgladh còmhla. Air an t-slighe, b 'e dìreach am fuasgladh co-cheangailte seo a thàinig nàdar gu bhith a' toirt seachad mamalan agus beathaichean àrda eile le fiosrachadh iom-fhillte rè mean-fhàs.
Ro-innleachdan mean-fhàs
B’ e prìomh thràchdas pàipear OpenAI, an àite a bhith a’ cleachdadh ionnsachadh ath-neartachaidh còmhla ri cùl-iomradh traidiseanta, gun do rinn iad trèanadh soirbheachail air lìonra neural gus fuasgladh fhaighinn air duilgheadasan iom-fhillte a’ cleachdadh rud ris an canadh iad “ro-innleachd mean-fhàs” (ES). Tha an dòigh-obrach ES seo a’ toirt a-steach cumail suas cuairteachadh cuideaman air feadh an lìonra, a’ toirt a-steach grunn riochdairean ag obair ann an co-shìnte agus a’ cleachdadh paramadairean a chaidh a thaghadh bhon sgaoileadh seo. Bidh gach àidseant ag obair san àrainneachd aige fhèin, agus nuair a chuireas e crìoch air àireamh shònraichte de phrògraman no ìrean de phrògram, bidh an algairim a’ tilleadh duais mean air mhean, air a chuir an cèill mar sgòr fallaineachd. Le bhith a’ toirt aire don luach seo, faodar cuairteachadh pharamadairean a ghluasad gu riochdairean nas soirbheachaile, a’ toirt air falbh feadhainn nach eil cho soirbheachail. Le bhith ag ath-aithris a leithid de ghnìomhachd milleanan de thursan le com-pàirteachadh ceudan de riochdairean, tha e comasach cuairteachadh cuideaman a ghluasad gu àite a leigeas leis na riochdairean poileasaidh àrd-inbhe a chruthachadh airson fuasgladh fhaighinn air an obair a chaidh a shònrachadh dhaibh. Gu dearbh, tha na toraidhean a tha air an taisbeanadh san artaigil drùidhteach: thathas a’ sealltainn ma ruitheas tu mìle neach-ionaid ann an co-shìnte, an uairsin faodar locomotion antropomorphic air dà chas ionnsachadh ann an nas lugha na leth uair a thìde (ged a dh’ fheumas eadhon na dòighean RL as adhartaiche barrachd a chosg. na uair a thìde air an seo). Airson fiosrachadh nas mionaidiche, tha mi a’ moladh an sàr-mhath a leughadh bho ùghdaran an deuchainn, a bharrachd air .
Diofar ro-innleachdan airson a bhith a’ teagasg coiseachd dìreach antropomorphic, air an sgrùdadh a’ cleachdadh modh ES bho OpenAI.
Bogsa dubh
Is e buannachd mhòr an dòigh seo gum faodar a cho-thaobhadh gu furasta. Fhad ‘s a tha modhan RL, leithid A3C, ag iarraidh fiosrachadh a bhith air a iomlaid eadar snàithleanan luchd-obrach agus frithealaiche paramadair, chan fheum ES ach tuairmsean fallaineachd agus fiosrachadh cuairteachadh paramadair coitcheann. Is ann air sgàth an sìmplidheachd seo a tha an dòigh seo fada air thoiseach air dòighean RL an latha an-diugh a thaobh comasan sgèile. Ach, chan eil seo uile a ’tighinn gu dìomhain: feumaidh tu an lìonra a bharrachadh a rèir prionnsapal a’ bhogsa dhubh. Anns a 'chùis seo, tha am "bogsa dubh" a' ciallachadh gu bheilear a 'toirt aire gu tur do structar a-staigh an lìonra rè trèanadh, agus nach eil ach an toradh iomlan (duais airson a' phrògram) air a chleachdadh, agus tha e an urra ris a bheil cuideam lìonra sònraichte air a chleachdadh. a bhith air a shealbhachadh leis na ginealaichean ri teachd. Ann an suidheachaidhean far nach eil sinn a’ faighinn mòran fios air ais bhon àrainneachd - agus ann am mòran dhuilgheadasan RL traidiseanta tha sruth dhuaisean gu math gann - tha an duilgheadas a’ dol bho bhith na “bogsa gu ìre dubh” gu “bogsa gu tur dubh”. Anns a 'chùis seo, faodaidh tu àrdachadh mòr a thoirt air cinneasachd, agus mar sin, gu dearbh, tha a leithid de rèiteachadh air fhìreanachadh. “Cò a dh’ fheumas caiseadan ma tha iad gun dòchas gun fhuaim co-dhiù?” - is e seo am beachd coitcheann.
Ach, ann an suidheachaidhean far a bheil fios air ais nas gnìomhaiche, tòisichidh cùisean a’ dol ceàrr airson an ES. Tha sgioba OpenAI ag innse mar a chaidh lìonra seòrsachaidh MNIST sìmplidh a thrèanadh a’ cleachdadh ES, agus an turas seo bha an trèanadh 1000 uair nas slaodaiche. Is e an fhìrinn gu bheil an comharra caisead ann an seòrsachadh ìomhaighean air leth fiosrachail a thaobh mar a theagasg tu seòrsachadh nas fheàrr don lìonra. Mar sin, tha an duilgheadas nas lugha leis an dòigh RL agus barrachd le duaisean gann ann an àrainneachdan a bheir a-mach caiseadan fuaimneach.
Fuasgladh nàdair
Ma dh’ fheuchas sinn ri ionnsachadh bho eisimpleir nàdur, a’ smaoineachadh mu dhòighean air AI a leasachadh, an uairsin ann an cuid de chùisean faodar smaoineachadh air AI mar . Às deidh na h-uile, tha nàdar ag obair taobh a-staigh chuingealachaidhean nach eil aig luchd-saidheans coimpiutair. Tha beachd ann gum faod dòigh-obrach teòiridheach a-mhàin airson fuasgladh fhaighinn air duilgheadas sònraichte fuasglaidhean nas èifeachdaiche a thoirt seachad na roghainnean empirigeach eile. Ach, tha mi fhathast a’ smaoineachadh gum b’fhiach deuchainn a dhèanamh air mar a tha siostam fiùghantach a tha ag obair fo chuingealachaidhean sònraichte (an Talamh) air riochdairean (beathaichean, gu sònraichte mamalan) a chruthachadh a tha comasach air giùlan sùbailte is iom-fhillte. Ged nach eil cuid de na cuingeadan sin a’ buntainn ri saoghal saidheans dàta samhlachail, tha cuid eile ceart gu leòr.
An dèidh sgrùdadh a dhèanamh air giùlan inntleachdail mamalan, chì sinn gu bheil e air a chruthachadh mar thoradh air a 'bhuaidh iom-fhillte a tha aig dà phròiseas dlùth eadar-cheangailte: ionnsachadh bho eòlasan dhaoine eile и ag ionnsachadh le bhith a 'dèanamh. Tha a’ chiad fhear gu tric co-ionann ri mean-fhàs air a stiùireadh le taghadh nàdarra, ach an seo bidh mi a’ cleachdadh teirm nas fharsainge gus aire a thoirt do epigenetics, meanbh-chuileagan, agus uidheamachdan eile a leigeas le bhith a’ roinn eòlasan eadar fàs-bheairtean nach eil càirdeach gu ginteil. Is e an dàrna pròiseas, ag ionnsachadh bho eòlas, a h-uile fiosrachadh a dh'fhaodas beathach ionnsachadh fad a bheatha, agus tha am fiosrachadh seo air a dhearbhadh gu dìreach le eadar-obrachadh an ainmhidh seo leis an t-saoghal a-muigh. Tha an roinn seo a’ gabhail a-steach a h-uile càil bho ionnsachadh gu bhith ag aithneachadh nithean gu bhith a’ faighinn eòlas air a’ chonaltradh a tha dualach don phròiseas ionnsachaidh.
Gu ìre mhòr, faodar an dà phròiseas seo a tha a’ tachairt ann an nàdar a choimeas ri dà roghainn airson lìonraidhean neural a bharrachadh. Bidh ro-innleachdan mean-fhàs, far a bheilear a’ cleachdadh fiosrachadh mu caiseadan gus fiosrachadh mun fhàs-bheairt ùrachadh, a’ tighinn faisg air ionnsachadh bho eòlas chàich. San aon dòigh, tha dòighean caisead, far a bheil a bhith a’ faighinn eòlas no eòlas eile a’ leantainn gu atharrachadh no atharrachadh ann an giùlan an neach-ionaid, an coimeas ri ionnsachadh bhon eòlas agad fhèin. Ma smaoinicheas sinn air na seòrsaichean giùlan no comasan tuigseach a bhios gach aon den dà dhòigh-obrach sin a’ leasachadh ann am beathaichean, bidh an coimeas a’ fàs nas fhollaisiche. Anns gach cùis, bidh “dòighean mean-fhàs” a’ brosnachadh sgrùdadh air giùlan reactive a leigeas le neach fallaineachd sònraichte a leasachadh (gu leòr airson fuireach beò). Tha ionnsachadh coiseachd no teicheadh bho bhraighdeanas ann an iomadh cùis co-ionann ri giùlan nas “instinctive” a tha “cruaidh le sreang” ann am mòran bheathaichean aig ìre ginteil. A bharrachd air an sin, tha an eisimpleir seo a’ dearbhadh gu bheil dòighean mean-fhàs iomchaidh ann an cùisean far a bheil an comharra duais gu math tearc (mar eisimpleir, fìrinn togail pàisde gu soirbheachail). Ann an leithid de chùis, tha e do-dhèanta an duais a cho-cheangal ri seata sònraichte de ghnìomhan a dh’ fhaodadh a bhith air a dhèanamh grunn bhliadhnaichean mus do thachair an fhìrinn seo. Air an làimh eile, ma bheachdaicheas sinn air cùis far a bheil ES a’ fàiligeadh, is e sin seòrsachadh ìomhaighean, tha na toraidhean gu math coltach ri toraidhean ionnsachadh bheathaichean a chaidh a choileanadh ann an deuchainnean saidhgeòlais giùlan gun àireamh a chaidh a dhèanamh thar 100-plus bliadhna.
Ionnsachadh bho bheathaichean
Tha na dòighean a thathar a’ cleachdadh ann an ionnsachadh ath-neartachaidh ann an iomadh cùis air an toirt gu dìreach bhon litreachas saidhgeòlach air adhart , agus chaidh sgrùdadh a dhèanamh air suidheachadh obrachaidh a’ cleachdadh eòlas-inntinn bheathaichean. Air an t-slighe, tha ceum baidsealair ann an eòlas-inntinn aig Richard Sutton, fear den dithis a stèidhich ionnsachadh ath-neartachaidh. Ann an co-theacsa suidheachadh obrachaidh, bidh beathaichean ag ionnsachadh a bhith a’ ceangal duais no peanas ri pàtrain giùlain sònraichte. Faodaidh luchd-trèanaidh agus luchd-rannsachaidh an comann duais seo a làimhseachadh ann an dòigh air choireigin, a’ toirt air beathaichean fiosrachadh no giùlan sònraichte a nochdadh. Ach, chan eil ann an suidheachadh obrachaidh, mar a thathar a’ cleachdadh ann an rannsachadh bheathaichean, ach cruth nas fhollaisiche den aon chumadh air a’ bhunait a bhios beathaichean ag ionnsachadh fad am beatha. Bidh sinn an-còmhnaidh a’ faighinn comharran de dhaingneachadh adhartach bhon àrainneachd agus ag atharrachadh ar giùlan a rèir sin. Gu dearbh, tha mòran de neuroscientists agus luchd-saidheans inntinneil den bheachd gu bheil daoine agus beathaichean eile ag obair aig ìre eadhon nas àirde agus an-còmhnaidh ag ionnsachadh ro-innse toradh an giùlain ann an suidheachaidhean san àm ri teachd stèidhichte air duaisean a dh’ fhaodadh a bhith ann.
Bidh prìomh àite ro-innse ann an ionnsachadh bho eòlas ag atharrachadh na daineamaigs a chaidh a mhìneachadh gu h-àrd ann an dòighean cudromach. Tha an comharra a bha air a mheas roimhe seo gu math gann (duais episodic) a’ tionndadh a-mach gu bhith gu math dùmhail. Gu teòiridheach, tha an suidheachadh rudeigin mar seo: aig àm sònraichte sam bith, tha eanchainn mamail a’ tomhas bhuilean stèidhichte air sruth iom-fhillte de bhrosnachadh mothachaidh agus gnìomhan, fhad ‘s a tha am beathach dìreach air a bhogadh san t-sruth seo. Anns a 'chùis seo, tha giùlan deireannach an ainmhidh a' toirt seachad comharra làidir a dh'fheumar a chleachdadh gus atharrachadh ro-mheasaidhean a stiùireadh agus leasachadh giùlan. Bidh an eanchainn a’ cleachdadh na comharran sin uile gus ro-innsean a bharrachadh (agus, a rèir sin, càileachd nan gnìomhan a chaidh a dhèanamh) san àm ri teachd. Tha sealladh farsaing den dòigh-obrach seo air a thoirt seachad anns an leabhar sàr-mhath “” neach-saidheans inntinneil agus feallsanaiche Andy Clark. Ma chuireas sinn an leithid de reusanachadh a-mach gu trèanadh riochdairean fuadain, an uairsin nochdaidh locht bunaiteach ann an ionnsachadh ath-neartachaidh: tha an comharra a thathar a’ cleachdadh anns a’ phàtran seo gun dòchas lag an taca ris na dh’ fhaodadh a bhith (no a bu chòir a bhith). Ann an cùisean far a bheil e do-dhèanta sùghaidh nan comharran àrdachadh (is dòcha air sgàth gu bheil e lag gu gnèitheach no co-cheangailte ri reactivity ìre ìosal), is dòcha gu bheil e nas fheàrr dòigh trèanaidh a tha air a dheagh cho-thaobhadh, mar eisimpleir, ES.
Trèanadh nas beairtiche air lìonraidhean neural
A’ togail air prionnsapalan gnìomhachd neural nas àirde a tha dualach don eanchainn mamail, a tha an-còmhnaidh trang a’ dèanamh ro-innse, chaidh adhartasan a dhèanamh o chionn ghoirid ann an ionnsachadh neartachaidh, a tha a-nis a’ toirt aire do cho cudromach sa tha an leithid de ro-innse. Is urrainn dhomh dà obair coltach ris a mholadh dhut sa bhad:
Anns an dà phàipear seo, tha na h-ùghdaran a’ cur ri poileasaidh àbhaisteach nan lìonraidhean neural aca le toraidhean ro-innse mu staid na h-àrainneachd san àm ri teachd. Anns a’ chiad artaigil, tha ro-innse air a chuir an sàs ann an grunn chaochladairean tomhais, agus san dàrna fear, tha ro-innse air a chuir an sàs ann an atharrachaidhean san àrainneachd agus giùlan an neach-ionaid mar sin. Anns gach suidheachadh, bidh an comharra gann co-cheangailte ri daingneachadh adhartach a’ fàs tòrr nas beairtiche agus nas fiosrachail, a’ ceadachadh an dà chuid ionnsachadh nas luaithe agus togail air giùlan nas iom-fhillte. Chan eil leasachaidhean mar seo rim faighinn ach le dòighean a bhios a’ cleachdadh comharra caisead, agus chan ann le dòighean a tha ag obair air prionnsapal “bogsa dubh”, leithid ES.
A bharrachd air an sin, tha ionnsachadh bho eòlas agus dòighean caisead mòran nas èifeachdaiche. Fiù ‘s ann an cùisean far an robh e comasach sgrùdadh a dhèanamh air duilgheadas sònraichte a’ cleachdadh an dòigh ES nas luaithe na bhith a ’cleachdadh ionnsachadh ath-neartachaidh, chaidh a’ bhuannachd a choileanadh leis gu robh an ro-innleachd ES a ’toirt a-steach iomadh uair barrachd dàta na bha e le RL. A 'meòrachadh anns a' chùis seo air prionnsabalan ionnsachadh ann am beathaichean, tha sinn a 'toirt fa-near gu bheil an toradh a bhith ag ionnsachadh bho eisimpleir cuideigin eile ga nochdadh fhèin an dèidh iomadh ginealach, agus uaireannan tha aon tachartas a dh'fhiosraicheas e fhèin gu leòr airson am beathach an leasan ionnsachadh gu bràth. Fhad 'sa tha e coltach Ged nach eil e buileach a’ freagairt air dòighean caisead traidiseanta, tha e tòrr nas so-thuigsinn na ES. Tha, mar eisimpleir, dòighean-obrach leithid , far a bheil Q-luachan air an stòradh rè trèanadh, às deidh sin bidh am prògram gan sgrùdadh mus dèan iad gnìomhan. Is e an toradh dòigh caisead a leigeas leat ionnsachadh mar a dh’ fhuasglas tu duilgheadasan fada nas luaithe na bha e roimhe. Ann an artaigil air smachd episodic neural, tha na h-ùghdaran a’ toirt iomradh air an hippocampus daonna, a tha comasach air fiosrachadh a chumail mu thachartas eadhon às deidh aon eòlas agus, mar sin, a’ cluich ann am pròiseas cuimhneachaidh. Feumaidh uidheamachdan leithid seo ruigsinneachd air eagrachadh a-staigh an neach-ionaid, a tha cuideachd, le mìneachadh, do-dhèanta ann am paradigm ES.
Mar sin, carson nach cuir thu còmhla iad?
Tha e coltach gum bi mòran den artaigil seo a’ fàgail a’ bheachd gu bheil mi a’ tagradh dòighean RL. Ach, tha mi dha-rìribh a’ smaoineachadh gur e am fuasgladh as fheàrr san fhad-ùine an dà dhòigh a chur còmhla, gus am bi gach fear air a chleachdadh anns na suidheachaidhean far a bheil e nas freagarraiche. Gu follaiseach, a thaobh mòran phoileasaidhean ath-ghnìomhach no ann an suidheachaidhean le comharran gann de dhaingneachadh adhartach, bidh an ES a’ buannachadh, gu sònraichte ma tha an cumhachd coimpiutaireachd agad air an urrainn dhut trèanadh gu math co-shìnte a ruith. Air an làimh eile, bidh dòighean caisead a’ cleachdadh ionnsachadh neartachaidh no ionnsachadh fo stiùir feumail nuair a bhios cothrom againn air fios air ais farsaing agus nuair a dh’fheumas sinn ionnsachadh mar a dh’ fhuasglas sinn duilgheadas gu sgiobalta agus le nas lugha de dhàta.
A 'tionndadh gu nàdar, tha sinn a' faighinn a-mach gu bheil a 'chiad dòigh, gu dearbh, a' suidheachadh bunait airson an dàrna fear. Sin as coireach, thairis air mean-fhàs, gu bheil mamalan air eanchainn a leasachadh a leigeas leotha ionnsachadh air leth èifeachdach bho chomharran iom-fhillte a’ tighinn bhon àrainneachd. Mar sin, tha a’ cheist fhathast fosgailte. Is dòcha gun cuidich ro-innleachdan mean-fhàs sinn gus ailtirean ionnsachaidh èifeachdach a chruthachadh a bhios feumail cuideachd airson modhan ionnsachaidh caisead. Às deidh na h-uile, tha am fuasgladh a lorgar le nàdar gu dearbh air leth soirbheachail.
Source: www.habr.com