ការពង្រឹងការរៀនសូត្រ ឬយុទ្ធសាស្ត្រវិវត្តន៍? - ទាំងពីរ

ហេហេ!

ជារឿយៗយើងមិនសម្រេចចិត្តបង្ហោះការបកប្រែអត្ថបទដែលមានអាយុកាល 2 ឆ្នាំនៅទីនេះ ដោយគ្មានលេខកូដ និងច្បាស់លាស់ពីលក្ខណៈសិក្សានោះទេ ប៉ុន្តែថ្ងៃនេះយើងនឹងធ្វើការលើកលែងមួយ។ យើងសង្ឃឹមថាបញ្ហាដែលដាក់ក្នុងចំណងជើងអត្ថបទធ្វើឱ្យអ្នកអានជាច្រើនមានការព្រួយបារម្ភ ហើយអ្នកបានអានរួចហើយនូវការងារជាមូលដ្ឋានអំពីយុទ្ធសាស្ត្រវិវត្តន៍ ដែលអត្ថបទនេះជជែកគ្នាពីដើម ឬនឹងអានវាឥឡូវនេះ។ សូមស្វាគមន៍មកកាន់ឆ្មា!

នៅក្នុងខែមីនា ឆ្នាំ 2017 OpenAI បានបង្កើតរលកនៅក្នុងសហគមន៍សិក្សាជ្រៅជ្រះជាមួយនឹងក្រដាស "យុទ្ធសាស្ត្រវិវត្តន៍ ជាជម្រើសដែលអាចធ្វើមាត្រដ្ឋានបាន សម្រាប់ការពង្រឹងការរៀនសូត្រ" ការងារនេះបានពិពណ៌នាអំពីលទ្ធផលគួរឱ្យចាប់អារម្មណ៍ក្នុងការពេញចិត្តចំពោះការពិតដែលថាការរៀនពង្រឹង (RL) មិនបានក្លាយជាក្រូចឆ្មារទេហើយនៅពេលបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទដ៏ស្មុគស្មាញវាត្រូវបានគេណែនាំឱ្យសាកល្បងវិធីសាស្ត្រផ្សេងទៀត។ ការជជែកដេញដោលបន្ទាប់មកបានផ្ទុះឡើងទាក់ទងនឹងសារៈសំខាន់នៃការរៀនពង្រឹង និងរបៀបដែលសមនឹងទទួលបានឋានៈជាបច្ចេកវិទ្យា "ត្រូវតែមាន" សម្រាប់ការបង្រៀនដោះស្រាយបញ្ហា។ នៅទីនេះខ្ញុំចង់និយាយថាបច្ចេកវិទ្យាទាំងពីរនេះមិនគួរត្រូវបានចាត់ទុកថាជាការប្រកួតប្រជែងនោះទេ មួយក្នុងចំណោមនោះគឺច្បាស់ជាងបច្ចេកវិទ្យាផ្សេងទៀត; ផ្ទុយទៅវិញ ទីបំផុតពួកគេបំពេញគ្នាទៅវិញទៅមក។ ជាការពិតណាស់ ប្រសិនបើអ្នកគិតបន្តិចអំពីអ្វីដែលវាត្រូវការដើម្បីបង្កើត AI ទូទៅ និងប្រព័ន្ធបែបនេះ ដែលនៅទូទាំងអត្ថិភាពរបស់ពួកវានឹងមានសមត្ថភាពសិក្សា ការវិនិច្ឆ័យ និងការធ្វើផែនការ នោះយើងស្ទើរតែនឹងអាចសន្និដ្ឋានបានថា ដំណោះស្រាយនេះ ឬដំណោះស្រាយរួមបញ្ចូលគ្នានឹងត្រូវបានទាមទារ។ និយាយអីញ្ចឹង វាគឺជាដំណោះស្រាយរួមបញ្ចូលគ្នានេះដែលធម្មជាតិបានមកដល់ ដែលផ្តល់អំណោយដល់ថនិកសត្វ និងសត្វខ្ពង់ខ្ពស់ដទៃទៀត ជាមួយនឹងភាពឆ្លាតវៃដ៏ស្មុគស្មាញក្នុងអំឡុងពេលនៃការវិវត្តន៍។

យុទ្ធសាស្ត្រវិវត្តន៍

និក្ខេបបទសំខាន់នៃក្រដាស OpenAI គឺថា ជំនួសឱ្យការប្រើប្រាស់ការរៀនពង្រឹងរួមជាមួយនឹងការផ្សព្វផ្សាយបែបប្រពៃណី ពួកគេបានបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទដោយជោគជ័យដើម្បីដោះស្រាយបញ្ហាស្មុគស្មាញដោយប្រើអ្វីដែលគេហៅថា "យុទ្ធសាស្ត្រវិវត្តន៍" (ES) ។ វិធីសាស្រ្ត ES នេះរួមមានការរក្សាការចែកចាយទម្ងន់ទូទាំងបណ្តាញ ដែលពាក់ព័ន្ធនឹងភ្នាក់ងារជាច្រើនដែលធ្វើការស្របគ្នា និងការប្រើប្រាស់ប៉ារ៉ាម៉ែត្រដែលបានជ្រើសរើសពីការចែកចាយនេះ។ ភ្នាក់ងារនីមួយៗដំណើរការក្នុងបរិយាកាសផ្ទាល់ខ្លួនរបស់វា ហើយនៅពេលបញ្ចប់វគ្គ ឬដំណាក់កាលជាក់លាក់នៃវគ្គមួយ ក្បួនដោះស្រាយនឹងផ្តល់រង្វាន់ជាបណ្តុំ ដែលបង្ហាញជាពិន្ទុសុខភាព។ ដោយគិតពីតម្លៃនេះ ការចែកចាយប៉ារ៉ាម៉ែត្រអាចត្រូវបានផ្លាស់ប្តូរឆ្ពោះទៅរកភ្នាក់ងារដែលទទួលបានជោគជ័យកាន់តែច្រើន ដោយដកហូតអ្នកដែលមិនសូវជោគជ័យ។ តាមរយៈការធ្វើប្រតិបត្តិការបែបនេះឡើងវិញរាប់លានដងដោយមានការចូលរួមពីភ្នាក់ងាររាប់រយនាក់ វាអាចទៅរួចក្នុងការផ្លាស់ទីការចែកចាយទម្ងន់ទៅកន្លែងមួយ ដែលនឹងអនុញ្ញាតឱ្យភ្នាក់ងារបង្កើតគោលនយោបាយគុណភាពខ្ពស់សម្រាប់ដោះស្រាយកិច្ចការដែលបានប្រគល់ឱ្យពួកគេ។ ជាការពិត លទ្ធផលដែលបង្ហាញក្នុងអត្ថបទគឺគួរអោយចាប់អារម្មណ៍៖ វាត្រូវបានបង្ហាញថា ប្រសិនបើអ្នកដំណើរការភ្នាក់ងារមួយពាន់ស្របគ្នានោះ ទីតាំង anthropomorphic នៅលើជើងពីរអាចរៀនបានក្នុងរយៈពេលតិចជាងកន្លះម៉ោង (ខណៈដែលសូម្បីតែវិធីសាស្ត្រ RL ទំនើបបំផុតក៏ទាមទារការចំណាយបន្ថែមទៀតដែរ។ លើសពីមួយម៉ោង) ។ សម្រាប់​ព័ត៌មាន​លម្អិត​បន្ថែម​ទៀត ខ្ញុំ​សូម​ណែនាំ​ឲ្យ​អាន​អត្ថបទ​ដ៏​ល្អ​បំផុត។ ប្រកាស ពីអ្នកនិពន្ធនៃការពិសោធន៍ ក៏ដូចជា អត្ថបទវិទ្យាសាស្ត្រ.

យុទ្ធសាស្ត្រផ្សេងៗគ្នាសម្រាប់ការបង្រៀនការដើរត្រង់បែបនរវិទ្យា ដែលបានសិក្សាដោយប្រើវិធីសាស្ត្រ ES ពី OpenAI ។

ប្រអប់​ខ្មៅ

អត្ថប្រយោជន៍ដ៏អស្ចារ្យនៃវិធីសាស្រ្តនេះគឺថាវាអាចត្រូវបានប៉ារ៉ាឡែលយ៉ាងងាយស្រួល។ ខណៈពេលដែលវិធីសាស្ត្រ RL ដូចជា A3C តម្រូវឱ្យផ្លាស់ប្តូរព័ត៌មានរវាងខ្សែស្រឡាយកម្មករ និងម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រ ES ត្រូវការតែការប៉ាន់ស្មានសម្បទា និងព័ត៌មានចែកចាយប៉ារ៉ាម៉ែត្រទូទៅប៉ុណ្ណោះ។ វាគឺដោយសារតែភាពសាមញ្ញនេះដែលវិធីសាស្រ្តនេះគឺនៅឆ្ងាយជាងវិធីសាស្រ្ត RL ទំនើបនៅក្នុងលក្ខខណ្ឌនៃសមត្ថភាពធ្វើមាត្រដ្ឋាន។ ទោះជាយ៉ាងណាក៏ដោយទាំងអស់នេះមិនមកដោយឥតប្រយោជន៍ទេ: អ្នកត្រូវតែបង្កើនប្រសិទ្ធភាពបណ្តាញតាមគោលការណ៍ប្រអប់ខ្មៅ។ ក្នុងករណីនេះ "ប្រអប់ខ្មៅ" មានន័យថាក្នុងអំឡុងពេលបណ្តុះបណ្តាលរចនាសម្ព័ន្ធខាងក្នុងនៃបណ្តាញត្រូវបានមិនអើពើទាំងស្រុងហើយមានតែលទ្ធផលទាំងមូល (រង្វាន់សម្រាប់វគ្គ) ប៉ុណ្ណោះដែលត្រូវបានប្រើប្រាស់ហើយវាអាស្រ័យលើវាថាតើទម្ងន់នៃបណ្តាញជាក់លាក់មួយនឹង ត្រូវបានទទួលមរតកដោយជំនាន់បន្តបន្ទាប់។ នៅក្នុងស្ថានភាពដែលយើងមិនទទួលបានមតិកែលម្អច្រើនពីបរិស្ថាន ហើយនៅក្នុងបញ្ហា RL បែបប្រពៃណីជាច្រើន លំហូរនៃរង្វាន់គឺមានភាពស្រពិចស្រពិល—បញ្ហាបានមកពីការក្លាយជា "ប្រអប់ខ្មៅមួយផ្នែក" ទៅ "ប្រអប់ខ្មៅទាំងស្រុង"។ ក្នុងករណីនេះអ្នកអាចបង្កើនផលិតភាពយ៉ាងខ្លាំង ដូច្នេះការសម្របសម្រួលបែបនេះគឺមានភាពយុត្តិធម៌។ "តើអ្នកណាត្រូវការជម្រាលប្រសិនបើពួកគេមានសម្លេងរំខានដោយគ្មានសង្ឃឹម?" - នេះគឺជាមតិទូទៅ។

ទោះយ៉ាងណាក៏ដោយ នៅក្នុងស្ថានភាពដែលមតិកែលម្អកាន់តែសកម្ម អ្វីៗចាប់ផ្តើមខុសសម្រាប់ ES ។ ក្រុម OpenAI ពិពណ៌នាអំពីរបៀបដែលបណ្តាញចាត់ថ្នាក់ MNIST សាមញ្ញត្រូវបានបណ្តុះបណ្តាលដោយប្រើ ES ហើយលើកនេះការបណ្តុះបណ្តាលគឺយឺតជាង 1000 ដង។ ការពិតគឺថា សញ្ញាជម្រាលនៅក្នុងចំណាត់ថ្នាក់រូបភាពគឺផ្តល់ព័ត៌មានយ៉ាងខ្លាំង ទាក់ទងនឹងរបៀបបង្រៀនបណ្តាញឱ្យកាន់តែប្រសើរឡើង។ ដូច្នេះបញ្ហាគឺតិចជាងជាមួយនឹងបច្ចេកទេស RL និងច្រើនទៀតជាមួយនឹងរង្វាន់តិចតួចនៅក្នុងបរិស្ថានដែលបង្កើតជម្រាលគ្មានសម្លេង។

ដំណោះស្រាយធម្មជាតិ

ប្រសិនបើយើងព្យាយាមរៀនពីឧទាហរណ៍នៃធម្មជាតិ ដោយគិតអំពីវិធីដើម្បីអភិវឌ្ឍ AI នោះក្នុងករណីខ្លះ AI អាចត្រូវបានគេគិតថាជា វិធីសាស្រ្តតម្រង់ទិសបញ្ហា. យ៉ាងណាមិញ ធម្មជាតិដំណើរការក្នុងឧបសគ្គដែលអ្នកវិទ្យាសាស្ត្រកុំព្យូទ័រមិនមាន។ មានមតិមួយថា វិធីសាស្រ្តទ្រឹស្តីសុទ្ធសាធក្នុងការដោះស្រាយបញ្ហាជាក់លាក់មួយអាចផ្តល់នូវដំណោះស្រាយដ៏មានប្រសិទ្ធភាពជាងជម្រើសជាក់ស្តែង។ ទោះជាយ៉ាងណាក៏ដោយ ខ្ញុំនៅតែគិតថា វាពិតជាមានប្រយោជន៍ក្នុងការសាកល្បងពីរបៀបដែលប្រព័ន្ធថាមវន្តដែលដំណើរការក្រោមឧបសគ្គមួយចំនួន (ផែនដី) បានបង្កើតភ្នាក់ងារ (សត្វ ជាពិសេសថនិកសត្វ) ដែលមានសមត្ថភាពអាចបត់បែនបាន និងឥរិយាបថស្មុគស្មាញ។ ខណៈពេលដែលឧបសគ្គទាំងនេះមួយចំនួនមិនអនុវត្តនៅក្នុងពិភពវិទ្យាសាស្ត្រទិន្នន័យដែលបានក្លែងធ្វើនោះ កត្តាផ្សេងទៀតគឺគ្រាន់តែល្អ។

ដោយបានពិនិត្យមើលឥរិយាបថបញ្ញារបស់ថនិកសត្វ យើងឃើញថាវាត្រូវបានបង្កើតឡើងជាលទ្ធផលនៃឥទ្ធិពលទៅវិញទៅមកដ៏ស្មុគស្មាញនៃដំណើរការដែលទាក់ទងគ្នាយ៉ាងជិតស្និទ្ធពីរ៖ រៀនពីបទពិសោធន៍របស់អ្នកដទៃ и រៀនដោយធ្វើ. អតីតជាញឹកញាប់ត្រូវបានស្មើនឹងការវិវត្តន៍ដែលជំរុញដោយការជ្រើសរើសធម្មជាតិ ប៉ុន្តែនៅទីនេះខ្ញុំប្រើពាក្យទូលំទូលាយដើម្បីគិតគូរពីអេពីហ្សែន មីក្រូជីវ និងយន្តការផ្សេងទៀតដែលអនុញ្ញាតឱ្យមានការចែករំលែកបទពិសោធន៍រវាងសារពាង្គកាយដែលមិនទាក់ទងនឹងហ្សែន។ ដំណើរការទីពីរ ការរៀនពីបទពិសោធន៍ គឺជាព័ត៌មានទាំងអស់ដែលសត្វគ្រប់គ្រងដើម្បីរៀនពេញមួយជីវិតរបស់វា ហើយព័ត៌មាននេះត្រូវបានកំណត់ដោយផ្ទាល់ដោយអន្តរកម្មរបស់សត្វនេះជាមួយពិភពខាងក្រៅ។ ប្រភេទនេះរួមបញ្ចូលអ្វីៗគ្រប់យ៉ាងចាប់ពីការរៀនស្គាល់វត្ថុ ដល់ការគ្រប់គ្រងទំនាក់ទំនងដែលមាននៅក្នុងដំណើរការសិក្សា។

និយាយដោយប្រយោល ដំណើរការទាំងពីរនេះដែលកើតឡើងនៅក្នុងធម្មជាតិអាចប្រៀបធៀបជាមួយនឹងជម្រើសពីរសម្រាប់ការធ្វើឱ្យបណ្តាញសរសៃប្រសាទប្រសើរឡើង។ យុទ្ធសាស្ត្រវិវត្តន៍ ដែលព័ត៌មានអំពីជម្រាលត្រូវបានប្រើដើម្បីធ្វើបច្ចុប្បន្នភាពព័ត៌មានអំពីសារពាង្គកាយ មកជិតនឹងការរៀនពីបទពិសោធន៍របស់អ្នកដទៃ។ ស្រដៀងគ្នានេះដែរ វិធីសាស្ត្រជម្រាល ដែលការទទួលបានបទពិសោធន៍មួយ ឬមួយផ្សេងទៀតនាំទៅរកការផ្លាស់ប្តូរមួយ ឬមួយផ្សេងទៀតនៅក្នុងអាកប្បកិរិយារបស់ភ្នាក់ងារ គឺអាចប្រៀបធៀបទៅនឹងការរៀនពីបទពិសោធន៍ផ្ទាល់ខ្លួន។ ប្រសិនបើយើងគិតអំពីប្រភេទនៃអាកប្បកិរិយាឆ្លាតវៃ ឬសមត្ថភាពដែលវិធីសាស្រ្តនីមួយៗនៃវិធីសាស្រ្តទាំងពីរនេះមានការរីកចម្រើននៅក្នុងសត្វ ការប្រៀបធៀបកាន់តែច្បាស់។ ក្នុងករណីទាំងពីរ "វិធីសាស្រ្តវិវត្តន៍" លើកកម្ពស់ការសិក្សាអំពីអាកប្បកិរិយាប្រតិកម្មដែលអនុញ្ញាតឱ្យមនុស្សម្នាក់អភិវឌ្ឍកាយសម្បទាជាក់លាក់មួយ (គ្រប់គ្រាន់ដើម្បីរស់) ។ ការរៀនដើរ ឬរត់គេចពីការជាប់ឃុំឃាំងគឺនៅក្នុងករណីជាច្រើនដែលស្មើនឹងអាកប្បកិរិយា "សភាវគតិ" បន្ថែមទៀតដែលមាន "ខ្សែរឹង" នៅក្នុងសត្វជាច្រើននៅកម្រិតហ្សែន។ លើសពីនេះទៀតឧទាហរណ៍នេះបញ្ជាក់ថាវិធីសាស្ត្រវិវត្តគឺអាចអនុវត្តបានក្នុងករណីដែលសញ្ញារង្វាន់កម្រមានណាស់ (ឧទាហរណ៍ការពិតនៃការចិញ្ចឹមកូនដោយជោគជ័យ) ។ ក្នុងករណីបែបនេះ វាមិនអាចទៅរួចទេក្នុងការភ្ជាប់រង្វាន់ជាមួយនឹងសកម្មភាពជាក់លាក់ណាមួយដែលអាចត្រូវបានអនុវត្តជាច្រើនឆ្នាំមុនពេលការកើតឡើងនៃការពិតនេះ។ ម៉្យាងវិញទៀត ប្រសិនបើយើងពិចារណាលើករណីដែល ES បរាជ័យ ពោលគឺការចាត់ថ្នាក់រូបភាព លទ្ធផលគឺគួរឱ្យកត់សម្គាល់ប្រៀបធៀបទៅនឹងលទ្ធផលនៃការសិក្សារបស់សត្វដែលសម្រេចបាននៅក្នុងការពិសោធន៍ចិត្តសាស្ត្រអាកប្បកិរិយារាប់មិនអស់ដែលបានធ្វើឡើងជាង 100 បូកឆ្នាំ។

ការរៀនពីសត្វ

វិធីសាស្រ្តដែលប្រើក្នុងការរៀនពង្រឹងគឺនៅក្នុងករណីជាច្រើនដែលបានយកដោយផ្ទាល់ពីអក្សរសិល្ប៍ផ្លូវចិត្តនៅលើ លក្ខខណ្ឌប្រតិបត្តិការ, និង operant conditioning ត្រូវបានសិក្សាដោយប្រើចិត្តវិទ្យាសត្វ។ ដោយវិធីនេះ លោក Richard Sutton ដែលជាស្ថាបនិកម្នាក់ក្នុងចំណោមស្ថាបនិកទាំងពីរនៃការពង្រឹងការរៀនសូត្រ មានបរិញ្ញាបត្រផ្នែកចិត្តវិទ្យា។ នៅក្នុងបរិបទនៃលក្ខខណ្ឌនៃប្រតិបត្តិការ សត្វរៀនដើម្បីភ្ជាប់រង្វាន់ ឬការដាក់ទណ្ឌកម្មជាមួយនឹងគំរូអាកប្បកិរិយាជាក់លាក់។ គ្រូបណ្តុះបណ្តាល និងអ្នកស្រាវជ្រាវអាចរៀបចំសមាគមរង្វាន់នេះតាមមធ្យោបាយមួយ ឬមធ្យោបាយផ្សេងទៀត ដោយជំរុញឱ្យសត្វបង្ហាញពីភាពវៃឆ្លាត ឬអាកប្បកិរិយាជាក់លាក់។ ទោះជាយ៉ាងណាក៏ដោយ លក្ខខណ្ឌប្រតិបត្តិការ ដូចដែលបានប្រើក្នុងការស្រាវជ្រាវសត្វ គឺគ្មានអ្វីក្រៅពីទម្រង់ច្បាស់លាស់នៃលក្ខខណ្ឌដូចគ្នា ដោយផ្អែកលើមូលដ្ឋានដែលសត្វរៀនពេញមួយជីវិតរបស់ពួកគេ។ យើង​ទទួល​បាន​សញ្ញា​នៃ​ការ​ពង្រឹង​ជា​វិជ្ជមាន​ពី​បរិស្ថាន​ជានិច្ច ហើយ​កែសម្រួល​អាកប្បកិរិយា​របស់​យើង​ឱ្យ​ស្រប​តាម​នោះ។ តាមពិតទៅ អ្នកវិទ្យាសាស្ត្រសរសៃប្រសាទ និងអ្នកវិទ្យាសាស្ត្រយល់ដឹងជាច្រើនជឿថាមនុស្ស និងសត្វដទៃទៀតពិតជាដំណើរការក្នុងកម្រិតខ្ពស់ជាងនេះ ហើយបន្តរៀនទស្សន៍ទាយលទ្ធផលនៃអាកប្បកិរិយារបស់ពួកគេក្នុងស្ថានភាពនាពេលអនាគតដោយផ្អែកលើរង្វាន់សក្តានុពល។

តួនាទីកណ្តាលនៃការទស្សន៍ទាយក្នុងការរៀនពីបទពិសោធន៍ផ្លាស់ប្តូរថាមវន្តដែលបានពិពណ៌នាខាងលើតាមរបៀបសំខាន់ៗ។ សញ្ញា​ដែល​ត្រូវ​បាន​គេ​ចាត់​ទុក​កាល​ពី​មុន​ថា​មាន​កម្រិត​ខ្លាំង (រង្វាន់​ជា​ដំណាក់កាល) ប្រែ​ទៅ​ជា​ក្រាស់​ខ្លាំង។ តាមទ្រឹស្តី ស្ថានភាពគឺដូចនេះ៖ នៅពេលណាមួយ ខួរក្បាលរបស់ថនិកសត្វកំពុងគណនាលទ្ធផលដោយផ្អែកលើស្ទ្រីមស្មុគ្រស្មាញនៃការរំញោច និងសកម្មភាព ខណៈពេលដែលសត្វត្រូវបានជ្រមុជនៅក្នុងស្ទ្រីមនេះ។ ក្នុងករណីនេះអាកប្បកិរិយាចុងក្រោយរបស់សត្វផ្តល់នូវសញ្ញាដ៏រឹងមាំដែលត្រូវតែប្រើដើម្បីណែនាំការកែតម្រូវនៃការព្យាករណ៍និងការអភិវឌ្ឍនៃអាកប្បកិរិយា។ ខួរក្បាលប្រើសញ្ញាទាំងអស់នេះ ដើម្បីបង្កើនប្រសិទ្ធភាពការព្យាករណ៍ (ហើយតាមនោះ គុណភាពនៃសកម្មភាពដែលបានធ្វើឡើង) នាពេលអនាគត។ ទិដ្ឋភាពទូទៅនៃវិធីសាស្រ្តនេះត្រូវបានផ្តល់ឱ្យនៅក្នុងសៀវភៅដ៏ល្អ "ការរុករកភាពមិនប្រាកដប្រជា"អ្នកវិទ្យាសាស្ត្រ និងទស្សនវិទូ Andy Clark ។ ប្រសិនបើយើងបន្ថែមហេតុផលបែបនេះចំពោះការបណ្តុះបណ្តាលភ្នាក់ងារសិប្បនិម្មិត នោះកំហុសជាមូលដ្ឋានក្នុងការរៀនពង្រឹងត្រូវបានបង្ហាញ៖ សញ្ញាដែលប្រើក្នុងគំរូនេះគឺខ្សោយដោយអស់សង្ឃឹមបើប្រៀបធៀបទៅនឹងអ្វីដែលវាអាចជា (ឬគួរតែ)។ ក្នុងករណីដែលមិនអាចបង្កើនភាពតិត្ថិភាពនៃសញ្ញា (ប្រហែលជាដោយសារតែវាខ្សោយ ឬជាប់ទាក់ទងនឹងប្រតិកម្មកម្រិតទាប) វាជាការប្រសើរក្នុងការចូលចិត្តវិធីសាស្ត្របណ្តុះបណ្តាលដែលមានភាពស្របគ្នាល្អ ឧទាហរណ៍ ES ។

ការបណ្តុះបណ្តាលកាន់តែសម្បូរបែបនៃបណ្តាញសរសៃប្រសាទ

ដោយផ្អែកលើគោលការណ៍នៃសកម្មភាពសរសៃប្រសាទខ្ពស់ដែលមាននៅក្នុងខួរក្បាលថនិកសត្វ ដែលរវល់ឥតឈប់ឈរក្នុងការធ្វើការទស្សន៍ទាយ ភាពជឿនលឿនថ្មីៗត្រូវបានធ្វើឡើងនៅក្នុងការរៀនពង្រឹង ដែលឥឡូវនេះគិតគូរពីសារៈសំខាន់នៃការទស្សន៍ទាយបែបនេះ។ ខ្ញុំ​អាច​ណែនាំ​ការងារ​ស្រដៀង​គ្នា​ពីរ​ភ្លាមៗ​ដល់​អ្នក៖

• រៀនធ្វើដោយការទស្សន៍ទាយអនាគត
• ការពង្រឹងការរៀនជាមួយនឹងកិច្ចការជំនួយដែលមិនមានការត្រួតពិនិត្យ

នៅក្នុងឯកសារទាំងពីរនេះ អ្នកនិពន្ធបន្ថែមគោលការណ៍លំនាំដើមធម្មតានៃបណ្តាញសរសៃប្រសាទរបស់ពួកគេ ជាមួយនឹងលទ្ធផលព្យាករណ៍អំពីស្ថានភាពបរិស្ថាននាពេលអនាគត។ នៅក្នុងអត្ថបទទីមួយ ការព្យាករណ៍ត្រូវបានអនុវត្តចំពោះអថេររង្វាស់ជាច្រើន ហើយនៅក្នុងអត្ថបទទីពីរ ការព្យាករណ៍ត្រូវបានអនុវត្តចំពោះការផ្លាស់ប្តូរបរិស្ថាន និងអាកប្បកិរិយារបស់ភ្នាក់ងារដូចនោះ។ ក្នុងករណីទាំងពីរនេះ សញ្ញាតូចតាចដែលត្រូវបានផ្សារភ្ជាប់ជាមួយនឹងការពង្រឹងជាវិជ្ជមានកាន់តែមានភាពសម្បូរបែប និងផ្តល់ព័ត៌មានកាន់តែច្រើន ដែលអនុញ្ញាតឱ្យមានទាំងការរៀនសូត្រលឿនជាងមុន និងការទទួលបានអាកប្បកិរិយាស្មុគស្មាញកាន់តែច្រើន។ ការកែលម្អបែបនេះអាចប្រើបានតែជាមួយវិធីសាស្ត្រដែលប្រើសញ្ញាជម្រាល ហើយមិនមែនជាមួយវិធីសាស្ត្រដែលដំណើរការលើគោលការណ៍ "ប្រអប់ខ្មៅ" ដូចជា ES ទេ។

លើសពីនេះ ការរៀនពីបទពិសោធន៍ និងវិធីសាស្ត្រជម្រាលគឺមានប្រសិទ្ធភាពជាង។ សូម្បីតែក្នុងករណីដែលវាអាចសិក្សាបញ្ហាជាក់លាក់មួយដោយប្រើវិធីសាស្ត្រ ES លឿនជាងការប្រើការរៀនពង្រឹងក៏ដោយ ក៏ការទទួលបានត្រូវបានសម្រេចដោយសារតែការពិតដែលថាយុទ្ធសាស្ត្រ ES ពាក់ព័ន្ធនឹងទិន្នន័យច្រើនដងច្រើនជាង RL ។ ដោយឆ្លុះបញ្ចាំងក្នុងករណីនេះលើគោលការណ៍នៃការរៀននៅក្នុងសត្វ យើងកត់សំគាល់ថាលទ្ធផលនៃការរៀនពីគំរូរបស់នរណាម្នាក់បង្ហាញដោយខ្លួនវាបន្ទាប់ពីជាច្រើនជំនាន់ ខណៈពេលដែលពេលខ្លះព្រឹត្តិការណ៍តែមួយដែលជួបប្រទះដោយខ្លួនឯងគឺគ្រប់គ្រាន់សម្រាប់សត្វដើម្បីរៀនមេរៀនជារៀងរហូត។ ខណៈពេលដែលចូលចិត្ត ការបណ្តុះបណ្តាលដោយគ្មានឧទាហរណ៍ ខណៈពេលដែលវាមិនសមទៅនឹងវិធីសាស្ត្រជម្រាលបែបប្រពៃណី វាពិតជាមានភាពវៃឆ្លាតជាង ES។ ឧទាហរណ៍មានវិធីសាស្រ្តដូចជា ការត្រួតពិនិត្យសរសៃប្រសាទដែលជាកន្លែងដែល Q-values ​​ត្រូវបានរក្សាទុកកំឡុងពេលបណ្តុះបណ្តាល បន្ទាប់ពីនោះកម្មវិធីពិនិត្យពួកវាមុនពេលធ្វើសកម្មភាព។ លទ្ធផលគឺជាវិធីសាស្ត្រជម្រាលដែលអនុញ្ញាតឱ្យអ្នករៀនពីរបៀបដោះស្រាយបញ្ហាបានលឿនជាងមុន។ នៅក្នុងអត្ថបទមួយស្តីពីការគ្រប់គ្រងផ្នែកសរសៃប្រសាទ អ្នកនិពន្ធបានលើកឡើងអំពី hippocampus របស់មនុស្ស ដែលមានសមត្ថភាពរក្សាព័ត៌មានអំពីព្រឹត្តិការណ៍មួយ សូម្បីតែបន្ទាប់ពីបទពិសោធន៍តែមួយ ហើយដូច្នេះ ការលេង តួនាទីសំខាន់ នៅក្នុងដំណើរការនៃការចងចាំ។ យន្តការបែបនេះតម្រូវឱ្យមានការចូលទៅកាន់អង្គការផ្ទៃក្នុងរបស់ភ្នាក់ងារ ដែលតាមនិយមន័យផងដែរគឺមិនអាចទៅរួចទេក្នុង ES paradigm ។

ដូច្នេះហេតុអ្វីបានជាមិនបញ្ចូលគ្នា?

វាទំនងជាថាភាគច្រើននៃអត្ថបទនេះអាចទុកចំណាប់អារម្មណ៍ថាខ្ញុំកំពុងតស៊ូមតិវិធីសាស្ត្រ RL ។ ទោះជាយ៉ាងណាក៏ដោយ ខ្ញុំគិតថា ក្នុងរយៈពេលវែង ដំណោះស្រាយដ៏ល្អបំផុតគឺត្រូវបញ្ចូលគ្នានូវវិធីទាំងពីរ ដើម្បីឲ្យវិធីនីមួយៗប្រើក្នុងស្ថានភាពដែលសមស្របបំផុត។ ជាក់ស្តែង ក្នុងករណីគោលនយោបាយប្រតិកម្មជាច្រើន ឬក្នុងស្ថានភាពដែលមានសញ្ញាតិចតួចនៃការពង្រឹងជាវិជ្ជមាន ES ឈ្នះ ជាពិសេសប្រសិនបើអ្នកមានថាមពលកុំព្យូទ័រដែលអាចឱ្យអ្នកអាចដំណើរការការហ្វឹកហាត់ស្របគ្នា។ ម៉្យាងវិញទៀត វិធីសាស្ត្រជម្រាលដោយប្រើប្រាស់ការរៀនពង្រឹង ឬការសិក្សាដែលមានការត្រួតពិនិត្យនឹងមានប្រយោជន៍នៅពេលដែលយើងទទួលបានមតិកែលម្អយ៉ាងទូលំទូលាយ ហើយត្រូវការរៀនពីរបៀបដោះស្រាយបញ្ហាឱ្យបានឆាប់រហ័ស និងដោយទិន្នន័យតិច។

ងាកមកធម្មជាតិវិញ យើងឃើញថា វិធីសាស្ត្រទី១ ជាគោលការណ៍គ្រឹះសម្រាប់ទីពីរ។ នេះ​ហើយ​ជា​មូលហេតុ​ដែល​ក្នុង​ដំណើរ​វិវត្តន៍ ថនិកសត្វ​បាន​អភិវឌ្ឍ​ខួរក្បាល​ដែល​អនុញ្ញាត​ឱ្យ​ពួកគេ​រៀន​យ៉ាង​មាន​ប្រសិទ្ធភាព​ពី​សញ្ញា​ស្មុគស្មាញ​ដែល​ចេញ​មក​ពី​បរិស្ថាន។ ដូច្នេះសំណួរនៅតែបើកចំហ។ ប្រហែលជាយុទ្ធសាស្រ្តវិវត្តន៍នឹងជួយយើងបង្កើតស្ថាបត្យកម្មសិក្សាប្រកបដោយប្រសិទ្ធភាព ដែលនឹងមានប្រយោជន៍ផងដែរសម្រាប់វិធីសាស្ត្រសិក្សាតាមជម្រាល។ យ៉ាងណាមិញ ដំណោះស្រាយដែលបានរកឃើញដោយធម្មជាតិគឺពិតជាជោគជ័យខ្លាំងណាស់។

ប្រភព: www.habr.com