NeurIPS 2019៖ និន្នាការ ML ដែលនឹងនៅជាមួយយើងសម្រាប់ទសវត្សរ៍ក្រោយ

NeuroIPS (ប្រព័ន្ធដំណើរការព័ត៌មានសរសៃប្រសាទ) គឺជាសន្និសីទដ៏ធំបំផុតរបស់ពិភពលោកស្តីពីការរៀនម៉ាស៊ីន និងបញ្ញាសិប្បនិមិត្ត និងព្រឹត្តិការណ៍សំខាន់នៅក្នុងពិភពនៃការរៀនសូត្រជ្រៅ។

តើយើងនឹង វិស្វករ DS ជំនាញជីវវិទ្យា ភាសាវិទ្យា និងចិត្តវិទ្យាក្នុងទសវត្សរ៍ថ្មីដែរឬទេ? យើងនឹងប្រាប់អ្នកនៅក្នុងការពិនិត្យរបស់យើង។

ឆ្នាំនេះ សន្និសីទបានប្រមូលផ្តុំមនុស្សជាង 13500 នាក់មកពី 80 ប្រទេសនៅទីក្រុង Vancouver ប្រទេសកាណាដា។ នេះមិនមែនជាឆ្នាំដំបូងដែល Sberbank តំណាងឱ្យប្រទេសរុស្ស៊ីនៅក្នុងសន្និសីទនោះទេ ក្រុមការងារ DS បាននិយាយអំពីការអនុវត្ត ML នៅក្នុងដំណើរការធនាគារ អំពីការប្រកួតប្រជែង ML និងអំពីសមត្ថភាពនៃវេទិកា Sberbank DS ។ តើអ្វីជានិន្នាការចម្បងនៃឆ្នាំ 2019 នៅក្នុងសហគមន៍ ML? អ្នកចូលរួមសន្និសីទនិយាយថា៖ Andrey Chertok и Tatyana Shavrina.

នៅឆ្នាំនេះ NeurIPS បានទទួលយកឯកសារច្រើនជាង 1400—ក្បួនដោះស្រាយ គំរូថ្មី និងកម្មវិធីថ្មីចំពោះទិន្នន័យថ្មី។ ភ្ជាប់ទៅសម្ភារៈទាំងអស់។

មាតិកា:

• និន្នាការ
• • ការបកស្រាយគំរូ
  • ពហុវិជ្ជា
  • ហេតុផល។
  • RL
  • GAN
• ការពិភាក្សាដែលបានអញ្ជើញជាមូលដ្ឋាន
• • “Social Intelligence”, Blaise Aguera និង Arcas (Google)
  • "វិទ្យាសាស្ត្រទិន្នន័យជាក់ស្តែង", Bin Yu (Berkeley)
  • “ការ​ធ្វើ​គំរូ​អាកប្បកិរិយា​មនុស្ស​ជាមួយ​នឹង​ការ​រៀន​ម៉ាស៊ីន៖ ឱកាស និង​បញ្ហា​ប្រឈម”, Nuria M Oliver, Albert Ali Salah
  • "ពីប្រព័ន្ធ 1 ដល់ប្រព័ន្ធ 2 ការរៀនជ្រៅជ្រះ", Yoshua Bengio

និន្នាការឆ្នាំ 2019

1. ការបកស្រាយគំរូ និងវិធីសាស្រ្ត ML ថ្មី។

ប្រធានបទសំខាន់នៃសន្និសីទគឺការបកស្រាយ និងភស្តុតាងនៃមូលហេតុដែលយើងទទួលបានលទ្ធផលជាក់លាក់។ គេអាចនិយាយជាយូរមកហើយអំពីសារៈសំខាន់ទស្សនវិជ្ជានៃការបកស្រាយ "ប្រអប់ខ្មៅ" ប៉ុន្តែមានវិធីសាស្រ្ត និងការអភិវឌ្ឍន៍បច្ចេកទេសពិតប្រាកដបន្ថែមទៀតនៅក្នុងតំបន់នេះ។

វិធីសាស្រ្តក្នុងការចម្លងគំរូ និងទាញយកចំណេះដឹងពីពួកគេ គឺជាឧបករណ៍ថ្មីសម្រាប់វិទ្យាសាស្ត្រ។ ម៉ូដែលអាចបម្រើជាឧបករណ៍សម្រាប់ការទទួលបានចំណេះដឹងថ្មីៗ និងសាកល្បងវា ហើយដំណាក់កាលនីមួយៗនៃដំណើរការមុន ការបណ្តុះបណ្តាល និងការអនុវត្តគំរូត្រូវតែអាចផលិតឡើងវិញបាន។
សមាមាត្រដ៏សំខាន់នៃការបោះពុម្ពផ្សាយគឺផ្តោតលើការសាងសង់គំរូ និងឧបករណ៍ ប៉ុន្តែចំពោះបញ្ហានៃការធានាសុវត្ថិភាព តម្លាភាព និងការផ្ទៀងផ្ទាត់លទ្ធផល។ ជាពិសេស ស្ទ្រីមដាច់ដោយឡែកមួយបានលេចឡើងអំពីការវាយប្រហារលើគំរូ (ការវាយប្រហារដោយសត្រូវ) ហើយជម្រើសសម្រាប់ការវាយប្រហារទាំងលើការបណ្តុះបណ្តាល និងការវាយប្រហារលើកម្មវិធីត្រូវបានពិចារណា។

អត្ថបទ៖

• វិទ្យាសាស្ត្រទិន្នន័យ Veridical - អត្ថបទកម្មវិធីស្តីពីវិធីសាស្រ្តនៃការផ្ទៀងផ្ទាត់គំរូ។ រួមបញ្ចូលទិដ្ឋភាពទូទៅនៃឧបករណ៍ទំនើបសម្រាប់ការបកស្រាយគំរូ ជាពិសេសការប្រើប្រាស់ការយកចិត្តទុកដាក់ និងការទទួលបានសារៈសំខាន់នៃលក្ខណៈពិសេសដោយ "ការចម្រោះ" បណ្តាញសរសៃប្រសាទជាមួយនឹងគំរូលីនេអ៊ែរ។
• នេះមើលទៅដូចនេះ៖ ការរៀនស៊ីជម្រៅសម្រាប់ការទទួលស្គាល់រូបភាពដែលអាចបកស្រាយបាន។ Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
• ស្តង់ដារសម្រាប់វិធីសាស្រ្តនៃការបកស្រាយនៅក្នុងបណ្តាញសរសៃប្រសាទជ្រៅ Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
• ឆ្ពោះទៅរកការរៀនពង្រឹងការបកស្រាយដោយប្រើភ្នាក់ងារបង្កើនការយកចិត្តទុកដាក់ Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
• វិធានការសំខាន់លក្ខណៈពិសេសរបស់ MDI Debiased សម្រាប់ព្រៃឈើចៃដន្យ Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
• ការដកស្រង់ចំណេះដឹងដោយគ្មានទិន្នន័យដែលអាចសង្កេតបាន។ Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
• ជំហានឆ្ពោះទៅរកបរិមាណ ការស្រាវជ្រាវការសិក្សាម៉ាស៊ីនផលិតឡើងវិញដោយឯករាជ្យ លោក Edward Raff

ExBert.net បង្ហាញការបកស្រាយគំរូសម្រាប់កិច្ចការដំណើរការអត្ថបទ

2. ពហុវិជ្ជា

ដើម្បីធានាបាននូវការផ្ទៀងផ្ទាត់ដែលអាចទុកចិត្តបាន និងបង្កើតយន្តការសម្រាប់ផ្ទៀងផ្ទាត់ និងពង្រីកចំណេះដឹង យើងត្រូវការអ្នកឯកទេសក្នុងវិស័យពាក់ព័ន្ធដែលក្នុងពេលដំណាលគ្នាមានសមត្ថភាពក្នុង ML និងក្នុងមុខវិជ្ជា (វេជ្ជសាស្ត្រ ភាសាវិទ្យា សរសៃប្រសាទ ការអប់រំ។ល។)។ វាគួរឱ្យកត់សម្គាល់ជាពិសេសចំពោះវត្តមានសំខាន់ៗនៃស្នាដៃនិងសុន្ទរកថានៅក្នុងវិទ្យាសាស្ត្រសរសៃប្រសាទនិងវិទ្យាសាស្ត្រការយល់ដឹង - មានការសម្របសម្រួលពីអ្នកឯកទេសនិងការខ្ចីគំនិត។

បន្ថែមពីលើការលើកឡើងនេះ ពហុជំនាញកំពុងលេចឡើងក្នុងដំណើរការរួមគ្នានៃព័ត៌មានពីប្រភពផ្សេងៗ៖ អត្ថបទ និងរូបថត អត្ថបទ និងហ្គេម មូលដ្ឋានទិន្នន័យក្រាហ្វ + អត្ថបទ និងរូបថត។

អត្ថបទ៖

• សរសៃប្រសាទ + ML — ការបកស្រាយ និងកែលម្អដំណើរការភាសាធម្មជាតិ (នៅក្នុងម៉ាស៊ីន) ជាមួយនឹងដំណើរការភាសាធម្មជាតិ (នៅក្នុងខួរក្បាល)
• VisualQA - ការរៀនដោយអរូបី៖ ម៉ាស៊ីនរដ្ឋសរសៃប្រសាទ
• RL + NLP - ការសម្រេចចិត្តតាមឋានានុក្រមដោយបង្កើត និងធ្វើតាមការណែនាំភាសាធម្មជាតិ

គំរូពីរ - អ្នកយុទ្ធសាស្រ្ត និងប្រតិបត្តិ - ផ្អែកលើ RL និង NLP លេងយុទ្ធសាស្រ្តអនឡាញ

៥- ការវែកញែក

ការពង្រឹងបញ្ញាសិប្បនិមិត្ត គឺជាចលនាឆ្ពោះទៅរកប្រព័ន្ធសិក្សាដោយខ្លួនឯង “ដឹង” ហេតុផល និងហេតុផល។ ជាពិសេស ការសន្និដ្ឋានហេតុផល និងហេតុផលទូទៅកំពុងអភិវឌ្ឍ។ របាយការណ៍មួយចំនួនត្រូវបានឧទ្ទិសដល់ការរៀនមេតា ​​(អំពីរបៀបរៀនដើម្បីរៀន) និងការរួមបញ្ចូលគ្នានៃបច្ចេកវិទ្យា DL ជាមួយនឹងតក្កវិជ្ជាលំដាប់ទី 1 និងទី 2 - ពាក្យ Artificial General Intelligence (AGI) កំពុងក្លាយជាពាក្យធម្មតានៅក្នុងសុន្ទរកថារបស់អ្នកនិយាយ។

អត្ថបទ៖

• ការរៀនក្រាហ្វមិនទៀងទាត់សម្រាប់ហេតុផលសមូហភាពដែលមើលឃើញ Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
• Bridging Machine Learning and Logical Reasoning ដោយ Abductive Learning Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
• ការរៀនវែកញែកដោយប្រយោលក្នុងតក្កវិជ្ជាលំដាប់ទីមួយ Vaishak Belle, Brendan Juba
• PHYRE: ស្តង់ដារថ្មីសម្រាប់ហេតុផលរាងកាយ Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
• Quantum បង្កប់នៃចំណេះដឹងសម្រាប់ការវែកញែក Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam

4. ការពង្រឹងការរៀនសូត្រ

ការងារភាគច្រើនបន្តអភិវឌ្ឍតំបន់ប្រពៃណីនៃ RL - DOTA2, Starcraft, រួមបញ្ចូលគ្នារវាងស្ថាបត្យកម្មជាមួយនឹងចក្ខុវិស័យកុំព្យូទ័រ, NLP, មូលដ្ឋានទិន្នន័យក្រាហ្វ។

ថ្ងៃដាច់ដោយឡែកនៃសន្និសិទត្រូវបានឧទ្ទិសដល់សិក្ខាសាលា RL ដែលស្ថាបត្យកម្មតារាសម្ដែងសុទិដ្ឋិនិយម Critic Model ត្រូវបានបង្ហាញ ប្រសើរជាងមុនទាំងអស់ ជាពិសេស Soft Actor Critic ។

អត្ថបទ៖

• ការរុករកកាន់តែប្រសើរឡើងជាមួយនឹងអ្នករិះគន់តារាសម្តែងដែលមានសុទិដ្ឋិនិយម; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
• ChainerRL: បណ្ណាល័យសិក្សាពង្រឹងជ្រៅ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (បណ្តាញដែលពេញចិត្ត); Takahiro Ishikawa (សាកលវិទ្យាល័យតូក្យូ) [តំណភ្ជាប់ pdf ខាងក្រៅ] ។
• សុបិន្តដើម្បីគ្រប់គ្រង៖ រៀនអាកប្បកិរិយាដោយការស្រមើលស្រមៃមិនទាន់ឃើញ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (សាកលវិទ្យាល័យតូរ៉ុនតូ); Mohammad Norouzi (Google Brain)
• សម្ភារៈសិក្ខាសាលា

អ្នកលេង StarCraft ប្រយុទ្ធជាមួយគំរូ Alphastar (DeepMind)

5.GAN

បណ្តាញជំនាន់នៅតែស្ថិតក្នុងការចាប់អារម្មណ៍៖ ការងារជាច្រើនប្រើ vanilla GANs សម្រាប់ភស្តុតាងគណិតវិទ្យា ហើយក៏អនុវត្តវាតាមរបៀបថ្មីដែលមិនប្រក្រតី (ក្រាហ្វគំរូបង្កើត ធ្វើការជាមួយស៊េរី កម្មវិធីដើម្បីទំនាក់ទំនងមូលហេតុ និងផលប៉ះពាល់ក្នុងទិន្នន័យ។ល។)។

អត្ថបទ៖

• ការជីកយករ៉ែមាសគំរូសម្រាប់ GANs តាមលក្ខខណ្ឌ Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
• ការបង្កើនវឌ្ឍនភាពនៃ GANs Dan Zhang, Anna Khoreva
• ការធ្វើគំរូទិន្នន័យតារាងដោយប្រើ GAN តាមលក្ខខណ្ឌ Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

ចាប់តាំងពីការងារកាន់តែច្រើនត្រូវបានទទួលយក 1400 ខាងក្រោមនេះយើងនឹងនិយាយអំពីសុន្ទរកថាសំខាន់បំផុត។

ការពិភាក្សាដែលបានអញ្ជើញ

“Social Intelligence”, Blaise Aguera និង Arcas (Google)

តំណភ្ជាប់
ស្លាយ និងវីដេអូ
ការពិភាក្សាផ្តោតលើវិធីសាស្រ្តទូទៅនៃការរៀនម៉ាស៊ីន និងការរំពឹងទុកនៃការផ្លាស់ប្តូរឧស្សាហកម្មនៅពេលនេះ - តើផ្លូវបំបែកអ្វីខ្លះដែលយើងកំពុងប្រឈមមុខ? តើខួរក្បាល និងការវិវត្តន៍ដំណើរការដោយរបៀបណា ហើយហេតុអ្វីបានជាយើងប្រើប្រាស់នូវអ្វីដែលយើងដឹងរួចហើយអំពីការអភិវឌ្ឍន៍ប្រព័ន្ធធម្មជាតិតិចតួចដូច្នេះ?

ការអភិវឌ្ឍន៍ឧស្សាហកម្មរបស់ ML ភាគច្រើនស្របគ្នានឹងចំណុចសំខាន់នៃការអភិវឌ្ឍន៍របស់ Google ដែលបោះពុម្ពផ្សាយការស្រាវជ្រាវរបស់ខ្លួនលើ NeurIPS ពីមួយឆ្នាំទៅមួយឆ្នាំ៖

• 1997 - ការចាប់ផ្តើមនៃកន្លែងស្វែងរក, ម៉ាស៊ីនមេដំបូង, ថាមពលកុំព្យូទ័រតូច
• 2010 – Jeff Dean បើកដំណើរការគម្រោង Google Brain ដែលជាការរីកចំរើននៃបណ្តាញសរសៃប្រសាទនៅដើមដំបូង
• ឆ្នាំ 2015 - ការអនុវត្តឧស្សាហកម្មនៃបណ្តាញសរសៃប្រសាទ ការទទួលស្គាល់មុខរហ័សដោយផ្ទាល់នៅលើឧបករណ៍ក្នុងស្រុក ឧបករណ៍ដំណើរការកម្រិតទាបដែលតម្រូវសម្រាប់កុំព្យូទ័រ tensor - TPU ។ Google បើកដំណើរការ Coral ai ដែលជា analogue នៃ raspberry pi ដែលជាកុំព្យូទ័រខ្នាតតូចសម្រាប់ណែនាំបណ្តាញសរសៃប្រសាទទៅក្នុងការដំឡើងពិសោធន៍
• ឆ្នាំ 2017 - Google ចាប់ផ្តើមបង្កើតការបណ្តុះបណ្តាលវិមជ្ឈការ និងរួមបញ្ចូលគ្នានូវលទ្ធផលនៃការបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទពីឧបករណ៍ផ្សេងៗគ្នាទៅជាគំរូតែមួយ - នៅលើ Android

សព្វថ្ងៃនេះ ឧស្សាហកម្មទាំងមូលត្រូវបានឧទ្ទិសដល់សុវត្ថិភាពទិន្នន័យ ការប្រមូលផ្តុំ និងការចម្លងនៃលទ្ធផលសិក្សានៅលើឧបករណ៍ក្នុងតំបន់។

ការរៀនសូត្រសហព័ន្ធ - ទិសដៅនៃ ML ដែលគំរូនីមួយៗរៀនដោយឯករាជ្យពីគ្នាទៅវិញទៅមក ហើយបន្ទាប់មកត្រូវបានបញ្ចូលគ្នាជាគំរូតែមួយ (ដោយមិនកំណត់ប្រភពទិន្នន័យកណ្តាល) កែតម្រូវសម្រាប់ព្រឹត្តិការណ៍កម្រ ភាពមិនប្រក្រតី ការកំណត់ផ្ទាល់ខ្លួន។ល។ ឧបករណ៍ Android ទាំងអស់គឺជាកុំព្យូទ័រទំនើបតែមួយគត់សម្រាប់ Google ។

គំរូបង្កើតដោយផ្អែកលើការរៀនសូត្រសហព័ន្ធគឺជាទិសដៅអនាគតដ៏ជោគជ័យមួយយោងទៅតាម Google ដែល "នៅក្នុងដំណាក់កាលដំបូងនៃកំណើនអិចស្ប៉ូណង់ស្យែល"។ យោងតាមសាស្ត្រាចារ្យ GANs មានសមត្ថភាពរៀនបង្កើតឡើងវិញនូវឥរិយាបថដ៏ធំនៃចំនួនប្រជាជននៃសារពាង្គកាយមានជីវិត និងក្បួនដោះស្រាយការគិត។

ដោយប្រើឧទាហរណ៍នៃស្ថាបត្យកម្ម GAN សាមញ្ញចំនួនពីរ វាត្រូវបានបង្ហាញថានៅក្នុងពួកគេ ការស្វែងរកផ្លូវបង្កើនប្រសិទ្ធភាពដើរក្នុងរង្វង់មួយ ដែលមានន័យថាការបង្កើនប្រសិទ្ធភាពបែបនេះមិនកើតឡើងទេ។ ទន្ទឹមនឹងនេះ គំរូទាំងនេះទទួលបានជោគជ័យយ៉ាងខ្លាំងក្នុងការក្លែងធ្វើពិសោធន៍ដែលអ្នកជីវវិទូអនុវត្តលើចំនួនបាក់តេរី ដោយបង្ខំឱ្យពួកគេរៀនយុទ្ធសាស្រ្តអាកប្បកិរិយាថ្មីក្នុងការស្វែងរកអាហារ។ យើងអាចសន្និដ្ឋានថាជីវិតដំណើរការខុសពីមុខងារបង្កើនប្រសិទ្ធភាព។

ការដើរ GAN Optimization

អ្វីទាំងអស់ដែលយើងធ្វើនៅក្នុងក្របខណ្ឌនៃការរៀនម៉ាស៊ីនឥឡូវនេះគឺជាកិច្ចការតូចចង្អៀត និងមានលក្ខណៈផ្លូវការបំផុត ខណៈពេលដែលទម្រង់បែបបទទាំងនេះមិនមានលក្ខណៈទូទៅល្អ និងមិនទាក់ទងទៅនឹងចំណេះដឹងមុខវិជ្ជារបស់យើងក្នុងផ្នែកដូចជា neurophysiology និងជីវវិទ្យា។

អ្វីដែលពិតជាមានតម្លៃក្នុងការខ្ចីពីវិស័យសរសៃប្រសាទនាពេលខាងមុខគឺស្ថាបត្យកម្មណឺរ៉ូនថ្មី និងការពិនិត្យឡើងវិញបន្តិចបន្តួចនៃយន្តការនៃការរីករាលដាលនៃកំហុស

ខួរក្បាលមនុស្សមិនរៀនដូចបណ្តាញសរសៃប្រសាទទេ៖

• គាត់មិនមានធាតុចូលបឋមចៃដន្យទេ រាប់បញ្ចូលទាំងការយល់ឃើញ និងក្នុងវ័យកុមារភាព
• គាត់មានទិសដៅនៃការអភិវឌ្ឍន៍សភាវគតិ (បំណងប្រាថ្នាចង់រៀនភាសាពីទារកដើរត្រង់)

ការបណ្តុះបណ្តាលខួរក្បាលបុគ្គលគឺជាកិច្ចការកម្រិតទាប ប្រហែលជាយើងគួរតែពិចារណាលើ "អាណានិគម" នៃការផ្លាស់ប្តូរបុគ្គលយ៉ាងឆាប់រហ័សដែលបញ្ជូនចំណេះដឹងទៅគ្នាទៅវិញទៅមកដើម្បីបង្កើតយន្តការនៃការវិវត្តន៍ជាក្រុមឡើងវិញ។

អ្វីដែលយើងអាចយកទៅប្រើក្នុង ML algorithms ឥឡូវនេះ៖

• អនុវត្ត​គំរូ​ពូជពង្ស​កោសិកា​ដែល​ធានា​ដល់​ការ​សិក្សា​របស់​ប្រជាជន ប៉ុន្តែ​អាយុ​ខ្លី​របស់​បុគ្គល ("ខួរក្បាល​បុគ្គល")
• ការរៀនបាញ់ពីរបីដោយប្រើឧទាហរណ៍មួយចំនួនតូច
• រចនាសម្ព័ន្ធណឺរ៉ូនស្មុគ្រស្មាញកាន់តែច្រើន មុខងារធ្វើឱ្យសកម្មខុសគ្នាបន្តិចបន្តួច
• ការផ្ទេរ "ហ្សែន" ទៅមនុស្សជំនាន់ក្រោយ - ក្បួនដោះស្រាយការបន្តពូជ
• នៅពេលដែលយើងភ្ជាប់ប្រព័ន្ធសរសៃប្រសាទ និងបណ្តាញសរសៃប្រសាទ យើងនឹងរៀនបង្កើតខួរក្បាលពហុមុខងារពីសមាសធាតុជាច្រើន។

តាមទស្សនៈនេះ ការអនុវត្តនៃដំណោះស្រាយ SOTA គឺមានការរំខាន ហើយគួរតែត្រូវបានកែសម្រួលសម្រាប់ជាប្រយោជន៍នៃការអភិវឌ្ឍន៍កិច្ចការទូទៅ (ស្តង់ដារ)។

"វិទ្យាសាស្ត្រទិន្នន័យជាក់ស្តែង", Bin Yu (Berkeley)

វីដេអូ និងស្លាយ
របាយការណ៍នេះត្រូវបានផ្តោតលើបញ្ហានៃការបកស្រាយគំរូនៃការរៀនម៉ាស៊ីន និងវិធីសាស្រ្តសម្រាប់ការធ្វើតេស្ត និងការផ្ទៀងផ្ទាត់ដោយផ្ទាល់របស់ពួកគេ។ គំរូ ML ដែលបានទទួលការបណ្តុះបណ្តាលណាមួយអាចត្រូវបានគេយល់ថាជាប្រភពនៃចំណេះដឹងដែលត្រូវការដកស្រង់ចេញពីវា។

នៅក្នុងតំបន់ជាច្រើន ជាពិសេសផ្នែកវេជ្ជសាស្ត្រ ការប្រើប្រាស់គំរូគឺមិនអាចទៅរួចទេបើគ្មានការដកស្រង់ចំណេះដឹងដែលលាក់កំបាំងនេះ ហើយបកស្រាយលទ្ធផលរបស់គំរូនោះទេ បើមិនដូច្នេះទេ យើងនឹងមិនប្រាកដថាលទ្ធផលនឹងមានស្ថេរភាព មិនចៃដន្យ ដែលអាចទុកចិត្តបាន ហើយនឹងមិនសម្លាប់មេរោគនោះទេ។ អ្នកជំងឺ។ ទិសដៅទាំងមូលនៃវិធីសាស្រ្តការងារកំពុងអភិវឌ្ឍនៅក្នុងគំរូនៃការសិក្សាស៊ីជម្រៅ និងហួសពីព្រំដែនរបស់វា - វិទ្យាសាស្ត្រទិន្នន័យជាក់ស្តែង។ តើ​វា​ជា​អ្វី?

យើងចង់សម្រេចបាននូវគុណភាពនៃការបោះពុម្ពផ្សាយបែបវិទ្យាសាស្ត្រ និងការផលិតឡើងវិញនៃគំរូដែលពួកគេមានដូចជា៖

1. អាចទស្សន៍ទាយបាន។
2. អាចគណនាបាន។
3. ស្ថិរភាព

គោលការណ៍ទាំងបីនេះបង្កើតជាមូលដ្ឋាននៃវិធីសាស្រ្តថ្មី។ តើ​គំរូ ML អាច​ត្រូវ​បាន​ពិនិត្យ​តាម​លក្ខណៈ​វិនិច្ឆ័យ​ទាំងនេះ​ដោយ​របៀប​ណា? មធ្យោបាយងាយស្រួលបំផុតគឺបង្កើតគំរូដែលអាចបកស្រាយបានភ្លាមៗ (តំរែតំរង់ ដើមឈើសេចក្តីសម្រេច)។ ទោះជាយ៉ាងណាក៏ដោយ យើងក៏ចង់ទទួលបានអត្ថប្រយោជន៍ភ្លាមៗពីការរៀនស៊ីជម្រៅផងដែរ។

វិធីដែលមានស្រាប់ជាច្រើនដើម្បីដោះស្រាយបញ្ហា៖

1. បកស្រាយគំរូ;
2. ប្រើវិធីសាស្រ្តដោយផ្អែកលើការយកចិត្តទុកដាក់;
3. ប្រើបណ្តុំនៃក្បួនដោះស្រាយនៅពេលបណ្តុះបណ្តាល និងធានាថាគំរូដែលអាចបកស្រាយបានតាមលីនេអ៊ែររៀនទស្សន៍ទាយចម្លើយដូចគ្នានឹងបណ្តាញសរសៃប្រសាទ បកស្រាយលក្ខណៈពិសេសពីគំរូលីនេអ៊ែរ។
4. ផ្លាស់ប្តូរ និងបង្កើនទិន្នន័យបណ្តុះបណ្តាល។ នេះរួមបញ្ចូលទាំងការបន្ថែមសំឡេងរំខាន ការជ្រៀតជ្រែក និងការបង្កើនទិន្នន័យ។
5. វិធីសាស្រ្តណាមួយដែលជួយធានាថាលទ្ធផលរបស់គំរូគឺមិនចៃដន្យ និងមិនអាស្រ័យលើការជ្រៀតជ្រែកដែលមិនចង់បានតិចតួច (ការវាយប្រហារពីសត្រូវ);
6. បកស្រាយគំរូបន្ទាប់ពីការពិត បន្ទាប់ពីការបណ្តុះបណ្តាល;
7. សិក្សាទម្ងន់លក្ខណៈតាមរបៀបផ្សេងៗ;
8. សិក្សាពីប្រូបាប៊ីលីតេនៃសម្មតិកម្មទាំងអស់ ការបែងចែកថ្នាក់។

ការវាយប្រហាររបស់សត្រូវ សម្រាប់ជ្រូកមួយ។

កំហុសក្នុងការធ្វើគំរូគឺមានតម្លៃថ្លៃសម្រាប់មនុស្សគ្រប់គ្នា៖ ឧទាហរណ៍សំខាន់គឺការងាររបស់ Reinhart និង Rogov ។កំណើនក្នុងគ្រាមានបំណុល" បានជះឥទ្ធិពលលើគោលនយោបាយសេដ្ឋកិច្ចនៃប្រទេសអ៊ឺរ៉ុបជាច្រើន ហើយបានបង្ខំពួកគេឱ្យបន្តគោលនយោបាយកាត់បន្ថយ ប៉ុន្តែការត្រួតពិនិត្យទិន្នន័យឡើងវិញដោយប្រុងប្រយ័ត្ន ហើយប៉ុន្មានឆ្នាំក្រោយការដំណើរការរបស់ពួកគេបានបង្ហាញលទ្ធផលផ្ទុយគ្នា!

បច្ចេកវិទ្យា ML ណាមួយមានវដ្ដជីវិតរបស់វាផ្ទាល់ ពីការអនុវត្តរហូតដល់ការអនុវត្ត។ គោលដៅនៃវិធីសាស្រ្តថ្មីគឺដើម្បីពិនិត្យមើលគោលការណ៍ជាមូលដ្ឋានចំនួនបីនៅដំណាក់កាលនីមួយៗនៃជីវិតរបស់គំរូ។

សង្ខេប៖

• គម្រោងជាច្រើនកំពុងត្រូវបានបង្កើតឡើង ដែលនឹងជួយឱ្យគំរូ ML កាន់តែអាចទុកចិត្តបាន។ នេះ​ជា​ឧទាហរណ៍​បទ​ភ្លេង​យ៉ាង​ជ្រៅ (តំណ​ទៅ៖ github.com/ChrisCummins/paper-end2end-dl);
• សម្រាប់ការអភិវឌ្ឍន៍បន្ថែមទៀតនៃវិធីសាស្រ្ត វាចាំបាច់ក្នុងការធ្វើឱ្យប្រសើរឡើងយ៉ាងខ្លាំងនូវគុណភាពនៃការបោះពុម្ពផ្សាយនៅក្នុងវិស័យ ML ។
• ការរៀនម៉ាស៊ីនត្រូវការអ្នកដឹកនាំជាមួយនឹងការបណ្តុះបណ្តាលពហុជំនាញ និងជំនាញទាំងផ្នែកបច្ចេកទេស និងមនុស្សសាស្ត្រ។

“ការ​ធ្វើ​គំរូ​អាកប្បកិរិយា​មនុស្ស​ជាមួយ​នឹង​ការ​រៀន​ម៉ាស៊ីន៖ ឱកាស និង​បញ្ហា​ប្រឈម” Nuria M Oliver, Albert Ali Salah

ការបង្រៀនដែលឧទ្ទិសដល់ការយកគំរូតាមអាកប្បកិរិយារបស់មនុស្ស មូលដ្ឋានគ្រឹះបច្ចេកវិទ្យា និងការរំពឹងទុកនៃការអនុវត្ត។

គំរូអាកប្បកិរិយារបស់មនុស្សអាចបែងចែកជា៖

• អាកប្បកិរិយាបុគ្គល
• អាកប្បកិរិយារបស់មនុស្សមួយក្រុមតូច
• ឥរិយាបថដ៏ធំ

ប្រភេទនីមួយៗទាំងនេះអាចត្រូវបានយកគំរូតាម ML ប៉ុន្តែមានព័ត៌មានបញ្ចូល និងលក្ខណៈពិសេសខុសគ្នាទាំងស្រុង។ ប្រភេទនីមួយៗក៏មានបញ្ហាក្រមសីលធម៌ផ្ទាល់ខ្លួនផងដែរ ដែលគម្រោងនីមួយៗឆ្លងកាត់៖

• អាកប្បកិរិយាបុគ្គល - ការលួចអត្តសញ្ញាណ, ក្លែងក្លាយជ្រៅ;
• អាកប្បកិរិយារបស់ក្រុមមនុស្ស - ការដកអនាមិក ការទទួលបានព័ត៌មានអំពីចលនា ការហៅទូរស័ព្ទ។ល។

អាកប្បកិរិយាបុគ្គល

ភាគច្រើនទាក់ទងនឹងប្រធានបទនៃចក្ខុវិស័យកុំព្យូទ័រ - ការទទួលស្គាល់អារម្មណ៍និងប្រតិកម្មរបស់មនុស្ស។ ប្រហែលជាមានតែនៅក្នុងបរិបទ ពេលវេលា ឬជាមួយនឹងមាត្រដ្ឋានទាក់ទងនៃភាពប្រែប្រួលនៃអារម្មណ៍របស់គាត់។ ស្លាយបង្ហាញពីការទទួលស្គាល់អារម្មណ៍របស់ Mona Lisa ដោយប្រើបរិបទពីវិសាលគមអារម្មណ៍របស់ស្ត្រីមេឌីទែរ៉ាណេ។ លទ្ធផល៖ ស្នាមញញឹមនៃសេចក្តីរីករាយ ប៉ុន្តែដោយការមើលងាយ និងការស្អប់ខ្ពើម។ ហេតុផលទំនងជានៅក្នុងវិធីបច្ចេកទេសនៃការកំណត់អារម្មណ៍ "អព្យាក្រឹត" ។

អាកប្បកិរិយារបស់មនុស្សមួយក្រុមតូច

រហូតមកដល់ពេលនេះគំរូដ៏អាក្រក់បំផុតគឺដោយសារតែព័ត៌មានមិនគ្រប់គ្រាន់។ ជាឧទាហរណ៍ ការងារពីឆ្នាំ 2018 ដល់ឆ្នាំ 2019 ត្រូវបានបង្ហាញ។ នៅលើមនុស្សរាប់សិបនាក់ X វីដេអូរាប់សិប (cf. សំណុំទិន្នន័យរូបភាព 100k++)។ ដើម្បីយកគំរូតាមកិច្ចការនេះឱ្យបានល្អបំផុត ព័ត៌មានពហុម៉ូឌុលគឺត្រូវការជាចាំបាច់ ល្អជាងពីឧបករណ៍ចាប់សញ្ញានៅលើដងខ្លួន ទែម៉ូម៉ែត្រ ការថតមីក្រូហ្វូន។ល។

ឥរិយាបថមហាជន

តំបន់​ដែល​មាន​ការ​អភិវឌ្ឍ​ខ្លាំង​បំផុត ចាប់​តាំង​ពី​អតិថិជន​គឺ UN និង​រដ្ឋ​ជា​ច្រើន។ កាមេរ៉ាឃ្លាំមើលខាងក្រៅ ទិន្នន័យពីប៉មទូរសព្ទ - ការចេញវិក្កយបត្រ SMS ការហៅទូរសព្ទ ទិន្នន័យអំពីចលនារវាងព្រំដែនរដ្ឋ - ទាំងអស់នេះផ្តល់នូវរូបភាពគួរឱ្យទុកចិត្តបំផុតនៃចលនារបស់មនុស្ស និងអស្ថិរភាពសង្គម។ កម្មវិធីសក្តានុពលនៃបច្ចេកវិទ្យា៖ ការបង្កើនប្រសិទ្ធភាពប្រតិបត្តិការជួយសង្គ្រោះ ជំនួយ និងការជម្លៀសប្រជាជនទាន់ពេលវេលាក្នុងពេលមានអាសន្ន។ ម៉ូដែលដែលបានប្រើគឺនៅតែត្រូវបានបកស្រាយយ៉ាងលំបាក - ទាំងនេះគឺជា LSTMs និងបណ្តាញ convolutional ផ្សេងៗ។ មានការកត់សម្គាល់ខ្លីមួយថា អង្គការសហប្រជាជាតិកំពុងបញ្ចុះបញ្ចូលសម្រាប់ច្បាប់ថ្មីដែលនឹងតម្រូវឱ្យអាជីវកម្មអឺរ៉ុបចែករំលែកទិន្នន័យអនាមិកដែលចាំបាច់សម្រាប់ការស្រាវជ្រាវណាមួយ។

"ពីប្រព័ន្ធ 1 ដល់ប្រព័ន្ធ 2 ការរៀនជ្រៅជ្រះ", Yoshua Bengio

ស្លាយ
នៅក្នុងការបង្រៀនរបស់ Joshua Bengio ការរៀនសូត្រស៊ីជម្រៅជួបនឹងវិទ្យាសាស្ត្រសរសៃប្រសាទនៅកម្រិតនៃការកំណត់គោលដៅ។
Bengio កំណត់បញ្ហាចម្បងពីរប្រភេទយោងទៅតាមវិធីសាស្រ្តរបស់ម្ចាស់ពានរង្វាន់ណូបែល Daniel Kahneman (សៀវភៅ "គិតយឺត សម្រេចចិត្តលឿន")
ប្រភេទទី 1 - ប្រព័ន្ធទី 1 សកម្មភាពសន្លប់ដែលយើងធ្វើ "ដោយស្វ័យប្រវត្តិ" (ខួរក្បាលបុរាណ)៖ បើកឡាននៅកន្លែងដែលធ្លាប់ស្គាល់ ដើរ ស្គាល់មុខ។
ប្រភេទទី 2 - ប្រព័ន្ធ 2 សកម្មភាពដឹងខ្លួន (ខួរក្បាលខួរក្បាល) ការកំណត់គោលដៅ ការវិភាគ ការគិត កិច្ចការផ្សំ។

រហូតមកដល់ពេលនេះ AI បានឈានដល់កម្ពស់គ្រប់គ្រាន់សម្រាប់តែកិច្ចការនៃប្រភេទទីមួយប៉ុណ្ណោះ ខណៈពេលដែលភារកិច្ចរបស់យើងគឺត្រូវនាំវាទៅទីពីរ ដោយបង្រៀនវាឱ្យអនុវត្តប្រតិបត្តិការពហុជំនាញ និងដំណើរការដោយតក្កវិជ្ជា និងជំនាញការយល់ដឹងកម្រិតខ្ពស់។

ដើម្បីសម្រេចបាននូវគោលដៅនេះ វាត្រូវបានស្នើឡើង៖

1. នៅក្នុងកិច្ចការ NLP សូមប្រើការយកចិត្តទុកដាក់ជាយន្តការសំខាន់សម្រាប់ការគិតគំរូ
2. ប្រើការរៀនមេតា ​​និងការរៀនតំណាងដើម្បីលក្ខណៈពិសេសគំរូប្រសើរជាងមុន ដែលមានឥទ្ធិពលលើស្មារតី និងការធ្វើមូលដ្ឋានីយកម្មរបស់ពួកគេ ហើយផ្អែកលើមូលដ្ឋានរបស់ពួកគេបន្តទៅប្រតិបត្តិការជាមួយនឹងគោលគំនិតកម្រិតខ្ពស់។

ជំនួសឱ្យការសន្និដ្ឋាន នេះគឺជាការពិភាក្សាដែលបានអញ្ជើញ៖ Bengio គឺជាអ្នកវិទ្យាសាស្ត្រម្នាក់ក្នុងចំណោមអ្នកវិទ្យាសាស្ត្រជាច្រើនដែលកំពុងព្យាយាមពង្រីកវិស័យ ML លើសពីបញ្ហាបង្កើនប្រសិទ្ធភាព SOTA និងស្ថាបត្យកម្មថ្មី។
សំណួរនៅតែបើកចំហចំពោះកម្រិតណាដែលការរួមបញ្ចូលគ្នានៃបញ្ហានៃស្មារតី ឥទ្ធិពលនៃភាសាលើការគិត សរសៃប្រសាទ និងក្បួនដោះស្រាយគឺជាអ្វីដែលរង់ចាំយើងនាពេលអនាគត ហើយនឹងអនុញ្ញាតឱ្យយើងផ្លាស់ទីទៅម៉ាស៊ីនដែល "គិត" ដូចមនុស្ស។

សូមអរគុណ!

ប្រភព: www.habr.com