NeurIPS 2019: ແນວໂນ້ມ ML ທີ່ຈະຢູ່ກັບພວກເຮົາໃນທົດສະວັດຕໍ່ໄປ

NeuroIPS (ລະບົບປະມວນຂໍ້ມູນລະບົບປະສາດ) ເປັນກອງປະຊຸມທີ່ໃຫຍ່ທີ່ສຸດຂອງໂລກກ່ຽວກັບການຮຽນຮູ້ເຄື່ອງຈັກແລະປັນຍາປະດິດແລະເຫດການຕົ້ນຕໍໃນໂລກຂອງການຮຽນຮູ້ເລິກເຊິ່ງ.

ພວກເຮົາຈະ, ວິສະວະກອນ DS, ຍັງຕົ້ນສະບັບຊີວະສາດ, ພາສາສາດ, ແລະຈິດຕະສາດໃນທົດສະວັດໃຫມ່? ພວກເຮົາຈະບອກທ່ານໃນການທົບທວນຄືນຂອງພວກເຮົາ.

ປີນີ້ ກອງ​ປະ​ຊຸມ​ໄດ້​ເຕົ້າ​ໂຮມ​ປະ​ຊາ​ຊົນ​ຫລາຍ​ກວ່າ 13500 ຄົນ​ທີ່​ມາ​ຈາກ 80 ປະ​ເທດ​ຢູ່​ເມືອງ Vancouver ປະ​ເທດ​ກາ​ນາ​ດາ. ນີ້ບໍ່ແມ່ນປີທໍາອິດທີ່ Sberbank ໄດ້ເປັນຕົວແທນຂອງລັດເຊຍໃນກອງປະຊຸມ - ທີມງານ DS ເວົ້າກ່ຽວກັບການຈັດຕັ້ງປະຕິບັດ ML ໃນຂະບວນການທະນາຄານ, ກ່ຽວກັບການແຂ່ງຂັນ ML ແລະກ່ຽວກັບຄວາມສາມາດຂອງເວທີ Sberbank DS. ແນວໂນ້ມຕົ້ນຕໍຂອງປີ 2019 ໃນຊຸມຊົນ ML ມີຫຍັງແດ່? ຜູ້ເຂົ້າຮ່ວມກອງປະຊຸມເວົ້າວ່າ: Andrey Chertok и Tatyana Shavrina.

ໃນປີນີ້, NeurIPS ຍອມຮັບຫຼາຍກວ່າ 1400 ເອກະສານ - ສູດການຄິດໄລ່, ຮູບແບບໃຫມ່, ແລະຄໍາຮ້ອງສະຫມັກໃຫມ່ສໍາລັບຂໍ້ມູນໃຫມ່. ເຊື່ອມຕໍ່ກັບອຸປະກອນທັງຫມົດ

ເນື້ອຫາ:

• ແນວໂນ້ມ
• • ການຕີຄວາມຕົວແບບ
  • ຫຼາຍວິຊາ
  • ສົມເຫດສົມຜົນ
  • RL
  • GAN
• ການສົນທະນາພື້ນຖານທີ່ໄດ້ຮັບເຊີນ
• • “Social Intelligence”, Blaise Aguera ແລະ Arcas (Google)
  • “ວິ​ທະ​ຍາ​ສາດ​ຂໍ້​ມູນ Veridical”, Bin Yu (Berkeley)
  • “ການສ້າງແບບຈຳລອງພຶດຕິກຳຂອງມະນຸດດ້ວຍການຮຽນຮູ້ເຄື່ອງຈັກ: ໂອກາດ ແລະສິ່ງທ້າທາຍ”, Nuria M Oliver, Albert Ali Salah
  • "ຈາກລະບົບ 1 ເຖິງລະບົບ 2 ການຮຽນຮູ້ເລິກເຊິ່ງ", Yoshua Bengio

ແນວໂນ້ມ 2019

1. ການຕີຄວາມໝາຍແບບຈໍາລອງ ແລະວິທີການ ML ໃຫມ່

ຫົວຂໍ້ຕົ້ນຕໍຂອງກອງປະຊຸມແມ່ນການຕີຄວາມຫມາຍແລະຫຼັກຖານວ່າເປັນຫຍັງພວກເຮົາໄດ້ຮັບຜົນໄດ້ຮັບທີ່ແນ່ນອນ. ຄົນເຮົາສາມາດສົນທະນາເປັນເວລາດົນນານກ່ຽວກັບຄວາມສໍາຄັນທາງດ້ານປັດຊະຍາຂອງການຕີຄວາມຫມາຍຂອງ "ກ່ອງດໍາ", ແຕ່ມີວິທີການທີ່ແທ້ຈິງແລະການພັດທະນາດ້ານວິຊາການຫຼາຍກວ່າເກົ່າໃນຂົງເຂດນີ້.

ວິທີການສໍາລັບການຈໍາລອງແບບຈໍາລອງແລະການຂຸດຄົ້ນຄວາມຮູ້ຈາກພວກມັນແມ່ນເຄື່ອງມືໃຫມ່ສໍາລັບວິທະຍາສາດ. ຕົວແບບສາມາດຮັບໃຊ້ເປັນເຄື່ອງມືສໍາລັບການໄດ້ຮັບຄວາມຮູ້ໃຫມ່ແລະການທົດສອບມັນ, ແລະແຕ່ລະຂັ້ນຕອນຂອງການປຸງແຕ່ງກ່ອນ, ການຝຶກອົບຮົມແລະຄໍາຮ້ອງສະຫມັກຂອງຕົວແບບຈະຕ້ອງມີການແຜ່ພັນ.
ອັດຕາສ່ວນທີ່ສໍາຄັນຂອງສິ່ງພິມແມ່ນບໍ່ໄດ້ອຸທິດໃຫ້ການກໍ່ສ້າງແບບຈໍາລອງແລະເຄື່ອງມື, ແຕ່ເພື່ອບັນຫາການຮັບປະກັນຄວາມປອດໄພ, ຄວາມໂປ່ງໃສແລະການກວດສອບຜົນໄດ້ຮັບ. ໂດຍສະເພາະ, ກະແສແຍກຕ່າງຫາກໄດ້ປະກົດຕົວກ່ຽວກັບການໂຈມຕີແບບຈໍາລອງ (ການໂຈມຕີຂອງສັດຕູ), ແລະທາງເລືອກສໍາລັບທັງສອງການໂຈມຕີໃນການຝຶກອົບຮົມແລະການໂຈມຕີໃນຄໍາຮ້ອງສະຫມັກແມ່ນພິຈາລະນາ.

ບົດຄວາມ:

• ວິທະຍາສາດຂໍ້ມູນ Veridical — ບົດ​ຄວາມ​ເປັນ​ໂຄງ​ການ​ກ່ຽວ​ກັບ​ວິ​ທີ​ການ​ກວດ​ສອບ​ຕົວ​ແບບ​. ປະກອບມີພາບລວມຂອງເຄື່ອງມືທີ່ທັນສະໄຫມສໍາລັບການຕີຄວາມແບບຈໍາລອງ, ໂດຍສະເພາະ, ການນໍາໃຊ້ຄວາມສົນໃຈແລະການໄດ້ຮັບຄວາມສໍາຄັນຂອງຄຸນນະສົມບັດໂດຍການ "ກັ່ນ" ເຄືອຂ່າຍ neural ກັບຕົວແບບເສັ້ນ.
• ນີ້ເບິ່ງຄືວ່າ: ການຮຽນຮູ້ເລິກເຊິ່ງສໍາລັບການຮັບຮູ້ຮູບພາບທີ່ສາມາດແປໄດ້ Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
• ມາດຕະຖານສໍາລັບວິທີການຕີຄວາມຫມາຍໃນເຄືອຂ່າຍ neural ເລິກ Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
• ໄປສູ່ການຮຽນຮູ້ການເສີມທີ່ຕີຄວາມໝາຍໄດ້ໂດຍໃຊ້ຕົວແທນທີ່ເພີ່ມຄວາມສົນໃຈ Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
• ມາດຕະການຄວາມສໍາຄັນຂອງຄຸນສົມບັດ MDI Debiased ສໍາລັບປ່າໄມ້ແບບສຸ່ມ Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
• ການສະກັດເອົາຄວາມຮູ້ທີ່ບໍ່ມີຂໍ້ມູນທີ່ສາມາດສັງເກດໄດ້ Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
• ບາດກ້າວໄປສູ່ການປະເມີນການຄົ້ນຄວ້າການຮຽນຮູ້ເຄື່ອງຈັກທີ່ສາມາດແຜ່ພັນໄດ້ແບບເອກະລາດ Edward Raff

ExBert.net ສະແດງໃຫ້ເຫັນການຕີຄວາມຕົວແບບສໍາລັບວຽກງານການປຸງແຕ່ງຂໍ້ຄວາມ

2. ວິຊາສະເພາະ

ເພື່ອຮັບປະກັນການກວດສອບທີ່ເຊື່ອຖືໄດ້ແລະການພັດທະນາກົນໄກການຢັ້ງຢືນແລະຂະຫຍາຍຄວາມຮູ້, ພວກເຮົາຕ້ອງການຜູ້ຊ່ຽວຊານໃນສາຂາທີ່ກ່ຽວຂ້ອງທີ່ມີຄວາມສາມາດໃນການແຂ່ງຂັນໃນ ML ແລະໃນສາຂາວິຊາ (ຢາ, ພາສາສາດ, neurobiology, ການສຶກສາ, ແລະອື່ນໆ). ມັນເປັນມູນຄ່າໂດຍສະເພາະແມ່ນການສັງເກດການປະກົດຕົວທີ່ສໍາຄັນຫຼາຍຂອງວຽກງານແລະການປາກເວົ້າໃນ neurosciences ແລະວິທະຍາສາດມັນສະຫມອງ - ມີ rapprochement ຂອງຜູ້ຊ່ຽວຊານແລະການກູ້ຢືມຂອງແນວຄວາມຄິດ.

ນອກເຫນືອໄປຈາກ rapprochement ນີ້, multidisciplinarity ແມ່ນພົ້ນເດັ່ນຂື້ນໃນຂະບວນການຮ່ວມກັນຂອງຂໍ້ມູນຈາກແຫຼ່ງຕ່າງໆ: ຂໍ້ຄວາມແລະຮູບພາບ, ຂໍ້ຄວາມແລະເກມ, ຖານຂໍ້ມູນກຣາຟ + ຂໍ້ຄວາມແລະຮູບພາບ.

ບົດຄວາມ:

• Neuroscience + ML — ການ​ແປ​ພາ​ສາ​ແລະ​ການ​ປັບ​ປຸງ​ການ​ປຸງ​ແຕ່ງ​ພາ​ສາ​ທໍາ​ມະ​ຊາດ (ໃນ​ເຄື່ອງ​ຈັກ​) ກັບ​ການ​ປຸງ​ແຕ່ງ​ພາ​ສາ​ທໍາ​ມະ​ຊາດ (ໃນ​ສະ​ຫມອງ​)
• VisualQA - ການຮຽນຮູ້ໂດຍ Abstraction: ເຄື່ອງລັດ Neural
• RL + NLP - ການຕັດສິນໃຈລໍາດັບຊັ້ນໂດຍການສ້າງແລະປະຕິບັດຕາມຄໍາແນະນໍາພາສາທໍາມະຊາດ

ສອງແບບ - ນັກຍຸດທະສາດແລະຜູ້ບໍລິຫານ - ອີງໃສ່ RL ແລະ NLP ຫຼິ້ນຍຸດທະສາດອອນໄລນ໌

3. ສົມເຫດສົມຜົນ

ການເສີມສ້າງປັນຍາປະດິດແມ່ນການເຄື່ອນໄຫວໄປສູ່ລະບົບການຮຽນຮູ້ດ້ວຍຕົນເອງ, "ສະຕິ", ເຫດຜົນແລະເຫດຜົນ. ໂດຍ​ສະ​ເພາະ​, ການ​ຄິດ​ໄລ່​ເຫດ​ຜົນ​ແລະ​ການ​ສົມ​ເຫດ​ສົມ​ຜົນ​ທີ່​ມີ​ການ​ພັດ​ທະ​ນາ​. ບາງບົດລາຍງານແມ່ນອຸທິດໃຫ້ກັບການຮຽນຮູ້ແບບ meta (ກ່ຽວກັບວິທີການຮຽນຮູ້ທີ່ຈະຮຽນຮູ້) ແລະການປະສົມປະສານຂອງເທກໂນໂລຍີ DL ທີ່ມີເຫດຜົນຄໍາສັ່ງທີ 1 ແລະ 2 - ຄໍາວ່າ Artificial General Intelligence (AGI) ກາຍເປັນຄໍາສັບທົ່ວໄປໃນຄໍາເວົ້າຂອງຜູ້ເວົ້າ.

ບົດຄວາມ:

• Heterogeneous Graph Learning for Visual Commonsense Reasoning Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, ນົງ Xiao
• Bridging Machine Learning ແລະການໃຫ້ເຫດຜົນດ້ວຍເຫດຜົນໂດຍ Abductive Learning Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
• ການຮຽນຮູ້ຢ່າງມີເຫດຜົນໃນເຫດຜົນຕາມລໍາດັບທໍາອິດ Vaishak Belle, Brendan Juba
• PHYRE: ມາດຕະຖານໃຫມ່ສໍາລັບເຫດຜົນທາງດ້ານຮ່າງກາຍ Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
• Quantum ການຝັງຄວາມຮູ້ສໍາລັບການສົມເຫດສົມຜົນ Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam

4.ການເສີມສ້າງການຮຽນຮູ້

ວຽກງານສ່ວນໃຫຍ່ຍັງສືບຕໍ່ພັດທະນາພື້ນທີ່ພື້ນເມືອງຂອງ RL - DOTA2, Starcraft, ປະສົມປະສານສະຖາປັດຕະຍະກໍາກັບວິໄສທັດຄອມພິວເຕີ, NLP, ຖານຂໍ້ມູນກາຟ.

ມື້ແຍກຕ່າງຫາກຂອງກອງປະຊຸມແມ່ນໄດ້ອຸທິດໃຫ້ແກ່ກອງປະຊຸມ RL, ທີ່ສະຖາປັດຕະຍະກໍາຂອງນັກສະແດງ Optimistic Critic Model ໄດ້ຖືກນໍາສະເຫນີ, ດີກວ່າທຸກທີ່ຜ່ານມາ, ໂດຍສະເພາະ Soft Actor Critic.

ບົດຄວາມ:

• ການສຳຫຼວດທີ່ດີຂຶ້ນກັບນັກວິຈານນັກສະແດງໃນແງ່ດີ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
• ChainerRL: ຫໍສະໝຸດການຮຽນຮູ້ການເສີມສ້າງຢ່າງເລິກເຊິ່ງ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (ເຄືອຂ່າຍທີ່ຕ້ອງການ); Takahiro Ishikawa (ມະຫາວິທະຍາໄລໂຕກຽວ) [ເຊື່ອມຕໍ່ pdf ພາຍນອກ].
• ຄວາມຝັນທີ່ຈະຄວບຄຸມ: ການຮຽນຮູ້ພຶດຕິກໍາໂດຍການຈິນຕະນາການທີ່ລ້າໆ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (ມະຫາວິທະຍາໄລ Toronto); Mohammad Norouzi (Google Brain)
• ເອກະສານກອງປະຊຸມ

ຜູ້ຫຼິ້ນ StarCraft ຕໍ່ສູ້ກັບຕົວແບບ Alphastar (DeepMind)

5.GAN

ເຄືອຂ່າຍການຜະລິດແມ່ນຍັງຢູ່ໃນຈຸດເດັ່ນ: ວຽກງານຈໍານວນຫຼາຍໃຊ້ vanilla GANs ສໍາລັບຫຼັກຖານທາງຄະນິດສາດ, ແລະຍັງນໍາໃຊ້ພວກມັນໃນຮູບແບບໃຫມ່, ຜິດປົກກະຕິ (ຕົວແບບສ້າງກາຟ, ເຮັດວຽກກັບຊຸດ, ຄໍາຮ້ອງສະຫມັກເພື່ອການພົວພັນທີ່ເປັນສາເຫດແລະຜົນກະທົບໃນຂໍ້ມູນ, ແລະອື່ນໆ).

ບົດຄວາມ:

• ການຂຸດຄົ້ນຕົວຢ່າງ GOLD ສໍາລັບ GANs ທີ່ມີເງື່ອນໄຂ Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
• ການເພີ່ມຄວາມຄືບໜ້າຂອງ GANs Dan Zhang, Anna Khoreva
• ການສ້າງແບບຈໍາລອງຂໍ້ມູນ Tabular ໂດຍໃຊ້ Conditional GAN Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

ນັບຕັ້ງແຕ່ການເຮັດວຽກຫຼາຍໄດ້ຮັບການຍອມຮັບ 1400 ຂ້າງລຸ່ມນີ້ພວກເຮົາຈະເວົ້າກ່ຽວກັບຄໍາເວົ້າທີ່ສໍາຄັນທີ່ສຸດ.

ເຊີນໂອ້ລົມ

“Social Intelligence”, Blaise Aguera ແລະ Arcas (Google)

ການເຊື່ອມຕໍ່
ສະໄລ້ ແລະວິດີໂອ
ການສົນທະນາໄດ້ສຸມໃສ່ວິທີການທົ່ວໄປຂອງການຮຽນຮູ້ເຄື່ອງຈັກແລະຄວາມສົດໃສດ້ານຂອງການປ່ຽນແປງອຸດສາຫະກໍາໃນປັດຈຸບັນ - ເສັ້ນທາງຂ້າມໃດທີ່ພວກເຮົາກໍາລັງປະເຊີນ? ສະໝອງ ແລະວິວັດທະນາການເຮັດວຽກແນວໃດ ແລະເປັນຫຍັງເຮົາຈຶ່ງໃຊ້ສິ່ງທີ່ເຮົາຮູ້ແລ້ວໜ້ອຍໜຶ່ງກ່ຽວກັບການພັດທະນາລະບົບທຳມະຊາດ?

ການພັດທະນາອຸດສາຫະກໍາຂອງ ML ສ່ວນໃຫຍ່ແມ່ນສອດຄ່ອງກັບຈຸດສໍາຄັນຂອງການພັດທະນາຂອງ Google, ເຊິ່ງເຜີຍແຜ່ການຄົ້ນຄວ້າກ່ຽວກັບ NeurIPS ປີຕໍ່ປີ:

• 1997 - ການເປີດຕົວຂອງສະຖານທີ່ຄົ້ນຫາ, ເຄື່ອງແມ່ຂ່າຍທໍາອິດ, ພະລັງງານຄອມພິວເຕີ້ຂະຫນາດນ້ອຍ
• 2010 - Jeff Dean ເປີດຕົວໂຄງການ Google Brain, ການຂະຫຍາຍຕົວຂອງເຄືອຂ່າຍ neural ໃນຕອນເລີ່ມຕົ້ນ.
• ປີ 2015 – ການ​ປະ​ຕິ​ບັດ​ອຸດ​ສາ​ຫະ​ກໍາ​ເຄືອ​ຂ່າຍ neural​, ການ​ຮັບ​ຮູ້​ໃບ​ຫນ້າ​ໄວ​ໂດຍ​ກົງ​ໃນ​ອຸ​ປະ​ກອນ​ທ້ອງ​ຖິ່ນ​, ໂຮງ​ງານ​ຜະ​ລິດ​ລະ​ດັບ​ຕ​່​ໍ​າ​ເຫມາະ​ສົມ​ສໍາ​ລັບ​ການ​ຄອມ​ພິວ​ເຕີ tensor - TPU​. Google ເປີດຕົວ Coral ai - ການປຽບທຽບຂອງ raspberry pi, ຄອມພິວເຕີຂະໜາດນ້ອຍສຳລັບການແນະນຳເຄືອຂ່າຍ neural ເຂົ້າໃນການຕິດຕັ້ງທົດລອງ
• ປີ 2017 - Google ເລີ່ມພັດທະນາການຝຶກອົບຮົມແບບແບ່ງຂັ້ນຄຸ້ມຄອງ ແລະລວມຜົນຂອງການຝຶກອົບຮົມເຄືອຂ່າຍ neural ຈາກອຸປະກອນຕ່າງໆເຂົ້າໄປໃນຕົວແບບດຽວ - ໃນ Android

ໃນມື້ນີ້, ອຸດສາຫະກໍາທັງຫມົດແມ່ນອຸທິດຕົນເພື່ອຄວາມປອດໄພຂອງຂໍ້ມູນ, ການລວບລວມ, ແລະການຈໍາລອງຜົນໄດ້ຮັບການຮຽນຮູ້ໃນອຸປະກອນທ້ອງຖິ່ນ.

ການຮຽນຮູ້ແບບສະຫະພັນ - ທິດທາງຂອງ ML ທີ່ຕົວແບບແຕ່ລະຄົນຮຽນຮູ້ເປັນເອກະລາດຂອງກັນແລະກັນແລະຫຼັງຈາກນັ້ນຖືກລວມເຂົ້າກັນເປັນຕົວແບບດຽວ (ໂດຍບໍ່ລວມເອົາຂໍ້ມູນແຫຼ່ງ), ດັດແປງສໍາລັບເຫດການທີ່ຫາຍາກ, ຄວາມຜິດປົກກະຕິ, ການປັບແຕ່ງສ່ວນບຸກຄົນ, ແລະອື່ນໆ. ອຸ​ປະ​ກອນ Android ທັງ​ຫມົດ​ແມ່ນ​ເປັນ supercomputer ຄອມ​ພິວ​ເຕີ​ທີ່​ຈໍາ​ເປັນ​ດຽວ​ສໍາ​ລັບ Google​.

ຮູບແບບການຜະລິດໂດຍອີງໃສ່ການຮຽນຮູ້ແບບສະຫະພັນແມ່ນເປັນທິດທາງໃນອະນາຄົດທີ່ດີຕາມ Google, ເຊິ່ງແມ່ນ "ຢູ່ໃນຂັ້ນຕອນຕົ້ນຂອງການເຕີບໂຕຂອງຕົວເລກ." GANs, ອີງຕາມການບັນຍາຍ, ມີຄວາມສາມາດຮຽນຮູ້ທີ່ຈະຜະລິດໃຫມ່ພຶດຕິກໍາມະຫາຊົນຂອງປະຊາກອນຂອງສິ່ງມີຊີວິດແລະວິທີການຄິດ.

ການນໍາໃຊ້ຕົວຢ່າງຂອງສອງສະຖາປັດຕະຍະກໍາ GAN ງ່າຍດາຍ, ມັນໄດ້ສະແດງໃຫ້ເຫັນວ່າໃນພວກເຂົາການຊອກຫາເສັ້ນທາງການເພີ່ມປະສິດທິພາບ wanders ໃນວົງ, ຊຶ່ງຫມາຍຄວາມວ່າການເພີ່ມປະສິດທິພາບດັ່ງກ່າວບໍ່ເກີດຂຶ້ນ. ໃນຂະນະດຽວກັນ, ແບບຈໍາລອງເຫຼົ່ານີ້ແມ່ນປະສົບຜົນສໍາເລັດຫຼາຍໃນການຈໍາລອງການທົດລອງທີ່ນັກຊີວະວິທະຍາປະຕິບັດກ່ຽວກັບປະຊາກອນເຊື້ອແບັກທີເຣັຍ, ບັງຄັບໃຫ້ພວກເຂົາຮຽນຮູ້ກົນລະຍຸດພຶດຕິກໍາໃຫມ່ໃນການຊອກຫາອາຫານ. ພວກເຮົາສາມາດສະຫຼຸບໄດ້ວ່າຊີວິດເຮັດວຽກແຕກຕ່າງຈາກຫນ້າທີ່ການເພີ່ມປະສິດທິພາບ.

ຍ່າງການເພີ່ມປະສິດທິພາບ GAN

ທັງຫມົດທີ່ພວກເຮົາເຮັດໃນກອບຂອງການຮຽນຮູ້ເຄື່ອງຈັກໃນປັດຈຸບັນແມ່ນວຽກງານທີ່ແຄບແລະເປັນທາງການທີ່ສຸດ, ໃນຂະນະທີ່ທາງການເຫຼົ່ານີ້ບໍ່ທົ່ວໄປດີແລະບໍ່ກົງກັບຄວາມຮູ້ວິຊາຂອງພວກເຮົາໃນຂົງເຂດເຊັ່ນ: neurophysiology ແລະຊີວະວິທະຍາ.

ສິ່ງທີ່ເປັນມູນຄ່າການກູ້ຢືມຈາກພາກສະຫນາມຂອງ neurophysiology ໃນອະນາຄົດອັນໃກ້ນີ້ແມ່ນສະຖາປັດຕະ neuron ໃຫມ່ແລະການປັບປຸງເລັກນ້ອຍຂອງກົນໄກຂອງ backpropagation ຂອງຄວາມຜິດພາດ.

ສະຫມອງຂອງມະນຸດເອງບໍ່ໄດ້ຮຽນຮູ້ຄືກັບເຄືອຂ່າຍ neural:

• ລາວບໍ່ມີປັດໃຈຕົ້ນຕໍແບບສຸ່ມ, ລວມທັງສິ່ງທີ່ວາງໄວ້ໂດຍຜ່ານຄວາມຮູ້ສຶກແລະໃນໄວເດັກ
• ລາວມີທິດທາງຂອງການພັດທະນາ instinctive (ຄວາມປາຖະຫນາທີ່ຈະຮຽນຮູ້ພາສາຈາກເດັກນ້ອຍ, ຍ່າງຊື່)

ການຝຶກອົບຮົມສະຫມອງຂອງບຸກຄົນເປັນວຽກງານລະດັບຕ່ໍາບາງທີພວກເຮົາຄວນພິຈາລະນາ "ອານານິຄົມ" ຂອງບຸກຄົນທີ່ມີການປ່ຽນແປງຢ່າງໄວວາຖ່າຍທອດຄວາມຮູ້ໃຫ້ກັນແລະກັນເພື່ອແຜ່ພັນກົນໄກຂອງວິວັດທະນາການກຸ່ມ.

ສິ່ງທີ່ພວກເຮົາສາມາດຮັບຮອງເອົາເຂົ້າໃນ ML algorithms ໃນປັດຈຸບັນ:

• ນຳໃຊ້ແບບຈໍາລອງເຊື້ອສາຍຂອງເຊນທີ່ຮັບປະກັນການຮຽນຮູ້ຂອງປະຊາກອນ, ແຕ່ຊີວິດສັ້ນຂອງບຸກຄົນ ("ສະໝອງຂອງບຸກຄົນ")
• ການ​ຮຽນ​ຮູ້​ພຽງ​ເລັກ​ນ້ອຍ​ໂດຍ​ນໍາ​ໃຊ້​ຈໍາ​ນວນ​ຂະ​ຫນາດ​ນ້ອຍ​ຂອງ​ຕົວ​ຢ່າງ​
• ໂຄງສ້າງ neuron ສະລັບສັບຊ້ອນຫຼາຍ, ຫນ້າທີ່ກະຕຸ້ນທີ່ແຕກຕ່າງກັນເລັກນ້ອຍ
• ການໂອນ "genome" ໄປສູ່ຄົນລຸ້ນຕໍ່ໄປ - backpropagation algorithm
• ເມື່ອພວກເຮົາເຊື່ອມຕໍ່ neurophysiology ແລະເຄືອຂ່າຍ neural, ພວກເຮົາຈະຮຽນຮູ້ທີ່ຈະສ້າງສະຫມອງ multifunctional ຈາກຫຼາຍອົງປະກອບ.

ຈາກຈຸດນີ້, ການປະຕິບັດການແກ້ໄຂ SOTA ແມ່ນເປັນອັນຕະລາຍແລະຄວນໄດ້ຮັບການປັບປຸງໃຫມ່ເພື່ອຜົນປະໂຫຍດຂອງການພັດທະນາວຽກງານທົ່ວໄປ (ມາດຕະຖານ).

“ວິ​ທະ​ຍາ​ສາດ​ຂໍ້​ມູນ Veridical”, Bin Yu (Berkeley)

ວິດີໂອ ແລະສະໄລ້
ບົດລາຍງານແມ່ນອຸທິດໃຫ້ກັບບັນຫາຂອງການຕີຄວາມແບບຈໍາລອງການຮຽນຮູ້ເຄື່ອງຈັກແລະວິທີການສໍາລັບການທົດສອບແລະການກວດສອບໂດຍກົງຂອງພວກເຂົາ. ຮູບແບບ ML ທີ່ໄດ້ຮັບການຝຶກອົບຮົມໃດໆສາມາດຖືກຮັບຮູ້ວ່າເປັນແຫຼ່ງຄວາມຮູ້ທີ່ຕ້ອງໄດ້ຮັບການສະກັດຈາກມັນ.

ໃນຫຼາຍຂົງເຂດ, ໂດຍສະເພາະໃນຢາປົວພະຍາດ, ການນໍາໃຊ້ແບບຈໍາລອງແມ່ນເປັນໄປບໍ່ໄດ້ໂດຍບໍ່ມີການສະກັດຄວາມຮູ້ທີ່ເຊື່ອງໄວ້ນີ້ແລະການຕີຄວາມຫມາຍຜົນໄດ້ຮັບຂອງຕົວແບບ - ຖ້າບໍ່ດັ່ງນັ້ນພວກເຮົາຈະບໍ່ແນ່ໃຈວ່າຜົນໄດ້ຮັບຈະມີຄວາມຫມັ້ນຄົງ, ບໍ່ແມ່ນການສຸ່ມ, ເຊື່ອຖືໄດ້, ແລະຈະບໍ່ຂ້າຕົວແບບ. ຄົນເຈັບ. ທິດທາງທັງຫມົດຂອງວິທີການເຮັດວຽກແມ່ນການພັດທະນາພາຍໃນຂະບວນວິວັດການຮຽນຮູ້ທີ່ເລິກເຊິ່ງແລະເກີນຂອບເຂດຂອງມັນ - veridical data science . ມັນ​ແມ່ນ​ຫຍັງ?

ພວກ​ເຮົາ​ຕ້ອງ​ການ​ທີ່​ຈະ​ບັນ​ລຸ​ຄຸນ​ນະ​ພາບ​ດັ່ງ​ກ່າວ​ຂອງ​ສິ່ງ​ພິມ​ວິ​ທະ​ຍາ​ສາດ​ແລະ​ການ​ແຜ່​ພັນ​ຂອງ​ຕົວ​ແບບ​ທີ່​ພວກ​ເຂົາ​ເຈົ້າ​ແມ່ນ​:

1. ຄາດ​ຄະ​ເນ
2. ຄອມພິວເຕີ
3. ໝັ້ນຄົງ

ສາມຫຼັກການເຫຼົ່ານີ້ເປັນພື້ນຖານຂອງວິທີການໃຫມ່. ຮູບແບບ ML ສາມາດກວດສອບກັບເງື່ອນໄຂເຫຼົ່ານີ້ໄດ້ແນວໃດ? ວິທີທີ່ງ່າຍທີ່ສຸດແມ່ນການສ້າງຕົວແບບທີ່ສາມາດຕີຄວາມໄດ້ທັນທີ (regressions, ການຕັດສິນໃຈຕົ້ນໄມ້). ຢ່າງໃດກໍຕາມ, ພວກເຮົາຍັງຕ້ອງການທີ່ຈະໄດ້ຮັບຜົນປະໂຫຍດທັນທີທັນໃດຂອງການຮຽນຮູ້ເລິກ.

ຫຼາຍວິທີທີ່ມີຢູ່ແລ້ວເພື່ອແກ້ໄຂບັນຫາ:

1. ຕີຄວາມຫມາຍຕົວແບບ;
2. ໃຊ້ວິທີການໂດຍອີງໃສ່ຄວາມສົນໃຈ;
3. ໃຊ້ ensembles ຂອງ algorithms ໃນເວລາທີ່ການຝຶກອົບຮົມ, ແລະຮັບປະກັນວ່າຕົວແບບການຕີຄວາມຫມາຍເສັ້ນໄດ້ຮຽນຮູ້ທີ່ຈະຄາດຄະເນຄໍາຕອບດຽວກັນກັບເຄືອຂ່າຍ neural, ການຕີຄວາມຫມາຍລັກສະນະຈາກຕົວແບບເສັ້ນ;
4. ການປ່ຽນແປງ ແລະເພີ່ມຂໍ້ມູນການຝຶກອົບຮົມ. ນີ້ລວມມີການເພີ່ມສິ່ງລົບກວນ, ການລົບກວນ, ແລະການເພີ່ມຂໍ້ມູນ;
5. ວິທີການໃດໆທີ່ຊ່ວຍໃຫ້ແນ່ໃຈວ່າຜົນໄດ້ຮັບຂອງຕົວແບບບໍ່ແມ່ນແບບສຸ່ມແລະບໍ່ຂຶ້ນກັບການແຊກແຊງທີ່ບໍ່ຕ້ອງການເລັກນ້ອຍ (ການໂຈມຕີຂອງສັດຕູ);
6. ຕີຄວາມຫມາຍຕົວແບບຫຼັງຈາກຄວາມເປັນຈິງ, ຫຼັງຈາກການຝຶກອົບຮົມ;
7. ສຶກສາຄຸນສົມບັດນ້ຳໜັກດ້ວຍວິທີຕ່າງໆ;
8. ສຶກສາຄວາມເປັນໄປໄດ້ຂອງສົມມຸດຕິຖານທັງໝົດ, ການແຈກຢາຍຫ້ອງຮຽນ.

ການໂຈມຕີຂອງສັດຕູ ສໍາລັບຫມູ

ຄວາມຜິດພາດໃນການສ້າງແບບຈໍາລອງແມ່ນມີຄ່າໃຊ້ຈ່າຍສໍາລັບທຸກຄົນ: ຕົວຢ່າງທີ່ສໍາຄັນແມ່ນວຽກງານຂອງ Reinhart ແລະ Rogov.ການຂະຫຍາຍຕົວໃນເວລາທີ່ເປັນຫນີ້ສິນ"ໄດ້ມີອິດທິພົນຕໍ່ນະໂຍບາຍເສດຖະກິດຂອງຫຼາຍປະເທດເອີຣົບແລະບັງຄັບໃຫ້ພວກເຂົາປະຕິບັດຕາມນະໂຍບາຍທີ່ເຄັ່ງຄັດ, ແຕ່ການກວດສອບຄືນໃຫມ່ຢ່າງລະມັດລະວັງຂອງຂໍ້ມູນແລະການປຸງແຕ່ງຂອງພວກເຂົາຫຼາຍປີຕໍ່ມາສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບກົງກັນຂ້າມ!

ເຕັກໂນໂລຍີ ML ໃດກໍ່ຕາມມີວົງຈອນຊີວິດຂອງຕົນເອງຈາກການຈັດຕັ້ງປະຕິບັດໄປສູ່ການປະຕິບັດ. ເປົ້າຫມາຍຂອງວິທີການໃຫມ່ແມ່ນເພື່ອກວດກາເບິ່ງສາມຫຼັກການພື້ນຖານໃນແຕ່ລະຂັ້ນຕອນຂອງຊີວິດຂອງຕົວແບບ.

ຜົນໄດ້ຮັບ:

• ໂຄງການຈໍານວນຫນຶ່ງກໍາລັງຖືກພັດທະນາທີ່ຈະຊ່ວຍໃຫ້ຮູບແບບ ML ມີຄວາມຫນ້າເຊື່ອຖືຫຼາຍຂຶ້ນ. ນີ້ແມ່ນ, ສໍາລັບການຍົກຕົວຢ່າງ, deeptune (ການເຊື່ອມຕໍ່ກັບ: github.com/ChrisCummins/paper-end2end-dl);
• ສໍາລັບການພັດທະນາຂອງວິທີການຕໍ່ໄປ, ມັນຈໍາເປັນຕ້ອງໄດ້ປັບປຸງຄຸນນະພາບຂອງສິ່ງພິມໃນພາກສະຫນາມຂອງ ML ຢ່າງຫຼວງຫຼາຍ;
• ການຮຽນຮູ້ຂອງເຄື່ອງຈັກຕ້ອງການຜູ້ນໍາທີ່ມີການຝຶກອົບຮົມຫຼາຍວິຊາ ແລະຄວາມຊໍານານໃນດ້ານເຕັກນິກ ແລະມະນຸດສະທໍາ.

“ການສ້າງແບບຈຳລອງພຶດຕິກຳຂອງມະນຸດດ້ວຍການຮຽນຮູ້ເຄື່ອງຈັກ: ໂອກາດ ແລະສິ່ງທ້າທາຍ” Nuria M Oliver, Albert Ali Salah

ການບັນຍາຍທີ່ອຸທິດຕົນເພື່ອການສ້າງແບບຈໍາລອງພຶດຕິກໍາຂອງມະນຸດ, ພື້ນຖານເຕັກໂນໂລຢີແລະຄວາມສົດໃສດ້ານຂອງຄໍາຮ້ອງສະຫມັກຂອງມັນ.

ແບບຈໍາລອງພຶດຕິກໍາຂອງມະນຸດສາມາດແບ່ງອອກເປັນ:

• ພຶດຕິກໍາສ່ວນບຸກຄົນ
• ພຶດຕິກໍາຂອງປະຊາຊົນກຸ່ມນ້ອຍ
• ພຶດຕິກຳມະຫາຊົນ

ແຕ່ລະປະເພດເຫຼົ່ານີ້ສາມາດຖືກສ້າງແບບຈໍາລອງໂດຍໃຊ້ ML, ແຕ່ມີຂໍ້ມູນແລະຄຸນສົມບັດທີ່ແຕກຕ່າງກັນຫມົດ. ແຕ່ລະປະເພດຍັງມີບັນຫາດ້ານຈັນຍາບັນຂອງຕົນເອງທີ່ແຕ່ລະໂຄງການຜ່ານ:

• ພຶດຕິກໍາສ່ວນບຸກຄົນ - ການລັກເອກະລັກ, ປອມ;
• ພຶດຕິກໍາຂອງກຸ່ມຄົນ - ການປິດບັງຊື່, ໄດ້ຮັບຂໍ້ມູນກ່ຽວກັບການເຄື່ອນໄຫວ, ການໂທຫາໂທລະສັບ, ແລະອື່ນໆ;

ພຶດຕິກໍາສ່ວນບຸກຄົນ

ສ່ວນຫຼາຍແມ່ນກ່ຽວຂ້ອງກັບຫົວຂໍ້ຂອງ Computer Vision - ການຮັບຮູ້ຄວາມຮູ້ສຶກແລະປະຕິກິລິຍາຂອງມະນຸດ. ບາງທີພຽງແຕ່ຢູ່ໃນສະພາບການ, ໃນເວລາ, ຫຼືກັບຂະຫນາດທີ່ກ່ຽວຂ້ອງຂອງການປ່ຽນແປງຂອງຕົນເອງຂອງອາລົມ. ສະໄລ້ສະແດງການຮັບຮູ້ອາລົມຂອງ Mona Lisa ໂດຍໃຊ້ບໍລິບົດຈາກສະເໜ່ອາລົມຂອງແມ່ຍິງເມດິເຕີເຣນຽນ. ຜົນໄດ້ຮັບ: ຮອຍຍິ້ມຂອງຄວາມສຸກ, ແຕ່ດ້ວຍຄວາມດູຖູກແລະຄວາມກຽດຊັງ. ເຫດຜົນແມ່ນເປັນໄປໄດ້ຫຼາຍທີ່ສຸດໃນວິທີການທາງວິຊາການຂອງການກໍານົດຄວາມຮູ້ສຶກ "ເປັນກາງ".

ພຶດຕິກໍາຂອງປະຊາຊົນກຸ່ມນ້ອຍ

ມາຮອດປະຈຸ, ຮູບແບບທີ່ຮ້າຍແຮງທີ່ສຸດແມ່ນຍ້ອນຂໍ້ມູນບໍ່ພຽງພໍ. ຕົວຢ່າງ, ວຽກງານຈາກ 2018 - 2019 ໄດ້ຖືກສະແດງໃຫ້ເຫັນ. ໃນ​ຫຼາຍ​ສິບ​ຄົນ X ຫຼາຍ​ສິບ​ວິ​ດີ​ໂອ (cf. 100k++ ຊຸດ​ຂໍ້​ມູນ​ຮູບ​ພາບ​)​. ເພື່ອສ້າງແບບຈໍາລອງວຽກງານນີ້ທີ່ດີທີ່ສຸດ, ຂໍ້ມູນ multimodal ແມ່ນຈໍາເປັນ, ດີກວ່າຈາກເຊັນເຊີກ່ຽວກັບເຄື່ອງວັດແທກອຸນຫະພູມຂອງຮ່າງກາຍ, ເຄື່ອງວັດແທກອຸນຫະພູມ, ການບັນທຶກໄມໂຄຣໂຟນ, ແລະອື່ນໆ.

ພຶດຕິກໍາມະຫາຊົນ

ພື້ນທີ່ພັດທະນາທີ່ສຸດ, ນັບຕັ້ງແຕ່ລູກຄ້າແມ່ນອົງການສະຫະປະຊາຊາດແລະຫຼາຍລັດ. ກ້ອງຖ່າຍຮູບເຝົ້າລະວັງກາງແຈ້ງ, ຂໍ້ມູນຈາກຫໍໂທລະສັບ - ໃບບິນ, SMS, ໂທ, ຂໍ້ມູນການເຄື່ອນໄຫວລະຫວ່າງຊາຍແດນຂອງລັດ - ທັງຫມົດນີ້ເຮັດໃຫ້ຮູບພາບທີ່ຫນ້າເຊື່ອຖືຫຼາຍຂອງການເຄື່ອນໄຫວຂອງປະຊາຊົນແລະຄວາມບໍ່ສະຖຽນລະພາບທາງສັງຄົມ. ການ​ນໍາ​ໃຊ້​ເຕັກ​ໂນ​ໂລ​ຊີ​ທີ່​ມີ​ທ່າ​ແຮງ​: ການ​ປັບ​ປຸງ​ປະ​ຕິ​ບັດ​ການ​ກູ້​ໄພ​, ການ​ຊ່ວຍ​ເຫຼືອ​ແລະ​ການ​ອົບ​ພະ​ຍົບ​ທັນ​ເວ​ລາ​ຂອງ​ປະ​ຊາ​ກອນ​ໃນ​ລະ​ຫວ່າງ​ການ​ສຸກ​ເສີນ​. ແບບຈໍາລອງທີ່ໃຊ້ສ່ວນໃຫຍ່ແມ່ນຍັງຖືກຕີຄວາມບໍ່ດີ - ເຫຼົ່ານີ້ແມ່ນ LSTMs ແລະເຄືອຂ່າຍ convolutional. ມີ​ຂໍ້​ສັງ​ເກດ​ສັ້ນໆ​ວ່າ ສະຫະ​ປະຊາ​ຊາດ​ກໍາລັງ​ຊັກ​ຊວນ​ໃຫ້​ມີ​ກົດໝາຍ​ສະບັບ​ໃໝ່​ທີ່​ບັງຄັບ​ໃຫ້​ບັນດາ​ວິ​ສາ​ຫະກິດ​ຢູ​ໂຣບ​ແບ່ງປັນ​ຂໍ້​ມູນ​ທີ່​ບໍ່​ອອກ​ຊື່​ທີ່​ຈຳ​ເປັນ​ໃນ​ການ​ຄົ້ນຄວ້າ​ໃດໆ.

"ຈາກລະບົບ 1 ເຖິງລະບົບ 2 ການຮຽນຮູ້ເລິກເຊິ່ງ", Yoshua Bengio

ສະໄລ້
ໃນບົດບັນຍາຍຂອງ Joshua Bengio, ການຮຽນຮູ້ເລິກເຊິ່ງພົບກັບວິທະຍາສາດທາງດ້ານ neuroscience ໃນລະດັບຂອງການຕັ້ງເປົ້າຫມາຍ.
Bengio ກໍານົດສອງປະເພດຂອງບັນຫາຕົ້ນຕໍອີງຕາມວິທີການຂອງລາງວັນ Nobel Daniel Kahneman (ຫນັງສື "ຄິດຊ້າ, ຕັດສິນໃຈໄວ")
ປະເພດ 1 - ລະບົບ 1, ການກະທໍາທີ່ບໍ່ມີສະຕິທີ່ພວກເຮົາເຮັດ "ອັດຕະໂນມັດ" (ສະຫມອງບູຮານ): ຂັບລົດໃນບ່ອນທີ່ຄຸ້ນເຄີຍ, ຍ່າງ, ຮັບຮູ້ໃບຫນ້າ.
ປະເພດ 2 - ລະບົບ 2, ການປະຕິບັດສະຕິ (cerebral cortex), ການກໍານົດເປົ້າຫມາຍ, ການວິເຄາະ, ການຄິດ, ວຽກງານປະກອບ.

ມາຮອດປະຈຸ AI ໄດ້ບັນລຸລະດັບຄວາມສູງພຽງພໍພຽງແຕ່ໃນວຽກງານຂອງປະເພດທໍາອິດ, ໃນຂະນະທີ່ວຽກງານຂອງພວກເຮົາແມ່ນເພື່ອເອົາມັນມາທີສອງ, ການສອນມັນໃຫ້ປະຕິບັດການປະຕິບັດຫຼາຍວິຊາແລະປະຕິບັດດ້ວຍເຫດຜົນແລະຄວາມສາມາດມັນສະຫມອງລະດັບສູງ.

ເພື່ອບັນລຸເປົ້າຫມາຍດັ່ງກ່າວ, ມັນໄດ້ຖືກສະເຫນີ:

1. ໃນວຽກງານ NLP, ໃຊ້ຄວາມສົນໃຈເປັນກົນໄກທີ່ສໍາຄັນສໍາລັບການສ້າງແບບຈໍາລອງແນວຄິດ
2. ໃຊ້ການຮຽນຮູ້ meta-learning ແລະການເປັນຕົວແທນໃນລັກສະນະຕົວແບບທີ່ດີກວ່າທີ່ມີອິດທິພົນຕໍ່ສະຕິແລະການທ້ອງຖິ່ນຂອງພວກເຂົາ - ແລະບົນພື້ນຖານຂອງພວກມັນກ້າວໄປສູ່ການປະຕິບັດກັບແນວຄວາມຄິດລະດັບສູງ.

ແທນທີ່ຈະເປັນການສະຫລຸບ, ນີ້ແມ່ນການສົນທະນາທີ່ຖືກເຊີນ: Bengio ແມ່ນຫນຶ່ງໃນນັກວິທະຍາສາດຫຼາຍຄົນທີ່ພະຍາຍາມຂະຫຍາຍພາກສະຫນາມຂອງ ML ນອກເຫນືອຈາກບັນຫາການເພີ່ມປະສິດທິພາບ, SOTA ແລະສະຖາປັດຕະຍະກໍາໃຫມ່.
ຄໍາຖາມຍັງເປີດໃຫ້ເຫັນວ່າການປະສົມປະສານຂອງບັນຫາຂອງສະຕິ, ອິດທິພົນຂອງພາສາກ່ຽວກັບການຄິດ, neurobiology ແລະສູດການຄິດໄລ່ແມ່ນສິ່ງທີ່ລໍຖ້າພວກເຮົາໃນອະນາຄົດແລະຈະຊ່ວຍໃຫ້ພວກເຮົາຍ້າຍໄປຢູ່ໃນເຄື່ອງຈັກທີ່ "ຄິດ" ຄືກັບຄົນ.

!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com