NeurIPS 2019: เทรนด์ ML ที่จะอยู่กับเราในทศวรรษหน้า

นิวโรไอพีเอส (ระบบประมวลผลข้อมูลประสาท) คือการประชุมเกี่ยวกับการเรียนรู้ของเครื่องและปัญญาประดิษฐ์ที่ใหญ่ที่สุดในโลก และเป็นงานหลักในโลกแห่งการเรียนรู้เชิงลึก

พวกเราซึ่งเป็นวิศวกรของ DS จะเชี่ยวชาญชีววิทยา ภาษาศาสตร์ และจิตวิทยาในทศวรรษใหม่นี้ด้วยหรือไม่ เราจะบอกคุณในการตรวจสอบของเรา

ในปีนี้การประชุมได้รวบรวมผู้คนมากกว่า 13500 คนจาก 80 ประเทศในแวนคูเวอร์ ประเทศแคนาดา นี่ไม่ใช่ปีแรกที่ Sberbank เป็นตัวแทนของรัสเซียในการประชุม - ทีม DS พูดถึงการนำ ML ไปใช้ในกระบวนการธนาคารเกี่ยวกับการแข่งขัน ML และเกี่ยวกับความสามารถของแพลตฟอร์ม Sberbank DS แนวโน้มหลักของปี 2019 ในชุมชน ML คืออะไร ผู้เข้าร่วมการประชุมกล่าวว่า: อันเดรย์ เชอร์ต็อก и ทัตยานา ชาฟรินา.

ในปีนี้ NeurIPS ยอมรับเอกสารมากกว่า 1400 ฉบับ ไม่ว่าจะเป็นอัลกอริทึม โมเดลใหม่ และแอปพลิเคชันใหม่กับข้อมูลใหม่ เชื่อมโยงไปยังวัสดุทั้งหมด

สารบัญ:

• แนวโน้ม
• • การตีความแบบจำลอง
  • สหสาขาวิชาชีพ
  • เหตุผล
  • RL
  • GAN
• เสวนารับเชิญขั้นพื้นฐาน
• • “ข่าวกรองทางสังคม” โดย Blaise Aguera y Arcas (Google)
  • “Veridical Data Science” โดย ปิน หยู (เบิร์กลีย์)
  • “การสร้างแบบจำลองพฤติกรรมมนุษย์ด้วยการเรียนรู้ของเครื่อง: โอกาสและความท้าทาย”, นูเรีย เอ็ม โอลิเวอร์, อัลเบิร์ต อาลี ซาลาห์
  • “จากระบบ 1 สู่ระบบ 2 การเรียนรู้เชิงลึก”, โยชัว เบนจิโอ

2019 แนวโน้มแห่งปี

1. การตีความแบบจำลองและวิธีการ ML ใหม่

หัวข้อหลักของการประชุมคือการตีความและหลักฐานว่าเหตุใดเราจึงได้ผลลัพธ์ที่แน่นอน เราสามารถพูดคุยกันเป็นเวลานานเกี่ยวกับความสำคัญทางปรัชญาของการตีความ "กล่องดำ" แต่มีวิธีการและการพัฒนาทางเทคนิคที่แท้จริงมากกว่าในด้านนี้

วิธีการจำลองแบบจำลองและดึงความรู้จากแบบจำลองเหล่านี้ถือเป็นชุดเครื่องมือใหม่สำหรับวิทยาศาสตร์ แบบจำลองสามารถใช้เป็นเครื่องมือในการรับความรู้ใหม่และการทดสอบ และแต่ละขั้นตอนของการประมวลผลล่วงหน้า การฝึกอบรม และการประยุกต์ใช้แบบจำลองจะต้องทำซ้ำได้
สัดส่วนสำคัญของสิ่งพิมพ์ไม่ได้เน้นไปที่การสร้างแบบจำลองและเครื่องมือ แต่เน้นที่ปัญหาในการประกันความปลอดภัย ความโปร่งใส และการตรวจสอบผลลัพธ์ โดยเฉพาะอย่างยิ่ง มีสตรีมแยกต่างหากปรากฏขึ้นเกี่ยวกับการโจมตีโมเดล (การโจมตีของฝ่ายตรงข้าม) และพิจารณาตัวเลือกสำหรับทั้งการโจมตีแบบฝึกและการโจมตีแอปพลิเคชัน

บทความ:

• วิทยาศาสตร์ข้อมูลการตรวจสอบ — บทความเชิงโปรแกรมเกี่ยวกับวิธีการตรวจสอบแบบจำลอง รวมภาพรวมของเครื่องมือสมัยใหม่สำหรับการตีความโมเดล โดยเฉพาะการใช้ความสนใจและการได้รับความสำคัญของฟีเจอร์โดยการ "กลั่น" โครงข่ายประสาทเทียมด้วยโมเดลเชิงเส้น
• ดูเหมือนว่า: การเรียนรู้เชิงลึกเพื่อการจดจำภาพที่ตีความได้ Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
• เกณฑ์มาตรฐานสำหรับวิธีการตีความในโครงข่ายประสาทเทียมระดับลึก ซารา ฮุกเกอร์, ดูมิทรู เออร์ฮาน, ปีเตอร์-แจน คินเดอร์แมนส์, บีน คิม
• สู่การเรียนรู้การเสริมกำลังที่ตีความได้โดยใช้ตัวแทนเสริมความสนใจ อเล็กซานเดอร์ มอตต์, ดาเนียล โซรัน, ไมค์ เชอร์ซานอฟสกี้, ดาน เวียร์สตรา, ดานิโล ฮิเมเนซ เรเซนเด้
• การวัดความสำคัญของคุณลักษณะ MDI แบบ Debiased สำหรับป่าสุ่ม เซียว ลี่, หยู หวาง, สุมันตา บาซู, คาร์ล คัมเบียร์, ปิน หยู
• การสกัดความรู้โดยไม่มีข้อมูลที่สังเกตได้ แจมินยู, มินยองโช, แทบอมคิม, ยูคัง
• ขั้นตอนสู่การหาปริมาณการวิจัยแมชชีนเลิร์นนิงที่สามารถทำซ้ำได้อย่างอิสระ เอ็ดเวิร์ด ราฟ

ExBert.net แสดงการตีความแบบจำลองสำหรับงานการประมวลผลข้อความ

2. สหสาขาวิชาชีพ

เพื่อให้มั่นใจในการตรวจสอบที่เชื่อถือได้และพัฒนากลไกในการตรวจสอบและขยายความรู้ เราต้องการผู้เชี่ยวชาญในสาขาที่เกี่ยวข้องซึ่งมีความสามารถในด้าน ML และในสาขาวิชาไปพร้อมๆ กัน (การแพทย์ ภาษาศาสตร์ ชีววิทยาประสาท การศึกษา ฯลฯ) เป็นเรื่องที่น่าสังเกตว่ามีผลงานและสุนทรพจน์ในประสาทวิทยาศาสตร์และวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจที่สำคัญมากขึ้น - มีผู้เชี่ยวชาญที่เชื่อมโยงสายสัมพันธ์และการยืมแนวคิด

นอกเหนือจากการสร้างสายสัมพันธ์นี้แล้ว การประมวลผลข้อมูลจากแหล่งต่างๆ ก็มีหลากหลายสาขาวิชา: ข้อความและภาพถ่าย ข้อความและเกม ฐานข้อมูลกราฟ + ข้อความและภาพถ่าย

บทความ:

• ประสาทวิทยา + มล. — การตีความและปรับปรุงการประมวลผลภาษาธรรมชาติ (ในเครื่องจักร) ด้วยการประมวลผลภาษาธรรมชาติ (ในสมอง)
• VisualQA - การเรียนรู้โดยสิ่งที่เป็นนามธรรม: เครื่องควบคุมสภาวะประสาท
• RL + NLP - การตัดสินใจแบบลำดับชั้นโดยการสร้างและปฏิบัติตามคำสั่งภาษาธรรมชาติ

สองโมเดล - นักยุทธศาสตร์และผู้บริหาร - ใช้ RL และ NLP เล่นกลยุทธ์ออนไลน์

3. การให้เหตุผล

การเสริมสร้างปัญญาประดิษฐ์คือการเคลื่อนไหวไปสู่ระบบการเรียนรู้ด้วยตนเองแบบ "มีสติ" การใช้เหตุผลและการให้เหตุผล โดยเฉพาะอย่างยิ่ง การอนุมานเชิงสาเหตุและการใช้เหตุผลทั่วไปกำลังพัฒนา รายงานบางส่วนมุ่งเน้นไปที่การเรียนรู้เมตา (เกี่ยวกับวิธีการเรียนรู้ที่จะเรียนรู้) และการรวมกันของเทคโนโลยี DL เข้ากับตรรกะลำดับที่ 1 และ 2 - คำว่าปัญญาประดิษฐ์ทั่วไป (AGI) กำลังกลายเป็นคำทั่วไปในการกล่าวสุนทรพจน์ของผู้บรรยาย

บทความ:

• การเรียนรู้กราฟที่แตกต่างกันสำหรับการให้เหตุผลเชิงภาพ เว่ยเจียง หยู่, จิงเหวิน โจว, เวยเฮา หยู่, เสี่ยวตัน เหลียง, น้องเซียว
• การเชื่อมโยงการเรียนรู้ของเครื่องและการใช้เหตุผลเชิงตรรกะโดยการเรียนรู้แบบแอบแฝง หวัง-โจว ได, ซิวหลิง ซู, หยาง หยู, จี้-หัวโจว
• การเรียนรู้การใช้เหตุผลโดยปริยายในตรรกะลำดับที่หนึ่ง ไวศักดิ์ เบลล์, เบรนแดน จูบา
• PHYRE: เกณฑ์มาตรฐานใหม่สำหรับการใช้เหตุผลทางกายภาพ แอนทอน บัคติน, ลอเรนส์ ฟาน เดอร์ มาเทน, จัสติน จอห์นสัน, ลอร่า กุสตาฟสัน, รอสส์ เกอร์ชิก
• การฝังควอนตัมความรู้เพื่อการให้เหตุผล ดิเนช การ์ก, ชาจิธ อิกบาล, ซานโตช เค. ศรีวาสตาวา, หริท วิศวะการ์มา, ฮิมา คารานัม, แอล เวนกาตะ ซูบรามาเนียม

4.การเรียนรู้แบบเสริมกำลัง

งานส่วนใหญ่ยังคงพัฒนาพื้นที่ดั้งเดิมของ RL - DOTA2, Starcraft ผสมผสานสถาปัตยกรรมกับคอมพิวเตอร์วิทัศน์, NLP, ฐานข้อมูลกราฟ

วันที่แยกของการประชุมเป็นเรื่องเกี่ยวกับเวิร์กช็อป RL ซึ่งมีการนำเสนอสถาปัตยกรรม Optimistic Actor Critic Model ซึ่งเหนือกว่าครั้งก่อนๆ ทั้งหมด โดยเฉพาะอย่างยิ่ง Soft Actor Critic

บทความ:

• การสำรวจที่ดีขึ้นด้วยนักวิจารณ์นักแสดงในแง่ดี- คามิล ชิโอเสก, กวน หวู่ง, โรเบิร์ต ลอฟติน, คัตย่า ฮอฟมานน์
• ChainerRL: ห้องสมุดการเรียนรู้แบบเสริมกำลังเชิงลึก- ยาสุฮิโระ ฟูจิตะ (Preferred Networks, Inc.)*; โทชิกิ คาตะโอกะ (Preferred Networks, Inc.); Prabhat Nagarajan (เครือข่ายที่ต้องการ); ทาคาฮิโระ อิชิกาวะ (มหาวิทยาลัยโตเกียว) [ลิงก์ pdf ภายนอก]
• ความฝันที่ต้องควบคุม: พฤติกรรมการเรียนรู้ด้วยจินตนาการแฝง- ดานิจาร์ ฮาฟเนอร์ (Google)*; ทิโมธี ลิลลิแร็ป (DeepMind); จิมมี่บา (มหาวิทยาลัยโตรอนโต); โมฮัมหมัด โนรูซี (Google Brain)
• วัสดุการประชุมเชิงปฏิบัติการ

ผู้เล่น StarCraft ต่อสู้กับโมเดล Alphastar (DeepMind)

5. กัน

เครือข่ายกำเนิดยังคงอยู่ในความสนใจ: งานจำนวนมากใช้ Vanilla GAN สำหรับการพิสูจน์ทางคณิตศาสตร์ และยังนำไปใช้ในรูปแบบใหม่ที่ไม่ธรรมดา (แบบจำลองการสร้างกราฟ การทำงานกับอนุกรม การประยุกต์ความสัมพันธ์ระหว่างเหตุและผลในข้อมูล ฯลฯ)

บทความ:

• การขุดตัวอย่างทองคำสำหรับ GAN แบบมีเงื่อนไข ซังวู โม, คิมชีฮอน, คิมซองอุง, มินซู โช, จินวู ชิน
• การเพิ่ม GAN แบบก้าวหน้า แดน จาง, แอนนา โคเรวา
• การสร้างแบบจำลองข้อมูลแบบตารางโดยใช้ GAN แบบมีเงื่อนไข เล่ย ซู, มาเรีย สกูลาริดู, อัลเฟรโด กวยสตา-อินฟานเต้, คัลยัน วีรามาชาเนนี
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

เนื่องจากมีการรับงานเพิ่มมากขึ้น 1400 ด้านล่างนี้เราจะพูดถึงสุนทรพจน์ที่สำคัญที่สุด

เสวนารับเชิญ

“ข่าวกรองทางสังคม” โดย Blaise Aguera y Arcas (Google)

ลิงค์
สไลด์และวิดีโอ
การเสวนามุ่งเน้นไปที่วิธีการทั่วไปของแมชชีนเลิร์นนิงและแนวโน้มที่จะเปลี่ยนแปลงอุตสาหกรรมในขณะนี้ - เรากำลังเผชิญกับทางแยกอะไร สมองและวิวัฒนาการทำงานอย่างไร และเหตุใดเราจึงใช้สิ่งที่เรารู้อยู่แล้วเกี่ยวกับการพัฒนาระบบธรรมชาติเพียงเล็กน้อยเท่านั้น

การพัฒนาทางอุตสาหกรรมของ ML ส่วนใหญ่เกิดขึ้นพร้อมกับเหตุการณ์สำคัญในการพัฒนาของ Google ซึ่งเผยแพร่งานวิจัยเกี่ยวกับ NeurIPS ปีแล้วปีเล่า:

• 1997 – เปิดตัวสิ่งอำนวยความสะดวกในการค้นหา เซิร์ฟเวอร์เครื่องแรก พลังการประมวลผลขนาดเล็ก
• พ.ศ. 2010 (ค.ศ. XNUMX) – Jeff Dean เปิดตัวโครงการ Google Brain ซึ่งเป็นความเจริญของโครงข่ายประสาทเทียมในช่วงแรกเริ่ม
• 2015 – การใช้งานโครงข่ายประสาทเทียมทางอุตสาหกรรม, การจดจำใบหน้าอย่างรวดเร็วบนอุปกรณ์ภายในเครื่องโดยตรง, โปรเซสเซอร์ระดับต่ำที่ปรับแต่งสำหรับการประมวลผลเทนเซอร์ - TPU Google เปิดตัว Coral ai - อะนาล็อกของ raspberry pi ซึ่งเป็นมินิคอมพิวเตอร์สำหรับแนะนำโครงข่ายประสาทเทียมในการติดตั้งแบบทดลอง
• 2017 – Google เริ่มพัฒนาการฝึกอบรมแบบกระจายอำนาจและรวมผลลัพธ์ของการฝึกอบรมโครงข่ายประสาทเทียมจากอุปกรณ์ต่างๆ ให้เป็นรุ่นเดียว – บน Android

ปัจจุบัน อุตสาหกรรมทั้งหมดทุ่มเทให้กับความปลอดภัยของข้อมูล การรวมกลุ่ม และการจำลองผลลัพธ์การเรียนรู้บนอุปกรณ์ภายในเครื่อง

สหพันธ์การเรียนรู้ – ทิศทางของ ML ที่แต่ละโมเดลเรียนรู้อย่างเป็นอิสระจากกัน จากนั้นจึงรวมเป็นโมเดลเดียว (โดยไม่ต้องรวมแหล่งข้อมูลต้นทาง) ปรับให้เหมาะกับเหตุการณ์ที่เกิดขึ้นได้ยาก ความผิดปกติ การปรับแต่งส่วนบุคคล ฯลฯ อุปกรณ์ Android ทั้งหมดถือเป็นซูเปอร์คอมพิวเตอร์เครื่องเดียวสำหรับ Google

โมเดลเชิงกำเนิดที่อิงจากการเรียนรู้แบบสหพันธรัฐถือเป็นทิศทางในอนาคตที่มีแนวโน้มตามที่ Google กล่าว ซึ่งอยู่ใน "ระยะเริ่มต้นของการเติบโตแบบทวีคูณ" ตามที่อาจารย์ผู้สอน GANs มีความสามารถในการเรียนรู้ที่จะสร้างพฤติกรรมจำนวนมากของประชากรของสิ่งมีชีวิตและอัลกอริทึมการคิด

จากตัวอย่างของสถาปัตยกรรม GAN แบบง่ายสองแบบ แสดงให้เห็นว่าในนั้นการค้นหาเส้นทางการปรับให้เหมาะสมจะเดินไปเป็นวงกลม ซึ่งหมายความว่าการปรับให้เหมาะสมจะไม่เกิดขึ้น ในเวลาเดียวกัน แบบจำลองเหล่านี้ประสบความสำเร็จอย่างมากในการจำลองการทดลองที่นักชีววิทยาทำกับประชากรแบคทีเรีย บังคับให้พวกเขาเรียนรู้กลยุทธ์พฤติกรรมใหม่ในการค้นหาอาหาร เราสามารถสรุปได้ว่าชีวิตทำงานแตกต่างจากฟังก์ชันการปรับให้เหมาะสม

การเพิ่มประสิทธิภาพ GAN การเดิน

สิ่งที่เราทำในกรอบของการเรียนรู้ของเครื่องตอนนี้เป็นงานที่แคบและเป็นทางการมาก ในขณะที่รูปแบบเหล่านี้ไม่ได้สรุปได้ดีและไม่สอดคล้องกับความรู้ในสาขาวิชาของเรา เช่น สรีรวิทยาและชีววิทยา

สิ่งที่ควรค่าแก่การยืมมาจากสาขาสรีรวิทยาประสาทในอนาคตอันใกล้นี้คือสถาปัตยกรรมเซลล์ประสาทใหม่และการแก้ไขกลไกการแพร่กระจายข้อผิดพลาดเล็กน้อย

สมองของมนุษย์ไม่ได้เรียนรู้เหมือนโครงข่ายประสาทเทียม:

• เขาไม่มีปัจจัยนำเข้าหลักแบบสุ่ม รวมถึงปัจจัยที่ป้อนผ่านประสาทสัมผัสและในวัยเด็กด้วย
• เขามีทิศทางการพัฒนาตามสัญชาตญาณโดยธรรมชาติ (ความปรารถนาที่จะเรียนรู้ภาษาจากทารกเดินตัวตรง)

การฝึกสมองเป็นงานระดับต่ำ บางทีเราควรพิจารณา "อาณานิคม" ของบุคคลที่เปลี่ยนแปลงอย่างรวดเร็วเพื่อถ่ายทอดความรู้ให้กันและกันเพื่อสร้างกลไกของการวิวัฒนาการของกลุ่ม

สิ่งที่เราสามารถนำมาใช้กับอัลกอริธึม ML ได้ตอนนี้:

• ใช้แบบจำลองการสืบเชื้อสายของเซลล์ที่รับประกันการเรียนรู้ของประชากร แต่อายุสั้นของแต่ละบุคคล (“สมองของแต่ละบุคคล”)
• การเรียนรู้แบบไม่กี่ช็อตโดยใช้ตัวอย่างจำนวนเล็กน้อย
• โครงสร้างเซลล์ประสาทที่ซับซ้อนมากขึ้น มีฟังก์ชันการเปิดใช้งานที่แตกต่างกันเล็กน้อย
• การถ่ายโอน "จีโนม" ไปยังรุ่นต่อไป - อัลกอริธึมการถ่ายทอดกลับ
• เมื่อเราเชื่อมโยงสรีรวิทยาและโครงข่ายประสาทเทียม เราจะเรียนรู้การสร้างสมองแบบมัลติฟังก์ชั่นจากส่วนประกอบต่างๆ มากมาย

จากมุมมองนี้ แนวทางปฏิบัติของโซลูชัน SOTA เป็นอันตรายและควรได้รับการแก้ไขเพื่อประโยชน์ในการพัฒนางานทั่วไป (เกณฑ์มาตรฐาน)

“Veridical Data Science” โดย ปิน หยู (เบิร์กลีย์)

วิดีโอและสไลด์
รายงานนี้เน้นไปที่ปัญหาการตีความโมเดลแมชชีนเลิร์นนิงและวิธีการทดสอบและตรวจสอบโดยตรง โมเดล ML ที่ได้รับการฝึกอบรมใดๆ สามารถมองว่าเป็นแหล่งความรู้ที่จำเป็นต้องดึงออกมาจากโมเดลนั้น

ในหลายพื้นที่ โดยเฉพาะอย่างยิ่งในด้านการแพทย์ การใช้แบบจำลองเป็นไปไม่ได้หากปราศจากการดึงความรู้ที่ซ่อนอยู่นี้และตีความผลลัพธ์ของแบบจำลอง มิฉะนั้น เราจะไม่แน่ใจว่าผลลัพธ์จะมีเสถียรภาพ ไม่สุ่ม เชื่อถือได้ และจะไม่ฆ่า อดทน. ทิศทางทั้งหมดของวิธีการทำงานกำลังพัฒนาภายใต้กระบวนทัศน์การเรียนรู้เชิงลึกและก้าวข้ามขอบเขต - วิทยาศาสตร์ข้อมูลเชิงยืนยัน มันคืออะไร?

เราต้องการบรรลุถึงคุณภาพของสิ่งพิมพ์ทางวิทยาศาสตร์และความสามารถในการทำซ้ำของแบบจำลองที่เป็น:

1. คาดเดาได้
2. คำนวณได้
3. มั่นคง

หลักการทั้งสามนี้เป็นพื้นฐานของวิธีการใหม่ สามารถตรวจสอบโมเดล ML ตามเกณฑ์เหล่านี้ได้อย่างไร วิธีที่ง่ายที่สุดคือการสร้างแบบจำลองที่สามารถตีความได้ทันที (การถดถอย แผนผังการตัดสินใจ) อย่างไรก็ตาม เรายังต้องการได้รับประโยชน์ทันทีจากการเรียนรู้เชิงลึกด้วย

มีวิธีแก้ไขปัญหาที่มีอยู่หลายวิธี:

1. ตีความแบบจำลอง
2. ใช้วิธีการตามความสนใจ
3. ใช้ชุดของอัลกอริธึมเมื่อฝึกฝน และตรวจสอบให้แน่ใจว่าโมเดลที่ตีความได้เชิงเส้นเรียนรู้ที่จะทำนายคำตอบเดียวกันกับโครงข่ายประสาทเทียม การตีความคุณสมบัติจากโมเดลเชิงเส้น
4. การเปลี่ยนแปลงและเพิ่มข้อมูลการฝึกอบรม ซึ่งรวมถึงการเพิ่มสัญญาณรบกวน การรบกวน และการเพิ่มข้อมูล
5. วิธีการใดๆ ที่ช่วยให้แน่ใจว่าผลลัพธ์ของแบบจำลองจะไม่สุ่มและไม่ขึ้นอยู่กับการรบกวนที่ไม่พึงประสงค์เล็กน้อย (การโจมตีของฝ่ายตรงข้าม)
6. ตีความแบบจำลองตามข้อเท็จจริง หลังการฝึกอบรม
7. การศึกษาคุณลักษณะตุ้มน้ำหนักในรูปแบบต่างๆ
8. ศึกษาความน่าจะเป็นของสมมติฐานทั้งหมด การกระจายคลาส

การโจมตีของฝ่ายตรงข้าม สำหรับหมู

ข้อผิดพลาดในการสร้างแบบจำลองมีค่าใช้จ่ายสูงสำหรับทุกคน ตัวอย่างที่สำคัญคือผลงานของ Reinhart และ Rogov"การเติบโตในช่วงเวลาแห่งหนี้" มีอิทธิพลต่อนโยบายเศรษฐกิจของหลายประเทศในยุโรปและบังคับให้พวกเขาดำเนินนโยบายความเข้มงวด แต่การตรวจสอบข้อมูลอย่างรอบคอบและการประมวลผลในปีต่อมาแสดงให้เห็นผลลัพธ์ที่ตรงกันข้าม!

เทคโนโลยี ML ใดๆ ก็ตามมีวงจรชีวิตของตัวเองตั้งแต่การนำไปปฏิบัติจนถึงการนำไปปฏิบัติ เป้าหมายของวิธีการใหม่นี้คือการตรวจสอบหลักการพื้นฐานสามประการในแต่ละช่วงชีวิตของแบบจำลอง

ผลการศึกษา:

• มีหลายโครงการที่ได้รับการพัฒนาซึ่งจะช่วยให้โมเดล ML มีความน่าเชื่อถือมากขึ้น ตัวอย่างเช่น นี่คือ deeptune (ลิงก์ไปยัง: github.com/ChrisCummins/paper-end2end-dl);
• สำหรับการพัฒนาวิธีการเพิ่มเติม จำเป็นต้องปรับปรุงคุณภาพของสิ่งพิมพ์ในสาขา ML อย่างมีนัยสำคัญ
• แมชชีนเลิร์นนิงต้องการผู้นำที่ได้รับการฝึกอบรมจากหลากหลายสาขาวิชาและมีความเชี่ยวชาญทั้งในด้านเทคนิคและมนุษยศาสตร์

“การสร้างแบบจำลองพฤติกรรมมนุษย์ด้วยการเรียนรู้ของเครื่อง: โอกาสและความท้าทาย” นูเรีย เอ็ม โอลิเวอร์, อัลเบิร์ต อาลี ซาลาห์

การบรรยายที่เกี่ยวข้องกับการสร้างแบบจำลองพฤติกรรมของมนุษย์ รากฐานทางเทคโนโลยี และโอกาสในการประยุกต์ใช้งาน

การสร้างแบบจำลองพฤติกรรมมนุษย์สามารถแบ่งออกเป็น:

• พฤติกรรมส่วนบุคคล
• พฤติกรรมของคนกลุ่มเล็กๆ
• พฤติกรรมมวลชน

แต่ละประเภทเหล่านี้สามารถสร้างแบบจำลองได้โดยใช้ ML แต่มีข้อมูลอินพุตและคุณสมบัติที่แตกต่างกันโดยสิ้นเชิง แต่ละประเภทยังมีปัญหาด้านจริยธรรมของตัวเองที่แต่ละโครงการต้องเผชิญ:

• พฤติกรรมส่วนบุคคล – การขโมยข้อมูลประจำตัว, การปลอมแปลงอย่างล้ำลึก;
• พฤติกรรมของกลุ่มบุคคล - การไม่เปิดเผยชื่อ, การได้รับข้อมูลเกี่ยวกับการเคลื่อนไหว, การโทร ฯลฯ

พฤติกรรมส่วนบุคคล

ส่วนใหญ่เกี่ยวข้องกับหัวข้อคอมพิวเตอร์วิทัศน์ - การรับรู้อารมณ์และปฏิกิริยาของมนุษย์ บางทีอาจเป็นเฉพาะในบริบท ในเวลา หรือตามขนาดความแปรปรวนของอารมณ์ของเขาเอง สไลด์นี้แสดงการรับรู้อารมณ์ของโมนาลิซ่าโดยใช้บริบทจากสเปกตรัมทางอารมณ์ของผู้หญิงเมดิเตอร์เรเนียน ผลลัพธ์: รอยยิ้มแห่งความยินดี แต่ด้วยความดูถูกและความรังเกียจ สาเหตุน่าจะมาจากวิธีทางเทคนิคในการกำหนดอารมณ์ที่ "เป็นกลาง"

พฤติกรรมของคนกลุ่มเล็กๆ

จนถึงตอนนี้โมเดลที่แย่ที่สุดก็เนื่องมาจากข้อมูลไม่เพียงพอ ยกตัวอย่างผลงานปี 2018 – 2019 กับผู้คนหลายสิบคน X วิดีโอหลายสิบรายการ (เปรียบเทียบชุดข้อมูลรูปภาพ 100++ ชุด) เพื่อให้จำลองงานนี้ได้ดีที่สุด จำเป็นต้องมีข้อมูลหลายรูปแบบ โดยเฉพาะอย่างยิ่งจากเซ็นเซอร์บนเครื่องวัดระยะสูงของร่างกาย เทอร์โมมิเตอร์ การบันทึกไมโครโฟน ฯลฯ

พฤติกรรมมวลชน

พื้นที่ที่มีการพัฒนามากที่สุดเนื่องจากลูกค้าคือ UN และหลายรัฐ กล้องวงจรปิดกลางแจ้ง ข้อมูลจากเสาโทรศัพท์ - การเรียกเก็บเงิน SMS การโทร ข้อมูลการเคลื่อนไหวระหว่างชายแดนของรัฐ - ทั้งหมดนี้ให้ภาพการเคลื่อนไหวของผู้คนและความไม่มั่นคงทางสังคมที่น่าเชื่อถือมาก การประยุกต์เทคโนโลยีที่เป็นไปได้: การเพิ่มประสิทธิภาพการปฏิบัติการกู้ภัย ความช่วยเหลือ และการอพยพประชากรอย่างทันท่วงทีในระหว่างเหตุฉุกเฉิน โมเดลที่ใช้ส่วนใหญ่ยังคงมีการตีความได้ไม่ดี - เหล่านี้คือ LSTM และเครือข่ายแบบ convolutional ต่างๆ มีข้อสังเกตสั้นๆ ว่าสหประชาชาติกำลังล็อบบี้กฎหมายใหม่ที่จะบังคับให้ธุรกิจในยุโรปเปิดเผยข้อมูลที่ไม่เปิดเผยตัวตนซึ่งจำเป็นสำหรับการวิจัยใดๆ

“จากระบบ 1 สู่ระบบ 2 การเรียนรู้เชิงลึก”, โยชัว เบนจิโอ

สไลด์
ในการบรรยายของ Joshua Bengio การเรียนรู้เชิงลึกมาพบกับประสาทวิทยาศาสตร์ในระดับของการตั้งเป้าหมาย
Bengio ระบุปัญหาหลักสองประเภทตามวิธีการของ Daniel Kahneman ผู้ได้รับรางวัลโนเบล (หนังสือ "คิดช้าตัดสินใจเร็ว")
แบบที่ 1 - ระบบที่ 1 การกระทำโดยไม่รู้ตัวที่เราทำ "อัตโนมัติ" (สมองโบราณ) ขับรถไปในที่คุ้นเคย เดิน จดจำใบหน้า
ประเภทที่ 2 - ระบบที่ 2 การกระทำอย่างมีสติ (เปลือกสมอง) การตั้งเป้าหมาย การวิเคราะห์ การคิด งานประกอบ

จนถึงขณะนี้ AI มีความสูงเพียงพอเฉพาะในงานประเภทแรกเท่านั้น ในขณะที่งานของเราคือการนำไปสู่งานประเภทที่สอง สอนให้ปฏิบัติงานแบบสหสาขาวิชาชีพ และทำงานด้วยตรรกะและทักษะการรับรู้ระดับสูง

เพื่อให้บรรลุเป้าหมายนี้จึงเสนอ:

1. ในงาน NLP ใช้ความสนใจเป็นกลไกสำคัญในการสร้างแบบจำลองการคิด
2. ใช้เมตาเลิร์นนิงและการเรียนรู้แบบเป็นตัวแทนเพื่อสร้างโมเดลคุณลักษณะที่ดียิ่งขึ้นซึ่งมีอิทธิพลต่อจิตสำนึกและการแปลเป็นภาษาท้องถิ่น - และบนพื้นฐานของสิ่งเหล่านั้น ไปสู่การดำเนินงานด้วยแนวคิดระดับสูงกว่า

แทนที่จะเป็นบทสรุป นี่คือการพูดคุยที่ได้รับเชิญ: Bengio เป็นหนึ่งในนักวิทยาศาสตร์จำนวนมากที่พยายามขยายสาขาของ ML นอกเหนือจากปัญหาการปรับให้เหมาะสม SOTA และสถาปัตยกรรมใหม่
คำถามยังคงเปิดกว้างว่าการผสมผสานระหว่างปัญหาด้านจิตสำนึก อิทธิพลของภาษาต่อการคิด ชีววิทยาทางระบบประสาท และอัลกอริธึมเป็นสิ่งที่รอเราอยู่ในอนาคต และจะทำให้เราสามารถย้ายไปยังเครื่องจักรที่ "คิด" เหมือนคนได้

ขอบคุณ!

ที่มา: will.com