نيوروبس () هو أكبر مؤتمر في العالم حول التعلم الآلي والذكاء الاصطناعي والحدث الرئيسي في عالم التعلم العميق.
هل سنتمكن نحن مهندسي DS أيضًا من إتقان علم الأحياء واللغويات وعلم النفس في العقد الجديد؟ سنخبرك في مراجعتنا.
وقد جمع المؤتمر هذا العام أكثر من 13500 شخص من 80 دولة في فانكوفر بكندا. هذه ليست السنة الأولى التي يمثل فيها سبيربنك روسيا في المؤتمر - تحدث فريق DS عن تطبيق ML في العمليات المصرفية، وعن مسابقة ML وعن إمكانيات منصة Sberbank DS. ما هي الاتجاهات الرئيسية لعام 2019 في مجتمع تعلم الآلة؟ يقول المشاركون في المؤتمر: и .
هذا العام، قبلت NeurIPS أكثر من 1400 ورقة بحثية - خوارزميات ونماذج جديدة وتطبيقات جديدة للبيانات الجديدة.
المحتويات:
- اتجاهات
-
- قابلية تفسير النموذج
- تعدد التخصصات
- منطق
- RL
- GAN
- المحادثات الأساسية المدعوة
-
- "الذكاء الاجتماعي"، بليز أغويرا وأركاس (جوجل)
- "علم البيانات الحقيقية"، بن يو (بيركلي)
- "نمذجة السلوك البشري باستخدام التعلم الآلي: الفرص والتحديات"، نوريا إم أوليفر، ألبرت علي صلاح
- "من النظام 1 إلى النظام 2 التعلم العميق"، يوشوا بنجيو
اتجاهات 2019 من السنة
1. قابلية تفسير النموذج ومنهجية تعلم الآلة الجديدة
الموضوع الرئيسي للمؤتمر هو التفسير والدليل على سبب حصولنا على نتائج معينة. يمكن للمرء أن يتحدث لفترة طويلة عن الأهمية الفلسفية لتفسير "الصندوق الأسود"، ولكن كانت هناك طرق أكثر واقعية وتطورات تقنية في هذا المجال.
تعد منهجية تكرار النماذج واستخلاص المعرفة منها بمثابة مجموعة أدوات جديدة للعلوم. يمكن أن تكون النماذج بمثابة أداة للحصول على معرفة جديدة واختبارها، ويجب أن تكون كل مرحلة من مراحل المعالجة المسبقة والتدريب وتطبيق النموذج قابلة للتكرار.
إن نسبة كبيرة من المنشورات مخصصة ليس لبناء النماذج والأدوات، بل لمشاكل ضمان الأمن والشفافية وإمكانية التحقق من النتائج. على وجه الخصوص، ظهر تيار منفصل حول الهجمات على النموذج (الهجمات العدائية)، ويتم النظر في خيارات كل من الهجمات على التدريب والهجمات على التطبيق.
مقالات:
- - مقالة برمجية عن منهجية التحقق من النموذج. يتضمن نظرة عامة على الأدوات الحديثة لتفسير النماذج، على وجه الخصوص، استخدام الاهتمام والحصول على أهمية الميزة عن طريق "تقطير" الشبكة العصبية بنماذج خطية.
- شوفان تشين، أوسكار لي، دانييل تاو، ألينا بارنيت، سينثيا رودين، جوناثان ك.سو
- سارة هوكر، دوميترو إرهان، بيتر جان كيندرمانز، بين كيم
- ألكسندر موت، دانييل زوران، مايك كرزانوفسكي، دان فيرسترا، دانيلو خيمينيز ريزيندي
- شياو لي، يو وانغ، سومانتا باسو، كارل كومبير، بن يو
- جيمين يو، مينيونج تشو، تايبوم كيم، يو كانج
- إدوارد راف
يعرض ExBert.net تفسير النموذج لمهام معالجة النص
2. تعدد التخصصات
لضمان التحقق الموثوق وتطوير آليات للتحقق وتوسيع المعرفة، نحتاج إلى متخصصين في المجالات ذات الصلة الذين لديهم في نفس الوقت كفاءات في تعلم الآلة وفي مجال الموضوع (الطب، واللغويات، وعلم الأحياء العصبي، والتعليم، وما إلى ذلك). تجدر الإشارة بشكل خاص إلى الوجود الأكثر أهمية للأعمال والخطب في علوم الأعصاب والعلوم المعرفية - فهناك تقارب بين المتخصصين واستعارة الأفكار.
بالإضافة إلى هذا التقارب، تظهر تعدد التخصصات في المعالجة المشتركة للمعلومات من مصادر مختلفة: النصوص والصور، والنصوص والألعاب، وقواعد بيانات الرسوم البيانية + النصوص والصور.
مقالات:
- علم الأعصاب + ML —
- فيجوال كيو ايه -
- آر إل + البرمجة اللغوية العصبية -
نموذجان - استراتيجي وتنفيذي - يعتمدان على RL وNLP يلعبان إستراتيجية عبر الإنترنت
3. التفكير
إن تعزيز الذكاء الاصطناعي هو تحرك نحو أنظمة التعلم الذاتي "الواعية" والتفكير والاستدلال. وعلى وجه الخصوص، يتطور الاستدلال السببي والتفكير المنطقي. تم تخصيص بعض التقارير للتعلم التلوي (حول كيفية تعلم كيفية التعلم) والجمع بين تقنيات التعلم عن بعد مع منطق الترتيب الأول والثاني - أصبح مصطلح الذكاء العام الاصطناعي (AGI) مصطلحًا شائعًا في خطابات المتحدثين.
مقالات:
- ويجيانغ يو، جينغوين تشو، ويهاو يو، شياودان ليانغ، نونغ شياو
- وانغ تشو داي، تشيولينغ شو، يانغ يو، تشي هوا تشو
- فايشاك بيل، بريندان جوبا
- أنطون باختين، لورنس فان دير ماتن، جاستن جونسون، لورا غوستافسون، روس جيرشيك
- دينيش جارج، شاجيت إقبال، سانتوش ك. سريفاستافا، هاريت فيشواكارما، هيما كارانام، إل فينكاتا سوبرامانيام
4. تعزيز التعلم
يستمر معظم العمل في تطوير المجالات التقليدية لـ RL - DOTA2، Starcraft، والجمع بين الهندسة المعمارية ورؤية الكمبيوتر، والبرمجة اللغوية العصبية، وقواعد بيانات الرسم البياني.
تم تخصيص يوم منفصل من المؤتمر لورشة عمل RL، حيث تم تقديم بنية نموذج الممثل الناقد المتفائل، المتفوقة على جميع النماذج السابقة، ولا سيما الناقد الناعم.
مقالات:
- ; كامل سيوسك، كوان فونج، روبرت لوفتين، كاتيا هوفمان
- ; ياسوهيرو فوجيتا (Preferred Networks, Inc.)*؛ توشيكي كاتاوكا (Preferred Networks, Inc.)؛ برابهات ناجاراجان (الشبكات المفضلة)؛ تاكاهيرو إيشيكاوا (جامعة طوكيو) [رابط خارجي بتنسيق pdf].
- ; دانيجار هافنر (جوجل)*؛ تيموثي ليليكراب (ديب مايند)؛ جيمي با (جامعة تورونتو)؛ محمد نوروزي (جوجل برين)
لاعبو StarCraft يقاتلون نموذج Alphastar (DeepMind)
5.جان
لا تزال الشبكات التوليدية في دائرة الضوء: تستخدم العديد من الأعمال شبكات GAN البسيطة للأدلة الرياضية، وتطبقها أيضًا بطرق جديدة وغير عادية (النماذج التوليدية للرسوم البيانية، والعمل مع السلاسل، والتطبيق على علاقات السبب والنتيجة في البيانات، وما إلى ذلك).
مقالات:
- سانغوو مو، تشيهيون كيم، سونغ وونغ كيم، مينسو تشو، جين وو شين
- دان تشانغ، آنا خوريفا
- لي شو، ماريا سكولاريدو، ألفريدو كويستا-إنفانتي، كاليان فيراماتشانيني
منذ أن تم قبول المزيد من العمل وفيما يلي سنتحدث عن أهم الخطب.
المحادثات المدعوة
"الذكاء الاجتماعي"، بليز أغويرا وأركاس (جوجل)
تركز المحاضرة على المنهجية العامة للتعلم الآلي وآفاق تغيير الصناعة في الوقت الحالي - ما هو مفترق الطرق الذي نواجهه؟ كيف يعمل الدماغ والتطور، ولماذا لا نستخدم إلا القليل مما نعرفه بالفعل عن تطور الأنظمة الطبيعية؟
يتزامن التطور الصناعي لتعلم الآلة إلى حد كبير مع معالم تطور شركة Google، التي تنشر أبحاثها حول NeurIPS عامًا بعد عام:
- 1997 – إطلاق مرافق البحث، والخوادم الأولى، والقدرة الحاسوبية الصغيرة
- 2010 – أطلق جيف دين مشروع Google Brain، وهو ازدهار الشبكات العصبية في البداية
- 2015 - التنفيذ الصناعي للشبكات العصبية، والتعرف السريع على الوجوه مباشرة على جهاز محلي، ومعالجات منخفضة المستوى مصممة خصيصًا للحوسبة الموترية - TPU. تطلق Google Coral ai - وهو نظير لـ Raspberry pi، وهو كمبيوتر صغير لإدخال الشبكات العصبية في المنشآت التجريبية
- 2017 – تبدأ Google في تطوير التدريب اللامركزي والجمع بين نتائج تدريب الشبكة العصبية من أجهزة مختلفة في نموذج واحد – على نظام Android.
اليوم، هناك صناعة بأكملها مخصصة لأمن البيانات، وتجميعها، وتكرار نتائج التعلم على الأجهزة المحلية.
– اتجاه التعلم الآلي حيث تتعلم النماذج الفردية بشكل مستقل عن بعضها البعض ثم يتم دمجها في نموذج واحد (دون مركزية البيانات المصدر)، ويتم تعديلها للأحداث النادرة، والشذوذ، والتخصيص، وما إلى ذلك. جميع أجهزة Android هي في الأساس حاسوب عملاق واحد خاص بشركة Google.
تعد النماذج التوليدية القائمة على التعلم الموحد اتجاهًا مستقبليًا واعدًا وفقًا لشركة Google، والتي "في المراحل الأولى من النمو الأسي". شبكات GAN، وفقًا للمحاضر، قادرة على تعلم إعادة إنتاج السلوك الجماعي لمجموعات الكائنات الحية وخوارزميات التفكير.
باستخدام مثال اثنين من بنيات GAN البسيطة، يتبين أن البحث عن مسار التحسين فيهما يتجول في دائرة، مما يعني أن التحسين على هذا النحو لا يحدث. وفي الوقت نفسه، حققت هذه النماذج نجاحًا كبيرًا في محاكاة التجارب التي يجريها علماء الأحياء على مجموعات البكتيريا، مما يجبرهم على تعلم استراتيجيات سلوكية جديدة بحثًا عن الطعام. يمكننا أن نستنتج أن الحياة تعمل بشكل مختلف عن وظيفة التحسين.
تحسين GAN للمشي
كل ما نقوم به في إطار التعلم الآلي الآن هو مهام ضيقة وذات طابع رسمي للغاية، في حين أن هذه الشكليات لا يتم تعميمها بشكل جيد ولا تتوافق مع معرفتنا الموضوعية في مجالات مثل الفيزيولوجيا العصبية وعلم الأحياء.
ما يستحق الاقتراض من مجال الفيزيولوجيا العصبية في المستقبل القريب هو بنيات الخلايا العصبية الجديدة ومراجعة طفيفة لآليات الانتشار العكسي للأخطاء.
العقل البشري نفسه لا يتعلم مثل الشبكة العصبية:
- ليس لديه مدخلات أولية عشوائية، بما في ذلك تلك التي يتم وضعها من خلال الحواس وفي مرحلة الطفولة
- لديه اتجاهات متأصلة في التطور الغريزي (الرغبة في تعلم اللغة من الرضيع، والمشي منتصباً)
إن تدريب دماغ فردي هو مهمة منخفضة المستوى؛ وربما ينبغي لنا أن ننظر في "المستعمرات" المكونة من أفراد سريعي التغير ينقلون المعرفة إلى بعضهم البعض لإعادة إنتاج آليات تطور المجموعة.
ما يمكننا اعتماده في خوارزميات ML الآن:
- تطبيق نماذج نسب الخلايا التي تضمن تعلم السكان، ولكن العمر القصير للفرد ("الدماغ الفردي")
- تعلم سريع باستخدام عدد قليل من الأمثلة
- هياكل عصبية أكثر تعقيدًا، ووظائف تنشيط مختلفة قليلاً
- نقل "الجينوم" إلى الأجيال القادمة - خوارزمية الانتشار العكسي
- بمجرد أن نربط الفيزيولوجيا العصبية بالشبكات العصبية، سنتعلم بناء دماغ متعدد الوظائف من العديد من المكونات.
من وجهة النظر هذه، فإن ممارسة حلول SOTA ضارة ويجب مراجعتها من أجل تطوير المهام (المعايير) المشتركة.
"علم البيانات الحقيقية"، بن يو (بيركلي)
التقرير مخصص لمشكلة تفسير نماذج التعلم الآلي ومنهجية اختبارها والتحقق منها بشكل مباشر. يمكن اعتبار أي نموذج ML مدرب كمصدر للمعرفة التي يجب استخلاصها منه.
في كثير من المجالات، وخاصة في الطب، يكون استخدام النموذج مستحيلا دون استخراج هذه المعرفة الخفية وتفسير نتائج النموذج - وإلا فلن نتأكد من أن النتائج ستكون مستقرة وغير عشوائية وموثوقة ولن تقتل العالم. مريض. يتطور اتجاه كامل لمنهجية العمل ضمن نموذج التعلم العميق ويتجاوز حدوده - علم البيانات الحقيقية. ما هو؟
نريد تحقيق جودة المنشورات العلمية واستنساخ النماذج بحيث تكون:
- قابل للتنبؤ
- قابلة للحساب
- مستقر
وتشكل هذه المبادئ الثلاثة أساس المنهجية الجديدة. كيف يمكن التحقق من نماذج تعلم الآلة وفقًا لهذه المعايير؟ أسهل طريقة هي بناء نماذج قابلة للتفسير على الفور (الانحدارات، وأشجار القرار). ومع ذلك، نريد أيضًا الحصول على الفوائد المباشرة للتعلم العميق.
عدة طرق موجودة للتعامل مع المشكلة:
- تفسير النموذج؛
- استخدام الأساليب القائمة على الاهتمام؛
- استخدام مجموعات من الخوارزميات عند التدريب، والتأكد من أن النماذج الخطية القابلة للتفسير تتعلم التنبؤ بنفس الإجابات مثل الشبكة العصبية، وتفسير الميزات من النموذج الخطي؛
- تغيير وزيادة بيانات التدريب. يتضمن ذلك إضافة الضوضاء والتداخل وزيادة البيانات؛
- أي طرق تساعد على ضمان أن نتائج النموذج ليست عشوائية ولا تعتمد على تداخلات بسيطة غير مرغوب فيها (هجمات الخصومة)؛
- تفسير النموذج بعد وقوعه، بعد التدريب؛
- دراسة الأوزان المميزة بطرق مختلفة؛
- دراسة احتمالات جميع الفرضيات والتوزيع الطبقي.
هجوم معادٍ
إن أخطاء النمذجة مكلفة للجميع: وخير مثال على ذلك هو عمل راينهارت وروجوف."أثرت على السياسات الاقتصادية للعديد من الدول الأوروبية وأجبرتها على اتباع سياسات التقشف، لكن إعادة التدقيق الدقيق للبيانات ومعالجتها بعد سنوات أظهرت نتيجة عكسية!
أي تقنية ML لها دورة حياتها الخاصة من التنفيذ إلى التنفيذ. الهدف من المنهجية الجديدة هو التحقق من ثلاثة مبادئ أساسية في كل مرحلة من حياة النموذج.
النتائج:
- يتم تطوير العديد من المشاريع التي ستساعد نموذج ML على أن يكون أكثر موثوقية. هذا، على سبيل المثال، Deeptune (رابط إلى: );
- لمزيد من تطوير المنهجية، من الضروري تحسين جودة المنشورات بشكل كبير في مجال تعلم الآلة؛
- يحتاج التعلم الآلي إلى قادة يتمتعون بتدريب متعدد التخصصات وخبرة في كل من المجالات التقنية والإنسانية.
"نمذجة السلوك البشري باستخدام التعلم الآلي: الفرص والتحديات" نوريا إم أوليفر، ألبرت علي صلاح
محاضرة مخصصة لنمذجة السلوك الإنساني وأسسه التكنولوجية وآفاق تطبيقه.
يمكن تقسيم نمذجة السلوك البشري إلى:
- السلوك الفردي
- سلوك مجموعة صغيرة من الناس
- السلوك الجماعي
يمكن تصميم كل نوع من هذه الأنواع باستخدام تعلم الآلة، ولكن مع معلومات وميزات إدخال مختلفة تمامًا. ولكل نوع أيضًا قضاياه الأخلاقية الخاصة التي يمر بها كل مشروع:
- السلوك الفردي - سرقة الهوية، والتزييف العميق؛
- سلوك مجموعات من الأشخاص - إخفاء الهوية، والحصول على معلومات حول الحركات، والمكالمات الهاتفية، وما إلى ذلك؛
السلوك الفردي
تتعلق في الغالب بموضوع الرؤية الحاسوبية - التعرف على المشاعر وردود الفعل الإنسانية. ربما فقط في السياق، في الوقت المناسب، أو مع النطاق النسبي لتقلب مشاعره. تعرض الشريحة التعرف على مشاعر الموناليزا باستخدام سياق من الطيف العاطفي لنساء البحر الأبيض المتوسط. النتيجة: ابتسامة فرح ولكن بازدراء واشمئزاز. السبب على الأرجح هو الطريقة التقنية لتعريف المشاعر "المحايدة".
سلوك مجموعة صغيرة من الناس
حتى الآن، يرجع أسوأ نموذج إلى عدم كفاية المعلومات. على سبيل المثال، تم عرض الأعمال من 2018 – 2019. على عشرات الأشخاص × العشرات من مقاطع الفيديو (راجع مجموعات بيانات الصور 100k++). ولوضع نموذج أفضل لهذه المهمة، هناك حاجة إلى معلومات متعددة الوسائط، ويفضل أن تكون من أجهزة الاستشعار الموجودة على مقياس ارتفاع الجسم، ومقياس الحرارة، وتسجيل الميكروفون، وما إلى ذلك.
السلوك الجماعي
المنطقة الأكثر تطوراً، حيث أن العميل هو الأمم المتحدة والعديد من الدول. كاميرات المراقبة الخارجية، والبيانات الواردة من أبراج الهاتف - الفواتير، والرسائل النصية القصيرة، والمكالمات، وبيانات الحركة بين حدود الدولة - كل هذا يعطي صورة موثوقة للغاية لحركة الأشخاص وعدم الاستقرار الاجتماعي. التطبيقات المحتملة للتكنولوجيا: تحسين عمليات الإنقاذ والمساعدة والإخلاء في الوقت المناسب للسكان أثناء حالات الطوارئ. لا تزال النماذج المستخدمة سيئة التفسير بشكل أساسي - وهي عبارة عن شبكات LSTM مختلفة وشبكات تلافيفية. كانت هناك ملاحظة موجزة مفادها أن الأمم المتحدة كانت تضغط من أجل إصدار قانون جديد يلزم الشركات الأوروبية بمشاركة البيانات مجهولة المصدر اللازمة لأي بحث.
"من النظام 1 إلى النظام 2 التعلم العميق"، يوشوا بنجيو
في محاضرة جوشوا بينجيو، يلتقي التعلم العميق مع علم الأعصاب على مستوى تحديد الأهداف.
ويحدد بنجيو نوعين رئيسيين من المشاكل وفقا لمنهجية دانييل كانيمان الحائز على جائزة نوبل (كتاب "")
النوع 1 - النظام 1، الأفعال اللاواعية التي نقوم بها "تلقائيًا" (الدماغ القديم): قيادة السيارة في أماكن مألوفة، والمشي، والتعرف على الوجوه.
النوع 2 - النظام 2، الأفعال الواعية (القشرة الدماغية)، تحديد الأهداف، التحليل، التفكير، المهام المركبة.
لقد وصل الذكاء الاصطناعي حتى الآن إلى ارتفاعات كافية فقط في مهام النوع الأول، في حين أن مهمتنا هي الارتقاء به إلى النوع الثاني، وتعليمه أداء عمليات متعددة التخصصات والعمل بمهارات منطقية ومعرفية عالية المستوى.
ولتحقيق هذا الهدف يقترح:
- في مهام البرمجة اللغوية العصبية، استخدم الانتباه كآلية رئيسية لنمذجة التفكير
- استخدم التعلم التلوي والتعلم التمثيلي لنموذج أفضل للميزات التي تؤثر على الوعي وتوطينها - وعلى أساسها انتقل إلى العمل بمفاهيم ذات مستوى أعلى.
بدلاً من الخاتمة، إليك محادثة مدعوة: Bengio هو واحد من العديد من العلماء الذين يحاولون توسيع مجال تعلم الآلة إلى ما هو أبعد من مشاكل التحسين، وSOTA والهندسة المعمارية الجديدة.
ويظل السؤال مفتوحًا إلى أي مدى سيكون مزيج مشاكل الوعي وتأثير اللغة على التفكير وعلم الأحياء العصبي والخوارزميات هو ما ينتظرنا في المستقبل وسيسمح لنا بالانتقال إلى الآلات التي "تفكر" مثل البشر.
شكرا لك!
المصدر: www.habr.com