NeurIPS 2019: روندهای ML که در دهه آینده با ما خواهد بود

NeuroIPS (سیستم های پردازش اطلاعات عصبی) بزرگترین کنفرانس جهان در زمینه یادگیری ماشین و هوش مصنوعی و رویداد اصلی در دنیای یادگیری عمیق است.

آیا ما مهندسان DS نیز در دهه جدید به زیست شناسی، زبان شناسی و روانشناسی تسلط خواهیم داشت؟ ما در بررسی خود به شما خواهیم گفت.

امسال این کنفرانس بیش از 13500 نفر از 80 کشور را در ونکوور کانادا گرد هم آورد. این اولین سالی نیست که Sberbank روسیه را در کنفرانس نمایندگی می کند - تیم DS در مورد اجرای ML در فرآیندهای بانکی، در مورد رقابت ML و در مورد قابلیت های پلت فرم Sberbank DS صحبت کرد. روندهای اصلی سال 2019 در جامعه ML چه بود؟ شرکت کنندگان کنفرانس می گویند: آندری چرتوک и تاتیانا شاورینا.

امسال، NeurIPS بیش از 1400 مقاله – الگوریتم‌ها، مدل‌های جدید و کاربردهای جدید برای داده‌های جدید را پذیرفت. پیوند به همه مواد

فهرست مطالب:

• روند
• • تفسیرپذیری مدل
  • چند رشته ای
  • استدلال
  • RL
  • گان
• گفتگوهای اولیه دعوت شده
• • «هوش اجتماعی»، بلیز آگوئرا و آرکاس (گوگل)
  • "علم داده های راستی"، بین یو (برکلی)
  • «مدل‌سازی رفتار انسانی با یادگیری ماشین: فرصت‌ها و چالش‌ها»، نوریا ام الیور، آلبرت علی صلاح
  • "از سیستم 1 تا سیستم 2 یادگیری عمیق"، یوشوا بنجیو

روند 2019 سال است

1. تفسیرپذیری مدل و روش جدید ML

موضوع اصلی کنفرانس تفسیر و شواهدی است که نشان می دهد چرا به نتایج خاصی می رسیم. می توان برای مدت طولانی در مورد اهمیت فلسفی تفسیر "جعبه سیاه" صحبت کرد، اما روش ها و پیشرفت های فنی واقعی تری در این زمینه وجود داشت.

روش شناسی برای تکرار مدل ها و استخراج دانش از آنها ابزار جدیدی برای علم است. مدل ها می توانند به عنوان ابزاری برای کسب دانش جدید و آزمایش آن عمل کنند و هر مرحله از پیش پردازش، آموزش و کاربرد مدل باید قابل تکرار باشد.
بخش قابل توجهی از انتشارات نه به ساخت مدل ها و ابزارها، بلکه به مشکلات تضمین امنیت، شفافیت و تأیید نتایج اختصاص یافته است. به طور خاص، یک جریان جداگانه در مورد حملات به مدل (حملات متخاصم) ظاهر شده است و گزینه هایی برای هر دو حمله به آموزش و حمله به برنامه در نظر گرفته شده است.

مقالات:

• علم داده های معتبر - مقاله ای برنامه ای در مورد روش شناسی تأیید مدل. شامل مروری بر ابزارهای مدرن برای تفسیر مدل ها، به ویژه، استفاده از توجه و به دست آوردن اهمیت ویژگی با "تقطیر" شبکه عصبی با مدل های خطی است.
• این به نظر می رسد: یادگیری عمیق برای تشخیص تصویر قابل تفسیر چاوفان چن، اسکار لی، دنیل تائو، آلینا بارنت، سینتیا رودین، جاناتان کی سو
• معیاری برای روش‌های تفسیرپذیری در شبکه‌های عصبی عمیق سارا هوکر، دومیترو ارهان، پیتر جان کیندرمنز، بین کیم
• به سوی یادگیری تقویتی قابل تفسیر با استفاده از عوامل تقویت شده توجه الکساندر موت، دانیل زوران، مایک کرزانوفسکی، دان ویرسترا، دانیلو خیمنز رزنده
• اندازه گیری اهمیت ویژگی MDI برای جنگل های تصادفی شیائو لی، یو وانگ، سومانتا باسو، کارل کومبیر، بین یو
• استخراج دانش بدون داده های قابل مشاهده جامین یو، مینیونگ چو، تائوم کیم، یو کانگ
• گامی به سوی کمی کردن تحقیقات یادگیری ماشینی مستقل و قابل تکرار ادوارد راف

ExBert.net تفسیر مدل را برای وظایف پردازش متن نشان می دهد

2. چند رشته ای

برای اطمینان از راستی‌آزمایی قابل اعتماد و توسعه مکانیسم‌هایی برای تأیید و گسترش دانش، به متخصصانی در زمینه‌های مرتبط نیاز داریم که به طور همزمان در ML و در حوزه موضوعی (پزشکی، زبان‌شناسی، زیست‌شناسی عصبی، آموزش و غیره) شایستگی داشته باشند. به ویژه شایان ذکر است که حضور چشمگیرتر آثار و سخنرانی ها در علوم اعصاب و علوم شناختی - نزدیک شدن متخصصان و وام گرفتن ایده ها وجود دارد.

علاوه بر این نزدیکی، چند رشته ای در پردازش مشترک اطلاعات از منابع مختلف ظاهر می شود: متن و عکس، متن و بازی، پایگاه داده نمودار + متن و عکس.

مقالات:

• علوم اعصاب + ML — تفسیر و بهبود پردازش زبان طبیعی (در ماشین ها) با پردازش زبان طبیعی (در مغز)
• VisualQA - یادگیری با انتزاع: ماشین حالت عصبی
• RL + NLP - تصمیم گیری سلسله مراتبی با تولید و پیروی از دستورالعمل های زبان طبیعی

دو مدل - استراتژیست و اجرایی - مبتنی بر RL و NLP استراتژی آنلاین بازی می کنند

3. استدلال

تقویت هوش مصنوعی حرکتی به سوی سیستم های خودآموز، "آگاهانه"، استدلال و استدلال است. به ویژه، استنتاج علی و استدلال عقل سلیم در حال توسعه است. برخی از گزارش‌ها به فرایادگیری (درباره نحوه یادگیری یادگیری) و ترکیب فناوری‌های DL با منطق مرتبه اول و دوم اختصاص دارد - اصطلاح هوش عمومی مصنوعی (AGI) در حال تبدیل شدن به یک اصطلاح رایج در سخنرانی‌های سخنرانان است.

مقالات:

• یادگیری نمودار ناهمگن برای استدلال مشترک بصری ویجیانگ یو، جینگ ون ژو، ویهائو یو، شیائودان لیانگ، نونگ شیائو
• پل زدن یادگیری ماشینی و استدلال منطقی با یادگیری ابداکتیو وانگ ژو دای، کیولینگ ژو، یانگ یو، ژی هوآ ژو
• یادگیری ضمنی استدلال در منطق درجه اول وایشک بل، برندان جوبا
• PHYRE: معیاری جدید برای استدلال فیزیکی آنتون باختین، لورن ون در ماتن، جاستین جانسون، لورا گوستافسون، راس گیرشیک
• تعبیه کوانتومی دانش برای استدلال دینش گارگ، شاجیث ایکبال، سانتوش کی. سریواستاوا، هاریت ویشواکارما، هیما کارانام، ال ونکاتا سوبرامانیام

4. یادگیری تقویتی

بیشتر کارها برای توسعه مناطق سنتی RL - DOTA2، Starcraft، ترکیب معماری با بینایی کامپیوتر، NLP، پایگاه داده های گراف ادامه دارد.

یک روز جداگانه از کنفرانس به کارگاه آموزشی RL اختصاص داشت که در آن معماری مدل منتقد بازیگر خوش‌بین، برتر از همه موارد قبلی، به ویژه منتقد بازیگر نرم، ارائه شد.

مقالات:

• کاوش بهتر با منتقد بازیگر خوش بین; کمیل سیوسک، کوان وونگ، رابرت لوفتین، کاتیا هافمن
• ChainerRL: کتابخانه یادگیری تقویتی عمیق; یاسوهیرو فوجیتا (Preferred Networks, Inc.)*؛ Toshiki Kataoka (Preferred Networks, Inc.)؛ پرابات ناگاراجان (شبکه های برگزیده)؛ تاکاهیرو ایشیکاوا (دانشگاه توکیو) [لینک پی دی اف خارجی].
• رویای برای کنترل: رفتارهای یادگیری با تخیل پنهان; دانیجار هافنر (گوگل)*; تیموتی لیلیکرپ (DeepMind); جیمی با (دانشگاه تورنتو)؛ محمد نوروزی (گوگل برین)
• مواد کارگاهی

بازیکنان StarCraft با مدل Alphastar می جنگند (DeepMind)

5.GAN

شبکه‌های مولد هنوز در کانون توجه هستند: بسیاری از آثار از GAN‌های وانیلی برای اثبات‌های ریاضی استفاده می‌کنند، و همچنین از آن‌ها به روش‌های جدید و غیرعادی استفاده می‌کنند (مدل‌های مولد نمودار، کار با سری، کاربرد در روابط علت و معلولی در داده‌ها و غیره).

مقالات:

• نمونه های استخراج طلا برای GAN های شرطی سانگ وو مو، چیهون کیم، سونگ وونگ کیم، مینسو چو، جین وو شین
• تقویت پیشرونده GAN ها دان ژانگ، آنا خورووا
• مدل سازی داده های جدولی با استفاده از GAN شرطی لی زو، ماریا اسکولاریدو، آلفردو کوئستا-اینفانته، کالیان ویراماچاننی
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

از آنجایی که کار بیشتری پذیرفته شد 1400 در زیر در مورد مهمترین سخنرانی ها صحبت خواهیم کرد.

گفتگوهای دعوت شده

«هوش اجتماعی»، بلیز آگوئرا و آرکاس (گوگل)

پیوند
اسلایدها و ویدئوها
بحث بر روی روش شناسی کلی یادگیری ماشین و چشم انداز تغییر صنعت در حال حاضر متمرکز است - ما با چه چهارراهی روبرو هستیم؟ مغز و تکامل چگونه کار می کنند و چرا ما از آنچه قبلاً در مورد توسعه سیستم های طبیعی می دانیم استفاده اندکی می کنیم؟

توسعه صنعتی ML تا حد زیادی همزمان با نقاط عطف توسعه Google است که سال به سال تحقیقات خود را در مورد NeurIPS منتشر می کند:

• 1997 - راه اندازی امکانات جستجو، اولین سرورها، قدرت محاسباتی کوچک
• 2010 - جف دین پروژه مغز گوگل را راه اندازی کرد، رونق شبکه های عصبی در همان ابتدا.
• 2015 - پیاده سازی صنعتی شبکه های عصبی، تشخیص سریع چهره به طور مستقیم در یک دستگاه محلی، پردازنده های سطح پایین که برای محاسبات تانسور طراحی شده اند - TPU. گوگل Coral ai را راه اندازی کرد - آنالوگ رزبری پای، یک مینی کامپیوتر برای معرفی شبکه های عصبی در تاسیسات آزمایشی
• 2017 – گوگل شروع به توسعه آموزش های غیرمتمرکز و ترکیب نتایج آموزش شبکه های عصبی از دستگاه های مختلف در یک مدل در اندروید کرد.

امروزه، کل صنعت به امنیت داده ها، تجمیع و تکرار نتایج یادگیری در دستگاه های محلی اختصاص داده شده است.

یادگیری فدرال – جهتی از ML که در آن مدل‌های فردی مستقل از یکدیگر یاد می‌گیرند و سپس در یک مدل واحد (بدون متمرکز کردن داده‌های منبع) ترکیب می‌شوند که برای رویدادهای نادر، ناهنجاری‌ها، شخصی‌سازی و غیره تنظیم می‌شوند. همه دستگاه های اندروید اساساً یک ابر رایانه محاسباتی برای گوگل هستند.

به گفته گوگل، مدل‌های مولد مبتنی بر یادگیری فدرال، جهت آینده امیدوارکننده‌ای هستند که «در مراحل اولیه رشد تصاعدی است». به گفته مدرس، GAN ها قادر به یادگیری بازتولید رفتار انبوه جمعیت موجودات زنده و الگوریتم های تفکر هستند.

با استفاده از مثال دو معماری ساده GAN، نشان داده می شود که در آنها جستجو برای یک مسیر بهینه سازی در یک دایره سرگردان است، به این معنی که بهینه سازی به عنوان چنین اتفاقی نمی افتد. در عین حال، این مدل‌ها در شبیه‌سازی آزمایش‌هایی که زیست‌شناسان بر روی جمعیت‌های باکتریایی انجام می‌دهند بسیار موفق هستند و آنها را مجبور به یادگیری استراتژی‌های رفتاری جدید در جستجوی غذا می‌کنند. می توان نتیجه گرفت که زندگی متفاوت از تابع بهینه سازی کار می کند.

بهینه سازی Walking GAN

تمام کارهایی که اکنون در چارچوب یادگیری ماشین انجام می دهیم، وظایف محدود و بسیار رسمی است، در حالی که این فرمالیسم ها به خوبی تعمیم نمی یابند و با دانش موضوعی ما در زمینه هایی مانند فیزیولوژی عصبی و زیست شناسی مطابقت ندارند.

آنچه واقعاً ارزش وام گرفتن از حوزه فیزیولوژی عصبی را در آینده نزدیک دارد، معماری‌های جدید نورون و تجدید نظر جزئی در مکانیسم‌های انتشار معکوس خطاها است.

خود مغز انسان مانند یک شبکه عصبی یاد نمی گیرد:

• او ورودی های اولیه تصادفی، از جمله ورودی های حواس و دوران کودکی ندارد
• او جهت های ذاتی رشد غریزی دارد (میل به یادگیری زبان از یک نوزاد، راه رفتن راست)

آموزش یک مغز فردی یک کار سطح پایین است؛ شاید ما باید "مستعمرات" افراد به سرعت در حال تغییر را در نظر بگیریم که دانش را به یکدیگر منتقل می کنند تا مکانیسم های تکامل گروهی را بازتولید کنند.

آنچه اکنون می توانیم در الگوریتم های ML بکار گیریم:

• از مدل‌های نسل سلولی استفاده کنید که یادگیری جمعیت را تضمین می‌کند، اما عمر کوتاه فرد ("مغز فردی")
• یادگیری چند شات با استفاده از تعداد کمی مثال
• ساختارهای عصبی پیچیده تر، عملکردهای فعال سازی کمی متفاوت است
• انتقال "ژنوم" به نسل های بعدی - الگوریتم پس انتشار
• هنگامی که فیزیولوژی عصبی و شبکه های عصبی را به هم متصل می کنیم، یاد می گیریم که یک مغز چند منظوره از اجزای بسیاری بسازیم.

از این منظر، تمرین راه حل های SOTA مضر است و باید به خاطر توسعه وظایف مشترک (معیارها) تجدید نظر شود.

"علم داده های راستی"، بین یو (برکلی)

فیلم ها و اسلایدها
این گزارش به مشکل تفسیر مدل‌های یادگیری ماشین و روش‌شناسی آزمایش و تأیید مستقیم آنها اختصاص دارد. هر مدل آموزش دیده ML را می توان به عنوان منبعی از دانش درک کرد که باید از آن استخراج شود.

در بسیاری از زمینه ها، به ویژه در پزشکی، استفاده از یک مدل بدون استخراج این دانش پنهان و تفسیر نتایج مدل غیرممکن است - در غیر این صورت مطمئن نخواهیم بود که نتایج پایدار، غیرتصادفی، قابل اعتماد بوده و باعث مرگ افراد نخواهد شد. صبور. یک جهت کلی از روش کار در پارادایم یادگیری عمیق در حال توسعه است و فراتر از مرزهای آن است - علم داده های واقعی. آن چیست؟

ما می خواهیم به کیفیتی از انتشارات علمی و تکرارپذیری مدل ها دست یابیم که عبارتند از:

1. قابل پیش بینی
2. قابل محاسبه
3. پایدار

این سه اصل اساس روش شناسی جدید را تشکیل می دهند. چگونه می توان مدل های ML را با این معیارها بررسی کرد؟ ساده ترین راه ساخت مدل های قابل تفسیر فوری (رگرسیون، درخت تصمیم) است. با این حال، ما همچنین می خواهیم از مزایای فوری یادگیری عمیق بهره مند شویم.

چندین روش موجود برای کار با مشکل:

1. تفسیر مدل؛
2. استفاده از روش های مبتنی بر توجه؛
3. هنگام آموزش از مجموعه‌ای از الگوریتم‌ها استفاده کنید و اطمینان حاصل کنید که مدل‌های قابل تفسیر خطی یاد می‌گیرند که پاسخ‌های مشابه شبکه عصبی را پیش‌بینی کنند و ویژگی‌های مدل خطی را تفسیر کنند.
4. تغییر و افزایش داده های آموزشی این شامل اضافه کردن نویز، تداخل، و افزایش داده است.
5. هر روشی که به اطمینان حاصل شود که نتایج مدل تصادفی نیست و به تداخل ناخواسته جزئی (حملات خصمانه) وابسته نیست.
6. بعد از آموزش، مدل را تفسیر کنید.
7. وزن ویژگی ها را به روش های مختلف مطالعه کنید.
8. مطالعه احتمالات همه فرضیه ها، توزیع طبقاتی.

حمله خصمانه برای خوک

اشتباهات مدل سازی برای همه گران است: نمونه بارز آن کار راینهارت و روگوف است.رشد در زمان بدهیسیاست‌های اقتصادی بسیاری از کشورهای اروپایی را تحت تأثیر قرار داد و آنها را مجبور به اتخاذ سیاست‌های ریاضتی کرد، اما بررسی مجدد دقیق داده‌ها و پردازش آنها سال‌ها بعد نتیجه معکوس را نشان داد!

هر فناوری ML چرخه عمر خود را از پیاده سازی تا اجرا دارد. هدف روش جدید بررسی سه اصل اساسی در هر مرحله از زندگی مدل است.

نتایج:

• چندین پروژه در حال توسعه است که به مدل ML کمک می کند تا قابل اعتمادتر باشد. به عنوان مثال، این دیپ تیون است (پیوند به: github.com/ChrisCummins/paper-end2end-dl);
• برای توسعه بیشتر روش، لازم است به طور قابل توجهی کیفیت انتشارات در زمینه ML بهبود یابد.
• یادگیری ماشین به رهبرانی با آموزش و تخصص چند رشته ای در هر دو زمینه فنی و علوم انسانی نیاز دارد.

"مدل سازی رفتار انسانی با یادگیری ماشین: فرصت ها و چالش ها" نوریا ام الیور، آلبرت علی صلاح

سخنرانی اختصاص داده شده به مدل سازی رفتار انسان، مبانی تکنولوژیکی آن و چشم اندازهای کاربردی.

مدل‌سازی رفتار انسان را می‌توان به موارد زیر تقسیم کرد:

• رفتار فردی
• رفتار گروه کوچکی از مردم
• رفتار توده ای

هر یک از این انواع را می توان با استفاده از ML مدل کرد، اما با اطلاعات ورودی و ویژگی های کاملاً متفاوت. هر نوع نیز مسائل اخلاقی خاص خود را دارد که هر پروژه از آن عبور می کند:

• رفتار فردی - سرقت هویت، دیپ فیک.
• رفتار گروهی از افراد - ناشناس سازی، کسب اطلاعات در مورد حرکات، تماس های تلفنی و غیره؛

رفتار فردی

بیشتر مربوط به مبحث بینایی کامپیوتر - شناخت احساسات و واکنش های انسان است. شاید فقط در زمینه، در زمان، یا با مقیاس نسبی تغییرپذیری احساسات او. این اسلاید تشخیص احساسات مونالیزا را با استفاده از زمینه از طیف عاطفی زنان مدیترانه ای نشان می دهد. نتیجه: لبخند شادی اما همراه با تحقیر و انزجار. دلیل آن به احتمال زیاد در روش فنی تعریف یک احساس "خنثی" است.

رفتار گروه کوچکی از مردم

تا کنون بدترین مدل به دلیل اطلاعات ناکافی است. به عنوان نمونه، آثاری از سال 2018 تا 2019 نشان داده شد. روی ده‌ها نفر X ده‌ها ویدیو (به مجموعه داده‌های تصویری 100k++ رجوع کنید). برای بهترین مدل‌سازی این کار، اطلاعات چندوجهی، ترجیحاً از حسگرهای ارتفاع سنج بدن، دماسنج، ضبط میکروفون و غیره مورد نیاز است.

رفتار توده ای

توسعه یافته ترین منطقه، زیرا مشتری سازمان ملل متحد و بسیاری از کشورها است. دوربین‌های نظارتی در فضای باز، داده‌های برج‌های تلفن - صورت‌حساب، پیامک، تماس‌ها، داده‌های مربوط به حرکت بین مرزهای ایالتی - همه اینها تصویر بسیار قابل اعتمادی از حرکت مردم و بی‌ثباتی‌های اجتماعی به دست می‌دهد. کاربردهای بالقوه فناوری: بهینه سازی عملیات نجات، کمک و تخلیه به موقع جمعیت در مواقع اضطراری. مدل‌های مورد استفاده عمدتاً هنوز تفسیر ضعیفی دارند - اینها LSTM‌های مختلف و شبکه‌های کانولوشن هستند. نکته کوتاهی وجود داشت مبنی بر اینکه سازمان ملل در حال لابی کردن برای قانون جدیدی است که کسب و کارهای اروپایی را ملزم به اشتراک گذاری داده های ناشناس لازم برای هر تحقیقی می کند.

"از سیستم 1 تا سیستم 2 یادگیری عمیق"، یوشوا بنجیو

اسلایدها
در سخنرانی جاشوا بنژیو، یادگیری عمیق با علوم اعصاب در سطح هدف گذاری ملاقات می کند.
بنژیو بر اساس روش شناسی برنده جایزه نوبل دانیل کانمن، دو نوع مشکل اصلی را شناسایی می کند (کتاب "آهسته فکر کن سریع تصمیم بگیر")
نوع 1 - سیستم 1، اقدامات ناخودآگاه که ما به صورت خودکار انجام می دهیم (مغز باستانی): رانندگی ماشین در مکان های آشنا، راه رفتن، تشخیص چهره ها.
نوع 2 - سیستم 2، اقدامات آگاهانه (قشر مغز)، تعیین هدف، تجزیه و تحلیل، تفکر، وظایف ترکیبی.

هوش مصنوعی تاکنون تنها در وظایف نوع اول به اوج کافی رسیده است، در حالی که وظیفه ما رساندن آن به دوم، آموزش انجام عملیات چند رشته ای و عمل با منطق و مهارت های شناختی سطح بالا است.

برای دستیابی به این هدف پیشنهاد می شود:

1. در وظایف NLP، از توجه به عنوان مکانیزم کلیدی برای مدل سازی تفکر استفاده کنید
2. از فرایادگیری و یادگیری بازنمایی برای مدل‌سازی بهتر ویژگی‌هایی که بر آگاهی و محلی‌سازی آن‌ها تأثیر می‌گذارند استفاده کنید - و بر اساس آنها به سمت عمل کردن با مفاهیم سطح بالاتر بروید.

به‌جای نتیجه‌گیری، در اینجا یک سخنرانی دعوت شده است: Bengio یکی از دانشمندان بسیاری است که در تلاش است حوزه ML را فراتر از مسائل بهینه‌سازی، SOTA و معماری‌های جدید گسترش دهد.
این سؤال همچنان باز است که تا چه حد ترکیب مشکلات آگاهی، تأثیر زبان بر تفکر، زیست‌شناسی عصبی و الگوریتم‌ها چیزی است که در آینده در انتظار ما است و به ما امکان می‌دهد به سمت ماشین‌هایی برویم که مانند مردم «فکر می‌کنند».

با تشکر از شما!

منبع: www.habr.com