NeuroIPS () е най-голямата конференция в света за машинно обучение и изкуствен интелект и основното събитие в света на дълбокото обучение.
Ние, инженерите на ДС, ще овладеем ли и биологията, и лингвистиката, и психологията през новото десетилетие? Ще ви кажем в нашия преглед.
Тази година конференцията събра повече от 13500 80 души от 2019 страни във Ванкувър, Канада. Това не е първата година, в която Сбербанк представлява Русия на конференцията - екипът на DS говори за внедряването на ML в банковите процеси, за конкуренцията в ML и за възможностите на платформата Sberbank DS. Какви бяха основните тенденции през XNUMX г. в ML общността? Участниците в конференцията казват: и .
Тази година NeurIPS прие повече от 1400 документа - алгоритми, нови модели и нови приложения към нови данни.
Съдържание:
- тенденции
-
- Интерпретируемост на модела
- Мултидисциплинарност
- Обосновавам се
- RL
- GAN
- Основни поканени разговори
-
- „Социална интелигентност“, Блез Агуера и Аркас (Google)
- „Наука за достоверни данни“, Бин Ю (Бъркли)
- „Моделиране на човешкото поведение с машинно обучение: възможности и предизвикателства“, Нурия М Оливър, Алберт Али Салах
- „От система 1 към система 2 Deep Learning“, Йошуа Бенгио
Тенденции 2019 на годината
1. Интерпретируемост на модела и нова методология за машинно обучение
Основната тема на конференцията е тълкуването и доказателствата защо получаваме определени резултати. Човек може да говори дълго за философското значение на тълкуването на „черната кутия“, но в тази област имаше повече реални методи и технически разработки.
Методологията за възпроизвеждане на модели и извличане на знания от тях е нов инструментариум за науката. Моделите могат да служат като инструмент за получаване на нови знания и тяхното тестване, като всеки етап от предварителната обработка, обучението и прилагането на модела трябва да бъде възпроизводим.
Значителна част от публикациите са посветени не на изграждането на модели и инструменти, а на проблемите за осигуряване на сигурност, прозрачност и проверимост на резултатите. По-специално се появи отделен поток за атаки върху модела (съпернически атаки) и се разглеждат опции както за атаки върху обучение, така и за атаки върху приложение.
членове:
- — програмна статия относно методологията за проверка на модела. Включва преглед на съвременните инструменти за интерпретиране на модели, по-специално, използването на вниманието и получаването на важност на характеристиките чрез „дестилиране“ на невронната мрежа с линейни модели.
- Чаофан Чен, Оскар Ли, Даниел Тао, Алина Барнет, Синтия Рудин, Джонатан К. Су
- Сара Хукър, Думитру Ерхан, Питър-Ян Киндерманс, Беен Ким
- Александър Мот, Даниел Зоран, Майк Хржановски, Даан Виерстра, Данило Хименес Резенде
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Едуард Раф
ExBert.net показва интерпретация на модел за задачи за обработка на текст
2. Мултидисциплинарност
За да осигурим надеждна проверка и да разработим механизми за проверка и разширяване на знанията, имаме нужда от специалисти в свързани области, които едновременно имат компетенции в ML и в предметната област (медицина, лингвистика, невробиология, образование и др.). Особено заслужава да се отбележи по-значителното присъствие на трудове и изказвания в невронауките и когнитивните науки - има сближаване на специалисти и заимстване на идеи.
В допълнение към това сближаване се появява мултидисциплинарност в съвместната обработка на информация от различни източници: текст и снимки, текст и игри, графични бази данни + текст и снимки.
членове:
- Неврология + ML —
- VisualQA -
- RL + НЛП -
Два модела - стратег и изпълнителен - базирани на RL и NLP играят онлайн стратегия
3. Разум
Укрепването на изкуствения интелект е движение към системи за самообучение, „съзнателно“, разсъждение и разсъждение. По-специално се развиват причинно-следствените изводи и разумните разсъждения. Някои от докладите са посветени на мета-обучението (за това как да се научим да учим) и комбинацията от DL технологии с логика от 1-ви и 2-ри ред - терминът Изкуствен общ интелект (AGI) става често срещан термин в изказванията на лекторите.
членове:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Вайшак Бел, Брендън Джуба
- Антон Бахтин, Лорънс ван дер Маатен, Джъстин Джонсън, Лора Густафсон, Рос Гиршик
- Динеш Гарг, Шаджит Икбал, Сантош К. Шривастава, Харит Вишвакарма, Хима Каранам, Л Венката Субраманиам
4. Учене за укрепване
По-голямата част от работата продължава да развива традиционни области на RL - DOTA2, Starcraft, комбиниране на архитектури с компютърно зрение, NLP, графични бази данни.
Отделен ден от конференцията беше посветен на RL семинар, на който беше представена архитектурата на Optimistic Actor Critic Model, превъзхождаща всички предишни, по-специално Soft Actor Critic.
членове:
- ; Камил Чосек, Куан Вуонг, Робърт Лофтин, Катя Хофман
- ; Ясухиро Фуджита (Preferred Networks, Inc.)*; Тошики Катаока (Preferred Networks, Inc.); Prabhat Nagarajan (Предпочитани мрежи); Такахиро Ишикава (Токийския университет) [външен pdf линк].
- ; Даниджар Хафнер (Google)*; Тимъти Лиликрап (DeepMind); Джими Ба (Университет на Торонто); Мохамад Норузи (Google Brain)
Играчите на StarCraft се бият с модела Alphastar (DeepMind)
5.ГАН
Генеративните мрежи все още са в светлината на прожекторите: много произведения използват ванилни GAN за математически доказателства, а също така ги прилагат по нови, необичайни начини (графични генеративни модели, работа с серии, приложение към причинно-следствени връзки в данни и т.н.).
членове:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Дан Джан, Анна Хорева
- Лей Ксу, Мария Скулариду, Алфредо Куеста-Инфанте, Калян Веерамачанени
Тъй като беше приета повече работа По-долу ще говорим за най-важните речи.
Поканени разговори
„Социална интелигентност“, Блез Агуера и Аркас (Google)
Разговорът се фокусира върху общата методология на машинното обучение и перспективите, променящи индустрията в момента - пред какъв кръстопът сме изправени? Как работят мозъкът и еволюцията и защо толкова малко използваме това, което вече знаем за развитието на природните системи?
Индустриалното развитие на ML до голяма степен съвпада с основните етапи от развитието на Google, който публикува своите изследвания за NeurIPS година след година:
- 1997 г. – стартиране на средства за търсене, първи сървъри, малка изчислителна мощност
- 2010 – Джеф Дийн стартира проекта Google Brain, бумът на невронните мрежи в самото начало
- 2015 г. – индустриално внедряване на невронни мрежи, бързо разпознаване на лица директно на локално устройство, процесори от ниско ниво, пригодени за тензорни изчисления - TPU. Google пуска Coral ai - аналог на raspberry pi, мини-компютър за въвеждане на невронни мрежи в експериментални инсталации
- 2017 г. – Google започва разработването на децентрализирано обучение и комбиниране на резултатите от обучението на невронни мрежи от различни устройства в един модел – на Android
Днес цяла индустрия е посветена на сигурността на данните, агрегирането и репликацията на резултатите от обучението на локални устройства.
– посока на ML, в която отделните модели се учат независимо един от друг и след това се комбинират в един модел (без централизиране на изходните данни), коригиран за редки събития, аномалии, персонализиране и т.н. Всички устройства с Android са по същество един изчислителен суперкомпютър за Google.
Генеративните модели, базирани на обединено обучение, са обещаваща бъдеща посока според Google, която е „в ранните етапи на експоненциален растеж“. GAN, според лектора, са способни да се научат да възпроизвеждат масовото поведение на популации от живи организми и мислещи алгоритми.
Използвайки примера на две прости GAN архитектури, се показва, че в тях търсенето на път за оптимизация се лута в кръг, което означава, че оптимизацията като такава не се случва. В същото време тези модели са много успешни при симулирането на експериментите, които биолозите извършват върху бактериални популации, принуждавайки ги да научат нови поведенчески стратегии в търсене на храна. Можем да заключим, че животът работи по различен начин от функцията за оптимизация.
Пешеходна GAN оптимизация
Всичко, което правим в рамките на машинното обучение сега, са тесни и силно формализирани задачи, докато тези формализми не се обобщават добре и не съответстват на нашите предметни знания в области като неврофизиология и биология.
Това, което наистина си струва да се заеме от областта на неврофизиологията в близко бъдеще, са новите невронни архитектури и леко преразглеждане на механизмите за обратно разпространение на грешки.
Самият човешки мозък не се учи като невронна мрежа:
- Той няма произволни първични входове, включително тези, заложени чрез сетивата и в детството
- Той има присъщи насоки на инстинктивно развитие (желание да научи език от бебе, ходене изправено)
Обучението на индивидуален мозък е задача от ниско ниво; може би трябва да помислим за „колонии“ от бързо променящи се индивиди, които си предават знания един на друг, за да възпроизведат механизмите на груповата еволюция.
Какво можем да приемем в ML алгоритмите сега:
- Приложете модели на клетъчна линия, които гарантират обучението на населението, но краткия живот на индивида („индивидуален мозък“)
- Малкократно обучение с помощта на малък брой примери
- По-сложни невронни структури, малко по-различни функции на активиране
- Прехвърляне на „генома“ към следващите поколения – алгоритъм за обратно разпространение
- След като свържем неврофизиологията и невронните мрежи, ще се научим да изграждаме многофункционален мозък от много компоненти.
От тази гледна точка практиката на SOTA решения е вредна и трябва да бъде преразгледана в името на разработването на общи задачи (бенчмаркове).
„Наука за достоверни данни“, Бин Ю (Бъркли)
Докладът е посветен на проблема с интерпретирането на моделите за машинно обучение и методологията за тяхното директно тестване и проверка. Всеки обучен ML модел може да се възприема като източник на знания, които трябва да бъдат извлечени от него.
В много области, особено в медицината, използването на модел е невъзможно без извличане на това скрито знание и интерпретиране на резултатите от модела - в противен случай няма да сме сигурни, че резултатите ще бъдат стабилни, неслучайни, надеждни и няма да убият търпелив. Цяло едно направление в методологията на работа се развива в рамките на парадигмата на дълбокото обучение и надхвърля нейните граници - veridical data science. Какво е?
Искаме да постигнем такова качество на научните публикации и възпроизводимост на моделите, които да са:
- предсказуем
- изчислим
- стабилен
Тези три принципа са в основата на новата методология. Как ML моделите могат да бъдат проверени спрямо тези критерии? Най-лесният начин е да се изградят незабавно интерпретируеми модели (регресии, дървета на решенията). Въпреки това, ние също искаме да получим незабавните ползи от задълбоченото обучение.
Няколко съществуващи начина за работа с проблема:
- интерпретира модела;
- използват методи, основани на вниманието;
- използвайте ансамбли от алгоритми при обучение и гарантирайте, че линейните интерпретируеми модели се научават да предсказват същите отговори като невронната мрежа, интерпретирайки функции от линейния модел;
- промяна и разширяване на данните за обучение. Това включва добавяне на шум, смущения и увеличаване на данните;
- всякакви методи, които помагат да се гарантира, че резултатите от модела не са произволни и не зависят от незначителна нежелана намеса (противнически атаки);
- тълкуват модела постфактум, след обучение;
- изучавайте теглата на характеристиките по различни начини;
- изследване на вероятностите на всички хипотези, класово разпределение.
Съперническа атака
Грешките при моделиране са скъпи за всички: отличен пример е работата на Райнхарт и Рогов."“ повлия на икономическата политика на много европейски страни и ги принуди да следват политика на строги икономии, но внимателната повторна проверка на данните и обработката им години по-късно показаха обратния резултат!
Всяка ML технология има свой собствен жизнен цикъл от внедряване до внедряване. Целта на новата методология е да провери три основни принципа на всеки етап от живота на модела.
Резултати:
- Разработват се няколко проекта, които ще помогнат на ML модела да бъде по-надежден. Това е например deeptune (връзка към: );
- За по-нататъшното развитие на методологията е необходимо значително подобряване на качеството на публикациите в областта на ML;
- Машинното обучение се нуждае от лидери с мултидисциплинарно обучение и опит както в техническите, така и в хуманитарните области.
„Моделиране на човешкото поведение с машинно обучение: възможности и предизвикателства“ Нурия М Оливър, Алберт Али Салах
Лекция, посветена на моделирането на човешкото поведение, неговите технологични основи и перспективи за приложение.
Моделирането на човешкото поведение може да се раздели на:
- индивидуално поведение
- поведение на малка група хора
- масово поведение
Всеки от тези типове може да бъде моделиран с помощта на ML, но с напълно различна входна информация и функции. Всеки тип също има свои собствени етични проблеми, през които преминава всеки проект:
- индивидуално поведение – кражба на самоличност, deepfake;
- поведение на групи от хора - деанонимизиране, получаване на информация за движение, телефонни разговори и др.;
индивидуално поведение
Най-вече свързани с темата за Компютърното зрение – разпознаване на човешки емоции и реакции. Може би само в контекста, във времето или с относителния мащаб на собствената му променливост на емоциите. Слайдът показва разпознаване на емоциите на Мона Лиза, използвайки контекст от емоционалния спектър на средиземноморските жени. Резултат: усмивка на радост, но с презрение и отвращение. Причината най-вероятно е в техническия начин за дефиниране на „неутрална” емоция.
Поведение на малка група хора
Засега най-лошият модел се дължи на недостатъчна информация. Като пример бяха показани творби от 2018 – 2019 г. на десетки хора X десетки видеоклипове (вж. 100k++ набора от данни за изображения). За най-доброто моделиране на тази задача е необходима мултимодална информация, за предпочитане от сензори на телесен висотомер, термометър, запис от микрофон и т.н.
Масово поведение
Най-развитата област, тъй като клиентът е ООН и много държави. Външни камери за наблюдение, данни от телефонни кули - фактуриране, SMS, обаждания, данни за движение между държавните граници - всичко това дава много надеждна картина за движението на хора и социалните нестабилности. Възможни приложения на технологията: оптимизиране на спасителните операции, помощ и навременна евакуация на населението при извънредни ситуации. Използваните модели са основно все още слабо интерпретирани - това са различни LSTM и конволюционни мрежи. Имаше кратка забележка, че ООН лобира за нов закон, който ще задължи европейския бизнес да споделя анонимни данни, необходими за всякакви изследвания.
„От система 1 към система 2 Deep Learning“, Йошуа Бенгио
В лекцията на Джошуа Бенгио дълбокото обучение се среща с неврологията на ниво поставяне на цели.
Бенджио идентифицира два основни вида проблеми според методологията на нобеловия лауреат Даниел Канеман (книга „")
тип 1 - Система 1, несъзнателни действия, които извършваме "автоматично" (древен мозък): шофиране на кола на познати места, ходене, разпознаване на лица.
тип 2 - Система 2, съзнателни действия (мозъчна кора), целеполагане, анализ, мислене, съставни задачи.
ИИ досега е достигнал достатъчни висоти само в задачи от първия тип, докато нашата задача е да го доведем до втория, като го научим да извършва мултидисциплинарни операции и да работи с логика и когнитивни умения на високо ниво.
За постигане на тази цел се предлага:
- в НЛП задачите използвайте вниманието като ключов механизъм за моделиране на мисленето
- използвайте мета-обучение и обучение за представяне, за да моделирате по-добре характеристики, които влияят на съзнанието и тяхната локализация - и на тяхна основа преминете към работа с концепции от по-високо ниво.
Вместо заключение, ето поканена лекция: Bengio е един от многото учени, които се опитват да разширят областта на машинното обучение отвъд проблемите на оптимизацията, SOTA и новите архитектури.
Остава отворен въпросът доколко комбинацията от проблеми на съзнанието, влиянието на езика върху мисленето, невробиологията и алгоритмите е това, което ни очаква в бъдеще и ще ни позволи да преминем към машини, които „мислят” като хората.
Благодаря ви!
Източник: www.habr.com