NeurIPS 2019: МЛ трендови кои ќе бидат со нас во следната деценија

NeuroIPS (Системи за обработка на невронски информации) е најголемата светска конференција за машинско учење и вештачка интелигенција и главен настан во светот на длабокото учење.

Дали и ние, инженерите на ДС, ќе ги совладаме биологијата, лингвистиката и психологијата во новата деценија? Ќе ви кажеме во нашиот преглед.

Оваа година конференцијата собра повеќе од 13500 луѓе од 80 земји во Ванкувер, Канада. Ова не е прва година кога Сбербанк ја претставува Русија на конференцијата - тимот на ДС зборуваше за имплементацијата на ML во банкарските процеси, за натпреварот за МЛ и за можностите на платформата Сбербанк ДС. Кои беа главните трендови во 2019 година во МЛ заедницата? Учесниците на конференцијата велат: Андреј Черток и Татјана Шаврина.

Оваа година, NeurIPS прифати повеќе од 1400 трудови - алгоритми, нови модели и нови апликации за нови податоци. Линк до сите материјали

Содржина:

• Трендови
• • Модел интерпретабилност
  • Мултидисциплинарност
  • Расудување
  • RL
  • GAN
• Основни разговори поканети
• • „Социјална интелигенција“, Блез Агуера и Аркас (Гугл)
  • „Веридна наука за податоци“, Бин Ју (Беркли)
  • „Моделирање на човековото однесување со машинско учење: можности и предизвици“, Нурија М Оливер, Алберт Али Салах
  • „Од систем 1 до систем 2 длабоко учење“, Јошуа Бенџо

Трендови 2019 на годината

1. Толкување на моделот и нова методологија за ML

Главна тема на конференцијата е толкувањето и доказите зошто добиваме одредени резултати. Може да се зборува долго за филозофската важност на толкувањето на „црната кутија“, но имаше повеќе реални методи и технички развој во оваа област.

Методологијата за реплицирање модели и извлекување знаење од нив е нов прибор за науката. Моделите можат да послужат како алатка за добивање на ново знаење и нивно тестирање, а секоја фаза на преобработка, обука и примена на моделот мора да биде репродуцирана.
Значителен дел од публикациите не се посветени на конструкција на модели и алатки, туку на проблемите за обезбедување безбедност, транспарентност и проверливост на резултатите. Конкретно, се појави посебен поток за нападите на моделот (противнички напади) и се разгледуваат опциите и за нападите на обуката и за нападите на апликацијата.

Статии:

• Наука за веридални податоци — програмска статија за методологијата на верификација на моделот. Вклучува преглед на современи алатки за толкување на модели, особено употреба на внимание и добивање на важноста на карактеристиките со „дестилирање“ на невронската мрежа со линеарни модели.
• Ова изгледа вака: Длабоко учење за препознавање на слики што може да се толкуваат Чаофан Чен, Оскар Ли, Даниел Тао, Алина Барнет, Синтија Рудин, Џонатан К. Су
• Репер за методи за толкување во длабоки невронски мрежи Сара Хукер, Думитру Ерхан, Питер-Јан Киндерманс, Бин Ким
• Кон учењето за засилување кое може да се толкува со користење на зголемени средства за внимание Александар Мот, Даниел Зоран, Мајк Хрзановски, Даан Вирстра, Данило Хименез Резенде
• Непристрасна мерка за важност на карактеристиката MDI за случајни шуми Ксијао Ли, Ју Ванг, Суманта Басу, Карл Кумбиер, Бин Ју
• Екстракција на знаење без набудливи податоци Џемин Јо, Мињонг Чо, Таебум Ким, У Канг
• Чекор кон квантифицирање на независно репродуктивно истражување за машинско учење Едвард Раф

ExBert.net прикажува интерпретација на модел за задачи за обработка на текст

2. Мултидисциплинарност

За да обезбедиме сигурна верификација и да развиеме механизми за верификација и проширување на знаењето, потребни ни се специјалисти од сродни области кои истовремено имаат компетенции во МЛ и во предметната област (медицина, лингвистика, невробиологија, образование итн.). Особено вреди да се забележи позначајното присуство на дела и говори во невронауките и когнитивните науки - доаѓа до зближување на специјалисти и позајмување на идеи.

Покрај ова зближување, се појавува мултидисциплинарност во заедничката обработка на информации од различни извори: текст и фотографии, текст и игри, бази на податоци со графикони + текст и фотографии.

Статии:

• Неврологија + МЛ - Толкување и подобрување на обработката на природниот јазик (во машини) со обработка на природен јазик (во мозокот)
• VisualQA - Учење со апстракција: машината за невронска состојба
• RL + NLP - Хиерархиско донесување одлуки со генерирање и следење на инструкции за природни јазици

Два модели - стратег и извршен - базирани на RL и NLP играат онлајн стратегија

3. Расудување

Зајакнувањето на вештачката интелигенција е движење кон системи за самоучење, „свесно“, расудување и расудување. Конкретно, се развиваат каузалните заклучоци и разумното расудување. Некои од извештаите се посветени на мета-учење (за тоа како да се научи да се учи) и комбинацијата на DL технологии со логика од 1 и 2 ред - терминот Вештачка општа интелигенција (AGI) станува вообичаен термин во говорите на говорниците.

Статии:

• Хетерогено учење графикони за визуелно разумно расудување Вејџијанг Ју, Џингвен Џоу, Веихао Ју, Ксијаодан Лианг, Нонг Ксиао
• Премостување на машинско учење и логичко расудување со абдуктивно учење Ванг-Џоу Даи, Киулинг Ксу, Јанг Ју, Жи-Хуа Џоу
• Имплицитно учење да расудуваме во логика од прв ред Ваишак Бел, Брендан Џуба
• PHYRE: Нов репер за физичко расудување Антон Бахтин, Лоренс ван дер Маатен, Џастин Џонсон, Лаура Густафсон, Рос Гиршик
• Квантно вградување на знаење за расудување Динеш Гарг, Шаџит Икбал, Сантош К. Сривастава, Харит Вишвакарма, Хима Каранам, Л Венката Субраманиам

4.Засилено учење

Поголемиот дел од работата продолжува да ги развива традиционалните области на RL - DOTA2, Starcraft, комбинирајќи архитектури со компјутерска визија, NLP, бази на податоци за графикони.

Посебен ден од конференцијата беше посветен на работилницата за RL, на која беше претставена архитектурата Optimistic Actor Critic Model, супериорна во однос на сите претходни, особено Soft Actor Critic.

Статии:

• Подобро истражување со оптимист актерски критичар; Камил Чиосек, Кван Вуонг, Роберт Лофтин, Катја Хофман
• ChainerRL: Библиотека за учење за длабоко засилување; Јасухиро Фуџита (Preferred Networks, Inc.)*; Тошики Катаока (Preferred Networks, Inc.); Прабхат Нагараџан (претпочитани мрежи); Такахиро Ишикава (Универзитетот во Токио) [надворешна pdf врска].
• Сон за контрола: Однесување на учење со латентна имагинација; Данијар Хафнер (Гугл)*; Тимоти Лиликрап (DeepMind); Џими Ба (Универзитет во Торонто); Мохамад Норузи (Google Brain)
• Материјали за работилницата

Играчите на StarCraft се борат со моделот Alphastar (DeepMind)

5.ГАН

Генеративните мрежи сè уште се во центарот на вниманието: многу дела користат GAN-ови од ванила за математички докази, а исто така ги применуваат на нови, необични начини (модели за генерирање графикони, работа со серии, примена на причинско-последични односи во податоците итн.).

Статии:

• Рударство GOLD примероци за условни GANs Сангву Мо, Чихеон Ким, Сунгвонг Ким, Минсу Чо, Џинву Шин
• Прогресивно зголемување на ГАН Дан Џанг, Ана Хорева
• Моделирање табеларни податоци користејќи условен GAN Леи Ксу, Марија Скулариду, Алфредо Куеста-Инфанте, Калијан Веерамачанени
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

Бидејќи повеќе работа беше прифатена 1400 Подолу ќе зборуваме за најважните говори.

Поканети разговори

„Социјална интелигенција“, Блез Агуера и Аркас (Гугл)

Линк
Слајдови и видеа
Разговорот се фокусира на општата методологија на машинско учење и изгледите за промена на индустријата во моментов - со која раскрсница се соочуваме? Како функционираат мозокот и еволуцијата и зошто толку малку го користиме она што веќе го знаеме за развојот на природните системи?

Индустрискиот развој на ML во голема мера се совпаѓа со пресвртниците на развојот на Google, кој го објавува своето истражување за NeurIPS од година во година:

• 1997 година – лансирање на објекти за пребарување, први сервери, мала компјутерска моќ
• 2010 - Џеф Дин го лансира проектот Google Brain, бум на невронските мрежи на самиот почеток
• 2015 година – индустриска имплементација на невронски мрежи, брзо препознавање лица директно на локален уред, процесори на ниско ниво прилагодени за пресметување на тензори - TPU. Google го лансираше Coral ai - аналог на raspberry pi, мини-компјутер за воведување невронски мрежи во експериментални инсталации
• 2017 година - Google започнува со развивање на децентрализирана обука и комбинирање на резултатите од обуката за невронски мрежи од различни уреди во еден модел - на Android

Денес, цела индустрија е посветена на безбедноста на податоците, собирањето и реплицирањето на резултатите од учењето на локални уреди.

Федерирано учење – насока на ML во која поединечните модели учат независно еден од друг и потоа се комбинираат во еден модел (без централизирање на изворните податоци), приспособени за ретки настани, аномалии, персонализација итн. Сите уреди со Android се во суштина еден компјутерски суперкомпјутер за Google.

Генеративните модели засновани на федеративно учење се ветувачка идна насока според Google, која е „во раните фази на експоненцијален раст“. ГАН, според предавачот, се способни да научат да го репродуцираат масовното однесување на популациите на живите организми и алгоритмите за размислување.

Користејќи го примерот на две едноставни GAN архитектури, се покажува дека во нив потрагата по патека за оптимизација талка во круг, што значи дека оптимизацијата како таква не се случува. Во исто време, овие модели се многу успешни во симулирањето на експериментите што биолозите ги прават врз популацијата на бактерии, принудувајќи ги да научат нови стратегии за однесување во потрага по храна. Можеме да заклучиме дека животот функционира поинаку од функцијата за оптимизација.

Одење GAN оптимизација

Сè што правиме во рамките на машинското учење сега се тесни и крајно формализирани задачи, додека овие формализми не се генерализираат добро и не кореспондираат со нашето предметно знаење во области како што се неврофизиологијата и биологијата.

Она што навистина вреди да се позајми од полето на неврофизиологијата во блиска иднина е нови невронски архитектури и мала ревизија на механизмите на заднинско ширење на грешките.

Самиот човечки мозок не учи како невронска мрежа:

• Тој нема случајни примарни влезови, вклучително и оние поставени преку сетилата и во детството
• Тој има својствени насоки на инстинктивен развој (желба да научи јазик од новороденче, одење исправено)

Тренирањето на индивидуален мозок е задача на ниско ниво; можеби треба да размислиме за „колониите“ на поединци кои брзо се менуваат кои си го пренесуваат знаењето едни на други за да ги репродуцираат механизмите на групната еволуција.

Што можеме да прифатиме во ML алгоритмите сега:

• Применете модели на клеточна лоза кои обезбедуваат учење на популацијата, но краток живот на поединецот („индивидуален мозок“)
• Учење со мал број примери
• Покомплексни невронски структури, малку различни функции за активирање
• Пренесување на „геномот“ на следните генерации - алгоритам за заднинско пропагирање
• Откако ќе ги поврземе неврофизиологијата и невронските мрежи, ќе научиме како да изградиме мултифункционален мозок од многу компоненти.

Од оваа гледна точка, практиката на SOTA решенија е штетна и треба да се ревидира заради развивање заеднички задачи (одредници).

„Веридна наука за податоци“, Бин Ју (Беркли)

Видеа и слајдови
Извештајот е посветен на проблемот со толкувањето на моделите за машинско учење и методологијата за нивно директно тестирање и верификација. Секој обучен ML модел може да се сфати како извор на знаење што треба да се извлече од него.

Во многу области, особено во медицината, употребата на модел е невозможна без извлекување на ова скриено знаење и толкување на резултатите од моделот - во спротивно нема да бидеме сигурни дека резултатите ќе бидат стабилни, неслучајни, сигурни и нема да го убијат трпелив. Цела насока на методологијата на работа се развива во рамките на парадигмата за длабоко учење и оди подалеку од нејзините граници - веродостојна наука за податоци. Што е тоа?

Сакаме да постигнеме таков квалитет на научни публикации и репродуктивност на моделите што се:

1. предвидливи
2. пресметливи
3. стабилно

Овие три принципи ја формираат основата на новата методологија. Како може ML моделите да се проверат според овие критериуми? Најлесен начин е да се изградат веднаш интерпретабилни модели (регресии, стебла на одлуки). Сепак, ние исто така сакаме да ги добиеме непосредните придобивки од длабокото учење.

Неколку постоечки начини за работа со проблемот:

1. го толкува моделот;
2. користете методи засновани на внимание;
3. користете ансамбли од алгоритми кога тренирате и погрижете се линеарните толкуваливи модели да научат да ги предвидуваат истите одговори како невронската мрежа, толкувајќи ги карактеристиките од линеарниот модел;
4. промена и зголемување на податоците за обуката. Ова вклучува додавање шум, пречки и зголемување на податоците;
5. сите методи кои помагаат да се осигури дека резултатите на моделот не се случајни и не зависат од мали несакани пречки (противнички напади);
6. интерпретираат моделот по фактот, по обуката;
7. проучување карактеристики тежини на различни начини;
8. проучување на веројатностите на сите хипотези, распределба на класи.

Противнички напад за свиња

Моделските грешки се скапи за секого: одличен пример е работата на Рајнхарт и Рогов“.Раст во време на долгови„ влијаеше на економските политики на многу европски земји и ги принуди да водат политика на штедење, но внимателната повторна проверка на податоците и нивната обработка години подоцна покажа спротивен резултат!

Секоја ML технологија има свој животен циклус од имплементација до имплементација. Целта на новата методологија е да се проверат три основни принципи во секоја фаза од животот на моделот.

Резултатите:

• Се развиваат неколку проекти кои ќе му помогнат на ML моделот да биде посигурен. Ова е, на пример, deeptune (врска до: github.com/ChrisCummins/paper-end2end-dl);
• За понатамошен развој на методологијата, потребно е значително подобрување на квалитетот на публикациите од областа на МЛ;
• Машинското учење има потреба од лидери со мултидисциплинарна обука и експертиза и во техничките и во хуманистичките области.

„Моделирање на човековото однесување со машинско учење: можности и предизвици“ Нурија М Оливер, Алберт Али Салах

Предавање посветено на моделирање на човековото однесување, неговите технолошки основи и изгледите за примена.

Моделирањето на човековото однесување може да се подели на:

• индивидуално однесување
• однесување на мала група луѓе
• масовно однесување

Секој од овие типови може да се моделира со користење на ML, но со сосема различни влезни информации и карактеристики. Секој тип има и свои етички прашања низ кои поминува секој проект:

• индивидуално однесување – кражба на идентитет, deepfake;
• однесување на групи луѓе - деанонимизација, добивање информации за движења, телефонски повици и сл.;

индивидуално однесување

Најмногу поврзана со темата Компјутерска визија - препознавање на човечките емоции и реакции. Можеби само во контекст, во времето или со релативната скала на сопствената варијабилност на емоциите. Слајдот покажува препознавање на емоциите на Мона Лиза користејќи контекст од емотивниот спектар на медитеранските жени. Резултат: насмевка од радост, но со презир и одвратност. Причината најверојатно е во техничкиот начин на дефинирање на „неутрална“ емоција.

Однесување на мала група луѓе

Досега најлошиот модел се должи на недоволната информација. Како пример, беа прикажани дела од 2018 – 2019 година. на десетици луѓе X десетици видеа (сп. 100k++ збирки податоци на слики). За најдобро моделирање на оваа задача, потребни се мултимодални информации, по можност од сензори на височина на телото, термометар, снимање со микрофон итн.

Масовно однесување

Најразвиена област, бидејќи клиент се ОН и многу држави. Надворешни надзорни камери, податоци од телефонски столбови - наплата, СМС, повици, податоци за движење меѓу државните граници - сето тоа дава многу веродостојна слика за движењето на луѓето и социјалните нестабилности. Потенцијални примени на технологијата: оптимизација на спасувачките операции, помош и навремена евакуација на населението за време на вонредни ситуации. Моделите што се користат главно сè уште се слабо толкувани - тоа се различни LSTM и конволуциони мрежи. Имаше кратка забелешка дека ОН лобираат за нов закон кој ќе ги обврзе европските бизниси да споделуваат анонимизирани податоци неопходни за секое истражување.

„Од систем 1 до систем 2 длабоко учење“, Јошуа Бенџо

Слајдови
Во предавањето на Џошуа Бенџо, длабокото учење се среќава со невронауката на ниво на поставување цели.
Бенџо идентификува два главни типа на проблеми според методологијата на нобеловецот Даниел Канеман (книга „Размислете бавно, одлучувајте брзо")
тип 1 - Систем 1, несвесни дејства што ги правиме „автоматски“ (древен мозок): возење автомобил на познати места, пешачење, препознавање лица.
тип 2 - Систем 2, свесни дејства (церебрален кортекс), поставување цели, анализа, размислување, композитни задачи.

Вештачката интелигенција досега достигна доволна височина само во задачите од првиот тип, додека нашата задача е да ја доведеме до вториот, учејќи ја да извршува мултидисциплинарни операции и да работи со логика и когнитивни вештини на високо ниво.

За да се постигне оваа цел се предлага:

1. во НЛП задачите, користете го вниманието како клучен механизам за моделирање на размислувањето
2. користете мета-учење и репрезентативно учење за подобро да ги моделирате карактеристиките кои влијаат на свеста и нивната локализација - и врз нивна основа преминете на работење со концепти на повисоко ниво.

Наместо заклучок, еве поканет разговор: Бенџо е еден од многуте научници кои се обидуваат да го прошират полето на ML надвор од проблемите со оптимизација, SOTA и новите архитектури.
Останува отворено прашањето до кој степен комбинацијата на проблеми на свеста, влијанието на јазикот врз размислувањето, невробиологијата и алгоритмите е она што не чека во иднина и ќе ни овозможи да се префрлиме на машини кои „размислуваат“ како луѓе.

Ви благодариме!

Извор: www.habr.com