NeurIPS () – самая вялікая канферэнцыя ў свеце па машынным навучанні і штучным інтэлекце і галоўная падзея ў свеце deep learning.
Ці будзем мы, DS-інжынеры, у новым дзесяцігоддзі асвойваць яшчэ і біялогію, лінгвістыку, псіхалогію? Раскажам у нашым аглядзе.
У гэтым годзе канферэнцыя сабрала больш за 13500 чалавек з 80 краін у Ванкуверы (Канада). Ашчадбанк не першы год прадстаўляе Расію на канферэнцыі - каманда DS распавяла аб укараненні ML у банкаўскія працэсы, аб ML-спаборніцтве і аб магчымасцях платформы Sberbank DS. Якімі ж былі асноўныя трэнды 2019 года ў ML-кам'юніці? Расказваюць удзельнікі канферэнцыі: и .
У гэтым годзе на NeurIPS было прынята больш за 1400 артыкулаў – алгарытмы, новыя мадэлі і новыя прымянення да новых дадзеных.
Змест:
- трэнды
-
- Інтэрпрэтаванасць мадэляў
- Мультыдысцыплінарнасць
- Развагі
- RL
- Ган
- Асноўныя Invited Talks
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Human Behavior Modeling with Machine Learning: Opportunities and Challenges", Nuria M Oliver, Albert Ali Salah
- “З System 1 to System 2 Deep Learning”, Yoshua Bengio
Трэнды 2019 года
1. Інтэрпрэтаванасць мадэляў і новая метадалогія ML
Загалоўная тэма канферэнцыі - інтэрпрэтацыя і доказы, чаму мы атрымліваем тыя ці іншыя вынікі. Можна доўга разважаць пра філасофскую важнасць інтэрпрэтацыі “чорнай скрыні”, але больш было рэальных методык і тэхнічных напрацовак у гэтай сферы.
Метадалогія ўзнаўляльнасці мадэляў і здабывання ведаў з іх - новы інструментар навукі. Мадэлі могуць служыць інструментам атрымання новых ведаў і яго праверкі, і ўзнаўляльным павінен быць кожны этап прэпрацэсінгу, навучання і прымянення мадэлі.
Істотная доля публікацый прысвечана не пабудове мадэляў і інструментаў, а праблемам забеспячэння бяспекі, празрыстасці і правяральнасці вынікаў. У прыватнасці, з'явіўся асобны стрым аб нападах на мадэль (adversarial attacks), прычым разглядаюцца варыянты як напады на навучанне, так і напады на ўжыванне.
Артыкулы:
- - Праграмны артыкул аб метадалогіі верыфікацыі мадэляў. Уключае агляд сучасных сродкаў для інтэрпрэтацыі мадэляў, у прыватнасці - выкарыстанне attention і атрыманне feature importance за кошт "дыстыляцыі" нейросетки лінейнымі мадэлямі.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Аляксандар Mott, Daniel Zoran, Мікэ Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net паказвае інтэрпрэтацыю мадэляў для задач апрацоўкі тэксту
2. Мультыдысцыплінарнасць
Каб забяспечыць надзейную праверку і распрацаваць механізмы праверкі і папаўнення ведаў, патрэбны спецыялісты сумежных абласцей, якія адначасова валодаюць кампетэнцыямі ў ML і ў прадметнай вобласці (медыцыне, лінгвістыцы, нейробиологии, адукацыі і г.д.). Асоба варта адзначыць больш значную прысутнасць прац і выступаў па нейронаук і кагнітыўным навукам – адбываецца збліжэнне адмыслоўцаў і запазычанне ідэй.
Акрамя гэтага збліжэння, намячаецца мультыдысцыплінарнасць у сумеснай апрацоўцы інфармацыі з розных крыніц: тэкст і фота, тэкст і гульні, графавыя бд + тэкст і фота.
Артыкулы:
- нейрабіялогія + ML -
- VisualQA -
- RL + NLP -
Дзве мадэлі - стратэг і выканаўца - на аснове RL і NLP гуляюць у анлайн-стратэгію
3. Развагі
Узмацненне штучнага інтэлекту - рух у бок саманавучальных сістэм, "ўсвядомленых", якія разважаюць і аргументуюць (reasoning). У прыватнасці, развіваецца causal inference і commonsense reasoning. Частка дакладаў прысвечана мета-навучання (пра тое, як вучыцца вучыцца) і злучэнню DL-тэхналогій з логікай 1 і 2 парадку - тэрмін Artificial General Intelligence (AGI) становіцца звычайным тэрмінам у выступах спікераў.
Артыкулы:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Антан Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Большая частка работ працягвае развіваць традыцыйныя напрамкі RL – DOTA2, Starcraft, злучэнне архітэктур з кампутарным зрокам, NLP, графавымі БД.
Асобны дзень канферэнцыі быў прысвечаны RL-воркшопу, на якім была прадстаўлена архітэктура Optimistic Actor Critic Model, праўзыходная ўсе папярэднія, у прыватнасці Soft Actor Critic.
Артыкулы:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.) *; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (The University of Tokyo).
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
Гульцы ў StarCraft ваююць з мадэллю Alphastar (DeepMind)
5. GAN
Генератыўныя сеткі ўсё яшчэ ў фокусе ўвагі: шмат прац выкарыстоўваюць vanilla GANы для матэматычных доказаў, а таксама ўжываюць іх у новых, незвычайных варыянтах (графавыя генератыўныя мадэлі, праца з шэрагамі, ужыванне да прычынна-выніковых сувязяў у дадзеных і г.д.).
Артыкулы:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Паколькі работ было прынята больш ніжэй мы раскажам пра самыя важныя выступленні.
Invited Talks
"Social Intelligence", Blaise Aguera y Arcas (Google)
Даклад прысвечаны агульнай метадалогіі машыннага навучання і перспектывам, якія змяняюць індустрыю прама цяпер - перад якім распуццём мы стаім? Як працуе мозг і эвалюцыя, і чаму мы так мала які выкарыстоўваецца тое, што ўжо добра ведаем аб развіцці натуральных сістэм?
Індустрыяльнае развіццё ML шмат у чым супадае з вяхамі развіцця кампаніі Google, з года ў год публікуе свае даследаванні на NeurIPS:
- 1997 - запуск пошукавых магутнасцяў, першыя серверы, невялікая вылічальная магутнасць
- 2010 – Джэф Дын запускае праект Google Brain, бум нейрасетак у самым пачатку
- 2015 - індустрыяльнае ўкараненне нейросетей, хуткае распазнанне асоб прама на лакальным прыладзе, нізкаўзроўневыя працэсары, заменчаныя пад тэнзарнае вылічэнні - TPU. Google запускае Coral ai - аналаг raspberry pi, міні-кампутар для ўкаранення нейросетей у эксперыментальныя ўстаноўкі
- 2017 – Google пачынае распрацоўку дэцэнтралізаванага навучання і аб'яднання вынікаў навучання нейросетей з розных прылад у адну мадэль – на android
Сёння цэлая індустрыя займаецца пытаннямі бяспекі даных, аб'яднання і прайгравання вынікаў навучання на лакальных прыладах.
– кірунак ML, у якім асобныя мадэлі вучацца незалежна сябар ад сябра, а затым аб'ядноўваюцца ў адзіную мадэль (без цэнтралізацыі зыходных дадзеных), з папраўкамі на рэдкія падзеі, анамаліі, персаналізацыю і г.д. Усе прылады з Android па сутнасці - адзіны вылічальны суперкампутар для Google.
Генератыўныя мадэлі на падставе federated learning – будучы перспектыўны кірунак на думку Google, якое знаходзіцца "ў ранніх стадыях экспанентнага росту". GANы, па меркаванні лектара, здольныя навучыцца прайграваць масавыя паводзіны папуляцый жывых арганізмаў, алгарытмы мыслення.
На прыкладзе двух простых архітэктур GAN паказваецца, што ў іх пошук шляху аптымізацыі блукае па крузе, а значыць, як такая аптымізацыя не адбываецца. Пры гэтым гэтыя мадэлі вельмі паспяхова мадэлююць эксперыменты, якія біёлагі ставяць над папуляцыямі бактэрый, прымушаючы іх вучыцца новым стратэгіям паводзін у пошуках ежы. Можна зрабіць выснову аб тым, што жыццё працуе інакш, чым функцыя аптымізацыі.
Блукаючая аптымізацыя GAN
Усё тое, што мы робім у рамках машыннага навучання цяпер - гэта вузкія і вельмі фармалізаваныя задачы, у той час як гэтыя фармалізмы дрэнна абагульняюцца і не адпавядаюць нашым прадметным веданні ў такіх галінах, як нейрафізіялогія і біялогія.
Што сапраўды варта запазычыць з вобласці нейрафізіялогіі ў бліжэйшай перспектыве - гэта новыя архітэктуры нейронаў і крыху перагледзець механізмы зваротнага распаўсюджвання памылкі.
Сам чалавечы мозг вучыцца не як нейрасетка:
- У яго не выпадковыя першасныя ўступныя, у тым ліку закладзеныя праз органы пачуццяў і ў дзяцінстве
- У яго ёсць закладзеныя напрамкі інстынктыўнага развіцця (імкненне вывучыць мову ў немаўля, прамахаджэнне)
Навучанне індывідуальнага мозгу - нізкаўзроўневая задача, магчыма, нам варта разглядаць "калоніі" хутка якія змяняюцца індывідаў, якія перадаюць адзін аднаму веды, каб прайграць механізмы групавой эвалюцыі.
Што мы можам пераняць у алгарытмы ML ужо зараз:
- Ужыць cell lineage мадэлі, якія забяспечваюць навучанне папуляцыі, але кароткае жыццё індывіда (“індывідуальнага мозгу”)
- Few-shot learning на невялікай колькасці прыкладаў
- Больш складаныя структуры нейронаў, крыху іншыя функцыі актывацыі
- Перадача "генома" наступным пакаленням - алгарытм зваротнага распаўсюджвання памылкі
- Як толькі мы злучым нейрафізіялогіі і нейронавыя сеткі, мы навучымся будаваць шматфункцыянальны мозг з мноства складнікаў.
З гэтага пункту гледжання практыка SOTA рашэнняў - згубная і павінна быць перагледжана ва ўгоду развіццю агульных задач (benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
Даклад прысвечаны праблеме інтэрпрэтацыі мадэляў машыннага навучання і метадалогіі іх непасрэднай праверкі і верыфікацыі. Любая навучаная ML-мадэль можа быць успрынята як крыніца ведаў, якія з яе неабходна атрымаць.
У шматлікіх абласцях, асабліва ў медыцыне, ужыванне мадэлі немагчыма без вымання гэтых утоеных ведаў і інтэрпрэтацыі вынікаў мадэлі – інакш мы не будзем упэўненыя, што вынікі будуць стабільныя, невыпадковыя, надзейныя, не заб'юць пацыента. Цэлы кірунак метадалогіі працы развіваецца ўсярэдзіне парадыгмы deep learning і выходзіць за яе межы - veridical data science. Што гэта такое?
Мы хочам дасягнуць такой якасці навуковых публікацый і ўзнаўляльнасці мадэляў, каб яны былі:
- прадказальнымі
- вылічальнымі
- стабільнымі
Гэтыя тры прынцыпы ўтвараюць аснову новай метадалогіі. Як можна правяраць мадэлі ML на адпаведнасць гэтым крытэрам? Самы просты спосаб - будаваць адразу інтэрпрэтаваныя мадэлі (рэгрэсіі, дрэвы рашэнняў). Аднак, мы жадаем атрымаць і непасрэдныя плюсы deep learning.
Некалькі існуючых спосабаў працаваць з праблемай:
- інтэрпрэтаваць мадэль;
- выкарыстоўваць метады, заснаваныя на attention;
- выкарыстоўваць пры навучанні ансамблі алгарытмаў, і дамагацца таго, каб лінейныя інтэрпрэтаваныя мадэлі вучыліся прадказваць тыя ж адказы, што і нейросетка, інтэрпрэтуючы прыкметы з лінейнай мадэлі;
- мяняць і аугментаваць дадзеныя для навучання. Сюды ўваходзяць і даданне шумоў, перашкод і data augmentation;
- любыя метады, якія дазваляюць пераканацца, што вынікі мадэлі не выпадковыя і не залежаць ад дробных непажаданых перашкод (adversarial attacks);
- інтэрпрэтаваць мадэль пост-фактум, пасля навучання;
- вывучаць вагаў прыкмет рознымі спосабамі;
- вывучаць верагоднасці ўсіх гіпотэз, размеркаванне класаў.
Adversarial attack
Памылкі мадэлявання дорага каштуюць усім: яркі прыклад – праца Рэйнхарта і Рогава.паўплывала на эканамічную палітыку шматлікіх еўрапейскіх краін і вымусіла іх весці палітыку эканоміі, але ўважлівая пераправерка дадзеных і іх апрацоўкі гады праз паказала процілеглы вынік!
У любой ML-тэхналогіі ёсць свой жыццёвы цыкл ад укаранення да ўкаранення. Задача новай метадалогіі - зрабіць праверку на трох асноўных прынцыпах на кожным этапе жыцця мадэлі.
Вынікі:
- Развіваецца некалькі праектаў, якія дапамогуць ML-мадэлі быць больш надзейнымі. Гэта, напрыклад, deeptune (link to: );
- Для далейшага развіцця метадалогіі неабходна істотна падняць якасць публікацый у сферы ML;
- Машыннаму навучанню патрэбны лідэры з мультыдысцыплінарнай падрыхтоўкай і экспертызай як у тэхнічных, так і гуманітарных галінах.
"Human Behavior Modeling with Machine Learning: Opportunities and Challenges" (Nuria M Oliver, Albert Ali Salah
Лекцыя, прысвечаная мадэляванню паводзін чалавека, яго тэхналагічным асновам і перспектывам ужыванняў.
Мадэляванне паводзін чалавека можна падзяліць на:
- індывідуальныя паводзіны
- паводзіны невялікай групы асоб
- масавыя паводзіны
Кожнае з гэтых тыпаў паддаецца мадэляванні пры дапамозе ML, але з абсалютна рознай уваходнай інфармацыяй і прыкметамі. У кожнага тыпу таксама ёсць свае этычныя праблемы, якія праходзіць кожны праект:
- індывідуальныя паводзіны - выкраданне ідэнтычнасці, deepfake;
- паводзіны груп людзей - дэананімізацыі, атрыманне інфармацыі аб перамяшчэннях, тэлефонных званках і г.д.;
Індывідуальныя паводзіны
У большай ступені тычыцца тэмы Computer Vision - распазнанне эмоцый чалавека, яго рэакцый. Магчыма толькі ў кантэксце, у часе або з адноснай шкалой яго ўласнай варыятыўнасці эмоцый. На слайдзе - распазнанне эмоцый Моны Лізы пры дапамозе кантэксту з эмацыйнага спектру міжземнаморскіх жанчын. Вынік: усмешка радасці, але з пагардай і агідай. Прычына хутчэй за ўсё ў тэхнічным спосабе вызначэння "нейтральнай" эмоцыі.
Паводзіны невялікай групы асоб
Пакуль горш за ўсё мадэлюецца з-за недастатковасці інфармацыі. У якасці прыкладу паказваліся працы 2018 - 2019 гг. на дзясятках людзей X дзясятках ролікаў (пар. датасеты малюнкаў 100к++). Для найлепшага мадэлявання ў рамках гэтай задачы неабходна мультымадальная інфармацыя, пажадана з датчыкаў на тэле-альтыметр, тэрмометр, запіс з мікрафона і г.д.
Масавыя паводзіны
Самы развіты напрамак, таму што заказчыкам выступаюць ААН і многія дзяржавы. Камеры вонкавага назірання, дадзеныя тэлефонных вышак - білінг, смс, званкі, дадзеныя аб перамяшчэнні паміж межамі дзяржаў - усё гэта дае вельмі надзейнае ўяўленне аб перамяшчэнні патокаў людзей, аб сацыяльных нестабільнасці. Патэнцыйныя прымяненні тэхналогіі: аптымізацыя выратавальных аперацый, аказанне дапамогі і своечасовая эвакуацыя насельніцтва пры НС. Выкарыстоўваныя мадэлі ў асноўным пакуль дрэнна інтэрпрэтуюцца гэта розныя LSTM і згортачныя сеткі. Была кароткая рэмарка, што ААН лабіруе новы закон, які абавяжа еўрапейскі бізнэс дзяліцца абязлічанымі дадзенымі, неабходнымі для любых даследаванняў.
“З System 1 to System 2 Deep Learning”, Yoshua Bengio
У лекцыі Іошуа Бенжыа deep learning сустракаецца з нейронаук на ўзроўні мэтапакладання.
Бенджыа вылучае два асноўныя тыпы задач па метадалогіі нобелеўскага лаўрэата Дэніэла Канемана.»)
тып 1 - Сістэма 1, неўсвядомленыя дзеянні, якія мы робім «на аўтамаце» (старажытны мозг): кіраванне машыны па знаёмых месцах, хаджэнне, распазнанне асоб.
тып 2 - Сістэма 2, усвядомленыя дзеянні (кара галаўнога мозгу), мэтапакладання, аналіз, мысленне, складовыя задачы.
ІІ пакуль што дасягае дастатковых вышынь толькі ў задачах першага тыпу - тады як наша задача прывесці яго да другога, навучыўшы выконваць мультыдысцыплінарныя аперацыі і апераваць логікай, высокаўзроўневымі кагнітыўнымі навыкамі.
Для дасягнення гэтай мэты прапануецца:
- у задачах NLP выкарыстоўваць attention як ключавы механізм мадэлявання мыслення
- выкарыстоўваць meta-learning і representation learning для лепшага мадэлявання прыкмет, якія ўплываюць на прытомнасць, і іх лакалізацыю і на іх аснове перайсці да аперавання больш высокаўзроўневымі канцэптамі.
Замест зняволення пакідаем запіс invited talk: Бенжыа - адзін з шматлікіх навукоўцаў, якія спрабуюць пашырыць вобласць ML за межы праблем аптымізацыі, SOTA і новых архітэктур.
Адкрытым застаецца пытанне, наколькі злучэнне праблем свядомасці, уплыву мовы на мысленне, нейробиологии і алгарытмаў - гэта тое, што нас чакае ў будучыні і дазволіць перайсці да машын, якія "думаюць" як людзі.
Дзякуй!
Крыніца: habr.com