NeuroIPS () o le konafesi sili ona tele a le lalolagi i le aʻoaʻoina o masini ma le atamai faʻapitoa ma le mea autu i le lalolagi o aʻoaʻoga loloto.
O le a tatou, inisinia DS, e faʻatautaia foʻi le biology, linguistics, ma psychology i le sefulu tausaga fou? Matou te taʻu atu ia te oe i la matou iloiloga.
O le tausaga lenei na tuufaatasia ai e le konafesi le silia ma le 13500 tagata mai atunuu e 80 i Vancouver, Kanata. E le o le tausaga muamua lea na avea ai Sberbank ma sui o Rusia i le konafesi - na saunoa le au a le DS e uiga i le faʻatinoina o le ML i faiga faʻatupe, e uiga i le tauvaga ML ma e uiga i le gafatia o le Sberbank DS platform. O a faiga autu o le 2019 i le ML community? Fai mai tagata auai o le konafesi: и .
O lenei tausaga, NeurIPS na talia le sili atu i le 1400 pepa-algorithms, faʻataʻitaʻiga fou, ma talosaga fou i faʻamaumauga fou.
Faʻamatalaga:
- Faiga masani
-
- Fa'ata'ita'iga fa'amatala
- Tu'ufa'atasi
- Faʻamanatu
- RL
- GAN
- Lauga Autu Valaaulia
-
- “Social Intelligence”, Blaise Aguera ma Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- "Fa'ata'ita'iga o Amio a Tagata ma le A'oa'oina o Masini: Avanoa ma Lu'itau", Nuria M Oliver, Albert Ali Salah
- "Mai le System 1 i le System 2 Deep Learning", Yoshua Bengio
Tulaga 2019
1. Fa'ata'ita'iga fa'aliliuga ma auala fou ML
O le autu autu o le konafesi o le faʻamatalaina ma faʻamaoniga o le mafuaʻaga tatou te maua ai ni faʻaiʻuga. E mafai e se tasi ona talanoa mo se taimi umi e uiga i le taua filosofia o le "pusa uliuli" faʻamatalaga, ae o loʻo i ai isi auala moni ma atinaʻe faʻapitoa i lenei vaega.
O le metotia mo le toe faia o faʻataʻitaʻiga ma le mauaina o le malamalama mai ia i latou o se meafaigaluega fou mo le saienisi. O faʻataʻitaʻiga e mafai ona avea o se meafaigaluega mo le mauaina o le malamalama fou ma faʻataʻitaʻiina, ma o laʻasaga taʻitasi o le muaʻi faia, aʻoaʻoga ma le faʻaogaina o le faʻataʻitaʻiga e tatau ona toe faʻaleleia.
O se vaega taua o lomiga e tuuto atu e le o le fausiaina o faʻataʻitaʻiga ma meafaigaluega, ae i faʻafitauli o le faʻamautinoaina o le saogalemu, manino ma le faʻamaoniaina o taunuuga. Aemaise lava, o se vaitafe ese na faʻaalia e uiga i osofaʻiga i luga o le faʻataʻitaʻiga (osofaʻiga a le fili), ma o filifiliga mo osofaʻiga uma e lua i aʻoaʻoga ma osofaʻiga i luga o le talosaga e iloiloina.
Mataupu:
- - o se tusiga faʻapolokalame i le metotia o faʻataʻitaʻiga faʻamaonia. E aofia ai se aotelega o meafaigaluega faʻaonaponei mo le faʻamatalaina o faʻataʻitaʻiga, aemaise lava, le faʻaogaina o le gauai ma le mauaina o le taua o le faʻaaliga e ala i le "faʻamama" o le neural network ma faʻataʻitaʻiga laina.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Eteuati Raff
ExBert.net o loʻo faʻaalia faʻataʻitaʻiga faʻataʻitaʻiga mo galuega faʻasologa o tusitusiga
2. Tu'ufa'atasiga
Ina ia faʻamautinoa le faʻamaoni faʻamaonia ma atinaʻe auala mo le faʻamaonia ma le faʻalauteleina o le malamalama, matou te manaʻomia tagata faʻapitoa i matata faʻapitoa o loʻo i ai i le taimi e tasi le agavaa i le ML ma le mataupu autu (fomaʻi, gagana, neurobiology, aʻoaʻoga, ma isi). E taua tele le matauina o le sili atu ona taua o galuega ma tautalaga i neurosciences ma cognitive sciences - o loʻo i ai se faʻafeiloaʻiga o tagata tomai faapitoa ma le nono o manatu.
I le faaopoopo atu i lenei faʻafeiloaʻiga, multidisciplinarity o loʻo tulaʻi mai i le tuʻufaʻatasia o faʻamatalaga faʻamatalaga mai punaoa eseese: tusitusiga ma ata, tusitusiga ma taʻaloga, kalafi faʻamaumauga + tusitusiga ma ata.
Mataupu:
- Neuroscience + ML—
- VisualQA -
- RL + NLP -
E lua fa'ata'ita'iga - ta'iala ma fa'atonu - fa'avae ile RL ma le NLP ta'aloga ta'iala ile initaneti
3. Mafaufauga
O le faʻamalosia o le atamai faʻapitoa o se faʻagaioiga agai i faiga aʻoaʻoga a le tagata lava ia, "malamalama", fefulisaʻi ma mafaufauga. Aemaise lava, o lo'o fa'atupula'ia le fa'ai'uga fa'atupu ma mafaufauga fa'apitoa. O nisi o lipoti o loʻo tuʻuina atu i meta-learning (e uiga i le auala e aʻoaʻo ai) ma le tuʻufaʻatasia o tekinolosi DL ma le 1st ma le 2nd order logic - o le faaupuga Artificial General Intelligence (AGI) ua avea ma faaupuga masani i lauga a failauga.
Mataupu:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Aoaoina Faamalosia
O le tele o le galuega o loʻo faʻaauau pea ona atiaʻe vaega masani o RL - DOTA2, Starcraft, tuʻufaʻatasia tusiata ma vaʻaiga komepiuta, NLP, faʻamaumauga kalafi.
O se aso e ese ai o le fonotaga sa tuuto atu i se aʻoaʻoga a le RL, lea na faʻaalia ai le ata o le Optimistic Actor Critic Model, e sili atu nai lo mea uma na muamua atu, aemaise lava Soft Actor Critic.
Mataupu:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (O le Iunivesite o Tokyo) [fa'asinomaga pdf fafo].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Iunivesite o Toronto); Mohammad Norouzi (Google Brain)
E tau le au taaalo a StarCraft i le ata Alphastar (DeepMind)
5.GAN
O fesoʻotaʻiga faʻatupuina o loʻo i ai pea i le vaʻaia: tele galuega e faʻaaogaina vanilla GANs mo faʻamaoniga o le matematika, ma faʻaaogaina foi i ni auala fou, e le masani ai (faʻataʻitaʻiga faʻatupu kalafi, galue ma faʻasologa, faʻaoga i sootaga mafua-ma-aafiaga i faʻamaumauga, ma isi).
Mataupu:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Talu ai na talia nisi galuega Lalo o le a tatou talanoa e uiga i lauga sili ona taua.
Lauga Valaaulia
“Social Intelligence”, Blaise Aguera ma Arcas (Google)
O le tautalaga e taulaʻi i le auala lautele o le aʻoaʻoina o masini ma faʻamoemoe e suia ai le pisinisi i le taimi nei - o le a le fetaulaiga ala o loʻo tatou feagai? E faʻafefea ona galue le faiʻai ma le evolusione, ma aiseā tatou te faʻaaogaina ai mea ua uma ona tatou iloa e uiga i le atinaʻeina o faiga masani?
O le atinaʻeina o fale gaosi oloa o le ML e tele lava ina faʻatasi ma mataʻutia o le atinaʻeina o Google, lea e lolomiina ana suʻesuʻega ile NeurIPS i lea tausaga ma lea tausaga:
- 1997 – fa'alauiloa fale su'esu'e, 'au'aunaga muamua, la'ititi mana fa'akomepiuta
- 2010 - Jeff Dean faʻalauiloa le Google Brain project, le faʻateleina o fesoʻotaʻiga neural i le amataga.
- 2015 – fa'atinoga fa'apisinisi o feso'ota'iga neural, vave fa'aalia foliga sa'o i luga o se masini fa'apitonu'u, fa'agasolo tulaga maualalo e fa'aogaina mo le tensor computing - TPU. Google fa'alauiloa Coral ai - o se fa'atusa o le raspberry pi, o se tama'i-komepiuta mo le fa'aofiina o feso'ota'iga neural i mea fa'ata'ita'i.
- 2017 - Google amata faʻavae aʻoaʻoga faʻapitoa ma tuʻufaʻatasia taunuʻuga o aʻoaʻoga fesoʻotaʻiga neural mai masini eseese i se faʻataʻitaʻiga tasi - ile Android
I aso nei, o se alamanuia atoa e faʻamaoni i le saogalemu o faʻamaumauga, tuʻufaʻatasia, ma le toe faʻaaogaina o taunuʻuga aʻoaʻoga i masini faʻapitonuʻu.
- o se taʻiala a le ML lea e aʻoaʻoina ai e faʻataʻitaʻiga taʻitoʻatasi le tasi ma le isi ona tuʻufaʻatasia lea i se faʻataʻitaʻiga e tasi (e aunoa ma le faʻaogaina o faʻamatalaga faʻamatalaga), fetuutuunai mo mea e le masani ai, faʻalavelave, faʻapitoa, ma isi. O masini Android uma lava o se masini komepiuta e tasi mo Google.
O faʻataʻitaʻiga faʻavae e faʻavae i luga o aʻoaʻoga federated o se taʻiala manuia i le lumanaʻi e tusa ai ma Google, lea o loʻo "i le amataga o le tuputupu aʻe faʻateleina." GANs, e tusa ai ma le faiaoga, e mafai ona aʻoaʻoina e toe gaosia le tele o amioga a le faitau aofaʻi o meaola ola ma mafaufauga algorithms.
I le faʻaaogaina o le faʻataʻitaʻiga o faʻataʻitaʻiga faigofie GAN e lua, o loʻo faʻaalia ai o loʻo i totonu ia i latou o le sailiga mo se auala faʻapitoa e feoaʻi solo i totonu o se liʻo, o lona uiga e le tupu le faʻamoemoeina. I le taimi lava e tasi, o nei faʻataʻitaʻiga e matua manuia lava i le faʻataʻitaʻiina o faʻataʻitaʻiga o loʻo faia e tagata suʻesuʻe meaola i luga o le faitau aofaʻi o siama, faʻamalosia i latou e aʻoaʻoina ni taʻiala fou i le sailiga o meaʻai. E mafai ona tatou fa'ai'u e ese le galue o le olaga nai lo le galuega fa'atino.
Savaliga GAN Optimization
O mea uma tatou te faia i le faʻavae o le aʻoaʻoina o masini i le taimi nei o galuega vaapiapi ma sili ona faʻamaonia, ae o nei tulaga faʻapitoa e le faʻasalalau lelei ma e le fetaui ma a tatou mataupu malamalama i vaega e pei o le neurophysiology ma le biology.
O le a le mea e sili ona aoga nono mai le matata o le neurophysiology i se taimi lata mai o ni fausaga fou o le neuron ma sina toe iloiloga o auala o le toe faʻasalalauina o mea sese.
O le faiʻai o le tagata lava ia e le aʻoaʻoina e pei o se neural network:
- E leai ni ana mea e fai fa'afuase'i, e aofia ai mea na fa'atonuina e ala i lagona ma i le tamaitiiti
- E iai ana fa'atonuga fa'ale-aganu'u o le atina'e fa'anatura (le mana'o e a'oa'oina le gagana mai se pepe meamea, savali sa'o)
O le a'oa'oina o se fai'ai ta'ito'atasi o se galuega maualalo atonu e tatau ona tatou mafaufau i "koloni" o le vave suia o tagata ta'ito'atasi e tu'uina atu le malamalama i le tasi ma le isi e toe gaosia ai le faiga o le evolusione vaega.
O mea e mafai ona tatou faʻaaogaina i ML algorithms i le taimi nei:
- Fa'aaogā fa'ata'ita'iga o gafa e fa'amautinoa ai le a'oa'oina o le faitau aofa'i, ae o le olaga pu'upu'u o le tagata ("fai'ai ta'ito'atasi")
- A'oa'oga fa'atauva'a e fa'aaoga ai nai fa'ata'ita'iga
- E sili atu ona lavelave fausaga neu, fai sina ese'esega fa'agaioiga
- Fa'aliliuina le "genome" i isi augatupulaga - backpropagation algorithm
- O le taimi lava tatou te faʻafesoʻotaʻi ai le neurophysiology ma neural networks, o le a tatou aʻoaʻoina e fausia se faiʻai multifunctional mai le tele o vaega.
Mai lenei manatu, o le faʻatinoga o fofo SOTA e faʻaleagaina ma e tatau ona toe faʻaleleia mo le faʻaleleia o galuega masani (faʻailoga).
“Veridical Data Science”, Bin Yu (Berkeley)
O le lipoti o loʻo tuʻuina atu i le faʻafitauli o le faʻamatalaina o faʻataʻitaʻiga aʻoaʻoga masini ma auala mo a latou suʻega tuusaʻo ma faʻamaoniga. Soʻo se faʻataʻitaʻiga ML aʻoaʻoina e mafai ona vaʻaia o se puna o le malamalama e manaʻomia ona maua mai ai.
I le tele o eria, aemaise lava i vailaʻau, o le faʻaaogaina o se faʻataʻitaʻiga e le mafai e aunoa ma le aveesea o lenei malamalama natia ma faʻamatalaina taunuuga o le faʻataʻitaʻiga - a leai o le a tatou le mautinoa o taunuuga o le a mautu, e le faʻafuaseʻi, faʻatuatuaina, ma o le a le fasiotia le onosai. O lo'o fa'atupuina se fa'atonuga atoa o faiga fa'atino i totonu o le fa'ata'ita'iga loloto o le a'oa'oina ma alu atu i tua atu o ona tua'oi - veridical data science. O le a lea mea?
Matou te mananaʻo e ausia le tulaga lelei o faʻasalalauga faʻasaienisi ma le toe faʻaleleia o faʻataʻitaʻiga e pei o:
- taumateina
- fa'atatau
- fale mautu
O mataupu faavae nei e tolu e fai ma faavae o le auala fou. E fa'afefea ona siaki fa'ata'ita'iga ML fa'atatau i nei ta'iala? O le auala pito sili ona faigofie o le fausiaina vave lea o faʻataʻitaʻiga faʻamatalaina (regressions, decision trees). Peitaʻi, matou te mananaʻo foʻi e maua vave aogā o aʻoaʻoga loloto.
E tele auala o loʻo iai e galue ai ma le faʻafitauli:
- fa'amatala le fa'ata'ita'iga;
- fa'aoga metotia e fa'atatau i le gauai;
- fa'aoga ensembles o algorithms pe a a'oa'oga, ma fa'amautinoa e a'oa'o fa'ata'ita'iga fa'amatala laina laina e va'ai tali tutusa e pei o le feso'ota'iga neural, fa'amatala uiga mai le fa'ata'ita'iga laina;
- suiga ma fa'aopoopo fa'amaumauga a'oa'oga. E aofia ai le fa'aopoopoina o le pisa, fa'alavelave, ma le fa'aopoopoina o fa'amaumauga;
- soʻo se auala e fesoasoani e faʻamautinoa ai e le o faʻalavelave faʻataʻitaʻiga faʻataʻitaʻiga ma e le faʻalagolago i faʻalavelave laiti e le manaʻomia (osofaiga faʻafefe);
- fa'amatala le fa'ata'ita'iga pe a uma le mea moni, pe a uma a'oa'oga;
- su'esu'e fa'atusa mamafa i auala eseese;
- su'esu'e mea e ono tutupu i fa'atatau uma, fa'asoa vasega.
Osofaiga a le fili
O faʻataʻitaʻiga mea sese e taugata mo tagata uma: o se faʻataʻitaʻiga sili o le galuega a Reinhart ma Rogov.""Na aʻafia ai faiga faʻavae tau tamaoaiga a le tele o atunuʻu Europa ma faʻamalosia i latou e tulituliloa faiga faʻavae austerity, ae o le toe siakiina ma le faaeteete o faʻamaumauga ma a latou gaioiga i tausaga mulimuli ane na faʻaalia ai le faʻafeagai!
Soo se tekinolosi ML e iai lona lava taamilosaga o le olaga mai le faʻatinoga i le faʻatinoga. O le sini o le auala fou o le siakiina o mataupu faavae e tolu i laʻasaga taʻitasi o le olaga o le faʻataʻitaʻiga.
Aotelega:
- E tele ni poloketi o lo'o fa'atupuina e fesoasoani i le fa'ata'ita'iga ML ia fa'atuatuaina. O lenei, mo se faʻataʻitaʻiga, deeptune (soʻotaga i: );
- Mo le faʻalauteleina o le faʻaogaina o metotia, e manaʻomia le faʻaleleia atili o le lelei o faʻasalalauga i totonu o le ML;
- O a'oa'oga masini e mana'omia ta'ita'i e iai a'oa'oga fa'apitoa ma tomai fa'apitoa i matata fa'apitoa ma humanities.
"Fa'ata'ita'iga o Amio a Tagata ma le A'oa'oina o Masini: Avanoa ma Lu'itau" Nuria M Oliver, Albert Ali Salah
Aoaoga e fa'atatau i le fa'ata'ita'iina o amio a le tagata, ona fa'avae fa'atekonolosi ma fa'amoemoega fa'aoga.
E mafai ona vaevaeina le faʻataʻitaʻiga o amioga a tagata i:
- amio a le tagata lava ia
- amio a se vaega toalaiti o tagata
- amio tele
O nei ituaiga taʻitasi e mafai ona faʻataʻitaʻiina e faʻaaoga ai le ML, ae faʻatasi ai ma faʻamatalaga tuʻufaʻatasiga eseese ma foliga. O ituaiga taʻitasi e iai foʻi a latou lava mataupu faʻapitoa e faʻatautaia e poloketi taʻitasi:
- amio a le tagata lava ia – gaoi fa'asinomaga, fa'alilolilo;
- amio a vaega o tagata - de-anonymization, mauaina o faʻamatalaga e uiga i gaioiga, telefoni, ma isi;
Amioga ta'ito'atasi
O le tele lava e feso'ota'i ma le autu o le Computer Vision - iloa o lagona ma tali a tagata. Masalo na'o le fa'amatalaga, i le taimi, po'o le fua fa'atatau o lona lava fesuisuia'i o lagona. O le fa'ata'ita'iga o lo'o fa'aalia ai le fa'ailoaina o lagona o Mona Lisa i le fa'aaogaina o tala mai le fa'alagona o tama'ita'i Metitirani. I'uga: o se ataata o le fiafia, ae i le inoino ma le inoino. O le mafuaʻaga e foliga mai i le auala faʻapitoa o le faʻamalamalamaina o se lagona "neutral".
Amioga a se vaega toalaiti o tagata
E oʻo mai i le taimi nei o le faʻataʻitaʻiga sili ona leaga ona o le le lava o faʻamatalaga. Mo se faʻataʻitaʻiga, o galuega mai le 2018 - 2019 na faʻaalia. i luga o le tele o tagata X taseni o vitio (cf. 100k++ faʻamaumauga ata). Ina ia sili ona faʻataʻitaʻia lenei galuega, e manaʻomia faʻamatalaga multimodal, sili mai masini i luga o le tino-altimeter, thermometer, microphone recording, etc.
Amio tele
Le nofoaga sili ona atinaʻe, talu ai o le tagata faʻatau o le UN ma le tele o setete. O mea pu'eata mata'ituina i fafo, fa'amatalaga mai olo telefoni - pili, SMS, telefoni, fa'amatalaga i le va o tuaoi o le setete - o nei mea uma e maua ai se ata fa'atuatuaina o le fegasoloa'i o tagata ma fa'aletonu agafesootai. Fa'aoga talafeagai o le tekonolosi: fa'asilisiliina o galuega lavea'i, fesoasoani ma le fa'asa'olotoina o tagata i taimi o fa'alavelave fa'afuase'i. O fa'ata'ita'iga o lo'o fa'aaogaina e tele lava ina le lelei ona fa'amatalaina - o LSTM eseese ma feso'ota'iga feso'ota'iga. Sa i ai se faʻamatalaga puupuu e faʻapea o le UN o loʻo faʻamalosi mo se tulafono fou e faʻamalosia ai pisinisi a Europa e faʻasoa faʻamatalaga e le o taʻua igoa e manaʻomia mo soʻo se suʻesuʻega.
"Mai le System 1 i le System 2 Deep Learning", Yoshua Bengio
I le lauga a Joshua Bengio, o aʻoaʻoga loloto e fetaui ma le neuroscience i le tulaga o le setiina o sini.
Ua faailoa mai e Bengio ituaiga autu e lua o faafitauli e tusa ai ma le metotia a le Nobel laureate Daniel Kahneman (tusi "")
ituaiga 1 - Faiga 1, gaioiga le iloa tatou te faia "otometi" (fai'ai anamua): ave se taavale i nofoaga masani, savali, iloa foliga.
ituaiga 2 - Faiga 2, gaioiga faʻapitoa (cerebral cortex), faʻatulagaina o sini, auʻiliʻiliga, mafaufauga, galuega tuʻufaʻatasia.
AI ua oʻo i le taimi nei na lava le maualuga i galuega o le ituaiga muamua, ae o la tatou galuega o le aumaia lea i le lona lua, aʻoaʻo atu e faʻatino galuega faʻapitoa ma faʻaogaina ma le faʻaogaina ma le maualuga o le mafaufau.
Ina ia ausia lenei sini ua fautuaina:
- i galuega a le NLP, faʻaaoga le gauai e fai ma auala autu mo le faʻataʻitaʻiina o mafaufauga
- fa'aoga meta-a'oa'oga ma fa'ata'ita'iga a'oa'oga ina ia fa'ata'ita'i lelei fa'atusa e fa'aaafia ai le malamalama ma lo latou fa'alotoifale - ma fa'atatau i le fa'agaoioiga i mataupu maualuluga.
Nai lo o se fa'ai'uga, o se lauga vala'aulia lenei: Bengio o se tasi o le tele o saienitisi o lo'o taumafai e fa'alautele le fanua o le ML i tua atu o fa'afitauli fa'apitoa, SOTA ma fausaga fou.
O loʻo tumau pea le fesili pe o le a le tele o le tuʻufaʻatasia o faʻafitauli o le malamalama, o le aʻafiaga o le gagana i mafaufauga, neurobiology ma algorithms o le mea lea o loʻo faʻatali mo i tatou i le lumanaʻi ma o le a mafai ai ona tatou siitia atu i masini e "mafaufau" pei o tagata.
Faafetai lava!
puna: www.habr.com