NeuroIPS () hè a più grande cunferenza di u mondu nantu à l'apprendimentu automaticu è l'intelligenza artificiale è l'avvenimentu principale in u mondu di l'apprendimentu prufondu.
Avemu, ingegneri DS, ancu maestru di biologia, linguistica è psiculugia in a nova dicada ? Vi diceremu in a nostra recensione.
Quist'annu a cunferenza hà riunitu più di 13500 persone da 80 paesi in Vancouver, Canada. Questu ùn hè micca u primu annu chì Sberbank hà rapprisintatu a Russia in a cunferenza - a squadra DS hà parlatu di l'implementazione di ML in i prucessi bancari, di a cumpetizione ML è di e capacità di a piattaforma Sberbank DS. Chì eranu i tendenzi principali di 2019 in a cumunità ML? I participanti di a cunferenza dicenu: и .
Quist'annu, NeurIPS hà accettatu più di 1400 documenti - algoritmi, novi mudelli è novi applicazioni à novi dati.
Contenuti:
- Tendenze
-
- Interpretabilità di u mudellu
- Multidisciplinarità
- U ragiunamentu
- RL
- GAN
- Discussioni basiche invitate
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Scienza di Dati Veridica", Bin Yu (Berkeley)
- "Modelizazione di u Cumportamentu Umanu cù Machine Learning: Opportunità è Sfide", Nuria M Oliver, Albert Ali Salah
- "Da u Sistema 1 à u Sistema 2 Deep Learning", Yoshua Bengio
Tendenze 2019
1. Interpretabilità di mudelli è nova metodulugia ML
U tema principale di a cunferenza hè l'interpretazione è l'evidenza di perchè avemu un certu risultati. Si pò parlà per un bellu pezzu di l'impurtanza filusòfica di l'interpretazione di a "scatola negra", ma ci era più metudi veri è sviluppi tecnichi in questa zona.
A metodulugia per riplicà mudelli è estrae a cunniscenza da elli hè un novu toolkit per a scienza. I mudelli ponu serve com'è strumentu per ottene una nova cunniscenza è pruvà, è ogni tappa di preprocessing, furmazione è applicazione di u mudellu deve esse riproducibile.
Una proporzione significativa di publicazioni sò dedicate micca à a custruzzione di mudelli è arnesi, ma à i prublemi di assicurà a sicurità, a trasparenza è a verificabilità di i risultati. In particulare, un flussu separatu hè apparsu nantu à attacchi à u mudellu (attacchi avversarii), è l'opzioni per l'attacchi à a furmazione è l'attacchi à l'applicazione sò cunsiderate.
Articuli:
- - un articulu programmaticu nantu à a metodulugia di a verificazione di mudelli. Include una panoramica di l'arnesi muderni per l'interpretazione di mudelli, in particulare, l'usu di l'attenzione è l'ottenimentu di l'impurtanza di e funzioni "distillandu" a rete neurale cù mudelli lineari.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net mostra l'interpretazione di mudelli per i travaglii di trasfurmazioni di testu
2. Multidisciplinarità
Per assicurà una verificazione affidabile è sviluppà meccanismi per a verificazione è l'espansione di a cunniscenza, avemu bisognu di specialisti in campi cunnessi chì anu simultaneamente cumpetenze in ML è in u sughjettu (medicina, linguistica, neurobiologia, educazione, etc.). Hè soprattuttu da nutà a prisenza più significativa di l'opere è i discorsi in neurosciences è scienze cognitive - ci hè un avvicinamentu di specialisti è u prestitu di idee.
In più di stu avvicinamentu, a multidisciplinarità nasce in u trattamentu cumunu di l'infurmazioni da diverse fonti : testu è ritratti, testu è ghjochi, basa di dati gràfiche + testu è ritratti.
Articuli:
- Neuroscienze + ML -
- VisualQA -
- RL + NLP -
Dui mudelli - stratega è esecutivu - basati nantu à RL è NLP ghjucanu strategia in linea
3. Ragiunamentu
U rinfurzà l'intelligenza artificiale hè un muvimentu versu i sistemi d'auto-apprendimentu, "cuscienti", ragiunamentu è ragiunamentu. In particulare, l'inferenza causale è u ragiunamentu di u sensu cumunu si sviluppanu. Certi di i rapporti sò dedicati à meta-learning (circa cumu amparà à amparà) è a cumminazzioni di tecnulugii DL cù a logica di u 1u è u 2u ordine - u terminu Artificial General Intelligence (AGI) hè diventatu un termu cumuni in i discorsi di i parlanti.
Articuli:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
A maiò parte di u travagliu cuntinueghja à sviluppà zoni tradiziunali di RL - DOTA2, Starcraft, cumminendu architetture cù visione di computer, NLP, basa di dati di graficu.
Un ghjornu separatu di a cunferenza hè stata dedicata à un attellu RL, in u quale l'architettura di u Mudellu Criticu di l'Attore Optimistist hè stata presentata, superiore à tutti i precedenti, in particulare Soft Actor Critic.
Articuli:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Reti Preferite); Takahiro Ishikawa (L'Università di Tokyo) [link pdf esternu].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Università di Toronto); Mohammad Norouzi (Google Brain)
I ghjucatori di StarCraft cumbattenu u mudellu Alphastar (DeepMind)
5.GAN
E rete generative sò sempre in u focu: assai travaglii utilizanu GAN di vaniglia per a prova matematica, è ancu l'applicà in modi novi è inusual (mudelli generativi di graficu, travagliendu cù serie, appiecazione à e relazioni causa-effetti in dati, etc.).
Articuli:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Perchè più travagliu hè statu accettatu Sottu parleremu di i discorsi più impurtanti.
Discorsi invitati
"Social Intelligence", Blaise Aguera y Arcas (Google)
A discussione si cuncentra nantu à a metodulugia generale di l'apprendimentu di a macchina è e prospettive chì cambianu l'industria avà - chì crucivia ci facemu? Cumu u travagliu di u cervellu è di l'evoluzione, è perchè facemu cusì pocu usu di ciò chì sapemu di u sviluppu di i sistemi naturali?
U sviluppu industriale di ML coincide largamente cù i tappe di u sviluppu di Google, chì publica a so ricerca annantu à NeurIPS annu dopu annu:
- 1997 - lanciamentu di facilità di ricerca, primi servitori, putenza di calculu chjucu
- 2010 - Jeff Dean lancia u prughjettu Google Brain, u boom di e rete neurali à u principiu.
- 2015 - implementazione industriale di e rete neurali, ricunniscenza facciale veloce direttamente nantu à un dispositivu lucale, processori di livellu bassu adattati per l'informatica tensor - TPU. Google lancia Coral ai - un analogu di raspberry pi, un mini-computer per l'introduzione di rete neurali in installazioni sperimentali
- 2017 - Google principia à sviluppà una furmazione decentralizata è cumminendu i risultati di a furmazione di rete neurale da diversi dispositi in un mudellu - in Android
Oghje, una industria intera hè dedicata à a sicurità di dati, l'aggregazione è a replicazione di i risultati di l'apprendimentu nantu à i dispositi lucali.
- una direzzione di ML in quale i mudelli individuali amparanu indipindentamente l'un l'altru è sò poi cumminati in un mudellu unicu (senza centralizà e dati fonte), aghjustatu per avvenimenti rari, anomalie, persunalizazione, etc. Tutti i dispositi Android sò essenzialmente un unicu supercomputer per Google.
I mudelli generativi basati nantu à l'apprendimentu federatu sò una direzzione futura promettente secondu Google, chì hè "in i primi stadi di crescita esponenziale". I GAN, secondu u lecturer, sò capaci di amparà à ripruduce u cumpurtamentu di massa di pupulazioni di l'organisimi viventi è l'algoritmi di pensamentu.
Aduprendu l'esempiu di duie architetture GAN simplici, hè dimustratu chì in elli a ricerca di una strada d'ottimisazione vaga in un cercolu, chì significa chì l'ottimisazione cum'è tali ùn si trova micca. À u listessu tempu, sti mudelli sò assai riesciuti à simule l'esperimenti chì i biuloghi facenu nantu à pupulazioni bacteriale, furzendu à amparà novi strategie di cumportamentu in cerca di l'alimentariu. Pudemu cuncludi chì a vita travaglia diversamente da a funzione di ottimisazione.
Walking GAN Optimization
Tuttu ciò chì facemu in u quadru di l'apprendimentu di a machina avà sò compiti stretti è estremamente formalizzati, mentre chì questi formalismi ùn si generalizanu micca bè è ùn currispondenu micca à a nostra cunniscenza di u sughjettu in settori cum'è a neurofisiologia è a biologia.
Ciò chì vale veramente a pena di prestitu da u campu di a neurofisiologia in un futuru vicinu hè l'architettura di neurone novi è una ligera rivisione di i miccanismi di retropropagazione di l'errori.
U cervellu umanu stessu ùn impara micca cum'è una rete neurale:
- Ùn hà micca inputs primari aleatorii, cumpresi quelli stabiliti attraversu i sensi è in a zitiddina
- Hà direzzione inherente di u sviluppu istintivu (u desideriu d'amparà a lingua da un zitellu, camminendu drittu)
A furmazione di un cervellu individuale hè un compitu di livellu bassu; forse duvemu cunsiderà "colonie" di individui chì cambianu rapidamente chì trasmettenu a cunniscenza à l'altri per riproduce i miccanismi di l'evoluzione di u gruppu.
Ciò chì pudemu aduttà in l'algoritmi ML avà:
- Applicà mudelli di linea di cellula chì assicuranu l'apprendimentu di a pupulazione, ma a vita corta di l'individuu ("cervellu individuale")
- Apprendimentu pocu spartu cù un picculu numeru di esempi
- Strutture neurone più cumplesse, funzioni di attivazione ligeramente diverse
- Trasferendu u "genoma" à e prossime generazioni - algoritmu di backpropagation
- Una volta cunnetta a neurofisiologia è e rete neurali, ampararemu cumu custruisce un cervellu multifunzionale da parechji cumpunenti.
Da questu puntu di vista, a pratica di suluzioni SOTA hè preghjudiziu è deve esse riveduta per u sviluppu di e cumpetenze cumuni (benchmarks).
"Scienza di Dati Veridica", Bin Yu (Berkeley)
U rapportu hè cunsacratu à u prublema di l'interpretazione di mudelli di machine learning è a metodulugia per a so prova diretta è verificazione. Ogni mudellu ML furmatu pò esse percepitu cum'è una fonte di cunniscenza chì deve esse estratta da ellu.
In parechji spazii, in particulare in a medicina, l'usu di un mudellu hè impussibile senza estrazione di sta cunniscenza oculata è interpretà i risultati di u mudellu - altrimenti ùn seremu micca sicuri chì i risultati seranu stabile, micca aleatoriu, affidabile, è ùn uccideranu micca i risultati. paziente. Una direzzione sana di a metodulugia di u travagliu si sviluppa in u paradigma di l'apprendimentu profondu è va oltre i so cunfini - scienza di dati veridica. Chì ghjè ?
Vulemu ottene una tale qualità di publicazioni scientifiche è riproducibilità di mudelli chì sò:
- prevedibile
- computable
- stabile
Questi trè principii formanu a basa di a nova metodulugia. Cumu ponu esse verificati i mudelli ML contr'à questi criteri? A manera più faciule hè di custruisce mudelli immediatamente interpretabili (regressioni, arburi di decisione). Tuttavia, vulemu ancu uttene i benefici immediati di l'apprendimentu prufondu.
Diversi modi esistenti per travaglià cù u prublema:
- interpretà u mudellu;
- aduprà metudi basati nantu à l'attenzione;
- aduprate inseme di algoritmi quandu a furmazione, è assicuratevi chì i mudelli interpretabili lineari amparanu à predichendu e stesse risposte cum'è a rete neurale, interpretendu caratteristiche da u mudellu lineale;
- cambià è aumentà i dati di furmazione. Questu include l'aghjunzione di u rumore, l'interferenza è l'aumentu di dati;
- qualsiasi metudi chì aiutanu à assicurà chì i risultati di u mudellu ùn sò micca aleatorii è ùn dependenu micca di interferenze minori indesiderate (attacchi avversarii);
- interpretà u mudellu dopu à u fattu, dopu a furmazione;
- studià i pesi di funziunalità in varii modi;
- studià e probabilità di tutte l'ipotesi, distribuzione di classi.
Attaccu avversariu
L'errore di mudeli sò costosi per tutti: un esempiu primu hè u travagliu di Reinhart è Rogov "." hà influenzatu e pulitiche ecunomiche di parechji paesi europei è i furzati à perseguite e pulitiche di austerità, ma un ricontrollu attentu di e dati è a so trasfurmazioni anni dopu hà dimustratu u risultatu oppostu!
Ogni tecnulugia ML hà u so propiu ciclu di vita da l'implementazione à l'implementazione. U scopu di a nova metodulugia hè di verificà trè principii basi in ogni stadiu di a vita di u mudellu.
Risultati:
- Parechji prughjetti sò sviluppati chì aiutanu à u mudellu ML à esse più affidabile. Questu hè, per esempiu, deeptune (ligame à: );
- Per più sviluppu di a metodulugia, hè necessariu di migliurà significativamente a qualità di publicazioni in u campu di ML;
- L'apprendimentu di a macchina hà bisognu di dirigenti cun furmazione multidisciplinare è sapè fà in i campi tecnichi è umanistici.
"Modelizazione di u Cumportamentu Umanu cù Machine Learning: Opportunità è Sfide" Nuria M Oliver, Albert Ali Salah
Conferenza dedicata à u mudellu di u cumpurtamentu umanu, i so fundamenti tecnologichi è e prospettive d'applicazione.
U mudellu di cumpurtamentu umanu pò esse divisu in:
- cumpurtamentu individuale
- cumpurtamentu di un picculu gruppu di pirsuni
- cumpurtamentu di massa
Ognunu di sti tippi pò esse modellatu cù ML, ma cù infurmazioni è caratteristiche di input completamente differenti. Ogni tipu hà ancu i so prublemi etichi chì ogni prughjettu passa:
- cumpurtamentu individuale - robba d'identità, deepfake;
- cumportamentu di gruppi di persone - de-anonimizazione, ottene infurmazione nantu à i muvimenti, telefonate, etc.;
cumpurtamentu individuale
A maiò parte di u tema di Computer Vision - ricunniscenza di l'emozioni è e reazzioni umani. Forsi solu in u cuntestu, in u tempu, o cù a scala relativa di a so propria variabilità di l'emozioni. A diapositiva mostra u ricunniscenza di l'emozioni di Mona Lisa utilizendu u cuntestu da u spettru emutivu di e donne mediterranee. Risultatu : un surrisu di gioia, ma cun disprezzu è disgustu. U mutivu hè più prubabile in u modu tecnicu di definisce una emozioni "neutrali".
Cumportamentu di un picculu gruppu di persone
Finu a ora, u peghju mudellu hè duvuta à una infurmazione insufficiente. Per esempiu, i travaglii da 2018 - 2019 sò stati mostrati. nantu à decine di persone X decine di video (cf. 100k++ datasets d'imaghjini). Per u megliu mudellu di stu compitu, hè necessariu infurmazione multimodale, preferibile da sensori nantu à un altimetru di corpu, termometru, registrazione di microfonu, etc.
Cumportamentu di massa
L'area più sviluppata, postu chì u cliente hè l'ONU è parechji stati. Camera di surviglianza esterna, dati da e torre telefoniche - fattura, SMS, chjama, dati nantu à u muvimentu trà e fruntiere statali - tuttu questu dà una stampa assai affidabile di u muvimentu di e persone è l'instabilità suciale. Applicazioni putenziali di a tecnulugia: ottimisazione di l'operazioni di salvezza, assistenza è evacuazione puntuale di a pupulazione durante l'emergenza. I mudelli utilizati sò principarmenti sempre mal interpretati - questi sò diversi LSTM è rete cunvoluzionale. Ci hè stata una breve rimarca chì l'ONU facia lobbying per una nova lege chì obligà l'imprese europee à sparte e dati anonimi necessarii per ogni ricerca.
"Da u Sistema 1 à u Sistema 2 Deep Learning", Yoshua Bengio
In a cunferenza di Joshua Bengio, l'apprendimentu prufondu scontra a neuroscienza à u livellu di u scopu.
Bengio identifica dui tippi principali di prublemi secondu a metodulugia di u premiu Nobel Daniel Kahneman (libru "")
tipu 1 - Sistema 1, azzione inconsciente chì facemu "in autumàticu" (cervellu anticu): guidà una vittura in lochi familiari, camminendu, ricunnosce e facce.
tipu 2 - Sistema 2, azzioni cuscenti (cortica cerebrale), stabilimentu di u scopu, analisi, pensamentu, compiti cumposti.
L'AI hà righjuntu finu à l'altitudine abbastanza solu in i travaglii di u primu tipu, mentre chì u nostru compitu hè di purtalla à u sicondu, insignendu à fà operazioni multidisciplinarii è operate cù logica è cumpetenze cognitive d'altu livellu.
Per ottene stu scopu hè prupostu:
- in i travaglii di NLP, utilizate l'attenzione cum'è un mecanismu chjave per u pensamentu di mudellu
- aduprà meta-learning è rapprisintazzioni apprendimentu à megliu mudellu funziunalità chì influenza a cuscenza è a so localizazione - è nantu à a so basa passà à upirari cu cuncetti di livellu supiriuri.
Invece di una cunclusione, eccu una conversazione invitata: Bengio hè unu di parechji scientisti chì cercanu di espansione u campu di ML oltre i prublemi di ottimisazione, SOTA è novi architetture.
A quistione resta aperta in quantu a cumminazzioni di prublemi di a cuscenza, l'influenza di a lingua nantu à u pensamentu, a neurobiologia è l'algoritmi hè ciò chì ci aspetta in u futuru è ci permetterà di passà à e macchine chì "pensanu" cum'è e persone.
Grazie!
Source: www.habr.com