NeuroIPS () è la più grande conferenza mondiale sull'apprendimento automatico e l'intelligenza artificiale e il principale evento nel mondo del deep learning.
Noi, ingegneri DS, padroneggeremo anche la biologia, la linguistica e la psicologia nel nuovo decennio? Ve lo diremo nella nostra recensione.
Quest'anno la conferenza ha riunito a Vancouver, in Canada, più di 13500 persone provenienti da 80 paesi. Questo non è il primo anno in cui Sberbank rappresenta la Russia alla conferenza: il team DS ha parlato dell'implementazione del ML nei processi bancari, della concorrenza ML e delle capacità della piattaforma Sberbank DS. Quali sono state le principali tendenze del 2019 nella comunità ML? I partecipanti alla conferenza dicono: и .
Quest’anno NeurIPS ha accettato più di 1400 articoli: algoritmi, nuovi modelli e nuove applicazioni a nuovi dati.
Contenuto:
- tendenze
-
- Interpretabilità del modello
- Multidisciplinarietà
- Ragionamento
- RL
- GAN
- Colloqui di base su invito
-
- “Intelligenza sociale”, Blaise Aguera y Arcas (Google)
- “Scienza dei dati veritieri”, Bin Yu (Berkeley)
- "Modellazione del comportamento umano con l'apprendimento automatico: opportunità e sfide", Nuria M Oliver, Albert Ali Salah
- “Dal sistema 1 al sistema 2 Deep Learning”, Yoshua Bengio
Tendenze 2019 dell'anno
1. Interpretabilità del modello e nuova metodologia ML
L'argomento principale della conferenza è l'interpretazione e la prova del perché otteniamo determinati risultati. Si potrebbe parlare a lungo dell'importanza filosofica dell'interpretazione della "scatola nera", ma in questo settore ci sono stati metodi e sviluppi tecnici più reali.
La metodologia per replicare modelli ed estrarne conoscenza è un nuovo strumento per la scienza. I modelli possono servire come strumento per ottenere nuova conoscenza e testarla, e ogni fase di preelaborazione, formazione e applicazione del modello deve essere riproducibile.
Una parte significativa delle pubblicazioni è dedicata non alla costruzione di modelli e strumenti, ma ai problemi di garantire la sicurezza, la trasparenza e la verificabilità dei risultati. In particolare, è apparso un flusso separato sugli attacchi al modello (attacchi avversari) e vengono prese in considerazione le opzioni sia per gli attacchi all'addestramento che per gli attacchi all'applicazione.
Articolo:
- — un articolo programmatico sulla metodologia di verifica del modello. Include una panoramica degli strumenti moderni per interpretare i modelli, in particolare, l'uso dell'attenzione e l'ottenimento dell'importanza delle caratteristiche “distillando” la rete neurale con modelli lineari.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edoardo Raf
ExBert.net mostra l'interpretazione del modello per le attività di elaborazione del testo
2. Multidisciplinarietà
Per garantire una verifica affidabile e sviluppare meccanismi per la verifica e l'espansione della conoscenza, abbiamo bisogno di specialisti in campi correlati che abbiano contemporaneamente competenze in ML e nell'area disciplinare (medicina, linguistica, neurobiologia, istruzione, ecc.). Vale soprattutto la pena notare la presenza più significativa di opere e discorsi nelle neuroscienze e nelle scienze cognitive: c'è un riavvicinamento di specialisti e il prestito di idee.
Oltre a questo riavvicinamento, sta emergendo la multidisciplinarietà nell'elaborazione congiunta di informazioni provenienti da varie fonti: testo e foto, testo e giochi, database grafici + testo e foto.
Articolo:
- Neuroscienze + ML —
- QA visivo -
- RL+PNL-
Due modelli - stratega ed esecutivo - basati su RL e PNL giocano alla strategia online
3. Ragionamento
Il rafforzamento dell’intelligenza artificiale è un movimento verso sistemi di autoapprendimento, “consapevoli”, ragionamento e ragionamento. In particolare, si stanno sviluppando l’inferenza causale e il ragionamento basato sul buon senso. Alcuni rapporti sono dedicati al meta-apprendimento (su come imparare ad apprendere) e alla combinazione delle tecnologie DL con la logica di 1° e 2° ordine: il termine Intelligenza Generale Artificiale (AGI) sta diventando un termine comune nei discorsi dei relatori.
Articolo:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Apprendimento per rinforzo
La maggior parte del lavoro continua a sviluppare aree tradizionali di RL - DOTA2, Starcraft, combinando architetture con visione artificiale, PNL, database grafici.
Una giornata separata della conferenza è stata dedicata a un workshop RL, in cui è stata presentata l'architettura del modello Optimistic Actor Critic, superiore a tutte le precedenti, in particolare al Soft Actor Critic.
Articolo:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Reti preferite); Takahiro Ishikawa (Università di Tokyo) [link pdf esterno].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Università di Toronto); Mohammad Norouzi (cervello di Google)
I giocatori di StarCraft combattono il modello Alphastar (DeepMind)
5.GAN
Le reti generative sono ancora sotto i riflettori: molti lavori utilizzano i GAN vanilla per dimostrazioni matematiche e li applicano anche in modi nuovi e insoliti (modelli generativi di grafici, lavoro con serie, applicazione alle relazioni causa-effetto nei dati, ecc.).
Articolo:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Poiché è stato accettato più lavoro Di seguito parleremo dei discorsi più importanti.
Discorsi su invito
“Intelligenza sociale”, Blaise Aguera y Arcas (Google)
L'intervento si concentra sulla metodologia generale del machine learning e sulle prospettive che stanno cambiando il settore in questo momento: quale bivio ci troviamo di fronte? Come funzionano il cervello e l’evoluzione, e perché utilizziamo così poco ciò che già sappiamo sullo sviluppo dei sistemi naturali?
Lo sviluppo industriale del ML coincide in gran parte con le tappe fondamentali dello sviluppo di Google, che anno dopo anno pubblica le sue ricerche su NeurIPS:
- 1997 – lancio delle funzionalità di ricerca, primi server, piccola potenza di calcolo
- 2010 – Jeff Dean lancia il progetto Google Brain, il boom delle reti neurali agli albori
- 2015 – implementazione industriale di reti neurali, riconoscimento facciale veloce direttamente su un dispositivo locale, processori di basso livello su misura per il calcolo tensore - TPU. Google lancia Coral ai, un analogo del raspberry pi, un mini-computer per introdurre reti neurali in installazioni sperimentali
- 2017 – Google inizia a sviluppare la formazione decentralizzata e a combinare i risultati della formazione della rete neurale da diversi dispositivi in un unico modello – su Android
Oggi, un intero settore è dedicato alla sicurezza dei dati, all’aggregazione e alla replica dei risultati dell’apprendimento sui dispositivi locali.
– una direzione di ML in cui i singoli modelli apprendono indipendentemente gli uni dagli altri e vengono poi combinati in un unico modello (senza centralizzare i dati di origine), adattato per eventi rari, anomalie, personalizzazione, ecc. Tutti i dispositivi Android sono essenzialmente un unico supercomputer informatico per Google.
I modelli generativi basati sull’apprendimento federato rappresentano una promettente direzione futura secondo Google, che è “nelle prime fasi di crescita esponenziale”. I GAN, secondo il docente, sono in grado di imparare a riprodurre il comportamento di massa delle popolazioni di organismi viventi e algoritmi di pensiero.
Utilizzando l'esempio di due semplici architetture GAN, è dimostrato che in esse la ricerca di un percorso di ottimizzazione vaga in cerchio, il che significa che l'ottimizzazione in quanto tale non avviene. Allo stesso tempo, questi modelli riescono a simulare con grande successo gli esperimenti che i biologi eseguono sulle popolazioni batteriche, costringendole ad apprendere nuove strategie comportamentali nella ricerca del cibo. Possiamo concludere che la vita funziona diversamente rispetto alla funzione di ottimizzazione.
Ottimizzazione GAN ambulante
Tutto ciò che facciamo nel quadro dell’apprendimento automatico ora sono compiti ristretti e altamente formalizzati, mentre questi formalismi non si generalizzano bene e non corrispondono alla nostra conoscenza della materia in aree come la neurofisiologia e la biologia.
Ciò che vale davvero la pena prendere in prestito dal campo della neurofisiologia nel prossimo futuro sono le nuove architetture neuronali e una leggera revisione dei meccanismi di retropropagazione degli errori.
Il cervello umano stesso non impara come una rete neurale:
- Non ha input primari casuali, compresi quelli fissati attraverso i sensi e durante l'infanzia
- Ha direzioni intrinseche di sviluppo istintivo (il desiderio di imparare la lingua fin da bambino, camminare in posizione eretta)
Allenare il cervello di un individuo è un compito di basso livello; forse dovremmo considerare “colonie” di individui in rapido cambiamento che si trasmettono conoscenze per riprodurre i meccanismi dell’evoluzione del gruppo.
Cosa possiamo adottare ora negli algoritmi ML:
- Applicare modelli di lignaggio cellulare che garantiscano l’apprendimento della popolazione, ma la breve vita dell’individuo (“cervello individuale”)
- Apprendimento in poche riprese utilizzando un numero limitato di esempi
- Strutture neuronali più complesse, funzioni di attivazione leggermente diverse
- Trasferimento del “genoma” alle generazioni successive: algoritmo di backpropagation
- Una volta collegate la neurofisiologia e le reti neurali, impareremo a costruire un cervello multifunzionale a partire da molti componenti.
Da questo punto di vista, la pratica delle soluzioni SOTA è dannosa e dovrebbe essere rivista al fine di sviluppare compiti comuni (benchmark).
“Scienza dei dati veritieri”, Bin Yu (Berkeley)
Il rapporto è dedicato al problema dell'interpretazione dei modelli di machine learning e alla metodologia per il loro test e verifica diretta. Qualsiasi modello ML addestrato può essere percepito come una fonte di conoscenza che deve essere estratta da esso.
In molti settori, soprattutto in medicina, l'uso di un modello è impossibile senza estrarre questa conoscenza nascosta e interpretare i risultati del modello, altrimenti non saremo sicuri che i risultati siano stabili, non casuali, affidabili e non uccidano il paziente. Un'intera direzione della metodologia di lavoro si sta sviluppando all'interno del paradigma del deep learning e va oltre i suoi confini: la scienza dei dati veritieri. Cos'è?
Vogliamo raggiungere una tale qualità delle pubblicazioni scientifiche e riproducibilità dei modelli che siano:
- prevedibile
- computabile
- stabile
Questi tre principi costituiscono la base della nuova metodologia. Come è possibile verificare i modelli ML rispetto a questi criteri? Il modo più semplice è costruire modelli immediatamente interpretabili (regressioni, alberi decisionali). Tuttavia, vogliamo anche ottenere i vantaggi immediati del deep learning.
Esistono diversi modi per risolvere il problema:
- interpretare il modello;
- utilizzare metodi basati sull'attenzione;
- utilizzare insiemi di algoritmi durante l'addestramento e garantire che i modelli interpretabili lineari imparino a prevedere le stesse risposte della rete neurale, interpretando le caratteristiche del modello lineare;
- modificare e aumentare i dati di addestramento. Ciò include l'aggiunta di rumore, interferenze e aumento dei dati;
- eventuali metodi che aiutano a garantire che i risultati del modello non siano casuali e non dipendano da interferenze minori indesiderate (attacchi avversari);
- interpretare il modello dopo il fatto, dopo la formazione;
- studiare i pesi delle caratteristiche in vari modi;
- studiare le probabilità di tutte le ipotesi, distribuzione delle classi.
Attacco contraddittorio
Gli errori di modellazione costano a tutti: un ottimo esempio è il lavoro di Reinhart e Rogov."" influenzò le politiche economiche di molti paesi europei e li costrinse a perseguire politiche di austerità, ma un attento ricontrollo dei dati e la loro elaborazione anni dopo mostrò il risultato opposto!
Qualsiasi tecnologia ML ha il proprio ciclo di vita, dall'implementazione all'implementazione. L’obiettivo della nuova metodologia è verificare tre principi base in ogni fase della vita del modello.
Risultati:
- Sono in fase di sviluppo diversi progetti che aiuteranno il modello ML a essere più affidabile. Questo è, ad esempio, deeptune (link a: );
- Per un ulteriore sviluppo della metodologia, è necessario migliorare significativamente la qualità delle pubblicazioni nel campo del machine learning;
- Il machine learning ha bisogno di leader con formazione multidisciplinare e competenze sia in campo tecnico che umanistico.
"Modellazione del comportamento umano con l'apprendimento automatico: opportunità e sfide" Nuria M Oliver, Albert Ali Salah
Lezione dedicata alla modellazione del comportamento umano, ai suoi fondamenti tecnologici e alle prospettive applicative.
I modelli del comportamento umano possono essere suddivisi in:
- comportamento individuale
- comportamento di un piccolo gruppo di persone
- comportamento di massa
Ciascuno di questi tipi può essere modellato utilizzando il machine learning, ma con informazioni e funzionalità di input completamente diverse. Ogni tipologia ha anche le proprie questioni etiche che ogni progetto attraversa:
- comportamento individuale – furto di identità, deepfake;
- comportamento di gruppi di persone - de-anonimizzazione, ottenimento di informazioni su spostamenti, telefonate, ecc.;
comportamento individuale
Principalmente legato al tema della visione artificiale: riconoscimento delle emozioni e delle reazioni umane. Forse solo nel contesto, nel tempo o con la scala relativa della sua variabilità di emozioni. La diapositiva mostra il riconoscimento delle emozioni di Monna Lisa utilizzando il contesto dello spettro emotivo delle donne mediterranee. Risultato: un sorriso di gioia, ma con disprezzo e disgusto. La ragione è molto probabilmente nel modo tecnico di definire un’emozione “neutra”.
Comportamento di un piccolo gruppo di persone
Finora il modello peggiore è dovuto a informazioni insufficienti. Ad esempio, sono state mostrate opere del periodo 2018-2019. su dozzine di persone X dozzine di video (cfr. set di dati di immagini 100k++). Per modellare al meglio questo compito, sono necessarie informazioni multimodali, preferibilmente provenienti da sensori su un altimetro corporeo, termometro, registrazione microfonica, ecc.
Comportamento di massa
L'area più sviluppata, poiché il cliente è l'ONU e molti stati. Telecamere di sorveglianza esterne, dati provenienti dalle torri telefoniche - fatturazione, SMS, chiamate, dati sui movimenti tra i confini statali - tutto ciò fornisce un quadro molto affidabile del movimento delle persone e delle instabilità sociali. Potenziali applicazioni della tecnologia: ottimizzazione delle operazioni di soccorso, assistenza ed evacuazione tempestiva della popolazione durante le emergenze. I modelli utilizzati sono per la maggior parte ancora scarsamente interpretati: si tratta di vari LSTM e reti convoluzionali. C'è stata una breve osservazione secondo cui le Nazioni Unite stavano facendo pressioni per una nuova legge che obbligherebbe le imprese europee a condividere i dati anonimizzati necessari per qualsiasi ricerca.
“Dal sistema 1 al sistema 2 Deep Learning”, Yoshua Bengio
Nella conferenza di Joshua Bengio, il deep learning incontra le neuroscienze a livello di definizione degli obiettivi.
Bengio individua due tipologie principali di problemi secondo la metodologia del premio Nobel Daniel Kahneman (libro “")
tipo 1 - Sistema 1, azioni inconsce che compiamo “automaticamente” (cervello antico): guidare un'auto in luoghi familiari, camminare, riconoscere i volti.
tipo 2 - Sistema 2, azioni coscienti (corteccia cerebrale), definizione degli obiettivi, analisi, pensiero, compiti compositi.
L’intelligenza artificiale ha finora raggiunto livelli sufficienti solo in compiti del primo tipo, mentre il nostro compito è portarla al secondo, insegnandole a compiere operazioni multidisciplinari e a operare con capacità logiche e cognitive di alto livello.
Per raggiungere questo obiettivo si propone:
- nei compiti di PNL, utilizzare l’attenzione come meccanismo chiave per modellare il pensiero
- utilizzare il meta-apprendimento e l'apprendimento della rappresentazione per modellare meglio le caratteristiche che influenzano la coscienza e la loro localizzazione - e su questa base passare a operare con concetti di livello superiore.
Invece di una conclusione, ecco un discorso su invito: Bengio è uno dei tanti scienziati che stanno cercando di espandere il campo del ML oltre i problemi di ottimizzazione, SOTA e nuove architetture.
Resta aperta la questione in che misura la combinazione di problemi di coscienza, influenza del linguaggio sul pensiero, neurobiologia e algoritmi è ciò che ci aspetta in futuro e ci permetterà di passare a macchine che “pensano” come le persone.
Grazie!
Fonte: habr.com