NeuroIPS () este cea mai mare conferință din lume despre învățarea automată și inteligența artificială și principalul eveniment din lumea învățării profunde.
Vom stăpâni și noi, inginerii DS, biologia, lingvistica și psihologia în noul deceniu? Vă vom spune în recenzia noastră.
Anul acesta, conferința a reunit peste 13500 de oameni din 80 de țări în Vancouver, Canada. Acesta nu este primul an în care Sberbank a reprezentat Rusia la conferință - echipa DS a vorbit despre implementarea ML în procesele bancare, despre competiția ML și despre capacitățile platformei Sberbank DS. Care au fost principalele tendințe ale anului 2019 în comunitatea ML? Participanții la conferință spun: и .
Anul acesta, NeurIPS a acceptat peste 1400 de lucrări - algoritmi, modele noi și aplicații noi pentru date noi.
Cuprins:
- tendințe
-
- Interpretabilitatea modelului
- Multidisciplinaritate
- Raţionament
- RL
- GAN
- Discuții de bază invitate
-
- „Inteligenta sociala”, Blaise Aguera y Arcas (Google)
- „Știința datelor veridice”, Bin Yu (Berkeley)
- „Modelarea comportamentului uman cu învățare automată: oportunități și provocări”, Nuria M Oliver, Albert Ali Salah
- „De la sistemul 1 la sistemul 2 Deep Learning”, Yoshua Bengio
Tendințe 2019
1. Interpretabilitatea modelului și noua metodologie ML
Tema principală a conferinței este interpretarea și dovezile de ce obținem anumite rezultate. Se poate vorbi mult timp despre importanța filozofică a interpretării „cutiei negre”, dar au existat mai multe metode reale și dezvoltări tehnice în acest domeniu.
Metodologia pentru replicarea modelelor și extragerea cunoștințelor din acestea este un nou set de instrumente pentru știință. Modelele pot servi ca instrument pentru obținerea de noi cunoștințe și testarea acestora, iar fiecare etapă de preprocesare, pregătire și aplicare a modelului trebuie să fie reproductibilă.
O parte semnificativă a publicațiilor sunt dedicate nu construcției de modele și instrumente, ci problemelor de asigurare a securității, transparenței și verificabilității rezultatelor. În special, a apărut un flux separat despre atacurile asupra modelului (atacuri adversare) și sunt luate în considerare opțiuni atât pentru atacuri la antrenament, cât și pentru atacuri la aplicație.
Articole:
- — un articol programatic despre metodologia verificării modelului. Include o privire de ansamblu asupra instrumentelor moderne de interpretare a modelelor, în special, utilizarea atenției și obținerea importanței caracteristicilor prin „distilarea” rețelei neuronale cu modele liniare.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net arată interpretarea modelului pentru sarcinile de procesare a textului
2. Multidisciplinaritate
Pentru a asigura o verificare fiabilă și pentru a dezvolta mecanisme de verificare și extindere a cunoștințelor, avem nevoie de specialiști în domenii conexe care să aibă simultan competențe în ML și în domeniul disciplinei (medicină, lingvistică, neurobiologie, educație etc.). Este de remarcat mai ales prezența mai semnificativă a lucrărilor și discursurilor în neuroștiințe și științe cognitive - există o apropiere a specialiștilor și împrumutul de idei.
Pe lângă această apropiere, se conturează și multidisciplinaritatea în prelucrarea în comun a informațiilor din diverse surse: text și fotografii, text și jocuri, baze de date grafice + text și fotografii.
Articole:
- Neuroscience + ML —
- VisualQA -
- RL + NLP -
Două modele - strateg și executiv - bazate pe RL și NLP joacă strategie online
3. Raționament
Întărirea inteligenței artificiale este o mișcare către sisteme de autoînvățare, „conștiente”, raționament și raționament. În special, se dezvoltă inferența cauzală și raționamentul de bun simț. Unele dintre rapoarte sunt dedicate meta-learning (despre cum să înveți să înveți) și combinarea tehnologiilor DL cu logica de ordinul 1 și 2 - termenul de Inteligență generală artificială (AGI) devine un termen comun în discursurile vorbitorilor.
Articole:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Învățare prin întărire
Majoritatea lucrărilor continuă să dezvolte domenii tradiționale ale RL - DOTA2, Starcraft, combinând arhitecturi cu viziune computerizată, NLP, baze de date grafice.
O zi separată a conferinței a fost dedicată unui workshop RL, în cadrul căruia a fost prezentată arhitectura Optimistic Actor Critic Model, superioară tuturor celor anterioare, în special Soft Actor Critic.
Articole:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Rețele preferate); Takahiro Ishikawa (Universitatea din Tokyo) [link pdf extern].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitatea din Toronto); Mohammad Norouzi (Google Brain)
Jucătorii StarCraft se luptă cu modelul Alphastar (DeepMind)
5.GAN
Rețelele generative sunt încă în centrul atenției: multe lucrări folosesc GAN-uri vanilie pentru demonstrații matematice și, de asemenea, le aplică în moduri noi, neobișnuite (modele generative grafice, lucrul cu serii, aplicarea la relații cauza-efect în date etc.).
Articole:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Din moment ce s-a acceptat mai multă muncă Mai jos vom vorbi despre cele mai importante discursuri.
Discuții invitate
„Inteligenta sociala”, Blaise Aguera y Arcas (Google)
Discuția se concentrează pe metodologia generală a învățării automate și pe perspectivele de schimbare a industriei în acest moment - cu ce răscruce ne confruntăm? Cum funcționează creierul și evoluția și de ce folosim atât de puțin ceea ce știm deja despre dezvoltarea sistemelor naturale?
Dezvoltarea industrială a ML coincide în mare măsură cu reperele dezvoltării Google, care își publică cercetările despre NeurIPS an de an:
- 1997 – lansarea facilităților de căutare, primele servere, putere de calcul mică
- 2010 – Jeff Dean lansează proiectul Google Brain, boom-ul rețelelor neuronale la început
- 2015 – implementare industrială a rețelelor neuronale, recunoaștere rapidă a feței direct pe un dispozitiv local, procesoare de nivel scăzut adaptate pentru tensor computing - TPU. Google lansează Coral ai - un analog al raspberry pi, un mini-computer pentru introducerea rețelelor neuronale în instalațiile experimentale
- 2017 – Google începe să dezvolte formarea descentralizată și să combine rezultatele antrenamentului rețelei neuronale de la diferite dispozitive într-un singur model – pe Android
Astăzi, o întreagă industrie este dedicată securității datelor, agregării și replicării rezultatelor învățării pe dispozitive locale.
– o direcție a ML în care modelele individuale învață independent unele de altele și apoi sunt combinate într-un singur model (fără a centraliza datele sursă), ajustat pentru evenimente rare, anomalii, personalizare etc. Toate dispozitivele Android sunt în esență un singur supercomputer de calcul pentru Google.
Modelele generative bazate pe învățarea federată reprezintă o direcție viitoare promițătoare, potrivit Google, care se află „în stadiile incipiente ale creșterii exponențiale”. Potrivit lectorului, GAN-urile sunt capabile să învețe să reproducă comportamentul în masă al populațiilor de organisme vii și algoritmii de gândire.
Folosind exemplul a două arhitecturi GAN simple, se arată că în ele căutarea unei căi de optimizare rătăcește în cerc, ceea ce înseamnă că optimizarea ca atare nu are loc. În același timp, aceste modele au mare succes în a simula experimentele pe care biologii le efectuează asupra populațiilor bacteriene, obligându-le să învețe noi strategii comportamentale în căutarea hranei. Putem concluziona că viața funcționează diferit decât funcția de optimizare.
Optimizare GAN pe jos
Tot ceea ce facem acum în cadrul învățării automate sunt sarcini înguste și extrem de formalizate, în timp ce aceste formalisme nu se generalizează bine și nu corespund cunoștințelor noastre în domenii precum neurofiziologia și biologia.
Ceea ce merită cu adevărat împrumutat din domeniul neurofiziologiei în viitorul apropiat sunt noi arhitecturi neuronale și o ușoară revizuire a mecanismelor de retropropagare a erorilor.
Creierul uman în sine nu învață ca o rețea neuronală:
- El nu are intrări primare aleatorii, inclusiv cele stabilite prin simțuri și în copilărie
- Are direcții inerente de dezvoltare instinctivă (dorința de a învăța limba de la un copil, mersul drept)
Antrenarea unui creier individual este o sarcină de nivel scăzut, poate că ar trebui să luăm în considerare „coloniile” de indivizi în schimbare rapidă care își transmit cunoștințele unii altora pentru a reproduce mecanismele evoluției grupului.
Ce putem adopta acum în algoritmii ML:
- Aplicați modele de descendență celulară care asigură învățarea populației, dar viața scurtă a individului („creierul individual”)
- Învățare în scurt timp folosind un număr mic de exemple
- Structuri neuronale mai complexe, funcții de activare ușor diferite
- Transferarea „genomului” la generațiile următoare - algoritm de backpropagation
- Odată ce vom conecta neurofiziologia și rețelele neuronale, vom învăța să construim un creier multifuncțional din multe componente.
Din acest punct de vedere, practica soluțiilor SOTA este dăunătoare și ar trebui revizuită de dragul dezvoltării sarcinilor comune (benchmarks).
„Știința datelor veridice”, Bin Yu (Berkeley)
Raportul este dedicat problemei interpretării modelelor de învățare automată și metodologiei de testare și verificare directă a acestora. Orice model ML antrenat poate fi perceput ca o sursă de cunoștințe care trebuie extrasă din acesta.
În multe domenii, în special în medicină, utilizarea unui model este imposibilă fără a extrage aceste cunoștințe ascunse și a interpreta rezultatele modelului - altfel nu vom fi siguri că rezultatele vor fi stabile, nealeatoare, de încredere și nu vor ucide rabdator. O întreagă direcție a metodologiei de lucru se dezvoltă în cadrul paradigmei de învățare profundă și depășește granițele acesteia - știința datelor veridice. Ce este?
Dorim să obținem o asemenea calitate a publicațiilor științifice și reproductibilitatea modelelor încât acestea să fie:
- previzibil
- calculabil
- grajd
Aceste trei principii formează baza noii metodologii. Cum pot fi verificate modelele ML în raport cu aceste criterii? Cea mai simplă modalitate este de a construi modele imediat interpretabile (regresii, arbori de decizie). Cu toate acestea, dorim și să obținem beneficiile imediate ale învățării profunde.
Mai multe moduri existente de a rezolva problema:
- interpreta modelul;
- utilizați metode bazate pe atenție;
- folosiți ansambluri de algoritmi în timpul antrenamentului și asigurați-vă că modelele liniare interpretabile învață să prezică aceleași răspunsuri ca și rețeaua neuronală, interpretând caracteristicile din modelul liniar;
- modificați și măriți datele de antrenament. Aceasta include adăugarea de zgomot, interferență și creșterea datelor;
- orice metodă care ajută la asigurarea faptului că rezultatele modelului nu sunt aleatorii și nu depind de interferențe minore nedorite (atacuri adversare);
- interpreta modelul după fapt, după antrenament;
- studiați greutățile caracteristicilor în diferite moduri;
- studiați probabilitățile tuturor ipotezelor, distribuția claselor.
Atacul adversar
Erorile de modelare sunt costisitoare pentru toată lumea: un prim exemplu este munca lui Reinhart și Rogov.”„ a influențat politicile economice ale multor țări europene și le-a forțat să urmeze politici de austeritate, dar o re-verificare atentă a datelor și procesarea lor ani mai târziu a arătat rezultatul opus!
Orice tehnologie ML are propriul ciclu de viață de la implementare la implementare. Scopul noii metodologii este de a verifica trei principii de bază în fiecare etapă a vieții modelului.
Rezultate:
- Sunt în curs de dezvoltare mai multe proiecte care vor ajuta modelul ML să fie mai fiabil. Acesta este, de exemplu, deeptune (link către: );
- Pentru dezvoltarea ulterioară a metodologiei, este necesară îmbunătățirea semnificativă a calității publicațiilor din domeniul ML;
- Învățarea automată are nevoie de lideri cu pregătire și experiență multidisciplinară atât în domeniul tehnic, cât și al celui umanist.
„Modelarea comportamentului uman cu învățare automată: oportunități și provocări” Nuria M Oliver, Albert Ali Salah
Prelegere dedicată modelării comportamentului uman, fundamentelor sale tehnologice și perspectivelor de aplicare.
Modelarea comportamentului uman poate fi împărțită în:
- comportamentul individual
- comportamentul unui grup mic de oameni
- comportamentul de masă
Fiecare dintre aceste tipuri poate fi modelat folosind ML, dar cu informații de intrare și caracteristici complet diferite. Fiecare tip are, de asemenea, propriile sale probleme etice prin care trece fiecare proiect:
- comportament individual – furt de identitate, deepfake;
- comportamentul grupurilor de persoane - dezanonimizarea, obținerea de informații despre mișcări, apeluri telefonice etc.;
comportamentul individual
În mare parte legate de subiectul Computer Vision - recunoașterea emoțiilor și reacțiilor umane. Poate doar în context, în timp sau cu scara relativă a propriei variații a emoțiilor. Slide-ul arată recunoașterea emoțiilor Mona Lisei folosind context din spectrul emoțional al femeilor mediteraneene. Rezultat: un zâmbet de bucurie, dar cu dispreț și dezgust. Motivul este cel mai probabil în modul tehnic de definire a unei emoții „neutre”.
Comportamentul unui grup mic de oameni
Până acum cel mai prost model se datorează informațiilor insuficiente. Ca exemplu, au fost prezentate lucrări din 2018 – 2019. pe zeci de persoane X zeci de videoclipuri (cf. seturi de date de imagini de 100k++). Pentru a modela cel mai bine această sarcină, sunt necesare informații multimodale, de preferință de la senzori de pe un corp-altimetru, termometru, înregistrare cu microfon etc.
Comportamentul în masă
Zona cea mai dezvoltată, deoarece clientul este ONU și multe state. Camerele de supraveghere exterioare, datele din turnurile de telefonie - facturare, SMS-uri, apeluri, date despre circulația între frontierele de stat - toate acestea oferă o imagine foarte fiabilă a mișcării oamenilor și a instabilităților sociale. Aplicații potențiale ale tehnologiei: optimizarea operațiunilor de salvare, asistență și evacuare la timp a populației în situații de urgență. Modelele utilizate sunt, în principal, încă prost interpretate - acestea sunt diverse LSTM-uri și rețele convoluționale. A existat o scurtă remarcă că ONU făcea lobby pentru o nouă lege care să oblige întreprinderile europene să partajeze date anonime necesare oricărei cercetări.
„De la sistemul 1 la sistemul 2 Deep Learning”, Yoshua Bengio
În prelegerea lui Joshua Bengio, învățarea profundă întâlnește neuroștiința la nivelul stabilirii obiectivelor.
Bengio identifică două tipuri principale de probleme conform metodologiei laureatului Nobel Daniel Kahneman (cartea „")
tip 1 - Sistemul 1, acțiuni inconștiente pe care le facem „automat” (creierul antic): conducerea unei mașini în locuri familiare, mersul pe jos, recunoașterea fețelor.
tip 2 - Sistemul 2, acțiuni conștiente (cortexul cerebral), stabilirea scopurilor, analiză, gândire, sarcini compuse.
AI a atins până acum înălțimi suficiente doar în sarcini de primul tip, în timp ce sarcina noastră este să o aducem la al doilea, învățându-l să efectueze operații multidisciplinare și să opereze cu logică și abilități cognitive de nivel înalt.
Pentru atingerea acestui scop se propune:
- în sarcinile NLP, folosiți atenția ca mecanism cheie pentru modelarea gândirii
- utilizați meta-învățarea și învățarea reprezentării pentru a modela mai bine caracteristicile care influențează conștiința și localizarea lor - și, pe baza lor, treceți la operarea cu concepte de nivel superior.
În loc de o concluzie, iată o discuție invitată: Bengio este unul dintre mulți oameni de știință care încearcă să extindă domeniul ML dincolo de problemele de optimizare, SOTA și noile arhitecturi.
Întrebarea rămâne deschisă în ce măsură combinația de probleme ale conștiinței, influența limbajului asupra gândirii, neurobiologiei și algoritmilor este ceea ce ne așteaptă în viitor și ne va permite să trecem la mașini care „gândesc” ca oamenii.
Vă mulțumim!
Sursa: www.habr.com