NeuroIPS () on maailman suurin koneoppimista ja tekoälyä käsittelevä konferenssi ja päätapahtuma syväoppimisen maailmassa.
Hallitsemmeko me, DS-insinöörit, myös biologian, kielitieteen ja psykologian uudella vuosikymmenellä? Kerromme sinulle arvostelussamme.
Tänä vuonna konferenssi kokosi yli 13500 80 ihmistä 2019 maasta Vancouveriin, Kanadaan. Tämä ei ole ensimmäinen vuosi, jolloin Sberbank edustaa Venäjää konferenssissa - DS-tiimi puhui ML:n käyttöönotosta pankkiprosesseissa, ML-kilpailusta ja Sberbank DS -alustan ominaisuuksista. Mitkä olivat vuoden XNUMX päätrendit ML-yhteisössä? Konferenssin osallistujat sanovat: и .
Tänä vuonna NeurIPS hyväksyi yli 1400 XNUMX paperia – algoritmeja, uusia malleja ja uusia sovelluksia uuteen tietoon.
Sisältö:
- suuntaukset
-
- Mallin tulkintakyky
- Monitieteisyys
- perustelut
- RL
- GAN
- Kutsutut peruskeskustelut
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Ihmiskäyttäytymisen mallinnus koneoppimisen avulla: mahdollisuudet ja haasteet", Nuria M Oliver, Albert Ali Salah
- "From System 1 to System 2 Deep Learning", Yoshua Bengio
Vuoden 2019 trendit
1. Mallin tulkittavuus ja uusi ML-metodologia
Konferenssin pääaiheena on tulkinta ja todiste siitä, miksi saamme tiettyjä tuloksia. "Mustan laatikon" tulkinnan filosofisesta merkityksestä voidaan puhua pitkään, mutta tällä alueella oli enemmän todellisia menetelmiä ja teknistä kehitystä.
Mallien kopioimisen ja niistä tiedon poimimisen menetelmä on uusi tieteen työkalupakki. Mallit voivat toimia työkaluna uuden tiedon hankkimiseen ja testaamiseen, ja jokaisen mallin esikäsittelyn, koulutuksen ja soveltamisen vaiheen tulee olla toistettavissa.
Merkittävä osa julkaisuista ei ole omistettu mallien ja työkalujen rakentamiselle, vaan tulosten turvallisuuden, läpinäkyvyyden ja todennettavuuden varmistamisen ongelmille. Erityisesti malliin kohdistuvista hyökkäyksistä (adversarial hyökkäyksistä) on ilmestynyt erillinen stream, ja vaihtoehtoja sekä koulutushyökkäyksille että sovellushyökkäyksille pohditaan.
Artikkelit:
- — ohjelmallinen artikkeli mallin varmennusmenetelmistä. Sisältää yleiskatsauksen nykyaikaisista mallien tulkintatyökaluista, erityisesti huomion käytöstä ja ominaisuuden tärkeyden saamisesta "tislaamalla" hermoverkkoa lineaarisilla malleilla.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Pääosissa Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net näyttää mallin tulkinnan tekstinkäsittelytehtäviin
2. Monitieteisyys
Luotettavan verifioinnin varmistamiseksi ja tietämyksen vahvistamisen ja laajentamisen mekanismien kehittämiseksi tarvitsemme lähialojen asiantuntijoita, joilla on samanaikaisesti sekä ML:n että aihealueen (lääketiede, kielitiede, neurobiologia, koulutus jne.) osaamista. Erityisesti huomionarvoista on teosten ja puheiden merkittävämpi läsnäolo neurotieteissä ja kognitiotieteissä - siellä on asiantuntijoiden lähentymistä ja ideoiden lainaamista.
Tämän lähentymisen lisäksi on nousemassa monitieteisyys eri lähteistä tulevan tiedon yhteiskäsittelyyn: teksti ja valokuvat, teksti ja pelit, graafitietokannat + teksti ja valokuvat.
Artikkelit:
- Neurotiede + ML —
- VisualQA -
- RL + NLP -
Kaksi mallia - strategi ja johtaja - perustuvat RL- ja NLP-peliverkkostrategiaan
3. Järkeily
Tekoälyn vahvistaminen on liikettä kohti itseoppivia järjestelmiä, ”tietoista”, päättelyä ja päättelyä. Erityisesti kausaalinen päättely ja tervejärkisyys ovat kehittymässä. Osa raporteista on omistettu meta-oppimiselle (oppimisen oppimisesta) ja DL-tekniikoiden yhdistämiselle 1. ja 2. asteen logiikan kanssa – termistä Artificial General Intelligence (AGI) on tulossa yleinen termi puhujien puheissa.
Artikkelit:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bahtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Vahvistusoppiminen
Suurin osa työstä jatkuu RL:n perinteisten alueiden kehittämiseksi - DOTA2, Starcraft, arkkitehtuurien yhdistäminen tietokonenäköön, NLP, graafitietokantoihin.
Konferenssin erillinen päivä oli omistettu RL-työpajalle, jossa esiteltiin Optimistic Actor Critic Model -arkkitehtuuri, joka on parempi kuin kaikki aikaisemmat, erityisesti Soft Actor Critic.
Artikkelit:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Tokyon yliopisto) [ulkoinen pdf-linkki].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronton yliopisto); Mohammad Norouzi (Google Brain)
StarCraft-pelaajat taistelevat Alphastar-mallia vastaan (DeepMind)
5.GAN
Generatiiviset verkot ovat edelleen valokeilassa: monet teokset käyttävät vanilja-GAN:ia matemaattisissa todisteissa ja soveltavat niitä myös uusilla, epätavallisilla tavoilla (kaaviogeneratiiviset mallit, työskentely sarjojen kanssa, soveltaminen datan syy-seuraus-suhteisiin jne.).
Artikkelit:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Koska enemmän töitä hyväksyttiin Alla puhumme tärkeimmistä puheista.
Kutsutut keskustelut
"Social Intelligence", Blaise Aguera y Arcas (Google)
Keskustelussa keskitytään koneoppimisen yleiseen metodologiaan ja toimialaa muuttaviin näkymiin juuri nyt – mikä risteys edessämme on? Miten aivot ja evoluutio toimivat, ja miksi hyödynnämme niin vähän sitä, mitä jo tiedämme luonnonjärjestelmien kehityksestä?
ML:n teollinen kehitys osuu pitkälti yhteen Googlen kehityksen virstanpylväiden kanssa. Google julkaisee NeurIPS-tutkimuksensa vuosi toisensa jälkeen:
- 1997 – hakutoimintojen lanseeraus, ensimmäiset palvelimet, pieni laskentateho
- 2010 – Jeff Dean lanseeraa Google Brain -projektin, hermoverkkojen alkuvuoteen
- 2015 – neuroverkkojen teollinen toteutus, nopea kasvojentunnistus suoraan paikallisessa laitteessa, tensorilaskentaan räätälöidyt matalan tason prosessorit - TPU. Google julkaisee Coral ai:n – Raspberry pi:n analogin, minitietokoneen hermoverkkojen tuomiseen kokeellisiin asennuksiin
- 2017 – Google alkaa kehittää hajautettua koulutusta ja yhdistää eri laitteista suoritetun neuroverkkokoulutuksen tulokset yhdeksi malliksi – Androidilla
Nykyään kokonainen toimiala on omistautunut tietoturvallisuuteen, oppimistulosten yhdistämiseen ja replikointiin paikallisilla laitteilla.
– ML:n suunta, jossa yksittäiset mallit oppivat toisistaan riippumatta ja yhdistetään sitten yhdeksi malliksi (ilman lähdetietojen keskittämistä), joka on mukautettu harvinaisiin tapahtumiin, poikkeavuuksiin, personointiin jne. Kaikki Android-laitteet ovat pohjimmiltaan yksi laskennallinen supertietokone Googlelle.
Yhdistettyyn oppimiseen perustuvat generatiiviset mallit ovat lupaava tulevaisuuden suunta Googlen mukaan, joka on "eksponentiaalisen kasvun alkuvaiheessa". GANit pystyvät luennoitsijan mukaan oppimaan toistamaan elävien organismien populaatioiden massakäyttäytymistä ja ajattelualgoritmeja.
Kahden yksinkertaisen GAN-arkkitehtuurin esimerkillä osoitetaan, että niissä optimointipolun etsintä kulkee ympyrässä, mikä tarkoittaa, että optimointia sellaisenaan ei tapahdu. Samaan aikaan nämä mallit ovat erittäin onnistuneita simuloimaan kokeita, joita biologit tekevät bakteeripopulaatioilla, ja pakottavat heidät oppimaan uusia käyttäytymisstrategioita etsiessään ruokaa. Voimme päätellä, että elämä toimii eri tavalla kuin optimointitoiminto.
Kävely GAN-optimointi
Kaikki, mitä teemme koneoppimisen puitteissa nyt, ovat kapeita ja äärimmäisen formalisoituja tehtäviä, kun taas nämä formalismit eivät yleisty hyvin eivätkä vastaa aihetietoihimme esimerkiksi neurofysiologian ja biologian aloilla.
Neurofysiologian alalta kannattaa lähitulevaisuudessa lainata uudet hermosoluarkkitehtuurit ja virheiden takaisinetenemismekanismien pientä tarkistamista.
Ihmisen aivot eivät itse opi kuin hermoverkko:
- Hänellä ei ole satunnaisia ensisijaisia syötteitä, mukaan lukien aistien kautta ja lapsuudessa määritetyt
- Hänellä on luontaiset vaistonvaraisen kehityksen suunnat (halu oppia kieltä lapsesta, kävelemällä pystyssä)
Yksittäisten aivojen kouluttaminen on matalan tason tehtävä; ehkä meidän pitäisi harkita nopeasti muuttuvien yksilöiden "pesäkkeitä", jotka välittävät tietoa toisilleen ryhmän evoluution mekanismien toistamiseksi.
Mitä voimme ottaa ML-algoritmeihin nyt:
- Käytä solulinjamalleja, jotka varmistavat populaation oppimisen, mutta yksilön lyhyen elämän ("yksittäisaivot")
- Harva oppiminen pienellä määrällä esimerkkejä
- Monimutkaisempia hermosolurakenteita, hieman erilaiset aktivointitoiminnot
- "Genomin" siirto seuraaville sukupolville - backpropagation algoritmi
- Kun yhdistämme neurofysiologian ja hermoverkot, opimme rakentamaan monitoimisia aivoja monista komponenteista.
Tästä näkökulmasta SOTA-ratkaisujen käytäntö on haitallista, ja sitä tulisi tarkistaa yhteisten tehtävien (benchmark) kehittämiseksi.
"Veridical Data Science", Bin Yu (Berkeley)
Raportti on omistettu koneoppimismallien tulkintaongelmalle ja niiden suoran testauksen ja todentamisen metodologialle. Mikä tahansa koulutettu ML-malli voidaan nähdä tiedon lähteenä, joka on poimittava siitä.
Monilla aloilla, varsinkin lääketieteessä, mallin käyttö on mahdotonta ilman tämän piilotiedon poimimista ja mallin tulosten tulkitsemista – muuten emme ole varmoja siitä, että tulokset ovat vakaita, ei-satunnaisia, luotettavia eivätkä tapa kärsivällinen. Kokonainen työmetodologian suunta on kehittymässä syvän oppimisen paradigman sisällä ja ylittää sen rajat – todenmukainen datatiede. Mikä se on?
Haluamme saavuttaa tieteellisten julkaisujen sellaisen laadun ja mallien toistettavuuden, että ne ovat:
- ennustettavissa
- laskettavissa
- vakaa
Nämä kolme periaatetta muodostavat uuden metodologian perustan. Miten ML-malleja voidaan tarkistaa näiden kriteerien perusteella? Helpoin tapa on rakentaa välittömästi tulkittavia malleja (regressioita, päätöspuita). Haluamme kuitenkin myös saada välittömät hyödyt syvästä oppimisesta.
Useita olemassa olevia tapoja käsitellä ongelmaa:
- tulkita mallia;
- käyttää huomioimiseen perustuvia menetelmiä;
- käytä harjoittelussa algoritmien ryhmiä ja varmista, että lineaariset tulkittavissa olevat mallit oppivat ennustamaan samat vastaukset kuin hermoverkko tulkitseen piirteitä lineaarisesta mallista;
- muuttaa ja täydentää harjoitustietoja. Tämä sisältää kohinan, häiriön ja tiedon lisäämisen;
- kaikki menetelmät, jotka auttavat varmistamaan, että mallin tulokset eivät ole satunnaisia eivätkä ole riippuvaisia vähäisistä ei-toivotuista häiriöistä (vertailuhyökkäykset);
- tulkita mallia jälkikäteen, koulutuksen jälkeen;
- tutkia ominaisuuspainoja eri tavoin;
- tutkia kaikkien hypoteesien todennäköisyyksiä, luokkajakaumaa.
Vastuullinen hyökkäys
Mallinnusvirheet ovat kalliita kaikille: hyvä esimerkki on Reinhartin ja Rogovin työ."" vaikutti monien Euroopan maiden talouspolitiikkaan ja pakotti ne harjoittamaan säästöpolitiikkaa, mutta vuosia myöhemmin suoritettu huolellinen tietojen ja niiden käsittelyn uudelleentarkistus osoitti päinvastaisen tuloksen!
Jokaisella ML-tekniikalla on oma elinkaari toteutuksesta toteutukseen. Uuden metodologian tavoitteena on tarkistaa kolme perusperiaatetta mallin jokaisessa elämänvaiheessa.
Tulokset:
- Useita hankkeita kehitetään, jotka parantavat ML-mallin luotettavuutta. Tämä on esimerkiksi deeptune (linkki: );
- Metodologian edelleen kehittämiseksi on välttämätöntä parantaa merkittävästi ML-alan julkaisujen laatua;
- Koneoppiminen tarvitsee johtajia, joilla on monitieteinen koulutus ja asiantuntemus sekä teknisiltä että humanistisilla aloilla.
"Ihmiskäyttäytymisen mallinnus koneoppimisen avulla: mahdollisuudet ja haasteet" Nuria M Oliver, Albert Ali Salah
Luento omistettu ihmisen käyttäytymisen mallintamiseen, sen teknologisiin perusteisiin ja sovellusnäkymiin.
Ihmisen käyttäytymismallinnus voidaan jakaa:
- yksilöllinen käyttäytyminen
- pienen ihmisryhmän käyttäytyminen
- massakäyttäytymistä
Kukin näistä tyypeistä voidaan mallintaa ML:llä, mutta täysin erilaisilla syöttötiedoilla ja ominaisuuksilla. Jokaisella tyypillä on myös omat eettiset ongelmansa, jotka jokainen projekti käy läpi:
- yksilöllinen käyttäytyminen – identiteettivarkaus, syväväärennös;
- ihmisryhmien käyttäytyminen - anonymisoinnin poistaminen, tiedon saaminen liikkeistä, puhelut jne.;
yksilöllinen käyttäytyminen
Lähinnä liittyy aiheeseen Computer Vision - ihmisen tunteiden ja reaktioiden tunnistaminen. Ehkä vain kontekstissa, ajassa tai tunteidensa vaihtelevuuden suhteellisessa mittakaavassa. Dia näyttää Mona Lisan tunteiden tunnistamisen käyttämällä kontekstia Välimeren naisten emotionaalisesta kirjosta. Tulos: iloinen hymy, mutta halveksunta ja inho. Syy on mitä todennäköisimmin "neutraalin" tunteen teknisessä määrittelyssä.
Pienen ryhmän käyttäytyminen
Toistaiseksi huonoin malli johtuu riittämättömästä tiedosta. Esimerkkinä esiteltiin teoksia vuosilta 2018-2019. kymmenillä ihmisillä X kymmenillä videoilla (vrt. 100 XNUMX++ kuvatietojoukot). Tämän tehtävän mallintamiseksi parhaalla mahdollisella tavalla tarvitaan multimodaalista tietoa, mieluiten kehon korkeusmittarin antureista, lämpömittarista, mikrofonin tallentamisesta jne.
Massakäyttäytyminen
Kehittynein alue, koska asiakas on YK ja monet valtiot. Ulkovalvontakamerat, data puhelintorneista - laskutus, tekstiviestit, puhelut, tiedot valtionrajojen välisestä liikkumisesta - kaikki tämä antaa erittäin luotettavan kuvan ihmisten liikkumisesta ja yhteiskunnallisesta epävakaudesta. Teknologian mahdolliset sovellukset: pelastustoiminnan optimointi, avustaminen ja väestön oikea-aikainen evakuointi hätätilanteissa. Käytetyt mallit ovat pääosin vielä huonosti tulkittuja - nämä ovat erilaisia LSTM:itä ja konvoluutioverkkoja. Lyhyesti huomautettiin, että YK lobbaa uutta lakia, joka velvoittaisi eurooppalaiset yritykset jakamaan anonymisoituja tietoja, joita tarvitaan kaikissa tutkimuksissa.
"From System 1 to System 2 Deep Learning", Yoshua Bengio
Joshua Bengion luennossa syväoppiminen kohtaa neurotieteen tavoitteiden asettamisen tasolla.
Bengio tunnistaa kaksi pääasiallista ongelmatyyppiä Nobel-palkitun Daniel Kahnemanin metodologian mukaan (kirja "")
tyyppi 1 - Järjestelmä 1, tiedostamattomat toiminnot, joita teemme "automaattisesti" (muinaiset aivot): autolla ajaminen tutuissa paikoissa, kävely, kasvojen tunnistaminen.
tyyppi 2 - Järjestelmä 2, tietoiset toiminnot (aivokuori), tavoitteiden asettaminen, analyysi, ajattelu, yhdistelmätehtävät.
Tekoäly on toistaiseksi saavuttanut riittävät korkeudet vain ensimmäisen tyyppisissä tehtävissä, kun taas meidän tehtävämme on viedä se toiseen, opettamalla se suorittamaan monitieteisiä operaatioita ja toimimaan logiikan ja korkean tason kognitiivisten taitojen avulla.
Tämän tavoitteen saavuttamiseksi ehdotetaan:
- NLP-tehtävissä käyttää huomiota keskeisenä mekanismina ajattelun mallintamiseen
- Käytä meta-oppimista ja esitysoppimista mallintaaksesi paremmin tietoisuuteen ja niiden lokalisoitumiseen vaikuttavia piirteitä - ja niiden pohjalta siirtyä korkeamman tason konseptien kanssa toimimiseen.
Johtopäätöksen sijaan tässä on kutsuttu puhe: Bengio on yksi monista tutkijoista, jotka yrittävät laajentaa ML:n alaa optimointiongelmien, SOTA:n ja uusien arkkitehtuurien lisäksi.
Kysymys jää avoimeksi, missä määrin tietoisuusongelmien yhdistelmä, kielen vaikutus ajatteluun, neurobiologia ja algoritmit odottavat meitä tulevaisuudessa ja mahdollistavat siirtymisen ihmisten tavoin "ajatteleviin" koneisiin.
Kiitos!
Lähde: will.com