NeuroIPS () on maailma suurim masinõppe ja tehisintellekti konverents ning süvaõppe maailma põhisündmus.
Kas meie, DS-insenerid, omandame uuel kümnendil ka bioloogia, lingvistika ja psühholoogia? Me ütleme teile oma ülevaates.
Sel aastal tõi konverents Kanadas Vancouveris kokku üle 13500 80 inimese 2019 riigist. See pole esimene aasta, mil Sberbank esindab konverentsil Venemaad – DS-i meeskond rääkis ML-i rakendamisest pangandusprotsessides, ML-i konkurentsist ja Sberbank DS-platvormi võimalustest. Millised olid XNUMX. aasta peamised trendid ML-i kogukonnas? Konverentsil osalejad ütlevad: и .
Sel aastal võttis NeurIPS vastu rohkem kui 1400 dokumenti – algoritme, uusi mudeleid ja uusi rakendusi uutele andmetele.
Sisukord:
- Suundumused
-
- Mudeli tõlgendatavus
- Multidistsiplinaarsus
- Põhjendus
- RL
- GAN
- Põhilised kutsutud kõned
-
- "Sotsiaalne intelligentsus", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Inimeste käitumise modelleerimine masinõppega: võimalused ja väljakutsed", Nuria M Oliver, Albert Ali Salah
- "Süsteemist 1 süsteemi 2 süvaõppeni", Yoshua Bengio
2019. aasta suundumused
1. Mudeli tõlgendatavus ja uus ML-metoodika
Konverentsi peateemaks on tõlgendus ja tõestus, miks me saame teatud tulemusi. “Musta kasti” tõlgenduse filosoofilisest tähtsusest võib rääkida pikalt, kuid selles vallas oli rohkem reaalseid meetodeid ja tehnilisi arenguid.
Mudelite replikatsiooni ja nendest teadmiste ammutamise metoodika on teaduse jaoks uus tööriistakomplekt. Mudelid võivad olla tööriist uute teadmiste saamiseks ja nende testimiseks ning iga mudeli eeltöötluse, koolituse ja rakendamise etapp peab olema reprodutseeritav.
Märkimisväärne osa publikatsioonidest ei ole pühendatud mudelite ja tööriistade ehitamisele, vaid tulemuste turvalisuse, läbipaistvuse ja kontrollitavuse tagamise probleemidele. Eelkõige on ilmunud eraldi voog mudeli vastu suunatud rünnete kohta (vastaste rünnakud) ja kaalutakse nii koolituse kui ka rakenduse vastu suunatud rünnakute võimalusi.
Artiklid:
- — programmiline artikkel mudelite kontrollimise metoodikast. Sisaldab ülevaadet kaasaegsetest mudelite tõlgendamise vahenditest, eelkõige tähelepanu kasutamisest ja tunnuste tähtsuse saamisest närvivõrgu “destilleerimisel” lineaarsete mudelitega.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net näitab mudeli tõlgendamist tekstitöötlusülesannete jaoks
2. Multidistsiplinaarsus
Usaldusväärse verifitseerimise tagamiseks ning teadmiste kontrollimise ja laiendamise mehhanismide väljatöötamiseks vajame seotud valdkondade spetsialiste, kellel on samaaegselt nii ML kui ka ainevaldkonna (meditsiin, lingvistika, neurobioloogia, haridus jne) kompetentsid. Eriti väärib märkimist teoste ja kõnede olulisem esinemine neuroteadustes ja kognitiivteadustes - toimub spetsialistide lähenemine ja ideede laenamine.
Lisaks sellele lähenemisele on tekkimas multidistsiplinaarsus erinevatest allikatest pärit info ühisel töötlemisel: tekst ja fotod, tekst ja mängud, graafikuandmebaasid + tekst ja fotod.
Artiklid:
- Neuroteadus + ML —
- VisualQA –
- RL + NLP -
Kaks mudelit – strateeg ja tegevjuht – põhinevad RL-il ja NLP-l online-mängustrateegial
3. Arutlus
Tehisintellekti tugevdamine on liikumine iseõppivate süsteemide, “teadliku”, arutlemise ja arutlemise suunas. Eelkõige arenevad põhjuslikud järeldused ja terve mõistuslik arutluskäik. Mõned aruanded on pühendatud metaõppele (õppima õppimise kohta) ning DL-tehnoloogiate kombineerimisele 1. ja 2. järku loogikaga – termin Artificial General Intelligence (AGI) on saamas esinejate kõnedes tavaliseks terminiks.
Artiklid:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bahtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Tugevdusõpe
Suurem osa tööst jätkub RL-i traditsiooniliste valdkondade arendamiseks – DOTA2, Starcraft, arhitektuuride kombineerimine arvutinägemisega, NLP, graafikuandmebaasid.
Eraldi konverentsipäev pühendati RL-i töötoale, kus esitleti Optimistic Actor Critic Model arhitektuuri, mis on parem kõigist varasematest, eriti Soft Actor Criticust.
Artiklid:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (eelistatud võrgud); Takahiro Ishikawa (Tokyo ülikool) [pdf-väline link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Ülikool); Mohammad Norouzi (Google Brain)
StarCrafti mängijad võitlevad Alphastari mudeliga (DeepMind)
5.GAN
Generatiivsed võrgud on endiselt tähelepanu keskpunktis: paljud tööd kasutavad vanilje GAN-e matemaatilisteks tõestusteks ja rakendavad neid ka uutel, ebatavalistel viisidel (graafiku generatiivsed mudelid, seeriatega töötamine, andmete põhjus-tagajärg seoste rakendamine jne).
Artiklid:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Kuna võeti vastu rohkem tööd Allpool räägime olulisematest sõnavõttudest.
Kutsutud vestlused
"Sotsiaalne intelligentsus", Blaise Aguera y Arcas (Google)
Vestlus keskendub masinõppe üldisele metoodikale ja praegustele tööstusharu muutvatele väljavaadetele – mis teelahkmetega me silmitsi seisame? Kuidas aju ja evolutsioon töötavad ning miks me nii vähe kasutame seda, mida me looduslike süsteemide arengust juba teame?
ML-i tööstuslik areng langeb suures osas kokku Google'i arengu verstapostidega, mis avaldab NeurIPS-i uuringuid aastast aastasse:
- 1997 – otsinguvõimaluste käivitamine, esimesed serverid, väike arvutusvõimsus
- 2010 – Jeff Dean käivitab Google Brain projekti, närvivõrkude buumi alguses
- 2015 – närvivõrkude tööstuslik juurutamine, kiire näotuvastus otse kohalikus seadmes, tensorarvutuseks kohandatud madala tasemega protsessorid – TPU. Google toob turule Coral ai - raspberry pi analoogi, miniarvuti närvivõrkude tutvustamiseks eksperimentaalsetes installatsioonides
- 2017 – Google alustab detsentraliseeritud koolituse väljatöötamist ja erinevate seadmete närvivõrkude koolituse tulemuste kombineerimist üheks mudeliks – Androidis
Tänapäeval on terve tööstusharu pühendunud andmete turvalisusele, koondamisele ja õpitulemuste replikatsioonile kohalikes seadmetes.
– ML-i suund, kus üksikud mudelid õpivad üksteisest sõltumatult ja seejärel kombineeritakse üheks mudeliks (ilma lähteandmeid tsentraliseerimata), kohandatuna haruldaste sündmuste, anomaaliate, isikupärastamise jms jaoks. Kõik Android-seadmed on Google'i jaoks sisuliselt üks arvuti superarvuti.
Ühendõppel põhinevad generatiivsed mudelid on Google'i sõnul paljutõotav tulevikusuund, mis on "eksponentsiaalse kasvu varases staadiumis". GAN-id on lektori sõnul võimelised õppima taasesitama elusorganismide populatsioonide massilist käitumist ja mõtlemisalgoritme.
Kahe lihtsa GAN-arhitektuuri näitel on näidatud, et nendes kulgeb optimeerimistee otsimine ringikujuliselt, mis tähendab, et optimeerimist kui sellist ei toimu. Samal ajal on need mudelid väga edukad katsete simuleerimisel, mida bioloogid teevad bakteripopulatsioonidega, sundides neid toidu otsimisel õppima uusi käitumisstrateegiaid. Võime järeldada, et elu toimib teisiti kui optimeerimisfunktsioon.
Kõndimise GAN-i optimeerimine
Kõik, mida me masinõppe raames praegu teeme, on kitsad ja äärmiselt formaliseeritud ülesanded, samas kui need formalismid ei üldista hästi ega vasta meie aineteadmistele sellistes valdkondades nagu neurofüsioloogia ja bioloogia.
Mida tõesti tasub neurofüsioloogia valdkonnast lähiajal laenata, on uued neuronite arhitektuurid ja vigade tagasilevitamise mehhanismide kerge revideerimine.
Inimese aju ise ei õpi nagu närvivõrk:
- Tal ei ole juhuslikke esmaseid sisendeid, sealhulgas meelte kaudu ja lapsepõlves paika pandud
- Tal on omased instinktiivse arengu suunad (soov õppida imikult keelt, kõndides püsti)
Üksiku aju treenimine on madala tasemega ülesanne; võib-olla peaksime kaaluma kiiresti muutuvate indiviidide "kolooniaid", mis annavad üksteisele teadmisi edasi, et reprodutseerida rühma evolutsiooni mehhanisme.
Mida saame nüüd ML-algoritmidesse kasutusele võtta:
- Rakendada rakuliini mudeleid, mis tagavad populatsiooni õppimise, kuid indiviidi lühikese eluea (“individuaalne aju”)
- Vähem õppimine, kasutades väikeseid näiteid
- Keerulisemad neuronistruktuurid, veidi erinevad aktiveerimisfunktsioonid
- "Genoomi" ülekandmine järgmistele põlvkondadele - tagasilevitamise algoritm
- Kui ühendame neurofüsioloogia ja närvivõrgud, õpime paljudest komponentidest multifunktsionaalset aju üles ehitama.
Sellest vaatenurgast on SOTA lahenduste praktika kahjulik ja tuleks ühisülesannete (benchmarkide) väljatöötamise huvides üle vaadata.
"Veridical Data Science", Bin Yu (Berkeley)
Aruanne on pühendatud masinõppemudelite tõlgendamise probleemile ning nende otsese testimise ja kontrollimise metoodikale. Iga koolitatud ML-mudelit võib tajuda teadmiste allikana, mida tuleb sellest ammutada.
Paljudes valdkondades, eriti meditsiinis, on mudeli kasutamine võimatu ilma selle varjatud teadmiseta ja mudeli tulemusi tõlgendamata – vastasel juhul ei ole me kindlad, et tulemused on stabiilsed, mittejuhuslikud, usaldusväärsed ega tapa patsient. Süvaõppe paradigmas areneb ja väljub selle piiridest terve töömetoodika suund – veridical data science. Mis see on?
Soovime saavutada teaduspublikatsioonide sellist kvaliteeti ja mudelite reprodutseeritavust, et need on:
- etteaimatav
- arvutatav
- stabiilne
Need kolm põhimõtet on uue metoodika aluseks. Kuidas saab ML-mudeleid nende kriteeriumide alusel kontrollida? Lihtsaim viis on koostada koheselt tõlgendatavad mudelid (regressioonid, otsustuspuud). Siiski tahame saada ka sügavast õppimisest kohe kasu.
Mitmed olemasolevad viisid probleemi lahendamiseks:
- tõlgendada mudelit;
- kasutada tähelepanul põhinevaid meetodeid;
- kasutada treenimisel algoritmide ansambleid ja tagada, et lineaarsed tõlgendatavad mudelid õpiksid ennustama samu vastuseid, mis närvivõrk, tõlgendades lineaarse mudeli tunnuseid;
- muuta ja täiendada treeninguandmeid. See hõlmab müra, häirete lisamist ja andmete suurendamist;
- mis tahes meetodid, mis aitavad tagada, et mudeli tulemused ei ole juhuslikud ega sõltu väiksematest soovimatutest häiretest (vaenulikud rünnakud);
- tõlgendada mudelit tagantjärele, pärast koolitust;
- uurida tunnuskaalu mitmel viisil;
- uurida kõikide hüpoteeside tõenäosusi, klassijaotust.
Võistleja rünnak
Modelleerimisvead on kõigile kulukad: hea näide on Reinharti ja Rogovi töö." mõjutas paljude Euroopa riikide majanduspoliitikat ja sundis neid ajama kasinuspoliitikat, kuid andmete hoolikas korduskontroll ja nende töötlemine aastaid hiljem näitas vastupidist tulemust!
Igal ML-tehnoloogial on oma elutsükkel rakendamisest juurutamiseni. Uue metoodika eesmärk on kontrollida mudeli igas eluetapis kolme põhiprintsiipi.
Tulemused:
- Arendatakse mitmeid projekte, mis aitavad ML mudelil töökindlamaks muuta. See on näiteks deeptune (link: );
- Metoodika edasiseks arendamiseks on vajalik oluliselt parandada ML-alaste publikatsioonide kvaliteeti;
- Masinõpe vajab juhte, kellel on multidistsiplinaarne koolitus ja teadmised nii tehnika kui ka humanitaarteaduste valdkonnas.
"Inimeste käitumise modelleerimine masinõppega: võimalused ja väljakutsed" Nuria M Oliver, Albert Ali Salah
Loeng, mis on pühendatud inimkäitumise modelleerimisele, selle tehnoloogilistele alustele ja rakendusväljavaadetele.
Inimkäitumise modelleerimise võib jagada järgmisteks osadeks:
- individuaalne käitumine
- väikese inimrühma käitumine
- massiline käitumine
Kõiki neid tüüpe saab modelleerida ML-i abil, kuid täiesti erineva sisendteabe ja -funktsioonidega. Igal tüübil on ka oma eetilised probleemid, mida iga projekt läbib:
- individuaalne käitumine – identiteedivargus, deepfake;
- inimrühmade käitumine - anonüümsuse kaotamine, liikumiste kohta teabe hankimine, telefonikõned jne;
individuaalne käitumine
Enamasti seotud arvutinägemise teemaga – inimese emotsioonide ja reaktsioonide äratundmine. Võib-olla ainult kontekstis, ajas või tema enda emotsioonide varieeruvuse suhtelise ulatusega. Slaid näitab Mona Lisa emotsioonide äratundmist, kasutades konteksti Vahemere piirkonna naiste emotsionaalsest spektrist. Tulemus: naeratus rõõmust, kuid põlguse ja tülgastusega. Põhjus on tõenäoliselt "neutraalse" emotsiooni määratlemise tehnilises viisis.
Väikese inimrühma käitumine
Seni halvim mudel on tingitud ebapiisavast teabest. Näitena näidati töid aastatest 2018 – 2019. kümnetel inimestel X kümnetel videotel (vrd 100 XNUMX++ pildiandmestikku). Selle ülesande parimaks modelleerimiseks on vaja multimodaalset teavet, eelistatavalt keha kõrgusemõõturi, termomeetri, mikrofoni salvestamise jne anduritelt.
Massi käitumine
Kõige arenenum piirkond, kuna tellijaks on ÜRO ja paljud riigid. Välisvalvekaamerad, telefonitornide andmed - arveldamine, SMS, kõned, riigipiiride vahelise liikumise andmed - kõik see annab väga usaldusväärse pildi inimeste liikumisest ja sotsiaalsest ebastabiilsusest. Tehnoloogia võimalikud rakendused: päästetööde optimeerimine, abi ja elanike õigeaegne evakueerimine hädaolukordades. Kasutatud mudelid on peamiselt endiselt halvasti tõlgendatavad – need on erinevad LSTM-id ja konvolutsioonivõrgud. Seal oli lühike märkus, et ÜRO teeb lobitööd uue seaduse vastu, mis kohustaks Euroopa ettevõtteid jagama mis tahes uurimistöö jaoks vajalikke anonüümseid andmeid.
"Süsteemist 1 süsteemi 2 süvaõppeni", Yoshua Bengio
Joshua Bengio loengus kohtub süvaõpe eesmärgi seadmise tasandil neuroteadusega.
Bengio tuvastab kaks peamist tüüpi probleeme vastavalt Nobeli preemia laureaadi Daniel Kahnemani metoodikale (raamat “")
tüüp 1 – süsteem 1, teadvustamata tegevused, mida teeme “automaatselt” (iidne aju): autoga sõitmine tuttavates kohtades, kõndimine, nägude äratundmine.
tüüp 2 – süsteem 2, teadlikud tegevused (ajukoor), eesmärkide seadmine, analüüs, mõtlemine, liitülesanded.
Tehisintellekt on seni saavutanud piisava kõrguse vaid esimest tüüpi ülesannetes, meie ülesandeks on see viia teiseni, õpetades seda tegema multidistsiplinaarseid operatsioone ning opereerima loogika ja kõrgetasemeliste kognitiivsete oskustega.
Selle eesmärgi saavutamiseks tehakse ettepanek:
- NLP ülesannetes kasutada tähelepanu kui peamise mehhanismi mõtlemise modelleerimiseks
- kasutada meta- ja esitusõpet, et paremini modelleerida teadvust ja nende lokaliseerimist mõjutavaid tunnuseid – ning nende alusel liikuda edasi kõrgema taseme kontseptsioonidega opereerimisele.
Kokkuvõtte asemel on siin kutsutud kõne: Bengio on üks paljudest teadlastest, kes üritavad laiendada ML-i valdkonda optimeerimisprobleemidest, SOTA-st ja uutest arhitektuuridest kaugemale.
Lahtiseks jääb küsimus, mil määral on teadvuse probleemide, keele mõju mõtlemisele, neurobioloogia ja algoritmide kombinatsioon see, mis meid tulevikus ees ootab ja võimaldab liikuda masinate juurde, mis “mõtlevad” nagu inimesed.
Tänan!
Allikas: www.habr.com