NeurIPS 2019: ML suunad, mis jäävad meiega järgmise kümnendi jooksul

NeurIPS (Neuraalset teabe töötlemise süsteemid) – suurim konverents maailmas masinõppes ja tehisintellektis, samuti peamine sündmus süvaõppe vallas.

Kas hakkame meie, andmete teadlased, järgmisel kümnendil õppima ka bioloogiat, lingvistikat, psühholoogiat? Räägime sellest meie ülevaates.

Sel aastal kogus konverents rohkem kui 13500 osalejat 80 riigist Vancouveris (Kanadas). Sberbank esindab Venemaad konverentsil juba mitu aastat – andmete teaduse meeskond rääkis masinõppe rakendamisest panganduses, masinõppevõistlusest ning Sberbank DS platvormi võimalustest. Millised olid peamised trendid 2019. aastal masinõppe kogukonnas? Räägivad konverentsi osalejad: Andrei Tšertok ja Tatjana Šavrina.

Sel aastal esitati NeurIPS-is üle 1400 artikli – algoritmid, uued mudelid ja uued rakendused uutele andmetele. Link kõigile materjalidele

Sisu:

• Trendide
• • Mudelite tõlgitavus
  • Mulgipunktide lähenemine
  • Loogika
  • RL
  • GAN
• Peamised Kutsutud Loengud
• • “Sotsiaalne intelligentsus”, Blaise Aguera y Arcas (Google)
  • “Tõene Andmete Teadus”, Bin Yu (Berkeley)
  • “Inimkäitumise Modelleerimine Masinõppega: Võimalused ja Väljakutsed”, Nuria M Oliver, Albert Ali Salah
  • “Süsteem1-st Süsteem2 süvaõppeni”, Yoshua Bengio

2019. aasta trendid

1. Mudelite tõlgitavus ja uus masinõppe metoodika

Konverentsi pealkiri - tõlgendused ja tõendid, miks me saame teatud tulemusi. Võime kaua arutada musta kasti tõlgendamise filosoofilist tähtsust, kuid olulisem on, et selles valdkonnas oleks rohkem tõelisi meetodeid ja tehnilisi saavutusi.

Mudelite ja neist teadmiste hankimise reproduktsiooni metodoloogia on teaduse uus tööriist. Mudelid võivad olla uue teadlikkuse omandamise ja selle kontrollimise vahenditeks, ning iga etapp, alates eelprotsessimisest, õppimisest kuni mudeli rakendamiseni, peaks olema reprodutseeritav.
Olulise osa publikatsioonidest keskendatakse mitte mudelite ja tööriistade loomisele, vaid tulemuste turvalisuse, läbipaistvuse ja kontrollitavuse küsimustele. Eriti on välja kujunenud eraldi suund mudelitele suunatud rünnakute (adversarial attacks) käsitlemiseks, sealhulgas arvestatakse nii õppimise kui ka rakendamise rünnakute variante.

Artiklid:

• Veridical Data Science on teadusartikli kohta mudelite valideerimise metodoloogiast. See sisaldab ülevaadet kaasaegsetest vahenditest mudelite tõlgendamiseks, sealhulgas attention'i kasutamine ja feature importance'i saamine lineaarsete mudelite abil „distilleerimise” teel närvivõrkudest.
• See, kuidas sügav õpe muudab pildituvastuse arusaadavamaks Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
• Tõlgendamisviiside standardne hindamine sügavate närvivõrkude jaoks Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
• Suunas arusaadavamate tugevdatud õppimise algoritmide poole, kasutades tähelepanu suurendavaid agente Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
• De-biiseeritud MDI tunnuse tähtsuse mõõtmine juhuslikes metsades Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
• Teadmiste väljatoomine ilma vaadatavate andmeteta Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
• Samm kooskõlastatult korduvate masinõppe teadusuuringute kvantifitseerimise suunas Edward Raff

ExBert.net näitab mudelite tõlgendamist tekstiprotsessimise ülesannete jaoks

2. Multidistsiplinaarsus

Usaldusväärse kontrolli tagamiseks ja teadmise täiustamise mehhanismide väljatöötamiseks on vajalikud külgkonnaga spetsialistid, kellel on samal ajal ML- ja aineteesinduse oskused (meditsiin, lingvistika, neuroteadus, haridus jne). Eriti märkimisväärne on neuroteaduste ja kognitiivsete teaduste esindatuse suurenemine – toimub spetsialistide lähenemine ja ideede laenamine.

Lisaks sellele lähenemisele on tulemas multidistsiplinaarsus, mis käsitleb teabe töötlemist erinevatest allikatest: tekst ja foto, tekst ja mängud, graafilised andmebaasid + tekst ja foto.

Artiklid:

• Neurobioloogia + ML — Loodusliku keele töötlemise (masinates) tõlgendamine ja parandamine loodusliku keele töötlemise (ajus) abil
• VisualQA — Õppimine abstraktsioonide kaudu: Neuraalriigi masin
• RL + NLP — Hierarhilise otsustamise teostamine ja järgimine looduslike keele juhiste kaudu

Kaks mudelit — strateeg ja täitja — RL ja NLP põhjal mängivad veebistrateegiat

3. Arutlemine

Tehisintellekti täiustamine – liikumine iseseisvalt õppivate, "teadlike", arutlevate ja mõistete (reasoning) suunas. Eelkõige arendatakse causaalset järeldamist ja tavalise mõistmise arutlemist. Osad ettekanded keskenduvad metaõppele (kuidas õppida õppima) ja DL-tehnoloogiate ühendamisele 1. ja 2. järgu loogikaga — termin Tehisüldine Intelligentsus (AGI) on hakanud esinema esinejate ettekannetes.

Artiklid:

• Heterogeense graafi õppimine visuaalse tavalise mõistmise jaoks Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
• Masinõppe ja loogilise arutlemise ühendamine abduktiivse õppimise kaudu Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
• Esimese järgu loogikas arutlemise õppimine kaudselt Vaishak Belle, Brendan Juba
• PHYRE: Uus standard füüsilisele arutlemisele Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
• Teadmiste kvantembedding arutlemiseks Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam

4. Tugevdav õppimine

Enamik tööd jätkab RL traditsiooniliste suundade arendamist – DOTA2, Starcraft, arhitektuuride ühendamine arvutinägemisega, NLP, graafitüübid.

Konverentsi eraldi päev oli pühendatud RL töötubadele, kus esitati Optimistic Actor Critic Model arhitektuur, mis ületab kõik eelnevad, sealhulgas Soft Actor Critic.

Artiklid:

• Parim uurimine Optimistic Actor Criticiga; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
• ChainerRL: süvaõppe tugevdamise raamatukogu; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Tokyo Ülikool) [external pdf link].
• Unista juhtida: käitumise õppimine peidetud kujutluse kaudu; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Ülikool); Mohammad Norouzi (Google Brain)
• Töötuba materjalid

StarCrafti mängijad on vastamisi Alphastar mudeliga (DeepMind)

5. GAN

Generatiivsed võrgud on endiselt tähelepanu keskmes: palju tööd kasutavad vanilla GAN-e matemaatiliste tõestuste jaoks ning rakendavad neid uutes, ebatavalistes variantides (graafitüübid, järjestuste töötlemine, rakendamine andmete põhjuslike seoste korral jne).

Artiklid:

• GOLD näidiste kaevandamine tingimuslike GAN-ide jaoks Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
• GAN-ide progressiivne täiustamine Dan Zhang, Anna Khoreva
• Tabular andmete modelleerimine tingimuslike GAN-ide abil Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

Kuna töid on aktsepteeritud rohkem 1400 allpool räägime kõige olulisematest ettekannetest.

Kutsutud ettekanded

“Sotsiaalne intelligentsus”, Blaise Aguera y Arcas (Google)

Ling
Slideshow ja videod
Ettekanne on pühendatud üldisele masinõppe metodoloogiale ja perspektiividele, mis muudavad tööstust praegu – millisesse risteele me seisame? Kuidas töötab aju ja evolutsioon ning miks me kasutame nii vähe seda, mida juba hästi teame looduslike süsteemide arengust?

Masinõppe tööstuslik areng langeb paljuski kokku Google'i ettevõtte arenguga, kes igal aastal avaldab oma teadusuuringuid NeurIPS-is:

• 1997 – otsinguvõimsuste käivitamine, esimesed serverid, väike arvutusvõimsus
• 2010 – Jeff Dean käivitab Google Braini projekti, närvivõrkude buum alguses
• 2015 – närvivõrkude tööstuslik rakendamine, kiire näotuvastus otse kohalikul seadmel, madala taseme protsessorid, mis on kohandatud tensori arvutustele – TPU. Google käivitab Coral ai – Raspberry Pi sarnane mini-arvuti närvivõrkude rakendamiseks katsetustes
• 2017 – Google alustas detsentraliseeritud õppimise ja erinevatelt seadmetelt pärit närvivõrkude õppimistulemuste kokkuviimist üheks mudeliks – Androidile.

Täna tegeleb terve tööstusharu andmete turvalisuse, tulemuste integreerimise ja kohapealsete seadmete õppimistulemuste taastootmise küsimustega.

Federated learning – ML suund, kus eraldi mudelid õpetatakse iseseisvalt üksteisest, seejärel ühendatakse nad ühtseks mudeliks (ilma algandmete tsentraliseerimiseta), arvestades haruldasi sündmusi, anomaaliaid, isikupärastamist jne. Kõik Android-seadmed on sisuliselt Google’i jaoks ühtne arvutuslik superarvuti.

Generatiivsed mudelid detsentraliseeritud õppimise põhjal – Google’i arvates on see perspektiivikas suund, mis on "varajastes eksponentsiaalse kasvu etappides". Lektori arvates suudavad GAN-id õppida kordama elanikkonna massilist käitumist, mõtlemisalgoritme.

Kahest lihtsast GAN-arhitektuurist nähtus, et optimeerimise teeotsing ringleb, mis tähendab, et tõelist optimeerimist ei toimu. Samas modelleerivad need mudelid edukalt eksperimente, mida bioloogid viivad läbi bakteripopulatsioonidega, sundides neid õppima uusi käitumistrateege toiduotsingutel. Võime järeldada, et elu töötab teisiti kui optimeerimisfunktsioon.

Ringlev optimeerimine GAN

Kõik, mida me praegu teeme masinõppe raames, on kitsad ja ülimalt formaliseeritud ülesanded, samas kui need formalismid ei laiene hästi ja ei vasta meie ainealastele teadmistele sellistes valdkondades nagu neurofüsioloogia ja bioloogia.

Mida tõeliselt tuleks neurofüsioloogiast lähitulevikus laenata, on uued närvirakkude arhitektuurid ja natuke ülevaadata vigade tagasikandmise mehhanisme.

Inimese aju ei õpi nagu närvivõrk:

• Tal ei ole juhuslikke primaarseid sisendeid, sealhulgas neid, mis on saadud läbi meeleelundite ja lapsepõlves.
• Tal on instinktiivne arengusuund, mis on sisse kirjutatud (imiku keeleõppe soov, sirgekäimine).

Ainuüksi ajuõpe on madalama taseme ülesanne; võib-olla peaksime vaatama 'kolooniaid' kiiresti vahetuvaid indiviide, kes edastavad üksteisele teadmisi, et taasloomine grupievolutsiooni mehhanisme.

Kuidas saame juba praegu ML-algoritmides edasi anda:

• Kasutada rakuridade mudelite õppimist, mis toetavad populatsiooni õpet, kuid lühikese eluiga indiviidide (‘individuaalne aju’) puhul.
• Few-shot learning väheste näidete puhul.
• Kompromiteeritumad närvirakustruktuurid, natuke teistsugused aktiveerimisfunktsioonid.
• Genoomi edastamine järgmistele põlvkondadele – vigade tagasivoolu algoritm.
• Kui suudame ühendada neurofüsioloogia ja tehisnärvivõrgud, õpime ehitama multifunktsionaalset aju paljusid komponente kasutades.

Selle vaatenurgast on SOTA lahenduste praktika kahjulik ja seda tuleb ümber hinnata üldiste ülesannete (benchmarks) arendamise nimel.

“Tõene Andmete Teadus”, Bin Yu (Berkeley)

Video ja slaidid
Raport käsitleb masinõppe mudelite tõlgendamise probleemi ning nende vahetu kontrollimise ja valideerimise metoodikat. Iga treenitud ML-mudel võib olla teadmusallikas, millest tuleb teadmisi välja tuua.

Paljusid valdkondi, sealhulgas meditsiini, seob mudelite rakendamine nende varjatud teadmiste väljatoomise ja mudeli tulemuste tõlgendamise vajadus – vastasel juhul ei ole meil kindlust, et tulemused on stabiilsed, mitte juhuslikud, usaldusväärsed ning ei kahjusta patsienti. Terve metodoloogiate suund areneb süvaõppimise paradigmas ning ulatub isegi kaugemale – veridical data science. Mis see on?

Soovime saavutada teaduslike publikatsioonide kvaliteeti ja mudelite korduvust, et need oleksid:

1. ennustatavad
2. arvutatavad
3. stabiilsed

Need kolm põhimõtet moodustavad uue metoodika aluse. Kuidas saab kontrollida ML-mudeleid nende kriteeriumite täitmise osas? Lihtsaim viis on luua kohe tõlgendatavad mudelid (regressioonid, otsusepuud). Kuid soovime ka süvaõppimise vahetuid eeliseid.

Mõned olemasolevad viisid probleemi lahendamiseks:

1. tõlgendada mudelit;
2. kasutada tähelepanu põhinevaid meetodeid;
3. kasutada treeningus algoritmide ansambleid ning saavutada, et lineaarsed tõlgendatavad mudelid õpiksid ennustama samu vastuseid nagu närvivõrk, tõlgendades omadusi lineaarsest mudelist;
4. muuta ja täiustada treeningandmeid. See hõlmab ka müra, häirete lisamist ning data augmentation'i;
5. iga meetod, mis võimaldab veenduda, et mudeli tulemused pole juhuslikud ning ei sõltu väikestest soovimatutest häiretest (adversarial attacks);
6. tõlgendada mudelit post-faktum, pärast treeningut;
7. uurida tunnuste kaalude erinevaid meetodeid;
8. uurida kõigi hüpoteeside tõenäosusi, klasside jaotust.

Adversarial attack sigadele

Modelleerimisvead on kulukad kõigile: silmapaistev näide on Reinhart ja Rogoffi "Kasv võlgade ajal" mõjutas paljude Euroopa riikide majanduspoliitikat ning sundis neid rakendama kärpekursust, kuid andmete hoolikas uuesti kontrollimine ja töötlemine aastaid hiljem tõi esile vastupidise tulemuse!

Iga ML-tehnoloogia elutsüklit iseloomustab mitmeid etappe, alates rakendamisest kuni rakendamiseni. Uue metoodika eesmärk on tagada kolme põhialuse kontroll iga mudeli elutsükli etapis.

Kokkuvõtted:

• On arendamisel mitmeid projekte, mis aitavad ML-mudeleid usaldusväärsemaks muuta. Näiteks deeptune (link to: github.com/ChrisCummins/paper-end2end-dl);
• Metoodika edasine arendamine nõuab oluliselt kõrgema kvaliteediga väljaandeid ML valdkonnas;
• Masinõppele on vaja liidreid, kellel on multidistsiplinaarne taust ja ekspertteadmised nii tehnilistes kui ka humanitaarvaldkondades.

“Inimkäitumise modelleerimine masinõppega: võimalused ja väljakutsed” Nuria M Oliver, Albert Ali Salah

Loeng, mis on pühendatud inimkäitumise modelleerimisele, selle tehnoloogilistele alustele ja rakendamise võimalustele.

Inimkäitumise modelleerimist saab jagada kolme kategooriasse:

• individuaalne käitumine
• väikese grupi käitumine
• massiline käitumine

Iga tüübi modelleerimist saab läbi viia ML abil, kuid täiesti erinevate sisendandmete ja tunnuste abil. Iga tüübi puhul on olemas ka oma eetilised probleemid, millega iga projekt silmitsi seisab:

• individuaalne käitumine – identiteedi vargus, deepfake;
• rühmade inimeste käitumine – deanonüüminimine, teabe saamine liikumiste, telefonikõnede jms kohta;

Individuaalne käitumine

Puudutab enamasti teemat Computer Vision – inimese emotsioonide ja reaktsioonide tuvastamine. See on võimalik ainult kontekstis, ajas või tema enda emotsioonide variatiivsuse suhtelise skaalaga. Esitluses – Mona Lisa emotsioonide tuvastamine Vahemere naiste emotsionaalsetest spektritest lähtuvalt. Tulemus: rõõmuhammas, kuid põlguse ja vastikustunde varjunditega. Põhjus on tõenäoliselt tehnilises meetodis 'neutraalse' emotsiooni määratlemisel.

Väikese grupi käitumine

Seni modelleerib halvemini teabe puudumise tõttu. Näitena toodi 2018–2019 aastate tööd kümnete inimeste ja kümnete videote jooksul (nt andmekogud 100k++ pildi kohta). Parima modelleerimise saavutamiseks on vajalik multimodaalne informatsioon, eelistatavalt kehahoiu andurite, termomeetri, mikrofoniga salvestamise jms vormis.

Massiline käitumine

See enim arenenal suund, kui tellijaks on ÜRO ja paljud riigid. Väliskontrollikaamerad, mobiilitornide andmed – arveldamine, SMS-id, kõned, andmed liikumise kohta riikide vahel – kõik need pakuvad väga usaldusväärset ülevaadet inimeste liikumisvoogudest ning sotsiaalsetest ebastabiilsustest. Tehnoloogia potentsiaalsed rakendused: päästetööde optimeerimine, abistamine ja elanikkonna õigeaegne evakueerimine hädaolukordades. Kasutatavad mudelid on valdavalt halvasti tõlgendatavad – need on erinevad LSTM ja konvolutsioonilised võrgud. Tehti lühike märkussõna, et ÜRO toetab uut seadust, mis kohustaks Euroopa ettevõtteid jagama anonüümseid andmeid, mis on vajalikud igasugusteks uuringuteks.

“Süsteem1-st Süsteem2 süvaõppeni”, Yoshua Bengio

Esitlused
Ioshua Bengio loengus kohtub süvaõpe neuroteadustega eesmärgi seadmise tasandil.
Bengio toob välja kaks peamist ülesannet Nobeli auhinna laureaadi Daniel Kahnemani metoodika kohaselt (raamat "Mõtle aeglaselt, otsusta kiiresti» )
tüüp 1 – Süsteem 1, teadlikud tegevused, mida me teeme „automaatrežiimis“ (vanem ajuprotsess): masina juhtimine tuttavates kohtades, kõndimine, nägude äratundmine.
tüüp 2 — Süsteem 2, teadlikud tegevused (ajukoore), eesmärgistamine, analüüs, mõtlemine, komposiitülesanded.

Tehisintellekt on seni piisavalt kõrgele tasemele jõudnud ainult esmaklassilistesse ülesannete teostamisse — samas kui meie ülesanne on viia see teise, õpetades seda täitma multidistsiplinaarseid operatsioone ning käsitlema loogikat, kõrgema taseme kognitiivseid oskusi.

Selle eesmärgi saavutamiseks pakutakse välja:

1. NLP ülesannetes kasutada attention’i peamise mõtte modelleerimise mehhanismina
2. kasutada meta-õpet ja esitlusõpet parima mõtte modelleerimise saavutamiseks, mis mõjutavad teadlikkust, ning nende lokaliseerimist – ja nende alusel liikuda kõrgema taseme kontseptsioonide käsitlemisele.

Kokkuvõtteks jätame teiega salvestuse 'invited talk': Bengio on vaid üks paljusid teadlasi, kes püüab laiendada ML valdkonda kaugemale optimeerimisprobleemidest, SOTA-st ja uutest arhitektuuridest.
Avatud jääb küsimus, mil määral on teadlikkuse probleemide, keele mõju mõtlemisele, neurobioloogia ja algoritmide ühendamine see, mis meid tulevikus ootab ja võimaldab liikuda masinate poole, mis «mõtlevad» nagu inimesed.

Aitäh!

Allikas: habr.com