NeuroIPS () ikaskuntza automatikoari eta adimen artifizialari buruzko munduko biltzarrik handiena da eta ikaskuntza sakonaren munduko ekitaldi nagusia da.
Guk, DS ingeniariek, biologia, hizkuntzalaritza eta psikologia ere menperatuko al ditugu hamarkada berrian? Gure berrikuspenean esango dizugu.
Aurten biltzarrak 13500 herrialdetako 80 pertsona baino gehiago bildu zituen Vancouver-en, Kanadan. Ez da Sberbankek Errusia kongresuan ordezkatzen duen lehen urtea - DS taldeak banku-prozesuetan MLren ezarpenari buruz, ML lehiaketari buruz eta Sberbank DS plataformaren gaitasunei buruz hitz egin zuen. Zeintzuk izan ziren 2019ko joera nagusiak ML komunitatean? Konferentziako parte-hartzaileek honakoa diote: и .
Aurten, NeurIPSek 1400 paper baino gehiago onartu zituen: algoritmoak, eredu berriak eta datu berrietarako aplikazio berriak.
Edukia:
- joerak
-
- Ereduaren interpretagarritasuna
- Diziplina anitzekotasuna
- arrazoibide
- RL
- GAN
- Gonbidatutako oinarrizko hitzaldiak
-
- “Social Intelligence”, Blaise Aguera y Arcas (Google)
- "Datuen Zientzia Veridical", Bin Yu (Berkeley)
- "Giza portaeraren eredua ikaskuntza automatikoarekin: aukerak eta erronkak", Nuria M Oliver, Albert Ali Salah
- "Deep Learning System 1 to System 2", Yoshua Bengio
2019 urteko joerak
1. Ereduen interpretagarritasuna eta ML metodologia berria
Jardunaldiaren gai nagusia emaitza jakin batzuk zergatik lortzen ditugunaren interpretazioa eta frogak dira. Denbora luzez hitz egin daiteke “kutxa beltza” interpretazioaren garrantzia filosofikoaz, baina metodo eta garapen tekniko erreal gehiago izan ziren arlo honetan.
Ereduak errepikatzeko eta haietatik ezagutza ateratzeko metodologia zientziarako tresna-tresna berria da. Ereduek ezagutza berriak lortzeko eta probatzeko tresna gisa balio dezakete, eta ereduaren aurreprozesatzeko, prestakuntzako eta aplikazioaren fase bakoitzak errepikagarria izan behar du.
Argitalpenen zati handi bat ez da eredu eta tresnen eraikuntzara bideratzen, baizik eta emaitzen segurtasuna, gardentasuna eta egiaztagarritasuna bermatzeko arazoetara. Bereziki, ereduaren aurkako erasoei buruzko korronte bereizi bat agertu da (eraso kontrajarriak), eta entrenamenduko erasoetarako eta aplikazioko erasoetarako aukerak kontuan hartzen dira.
Artikuluak:
- — Ereduen egiaztapenaren metodologiari buruzko artikulu programatikoa. Ereduak interpretatzeko tresna modernoen ikuspegi orokorra biltzen du, bereziki, arretaren erabilera eta ezaugarrien garrantzia lortzea, neurona-sarea eredu linealekin “destilizatuz”.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net-ek testuak prozesatzeko zereginetarako eredu interpretazioa erakusten du
2. Diziplina anitzekotasuna
Egiaztapen fidagarria bermatzeko eta ezagutza egiaztatzeko eta zabaltzeko mekanismoak garatzeko, erlazionatutako alorretako espezialistak behar ditugu, eta aldi berean ML-n eta gai-arloan (medikuntza, hizkuntzalaritza, neurobiologia, hezkuntza, etab.) gaitasunak dituztenak. Bereziki nabarmentzekoa da neurozientzietan eta zientzia kognitiboetan obren eta hitzaldien presentzia nabarmenagoa dela -espezialisten hurbilketa eta ideien maileguak daude-.
Hurbiltze horretaz gain, diziplina anitzekotasuna sortzen ari da hainbat iturritako informazioa elkarrekin tratatzean: testua eta argazkiak, testua eta jokoak, datu-base grafikoak + testua eta argazkiak.
Artikuluak:
- Neurozientzia + ML -
- VisualQA -
- RL + NLP -
Bi eredu - estratega eta exekutiboa - RL eta NLPn oinarritutako online estrategian jolasten dira
3. Arrazoiketa
Adimen artifiziala indartzea autoikaskuntza sistemetarako mugimendua da, “kontzientea”, arrazoiketa eta arrazoiketa. Bereziki, inferentzia kausala eta zentzu komunaren arrazoibidea garatzen ari dira. Txostenetako batzuk meta-ikaskuntzari (ikasten ikasteko moduari buruz) eta 1. eta 2. ordenako logikarekin DL teknologien konbinazioari dagozkio -Adimen Orokor Artifiziala (AGI) terminoa ohikoa bihurtzen ari da hiztunen hitzaldietan.
Artikuluak:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Indartze Ikaskuntza
Lan gehienek RL - DOTA2, Starcraft-en arlo tradizionalak garatzen jarraitzen dute, arkitekturak konbinatuz ordenagailu bidezko ikusmenarekin, NLPrekin, grafikoen datu-baseekin.
Jardunaldiko egun bat RL tailer bati eskaini zitzaion, eta bertan Optimistic Actor Critic Model arkitektura aurkeztu zen, aurreko guztien gainetik, bereziki Soft Actor Critic.
Artikuluak:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Sare hobetsiak); Takahiro Ishikawa (Tokioko Unibertsitatea) [kanpoko pdf esteka].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Torontoko Unibertsitatea); Mohammad Norouzi (Google Brain)
StarCraft-eko jokalariek Alphastar modeloaren aurka borrokatzen dute (DeepMind)
5.GAN
Sorkuntza-sareak fokuan daude oraindik: lan askok balizko GAN erabiltzen dituzte froga matematikoetarako, eta modu berri eta ezohikoetan ere aplikatzen dituzte (grafiko sorkuntza-ereduak, serieekin lan egitea, datuetan kausa-ondorio erlazioetarako aplikazioa, etab.).
Artikuluak:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Lan gehiago onartu zenez Jarraian hitzaldi garrantzitsuenei buruz hitz egingo dugu.
Gonbidatutako Hitzaldiak
“Social Intelligence”, Blaise Aguera y Arcas (Google)
Hitzaldiak ikaskuntza automatikoaren metodologia orokorra eta oraintxe bertan industria aldatzeko perspektibak ditu ardatz: zein bidegurutze aurrean gaude? Nola funtzionatzen dute garunak eta eboluzioak, eta zergatik egiten dugu hain gutxi erabiltzen sistema naturalen garapenari buruz lehendik dakiguna?
MLren garapen industriala, neurri handi batean, Googleren garapenaren mugarriekin bat dator, urtez urte NeurIPS-i buruzko ikerketak argitaratzen dituena:
- 1997 - bilaketa-instalazioak abiarazi, lehen zerbitzariak, konputazio-potentzia txikia
- 2010 - Jeff Deanek Google Brain proiektua abiarazi zuen, sare neuronalen boom-a hasiera-hasieran.
- 2015 - sare neuronalen inplementazio industriala, aurpegien ezagupen azkarra zuzenean tokiko gailu batean, tentsoreen konputaziorako egokitutako maila baxuko prozesadoreak - TPU. Google-k Coral ai abiarazten du - raspberry pi-ren analogoa, neurona-sareak instalazio esperimentaletan sartzeko ordenagailu txiki bat.
- 2017 - Google prestakuntza deszentralizatua garatzen hasi zen eta gailu ezberdinetako neurona-sareen prestakuntzaren emaitzak eredu bakarrean konbinatzen hasi zen - Android-en
Gaur egun, industria oso bat dedikatzen da datuen segurtasuna, agregazioa eta ikaskuntza-emaitzen erreplika tokiko gailuetan.
– MLren norabidea, non eredu indibidualak elkarrengandik independentean ikasten duten eta gero eredu bakar batean konbinatzen diren (iturburuko datuak zentralizatu gabe), gertaera arraroetarako, anomalietarako, pertsonalizaziorako eta abarretarako egokituta. Android gailu guztiak, funtsean, Google-ren superordenagailu informatiko bakarra dira.
Ikaskuntza federatuan oinarritutako eredu generatiboak etorkizuneko norabide itxaropentsua dira Googleren arabera, "hazkunde esponentzialaren hasierako fasean" dagoena. GANak, irakasleak dioenez, izaki bizidunen populazioen portaera masiboa eta pentsamendu algoritmoak erreproduzitzen ikasteko gai dira.
Bi GAN arkitektura soilen adibidea erabiliz, haietan optimizazio-bide baten bilaketa zirkulu batean ibiltzen dela erakusten da, hau da, optimizazioa ez dela gertatzen. Aldi berean, eredu hauek arrakasta handia dute biologoek bakterioen populazioetan egiten dituzten esperimentuak simulatzen, elikagaien bila jokabide-estrategia berriak ikastera behartuz. Bizitzak optimizazio funtzioak ez bezala funtzionatzen duela ondoriozta dezakegu.
Oinez GAN Optimizazioa
Orain ikaskuntza automatikoaren esparruan egiten dugun guztia zeregin hertsi eta oso formalizatuak dira, formalismo hauek ez dira ondo orokortzen eta neurofisiologia eta biologia bezalako arloetan gure irakasgaiaren ezagutzarekin bat ez datozenak.
Etorkizun hurbilean neurofisiologiaren alorrean benetan mailegatzea merezi duena neurona-arkitektura berriak eta akatsen atzera hedatzeko mekanismoak berrikustea da.
Giza garunak berak ez du sare neuronal bat bezala ikasten:
- Ez du ausazko sarrera primariorik, zentzumenen bidez eta haurtzaroan ezarritakoak barne
- Berezko garapen instintiboaren norabideak ditu (haur batengandik hizkuntza ikasteko gogoa, tente ibiltzea)
Garun indibidual bat trebatzea maila baxuko zeregina da; beharbada, azkar aldatzen diren gizabanakoen "koloniak" kontuan hartu beharko genituzke ezagutzak elkarri transmititzen dizkioten talde-eboluzioaren mekanismoak erreproduzitzeko.
Zer har dezakegu orain ML algoritmoetan:
- Biztanleriaren ikaskuntza bermatzen duten leinu zelular ereduak aplikatzea, baina gizabanakoaren bizitza laburra (“garun indibiduala”).
- Plano gutxiko ikaskuntza adibide kopuru txiki bat erabiliz
- Neuronen egitura konplexuagoak, aktibazio funtzio apur bat desberdinak
- "Genoma" hurrengo belaunaldiei transferitzea - atzera hedatzeko algoritmoa
- Neurofisiologia eta neurona-sareak lotzen ditugunean, osagai askotatik funtzio anitzeko garun bat eraikitzen ikasiko dugu.
Ikuspegi honetatik, SOTA irtenbideen praktika kaltegarria da eta berrikusi egin beharko litzateke zeregin komunak (erreferentziak) garatzeko.
"Datuen Zientzia Veridical", Bin Yu (Berkeley)
Txostena ikaskuntza automatikoaren ereduak interpretatzeko arazoari eta haien zuzeneko proba eta egiaztapenerako metodologiari dago zuzenduta. Prestatutako edozein ML eredu bertatik atera beharreko ezagutza-iturri gisa hauteman daiteke.
Arlo askotan, batez ere medikuntzan, ezinezkoa da eredu bat erabiltzea ezkutuko ezagutza hori atera eta ereduaren emaitzak interpretatu gabe; bestela, ez dugu ziur egongo emaitzak egonkorrak, ez-ausazkoak, fidagarriak izango diren eta ez dutela hilko. pazientea. Lan-metodologiaren norabide osoa deep learning paradigmaren barruan garatzen ari da eta bere mugak gainditzen ditu - egiazko datuen zientzia. Zer da hau?
Argitalpen zientifikoen kalitatea eta ereduen erreproduzigarritasuna lortu nahi ditugu:
- aurreikusteko
- konputagarria
- egonkorra
Hiru printzipio hauek metodologia berriaren oinarria dira. Nola egiaztatu daitezke ML ereduak irizpide horien arabera? Modurik errazena berehala interpreta daitezkeen ereduak eraikitzea da (erregresioak, erabaki-zuhaitzak). Hala ere, ikaskuntza sakonaren berehalako onurak ere lortu nahi ditugu.
Arazoarekin lan egiteko dauden hainbat modu:
- eredua interpretatzea;
- arretan oinarritutako metodoak erabiltzea;
- entrenatzerakoan algoritmoen multzoak erabiltzea, eta eredu interpretagarri linealak sare neuronalaren erantzun berberak iragartzen ikasten duela ziurtatu, eredu linealeko ezaugarriak interpretatuz;
- prestakuntza-datuak aldatu eta handitu. Horrek zarata, interferentziak eta datuen gehikuntza gehitzea barne hartzen du;
- ereduaren emaitzak ausazkoak ez direla eta nahi ez diren interferentzia txikien menpekoak ez direla ziurtatzen laguntzen duen edozein metodo (kontrako erasoak);
- eredua egin ondoren interpretatu, entrenatu ondoren;
- aztertu ezaugarrien pisuak hainbat modutan;
- hipotesi guztien probabilitateak aztertzea, klase banaketa.
Kontrako erasoa
Modelatze akatsak garestiak dira guztiontzat: adibide nagusi bat Reinhart eta Rogov-en lana da"."Europako herrialde askoren politika ekonomikoetan eragina izan zuen eta austeritate politikak egitera behartu zituen, baina datuak arretaz berriro egiaztatzeak eta urteen buruan prozesatzeak kontrako emaitza erakutsi zuen!
Edozein ML teknologiak bere bizi-zikloa du inplementaziotik ezarpenera. Metodologia berriaren helburua ereduaren bizitzako etapa bakoitzean oinarrizko hiru printzipio egiaztatzea da.
Emaitzak:
- ML eredua fidagarriagoa izaten lagunduko duten hainbat proiektu garatzen ari dira. Hau da, adibidez, deeptune (esteka: );
- Metodologia gehiago garatzeko, beharrezkoa da ML arloko argitalpenen kalitatea nabarmen hobetzea;
- Ikaskuntza automatikoa diziplina anitzeko prestakuntza eta esperientzia duten liderrak behar ditu, bai arlo teknikoetan bai humanitateetan.
"Giza portaeraren eredua ikaskuntza automatikoarekin: aukerak eta erronkak" Nuria M Oliver, Albert Ali Salah
Giza jokabidea, bere oinarri teknologikoak eta aplikazio-aurreikuspenak modelatzeari eskainitako hitzaldia.
Giza jokabidearen eredua honela banatu daiteke:
- portaera indibiduala
- pertsona talde txiki baten portaera
- masa portaera
Mota horietako bakoitza ML erabiliz modelatu daiteke, baina sarrerako informazio eta ezaugarri guztiz desberdinak ditu. Mota bakoitzak proiektu bakoitzak pasatzen dituen arazo etikoak ere baditu:
- banakako portaera - identitate lapurreta, deepfake;
- pertsona taldeen jokabidea - anonimatua, mugimenduei buruzko informazioa lortzea, telefono-deiak, etab.;
portaera indibiduala
Gehienbat Ordenagailu bidezko ikusmenaren gaiarekin lotuta dago - giza emozioen eta erreakzioen aitorpena. Baliteke testuinguruan, denboran edo emozioen aldakortasun propioaren eskala erlatiboarekin soilik. Diapositibak Mona Lisaren emozioen aitorpena erakusten du Mediterraneoko emakumeen espektro emozionalaren testuingurua erabiliz. Emaitza: pozaren irribarrea, baina mespretxuz eta nazkaz. Arrazoia, ziurrenik, emozio "neutroa" definitzeko modu teknikoan dago.
Pertsona talde txiki baten portaera
Orain arteko eredurik okerrena informazio nahikorik ez izateagatik da. Adibide gisa, 2018-2019 bitarteko lanak erakutsi ziren. dozenaka pertsonaren gainean X dozenaka bideo (ikus 100k++ irudi-datu multzoak). Zeregin hau hobekien modelatzeko, informazio multimodala behar da, ahal izanez gero gorputz altimetro bateko sentsoreak, termometroak, mikrofonoaren grabaketa, etab.
Masaren jokabidea
Eremu garatuena, bezeroa NBE eta estatu asko baitira. Kanpoko zaintza-kamerek, telefono-dorreetako datuak -fakturazioa, SMSak, deiak, estatuko mugen arteko mugimenduari buruzko datuak-, guzti honek pertsonen mugimenduaren eta gizarte-ezegonkortasunaren oso irudi fidagarria ematen du. Teknologiaren balizko aplikazioak: erreskate operazioen optimizazioa, laguntza eta biztanleriaren ebakuazioa puntuala larrialdietan. Erabilitako ereduak, batez ere, oraindik gaizki interpretatzen dira - hainbat LSTM eta sare konboluzionalak dira. Ohar labur bat izan zen NBEk Europako negozioak edozein ikerketarako beharrezkoak diren datu anonimizatuak partekatzera behartuko zituen lege berri baten aldeko lobby egiten ari zela.
"Deep Learning System 1 to System 2", Yoshua Bengio
Joshua Bengioren hitzaldian, ikaskuntza sakonak neurozientziarekin bat egiten du helburuak ezartzeko mailan.
Bengiok bi arazo mota nagusi identifikatzen ditu Daniel Kahneman Nobel saridunaren metodologiaren arabera (liburua “")
1. mota - 1. sistema, “automatikoki” egiten ditugun ekintza inkontzienteak (antzinako garuna): leku ezagunetan autoa gidatzea, ibiltzea, aurpegiak antzematea.
2. mota - 2. sistema, ekintza kontzienteak (garun-azala), helburuak ezartzea, analisia, pentsamendua, zeregin konposatuak.
AI orain arte nahikoa altuera lortu du lehen motako zereginetan bakarrik, gure zeregina bigarrenera ekartzea da, diziplina anitzeko eragiketak egiten eta logika eta goi-mailako trebetasun kognitiboekin funtzionatzen irakatsiz.
Helburu hori lortzeko proposatzen da:
- NLP atazetan, arreta erabiltzea pentsamendua modelatzeko funtsezko mekanismo gisa
- erabili meta-ikaskuntza eta irudikapen-ikaskuntza kontzientzian eta haien lokalizazioan eragina duten ezaugarriak hobeto modelatzeko, eta haien oinarrian goi-mailako kontzeptuekin funtzionatzera pasa.
Ondorio baten ordez, hona hemen gonbidatutako hitzaldi bat: Bengio optimizazio arazo, SOTA eta arkitektura berrietatik haratago ML-aren eremua zabaltzen saiatzen ari diren zientzialari askotako bat da.
Galdera zabalik geratzen da zenbateraino kontzientziaren arazoen konbinazioa, hizkuntzak pentsamenduan duen eragina, neurobiologia eta algoritmoak etorkizunean zain duguna eta pertsonak bezala “pentsatzen” duten makinetara pasatzeko aukera emango diguna.
Eskerrik asko!
Iturria: www.habr.com