NeuroIPS () estas la plej granda konferenco de la mondo pri maŝinlernado kaj artefarita inteligenteco kaj la ĉefa evento en la mondo de profunda lernado.
Ĉu ni, DS-inĝenieroj, ankaŭ majstros biologion, lingvistikon kaj psikologion en la nova jardeko? Ni rakontos al vi en nia recenzo.
Ĉi-jare la konferenco kunvenigis pli ol 13500 80 homojn el 2019 landoj en Vankuvero, Kanado. Ĉi tio ne estas la unua jaro, kiam Sberbank reprezentis Rusion ĉe la konferenco - la DS-teamo parolis pri la efektivigo de ML en bankaj procezoj, pri la ML-konkurado kaj pri la kapabloj de la platformo Sberbank DS. Kio estis la ĉefaj tendencoj de XNUMX en la ML-komunumo? Konferencanoj diras: и .
Ĉi-jare, NeurIPS akceptis pli ol 1400 artikolojn—algoritmoj, novaj modeloj kaj novaj aplikoj al novaj datumoj.
Enhavo:
- Tendencoj
-
- Modela interpretebleco
- Multdisciplinareco
- Rezonado
- RL
- GAN
- Bazaj Invititaj Paroladoj
-
- "Socia Inteligenteco", Blaise Aguera y Arcas (Google)
- "Verika Datuma Scienco", Bin Yu (Berkeley)
- "Modeligado de Homa Konduto kun Maŝina Lernado: Ŝancoj kaj Defioj", Nuria M Oliver, Albert Ali Salah
- "De Sistemo 1 ĝis Sistemo 2 Profunda Lernado", Yoshua Bengio
Tendencoj 2019
1. Modela interpretebleco kaj nova ML-metodaro
La ĉefa temo de la konferenco estas interpretado kaj pruvo de kial ni ricevas certajn rezultojn. Oni povas longe paroli pri la filozofia graveco de la "nigra skatolo" interpreto, sed estis pli realaj metodoj kaj teknikaj evoluoj en ĉi tiu areo.
La metodaro por reprodukti modelojn kaj ĉerpi scion de ili estas nova ilaro por scienco. Modeloj povas funkcii kiel ilo por akiri novan scion kaj testi ĝin, kaj ĉiu etapo de antaŭprilaborado, trejnado kaj apliko de la modelo devas esti reproduktebla.
Signifa proporcio de publikaĵoj estas dediĉita ne al la konstruado de modeloj kaj iloj, sed al la problemoj de certigi sekurecon, travideblecon kaj kontroleblecon de rezultoj. Precipe aperis aparta fluo pri atakoj al la modelo (kontraŭaj atakoj), kaj opcioj por ambaŭ atakoj kontraŭ trejnado kaj atakoj kontraŭ apliko estas konsiderataj.
Artikoloj:
- — programa artikolo pri la metodaro de modelkontrolo. Inkluzivas superrigardon de modernaj iloj por interpreti modelojn, precipe la uzon de atento kaj akirado de trajtograveco "distilante" la neŭralan reton kun liniaj modeloj.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net montras modelan interpreton por tekstpretigaj taskoj
2. Plurdisciplineco
Por certigi fidindan kontrolon kaj evoluigi mekanismojn por kontroli kaj vastigi scion, ni bezonas specialistojn en rilataj fakoj, kiuj samtempe havas kompetentecojn en ML kaj en la fako (medicino, lingvistiko, neŭrobiologio, edukado, ktp.). Precipe atentindas la pli signifa ĉeesto de verkoj kaj paroladoj en neŭrosciencoj kaj kognaj sciencoj – okazas proksimiĝo de specialistoj kaj prunto de ideoj.
Krom tiu ĉi proksimiĝo aperas plurdisciplineco en la komuna prilaborado de informoj el diversaj fontoj: teksto kaj fotoj, teksto kaj ludoj, grafikaj datumbazoj + teksto kaj fotoj.
Artikoloj:
- Neŭroscienco + ML -
- VisualQA -
- RL + NLP -
Du modeloj - strategiisto kaj ekzekutivo - bazitaj sur RL kaj NLP ludas rete strategion
3. Rezonado
Plifortigi artefaritan inteligentecon estas movado al memlernado de sistemoj, "konsciaj", rezonado kaj rezonado. Aparte, kaŭza inferenco kaj ordinara rezonado disvolviĝas. Kelkaj el la raportoj estas dediĉitaj al meta-lernado (pri kiel lerni lerni) kaj la kombinaĵo de DL-teknologioj kun 1-a kaj 2-a orda logiko - la termino Artefarita Ĝenerala Inteligenteco (AGI) fariĝas ofta termino en paroladoj de parolantoj.
Artikoloj:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Plifortiga Lernado
Plejparto de la laboro daŭre disvolvas tradiciajn areojn de RL - DOTA2, Starcraft, kombinante arkitekturojn kun komputila vizio, NLP, grafikaj datumbazoj.
Aparta tago de la konferenco estis dediĉita al RL-laborrenkontiĝo, ĉe kiu la arkitekturo Optimistic Actor Critic Model estis prezentita, pli alta ol ĉiuj antaŭaj, precipe Soft Actor Critic.
Artikoloj:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferataj Retoj, Inc.)*; Toshiki Kataoka (Preferataj Retoj, Inc.); Prabhat Nagarajan (Preferataj Retoj); Takahiro Ishikawa (La Universitato de Tokio) [ekstera pdf-ligo].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitato de Toronto); Mohammad Norouzi (Google Brain)
StarCraft-ludantoj batalas kontraŭ la Alphastar-modelo (DeepMind)
5.GAN
Generaj retoj daŭre estas en la spoto: multaj verkoj uzas vanilajn GAN-ojn por matematikaj pruvoj, kaj ankaŭ aplikas ilin en novaj, nekutimaj manieroj (grafeaj generaj modeloj, laborado kun serioj, aplikado al kaŭzo-efikaj rilatoj en datumoj, ktp.).
Artikoloj:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ĉar pli da laboro estis akceptita Ĉi-sube ni parolos pri la plej gravaj paroladoj.
Invititaj Paroladoj
"Socia Inteligenteco", Blaise Aguera y Arcas (Google)
La parolado temigas la ĝeneralan metodaron de maŝinlernado kaj la perspektivojn ŝanĝantajn la industrion nun - kian vojkruciĝon ni alfrontas? Kiel funkcias la cerbo kaj evoluo, kaj kial ni tiom malmulte uzas tion, kion ni jam scias pri la evoluo de naturaj sistemoj?
La industria evoluo de ML plejparte koincidas kun la mejloŝtonoj de la evoluo de Google, kiu publikigas sian esploradon pri NeurIPS jaron post jaro:
- 1997 - lanĉo de serĉinstalaĵoj, unuaj serviloj, malgranda komputika potenco
- 2010 - Jeff Dean lanĉas la Google Brain-projekton, la ekprosperon de neŭralaj retoj ĉe la komenco mem
- 2015 - industria efektivigo de neŭralaj retoj, rapida vizaĝrekono rekte sur loka aparato, malaltnivelaj procesoroj adaptitaj por tensora komputado - TPU. Google lanĉas Coral ai - analogon de raspberry pi, minikomputilon por enkonduki neŭralajn retojn en eksperimentajn instalaĵojn.
- 2017 - Google komencas evoluigi malcentralizitan trejnadon kaj kombini la rezultojn de neŭrala reto trejnado de malsamaj aparatoj en unu modelon - sur Android
Hodiaŭ, tuta industrio estas dediĉita al datumsekureco, agregado kaj reproduktado de lernaj rezultoj sur lokaj aparatoj.
- direkto de ML en kiu individuaj modeloj lernas sendepende unu de la alia kaj tiam estas kombinitaj en ununuran modelon (sen centraligado de la fontodatenoj), alĝustigita por maloftaj okazaĵoj, anomalioj, personigo, ktp. Ĉiuj Android-aparatoj estas esence ununura komputika superkomputilo por Guglo.
Generaj modeloj bazitaj sur federacia lernado estas promesplena estonta direkto laŭ Guglo, kiu estas "en la fruaj stadioj de eksponenta kresko". GANoj, laŭ la preleganto, kapablas lerni reprodukti la amaskonduton de populacioj de vivantaj organismoj kaj pensaj algoritmoj.
Uzante la ekzemplon de du simplaj GAN-arkitekturoj, estas montrite, ke en ili la serĉado de optimumiga vojo vagas ronde, kio signifas, ke optimumigo kiel tia ne okazas. Samtempe, tiuj modeloj estas tre sukcesaj en simulado de la eksperimentoj kiujn biologoj faras sur bakteriaj populacioj, devigante ilin lerni novajn kondutismajn strategiojn serĉante manĝaĵon. Ni povas konkludi, ke vivo funkcias malsame ol la optimumiga funkcio.
Promenado GAN Optimumigo
Ĉio, kion ni faras en la kadro de maŝinlernado nun, estas malvastaj kaj ekstreme formaligitaj taskoj, dum tiuj formalismoj ne bone ĝeneraligas kaj ne respondas al nia faka scio en areoj kiel neŭrofiziologio kaj biologio.
Kio vere valoras prunti el la kampo de neŭrofiziologio en proksima estonteco, estas novaj neŭronaj arkitekturoj kaj eta revizio de la mekanismoj de retrodisvastigo de eraroj.
La homa cerbo mem ne lernas kiel neŭrala reto:
- Li ne havas hazardajn primarajn enigaĵojn, inkluzive de tiuj metitaj tra la sencoj kaj en infanaĝo
- Li havas enecajn direktojn de instinkta evoluo (la deziro lerni lingvon de bebo, marŝante rekte)
Trejni individuan cerbon estas malaltnivela tasko; eble ni devus pripensi "koloniojn" de rapide ŝanĝantaj individuoj transdonantaj scion al unu la alian por reprodukti la mekanismojn de grupevoluo.
Kion ni povas adopti en ML-algoritmojn nun:
- Apliki ĉelgenliniajn modelojn, kiuj certigas la lernadon de la loĝantaro, sed la mallongan vivon de la individuo ("individua cerbo")
- Malmulta lernado uzante malgrandan nombron da ekzemploj
- Pli kompleksaj neŭronaj strukturoj, iomete malsamaj aktivigaj funkcioj
- Transdono de la "genomo" al venontaj generacioj - retropropagada algoritmo
- Post kiam ni konektos neŭrofiziologion kaj neŭralaj retoj, ni lernos konstrui multfunkcian cerbon el multaj komponantoj.
El ĉi tiu vidpunkto, la praktiko de SOTA-solvoj estas malutila kaj devus esti reviziita pro evoluigado de komunaj taskoj (refermarkoj).
"Verika Datuma Scienco", Bin Yu (Berkeley)
La raporto estas dediĉita al la problemo de interpretado de maŝinlernado-modeloj kaj la metodaro por ilia rekta testado kaj konfirmo. Ajna trejnita ML-modelo povas esti perceptita kiel fonto de scio, kiu devas esti eltirita de ĝi.
En multaj areoj, precipe en medicino, la uzo de modelo estas neebla sen ĉerpi ĉi tiun kaŝitan scion kaj interpreti la rezultojn de la modelo - alie ni ne estos certaj, ke la rezultoj estos stabilaj, ne-hazardaj, fidindaj, kaj ne mortigos la. paciento. Tuta direkto de labormetodaro formiĝas ene de la profunda lernadparadigmo kaj iras preter ĝiaj limoj - verida datuma scienco. Kio ĝi estas?
Ni volas atingi tian kvaliton de sciencaj publikaĵoj kaj reprodukteblecon de modeloj, ke ili estas:
- antaŭvidebla
- komputebla
- stabila
Ĉi tiuj tri principoj formas la bazon de la nova metodaro. Kiel ML-modeloj povas esti kontrolitaj kontraŭ ĉi tiuj kriterioj? La plej facila maniero estas konstrui tuj interpreteblajn modelojn (regresoj, decidarboj). Tamen ni ankaŭ volas akiri la tujajn avantaĝojn de profunda lernado.
Pluraj ekzistantaj manieroj labori kun la problemo:
- interpreti la modelon;
- uzi metodojn bazitajn sur atento;
- uzu ensemblojn de algoritmoj dum trejnado, kaj certigu ke linearaj interpreteblaj modeloj lernu antaŭdiri la samajn respondojn kiel la neŭrala reto, interpretante trajtojn de la lineara modelo;
- ŝanĝi kaj pliigi trejnajn datumojn. Ĉi tio inkluzivas aldonadon de bruo, interfero kaj datumpliigo;
- iuj metodoj, kiuj helpas certigi, ke la rezultoj de la modelo ne estas hazardaj kaj ne dependas de negrava nedezirata interfero (kontraŭaj atakoj);
- interpretu la modelon post la fakto, post trejnado;
- studi trajtajn pezojn en diversaj manieroj;
- studi la probablojn de ĉiuj hipotezoj, klasdistribuo.
Adversaria atako
Modelaj eraroj estas multekostaj por ĉiuj: ĉefa ekzemplo estas la laboro de Reinhart kaj Rogov."" influis la ekonomiajn politikojn de multaj eŭropaj landoj kaj devigis ilin sekvi severajn politikojn, sed zorgema rekontrolo de la datumoj kaj ilia prilaborado jarojn poste montris la kontraŭan rezulton!
Ajna ML-teknologio havas sian propran vivociklon de efektivigo ĝis efektivigo. La celo de la nova metodaro estas kontroli tri bazajn principojn en ĉiu etapo de la vivo de la modelo.
Rezultoj:
- Pluraj projektoj estas evoluigitaj, kiuj helpos la ML-modelon esti pli fidinda. Ĉi tio estas, ekzemple, deeptuno (ligilo al: );
- Por plua evoluo de la metodaro, necesas signife plibonigi la kvaliton de publikaĵoj en la kampo de ML;
- Maŝinlernado bezonas gvidantojn kun multfaka trejnado kaj kompetenteco en kaj teknikaj kaj homaraj kampoj.
"Modeligado de Homa Konduto kun Maŝina Lernado: Ŝancoj kaj Defioj" Nuria M Oliver, Albert Ali Salah
Prelego dediĉita al modeligado de homa konduto, ĝiaj teknologiaj fundamentoj kaj aplikaj perspektivoj.
Homa konduto-modeligado povas esti dividita en:
- individua konduto
- konduto de grupeto de homoj
- amasa konduto
Ĉiu el ĉi tiuj tipoj povas esti modeligita uzante ML, sed kun tute malsamaj enigaĵoj kaj funkcioj. Ĉiu tipo ankaŭ havas siajn proprajn etikajn aferojn, kiujn ĉiu projekto travivas:
- individua konduto - identa ŝtelo, deepfalso;
- konduto de grupoj de homoj - senanonimigo, akiro de informoj pri movoj, telefonvokoj ktp.;
individua konduto
Plejparte rilatas al la temo Komputila Vido - rekono de homaj emocioj kaj reagoj. Eble nur en kunteksto, en tempo, aŭ kun la relativa skalo de sia propra ŝanĝebleco de emocioj. La lumbildo montras rekonon de la emocioj de Mona Lisa uzante kuntekston de la emocia spektro de mediteraneaj virinoj. Rezulto: rideto de ĝojo, sed kun malestimo kaj abomeno. La kialo plej verŝajne estas en la teknika maniero difini "neŭtralan" emocion.
Konduto de malgranda grupo de homoj
Ĝis nun la plej malbona modelo estas pro nesufiĉa informo. Ekzemple, verkoj de 2018 – 2019 estis montritaj. sur dekoj da homoj X dekduoj da videoj (kp. 100k++ bildaj datenoj). Por plej bone modeligi ĉi tiun taskon, necesas multmodala informo, prefere de sensiloj sur korpoaltimetro, termometro, mikrofonregistrado ktp.
Amasa konduto
La plej evoluinta areo, ĉar la kliento estas UN kaj multaj ŝtatoj. Subĉielaj gvataj fotiloj, datumoj de telefonturoj - fakturado, SMS, vokoj, datumoj pri movado inter ŝtatlimoj - ĉio ĉi donas tre fidindan bildon de la movado de homoj kaj sociaj malstabilecoj. Eblaj aplikoj de la teknologio: optimumigo de savoperacioj, asistado kaj ĝustatempa evakuado de la loĝantaro dum krizoj. La uzataj modeloj estas ĉefe ankoraŭ malbone interpretitaj - temas pri diversaj LSTM-oj kaj konvoluciaj retoj. Estis mallonga rimarko, ke UNo lobiis por nova leĝo, kiu devigus eŭropajn entreprenojn kunhavigi anonimigitajn datumojn necesajn por iu ajn esplorado.
"De Sistemo 1 ĝis Sistemo 2 Profunda Lernado", Yoshua Bengio
En la prelego de Joshua Bengio, profunda lernado renkontas neŭrosciencon je la nivelo de celo fikso.
Bengio identigas du ĉefajn specojn de problemoj laŭ la metodaro de Nobel-premiito Daniel Kahneman (libro "")
tipo 1 - Sistemo 1, senkonsciaj agoj, kiujn ni faras "aŭtomate" (antikva cerbo): stiri aŭton en konataj lokoj, promeni, rekoni vizaĝojn.
tipo 2 - Sistemo 2, konsciaj agoj (cerba kortekso), celo fikso, analizo, pensado, kunmetitaj taskoj.
AI ĝis nun atingis sufiĉajn altecojn nur en taskoj de la unua tipo, dum nia tasko estas alporti ĝin al la dua, instruante ĝin fari multidisciplinajn operaciojn kaj funkcii kun logiko kaj altnivelaj kognaj kapabloj.
Por atingi ĉi tiun celon oni proponas:
- en NLP-taskoj, uzu atenton kiel ŝlosilan mekanismon por modeligi pensadon
- uzu meta-lernadon kaj reprezentan lernadon por pli bone modeligi trajtojn, kiuj influas konscion kaj ties lokalizon - kaj surbaze moviĝu al funkciado kun pli altnivelaj konceptoj.
Anstataŭ konkludo, jen invitita parolado: Bengio estas unu el multaj sciencistoj, kiuj provas vastigi la kampon de ML preter optimumigo de problemoj, SOTA kaj novaj arkitekturoj.
La demando restas malfermita ĝis kiagrade la kombinaĵo de problemoj de konscio, la influo de lingvo sur pensado, neŭrobiologio kaj algoritmoj estas kio atendas nin en la estonteco kaj permesos al ni moviĝi al maŝinoj kiuj "pensas" kiel homoj.
Dankon!
fonto: www.habr.com