NeuroIPS () se pi gwo konferans nan mond lan sou aprantisaj machin ak entèlijans atifisyèl ak evènman prensipal la nan mond lan nan aprantisaj pwofon.
Èske nou menm, enjenyè DS, n ap metrize tou byoloji, lengwistik, ak sikoloji nan nouvo dekad la? Nou pral di w nan revizyon nou an.
Ane sa a konferans lan te rasanble plis pase 13500 moun ki soti nan 80 peyi nan Vancouver, Kanada. Sa a se pa premye ane ke Sberbank te reprezante Larisi nan konferans lan - ekip DS la te pale sou aplikasyon an nan ML nan pwosesis bankè, sou konpetisyon an ML ak sou kapasite yo nan platfòm la Sberbank DS. Ki tandans prensipal yo nan 2019 nan kominote ML la? Patisipan yo nan konferans lan di: и .
Ane sa a, NeurIPS te aksepte plis pase 1400 papye—algoritm, nouvo modèl, ak nouvo aplikasyon pou nouvo done.
Table of Contents
- Tandans
-
- Entèpretasyon modèl
- Miltidisiplinarite
- Rezònman
- RL
- GAN
- Debaz chita pale envite
-
- "Entèlijans sosyal", Blaise Aguera y Arcas (Google)
- "Syans done veridik", Bin Yu (Berkeley)
- "Modèl konpòtman imen ak aprantisaj machin: Opòtinite ak defi", Nuria M Oliver, Albert Ali Salah
- Yoshua Bengio, "Soti nan sistèm 1 rive nan sistèm 2 aprantisaj pwofon".
Tandans 2019
1. Entèpretasyon modèl ak nouvo metodoloji ML
Sijè prensipal konferans lan se entèpretasyon ak prèv poukisa nou jwenn sèten rezilta. Yon moun ka pale pou yon tan long sou enpòtans filozofik entèpretasyon "bwat nwa a", men te gen plis metòd reyèl ak devlopman teknik nan zòn sa a.
Metodoloji pou repwodui modèl ak ekstrè konesans nan men yo se yon nouvo zouti pou syans. Modèl yo ka sèvi kòm yon zouti pou jwenn nouvo konesans ak tès li, epi chak etap nan pre-pwosesis, fòmasyon ak aplikasyon nan modèl la dwe repwodwi.
Yon pwopòsyon enpòtan nan piblikasyon yo konsakre pa nan konstriksyon an nan modèl ak zouti, men nan pwoblèm yo nan asire sekirite, transparans ak verifyabilite nan rezilta yo. An patikilye, yon kouran separe te parèt sou atak sou modèl la (atak adversarial), ak opsyon pou tou de atak sou fòmasyon ak atak sou aplikasyon yo konsidere.
Atik:
- — yon atik pwogramasyon sou metodoloji verifikasyon modèl la. Gen ladann yon apèsi sou zouti modèn pou entèprete modèl, an patikilye, itilizasyon atansyon ak jwenn enpòtans karakteristik pa "distile" rezo neral la ak modèl lineyè.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net montre entèpretasyon modèl pou travay pwosesis tèks
2. Miltidisiplinarite
Pou asire verifikasyon serye epi devlope mekanis pou verifye ak elaji konesans, nou bezwen espesyalis nan domèn ki gen rapò ak ki an menm tan gen konpetans nan ML ak nan matyè a (medsin, lengwistik, nerobyoloji, edikasyon, elatriye). Li se espesyalman vo anyen prezans nan pi enpòtan nan travay ak diskou nan nerosyans ak syans mantal - gen yon rapwòchman nan espesyalis ak prete nan lide.
Anplis rapwòchman sa a, miltidisiplinè ap parèt nan pwosesis ansanm enfòmasyon ki soti nan plizyè sous: tèks ak foto, tèks ak jwèt, baz done graf + tèks ak foto.
Atik:
- Neurosyans + ML —
- VisualQA -
- RL + NLP -
De modèl - stratèj ak egzekitif - ki baze sou RL ak NLP jwe estrateji sou entènèt
3. Rezònman
Ranfòse entèlijans atifisyèl se yon mouvman nan direksyon pou sistèm aprantisaj pwòp tèt ou, "konsyan", rezònman ak rezònman. An patikilye, enferans kozatif ak rezònman sans komen yo ap devlope. Gen kèk nan rapò yo konsakre nan meta-aprann (sou fason pou aprann aprann) ak konbinezon teknoloji DL ak lojik 1ye ak 2yèm lòd - tèm entèlijans jeneral atifisyèl (AGI) ap vin yon tèm komen nan diskou moun ki pale.
Atik:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Pifò nan travay la ap kontinye devlope zòn tradisyonèl nan RL - DOTA2, Starcraft, konbine achitekti ak vizyon òdinatè, NLP, baz done graf.
Yon jou apa nan konferans lan te konsakre nan yon atelye RL, nan ki te prezante achitekti Optimistic Actor Critic Model, siperyè pase tout ansyen yo, an patikilye Soft Actor Critic.
Atik:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Rezo Prefere); Takahiro Ishikawa (University of Tokyo) [ekstèn lyen pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
Jwè StarCraft yo goumen ak modèl Alphastar (DeepMind)
5.GAN
Rezo jeneratif yo toujou nan dokiman Pwen Enpòtan an: anpil travay itilize GAN vaniy pou prèv matematik, epi tou aplike yo nan nouvo fason etranj (modèl jeneratif grafik, travay ak seri, aplikasyon pou relasyon kòz ak efè nan done, elatriye).
Atik:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dann Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Depi plis travay te aksepte Anba a nou pral pale sou diskou ki pi enpòtan yo.
Envite chita pale
"Entèlijans sosyal", Blaise Aguera y Arcas (Google)
Diskou a konsantre sou metodoloji jeneral nan aprantisaj machin ak kandida yo chanje endistri a kounye a - ki kafou nou ap fè fas a? Ki jan sèvo a ak evolisyon travay, e poukisa nou fè si ti sèvi ak sa nou deja konnen sou devlopman sistèm natirèl yo?
Devlopman endistriyèl ML kowenside ak etap enpòtan yo nan devlopman Google, ki pibliye rechèch li yo sou NeurIPS ane apre ane:
- 1997 - lansman enstalasyon rechèch, premye serveurs, ti pouvwa informatique
- 2010 - Jeff Dean lanse pwojè Google Brain, boom nan rezo neral nan kòmansman an anpil.
- 2015 - aplikasyon endistriyèl nan rezo neral, rekonesans figi rapid dirèkteman sou yon aparèy lokal, processeurs ba nivo pwepare pou informatique tensor - TPU. Google lanse Coral ai - yon analogue nan Franbwaz pi, yon mini-òdinatè pou entwodwi rezo neral nan enstalasyon eksperimantal.
- 2017 - Google kòmanse devlope fòmasyon desantralize ak konbine rezilta fòmasyon rezo neral soti nan diferan aparèy nan yon sèl modèl - sou Android
Jodi a, yon endistri antye dedye a sekirite done, agrégasyon, ak replikasyon rezilta aprantisaj sou aparèy lokal yo.
- yon direksyon nan ML nan ki modèl endividyèl aprann poukont youn ak lòt epi yo Lè sa a, konbine nan yon modèl sèl (san yo pa santralize done yo sous), ajiste pou evènman ra, anomali, pèsonalizasyon, elatriye. Tout aparèy Android yo se esansyèlman yon sèl supercomputer informatique pou Google.
Modèl jeneratif ki baze sou aprantisaj federasyon se yon direksyon pwomèt nan lavni dapre Google, ki se "nan premye etap yo nan kwasans eksponansyèl." Dapre konferansye a, GAN yo kapab aprann repwodui konpòtman an mas popilasyon òganis vivan yo ak algoritm panse.
Sèvi ak egzanp de achitekti GAN ki senp, li montre ke nan yo rechèch la pou yon chemen optimize moute desann nan yon sèk, ki vle di ke optimize kòm sa yo pa rive. An menm tan an, modèl sa yo gen anpil siksè nan simulation eksperyans yo ke byolojis fè sou popilasyon bakteri, fòse yo aprann nouvo estrateji konpòtman yo nan rechèch nan manje. Nou ka konkli ke lavi travay yon fason diferan pase fonksyon optimize a.
Mache GAN Optimizasyon
Tout sa nou fè nan kad aprantisaj machin kounye a se travay etwat ak trè fòmalize, pandan y ap fòmalis sa yo pa jeneralize byen epi yo pa koresponn ak konesans sijè nou an nan domèn tankou nerofizyoloji ak byoloji.
Ki sa ki reyèlman vo prete nan jaden an nan nerofizyoloji nan fiti prè se nouvo achitekti newòn ak yon ti revizyon nan mekanis yo nan backpropagation nan erè.
Sèvo imen an tèt li pa aprann tankou yon rezo neral:
- Li pa gen opinyon prensipal o aza, ki gen ladan sa yo mete desann nan sans yo ak nan anfans
- Li gen direksyon nannan nan devlopman enstenktif (dezi pou aprann lang nan men yon tibebe, mache dwat)
Fòmasyon yon sèvo endividyèl se yon travay ki ba; petèt nou ta dwe konsidere "koloni" moun k ap chanje rapidman transmèt konesans youn ak lòt pou repwodui mekanis evolisyon gwoup yo.
Ki sa nou ka adopte nan algoritm ML kounye a:
- Aplike modèl linyon selilè ki asire aprantisaj popilasyon an, men kout lavi moun nan ("sèvo endividyèl").
- Aprantisaj kèk piki lè l sèvi avèk yon ti kantite egzanp
- Estrikti newòn pi konplèks, fonksyon aktivasyon yon ti kras diferan
- Transfere "genom" nan jenerasyon kap vini yo - algorithm backpropagation
- Yon fwa nou konekte nerofizyoloji ak rezo neral, nou pral aprann bati yon sèvo multifonksyonèl nan anpil eleman.
Soti nan pwen de vi sa a, pratik nan solisyon SOTA se prejidis epi yo ta dwe revize pou dedomajman pou yo devlope travay komen (referans).
"Syans done veridik", Bin Yu (Berkeley)
Rapò a konsakre nan pwoblèm nan entèprete modèl aprantisaj machin ak metodoloji pou tès dirèk yo ak verifikasyon. Nenpòt modèl ML ki resevwa fòmasyon ka pèrsu kòm yon sous konesans ki bezwen ekstrè soti nan li.
Nan anpil domèn, espesyalman nan medikaman, itilizasyon yon modèl se enposib san yo pa ekstrè konesans kache sa a ak entèprete rezilta modèl la - otreman nou pa pral asire w ke rezilta yo pral estab, ki pa o aza, serye, epi yo pa pral touye a. pasyan. Yon direksyon antye nan metodoloji travay ap devlope nan paradigm nan aprantisaj pwofon epi ale pi lwen pase limit li yo - veridical data science. Ki sa li ye?
Nou vle reyalize kalite piblikasyon syantifik ak repwodibilite modèl ke yo ye:
- previzib
- enfòmatik
- ki estab
Twa prensip sa yo fòme baz nouvo metodoloji a. Ki jan yo ka tcheke modèl ML kont kritè sa yo? Fason ki pi fasil la se bati modèl ki entèprete imedyatman (regressions, pye bwa desizyon). Sepandan, nou vle tou jwenn benefis imedya nan aprantisaj pwofon.
Plizyè fason ki egziste deja pou travay ak pwoblèm nan:
- entèprete modèl la;
- sèvi ak metòd ki baze sou atansyon;
- sèvi ak ansanbl algoritm lè fòmasyon, epi asire ke modèl entèprete lineyè aprann predi menm repons ak rezo neral la, entèprete karakteristik ki soti nan modèl lineyè a;
- chanje ak ogmante done fòmasyon yo. Sa gen ladann ajoute bri, entèferans, ak ogmantasyon done;
- nenpòt metòd ki ede asire ke rezilta modèl la yo pa o aza epi yo pa depann de entèferans minè vle (atak adversary);
- entèprete modèl la apre reyalite a, apre fòmasyon;
- etidye pwa karakteristik nan divès fason;
- etidye pwobabilite yo nan tout ipotèz, distribisyon klas yo.
Atak advèsè
Erè modèl yo koute chè pou tout moun: yon premye egzanp se travay Reinhart ak Rogov."" te enfliyanse politik ekonomik yo nan anpil peyi Ewopeyen yo ak fòse yo pouswiv politik osterize, men yon atansyon re-tcheke done yo ak pwosesis yo ane pita te montre rezilta opoze a!
Nenpòt teknoloji ML gen pwòp sik lavi li soti nan aplikasyon an aplikasyon. Objektif nouvo metodoloji a se tcheke sou twa prensip debaz nan chak etap nan lavi modèl la.
Rezime:
- Plizyè pwojè ap devlope ki pral ede modèl ML la vin pi serye. Sa a se, pou egzanp, deeptune (lyen pou: );
- Pou plis devlopman nan metodoloji a, li nesesè amelyore siyifikativman kalite piblikasyon nan domèn ML;
- Aprantisaj machin bezwen lidè ki gen fòmasyon miltidisiplinè ak ekspètiz nan tou de domèn teknik ak imanitè.
"Modèl konpòtman imen ak aprantisaj machin: Opòtinite ak defi" Nuria M Oliver, Albert Ali Salah
Konferans dedye a modèl konpòtman imen, fondasyon teknolojik li yo ak kandida aplikasyon.
Modèl konpòtman moun ka divize an:
- konpòtman endividyèl
- konpòtman yon ti gwoup moun
- konpòtman mas
Chak nan kalite sa yo ka modle lè l sèvi avèk ML, men ak enfòmasyon opinyon ak karakteristik konplètman diferan. Chak kalite tou gen pwòp pwoblèm etik li yo ke chak pwojè ale nan:
- konpòtman endividyèl - vòl idantite, deepfake;
- konpòtman gwoup moun - de-anonimizasyon, jwenn enfòmasyon sou mouvman, apèl nan telefòn, elatriye;
konpòtman endividyèl
Sitou ki gen rapò ak sijè a nan Vizyon Odinatè - rekonesans nan emosyon imen ak reyaksyon. Petèt sèlman nan yon kontèks, nan tan, oswa ak echèl relatif la nan varyasyon pwòp li nan emosyon. Slide a montre rekonesans nan emosyon Mona Lisa lè l sèvi avèk kontèks ki soti nan spectre emosyonèl fanm Mediterane a. Rezilta: yon souri nan kè kontan, men ak mepri ak degou. Rezon ki fè la gen plis chans nan fason teknik pou defini yon emosyon "net".
Konpòtman yon ti gwoup moun
Jiskaprezan modèl ki pi mal la se akòz enfòmasyon ensifizan. Kòm yon egzanp, travay soti nan 2018 - 2019 yo te montre. sou plizyè douzèn moun X plizyè douzèn videyo (cf. 100k++ seri done imaj). Pou pi byen modèl travay sa a, enfòmasyon multimodal yo bezwen, de preferans soti nan detèktè sou yon altimèt kò, tèmomèt, anrejistreman mikwofòn, elatriye.
Konpòtman mas
Zòn ki pi devlope, depi kliyan an se Nasyonzini ak anpil eta. Kamera siveyans deyò, done ki soti nan gwo fò tou won telefòn - bòdwo, SMS, apèl, done sou mouvman ant fwontyè eta - tout sa a bay yon foto trè serye nan mouvman an nan moun ak enstabilite sosyal. Aplikasyon potansyèl nan teknoloji a: optimize nan operasyon sekou, asistans ak evakyasyon alè nan popilasyon an pandan ijans. Modèl yo itilize yo sitou mal entèprete - sa yo se divès kalite LSTM ak rezo konvolusyonèl. Te gen yon remak kout ke Nasyonzini an te espresyon pou yon nouvo lwa ki ta oblije biznis Ewopeyen yo pataje done anonim ki nesesè pou nenpòt rechèch.
Yoshua Bengio, "Soti nan sistèm 1 rive nan sistèm 2 aprantisaj pwofon".
Nan konferans Joshua Bengio a, aprantisaj pwofon rankontre nerosyans nan nivo fikse objektif.
Bengio idantifye de kalite prensipal pwoblèm dapre metodoloji loreya Nobel Daniel Kahneman (liv "»
tip 1 - Sistèm 1, aksyon san konesans ke nou fè "otomatikman" (ansyen sèvo): kondwi yon machin nan kote ki abitye, mache, rekonèt figi.
tip 2 - Sistèm 2, aksyon konsyan (kotèks serebral), tabli objektif, analiz, panse, travay konpoze.
Byen lwen AI te rive jwenn ase wotè sèlman nan travay nan premye kalite a, pandan y ap travay nou an se pote l 'nan dezyèm lan, anseye li fè operasyon miltidisiplinè ak opere ak lojik ak ladrès mantal wo nivo.
Pou reyalize objektif sa a li pwopoze:
- nan travay NLP, sèvi ak atansyon kòm yon mekanis kle pou modèl panse
- sèvi ak meta-learning ak reprezantasyon aprantisaj pou pi byen modèl karakteristik ki enfliyanse konsyans ak lokalizasyon yo - epi sou baz yo avanse pou opere ak konsèp pi wo nivo.
Olye pou yo yon konklizyon, isit la nan yon diskou envite: Bengio se youn nan anpil syantis ki ap eseye elaji jaden an nan ML pi lwen pase pwoblèm optimize, SOTA ak nouvo achitekti.
Kesyon an rete ouvè nan ki nivo konbinezon de pwoblèm konsyans, enfliyans nan lang sou panse, nerobyoloji ak algoritm se sa ki ap tann nou nan tan kap vini an epi yo pral pèmèt nou deplase nan machin ki "panse" tankou moun.
Mèsi!
Sous: www.habr.com