NeuroIPS () najveća je svjetska konferencija o strojnom učenju i umjetnoj inteligenciji te glavni događaj u svijetu dubokog učenja.
Hoćemo li i mi, inženjeri DS-a, u novom desetljeću ovladati biologijom, lingvistikom i psihologijom? Reći ćemo vam u našoj recenziji.
Ove godine konferencija je okupila više od 13500 ljudi iz 80 zemalja u Vancouveru, Kanada. Ovo nije prva godina da Sberbank predstavlja Rusiju na konferenciji – DS tim je govorio o implementaciji ML-a u bankovne procese, o ML natjecanju te o mogućnostima Sberbank DS platforme. Koji su bili glavni trendovi 2019. u ML zajednici? Sudionici konferencije kažu: и .
Ove je godine NeurIPS prihvatio više od 1400 radova—algoritmi, novi modeli i nove primjene na nove podatke.
Sadržaj:
- trendovi
-
- Interpretabilnost modela
- Multidisciplinarnost
- Rasuđivanje
- RL
- oboje
- Osnovni pozivni razgovori
-
- “Socijalna inteligencija”, Blaise Aguera y Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- "Modeliranje ljudskog ponašanja sa strojnim učenjem: mogućnosti i izazovi", Nuria M Oliver, Albert Ali Salah
- “Od sustava 1 do dubokog učenja sustava 2”, Yoshua Bengio
Trendovi 2019 u godini
1. Interpretabilnost modela i nova ML metodologija
Glavna tema konferencije je interpretacija i dokaz zašto dobivamo određene rezultate. Može se dugo govoriti o filozofskoj važnosti tumačenja "crne kutije", ali bilo je više stvarnih metoda i tehničkih dostignuća u ovom području.
Metodologija za repliciranje modela i izvlačenje znanja iz njih novi je alat za znanost. Modeli mogu poslužiti kao alat za stjecanje novih znanja i njihovo testiranje, a svaka faza predobrade, obuke i primjene modela mora biti ponovljiva.
Značajan dio publikacija nije posvećen konstrukciji modela i alata, već problemima osiguranja sigurnosti, transparentnosti i provjerljivosti rezultata. Konkretno, pojavio se zaseban tok o napadima na model (adversarial napadi), a razmatraju se opcije i za napade na obuku i napade na aplikaciju.
Članci:
- — programski članak o metodologiji provjere modela. Uključuje pregled suvremenih alata za tumačenje modela, posebice korištenje pažnje i dobivanje važnosti značajki "destilacijom" neuronske mreže s linearnim modelima.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net prikazuje interpretaciju modela za zadatke obrade teksta
2. Multidisciplinarnost
Kako bismo osigurali pouzdanu provjeru i razvili mehanizme za provjeru i proširivanje znanja, potrebni su nam stručnjaci srodnih područja koji istovremeno imaju kompetencije u ML-u i predmetnom području (medicina, lingvistika, neurobiologija, obrazovanje itd.). Posebno je vrijedno istaknuti značajniju prisutnost radova i govora u neuroznanostima i kognitivnim znanostima – dolazi do zbližavanja stručnjaka i posuđivanja ideja.
Osim tog približavanja, pojavljuje se multidisciplinarnost u zajedničkoj obradi informacija iz različitih izvora: tekst i fotografije, tekst i igrice, grafske baze + tekst i fotografije.
Članci:
- Neuroznanost + ML —
- VisualQA -
- RL + NLP -
Dva modela - strateg i izvršni - temeljeni na RL i NLP igraju online strategiju
3. Obrazloženje
Jačanje umjetne inteligencije je pokret prema samoučećim sustavima, “svjesnom”, rasuđivanju i razmišljanju. Osobito se razvijaju uzročno zaključivanje i zdravorazumsko zaključivanje. Neki od izvještaja posvećeni su meta učenju (o tome kako naučiti učiti) i kombinaciji DL tehnologija s logikom 1. i 2. reda – pojam umjetna opća inteligencija (AGI) postaje uobičajen pojam u govorima govornika.
Članci:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Pojačavanje učenja
Većina posla nastavlja razvijati tradicionalna područja RL-a - DOTA2, Starcraft, kombiniranje arhitektura s računalnim vidom, NLP, baze podataka grafova.
Poseban dan konferencije bio je posvećen RL radionici na kojoj je predstavljena arhitektura Optimistic Actor Critic Model, superiornija u odnosu na sve dosadašnje, posebice Soft Actor Critic.
Članci:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferirane mreže); Takahiro Ishikawa (Sveučilište u Tokiju) [vanjska pdf poveznica].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Sveučilište u Torontu); Mohammad Norouzi (Google Brain)
Igrači StarCrafta bore se s modelom Alphastar (DeepMind)
5.GAN
Generativne mreže još uvijek su u središtu pozornosti: mnogi radovi koriste vanilla GAN-ove za matematičke dokaze, a također ih primjenjuju na nove, neobične načine (grafički generativni modeli, rad s serijama, primjena na uzročno-posljedične odnose u podacima, itd.).
Članci:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Budući da je više posla prihvaćeno U nastavku ćemo govoriti o najvažnijim govorima.
Pozvani razgovori
“Socijalna inteligencija”, Blaise Aguera y Arcas (Google)
Razgovor se fokusira na opću metodologiju strojnog učenja i izglede koji trenutačno mijenjaju industriju - s kojim se raskrižjima suočavamo? Kako funkcioniraju mozak i evolucija i zašto tako malo koristimo ono što već znamo o razvoju prirodnih sustava?
Industrijski razvoj ML-a uvelike se podudara s prekretnicama razvoja Googlea, koji iz godine u godinu objavljuje svoje istraživanje o NeurIPS-u:
- 1997. – pokretanje tražilica, prvi poslužitelji, mala računalna snaga
- 2010. – Jeff Dean pokreće projekt Google Brain, procvat neuronskih mreža na samom početku
- 2015. – industrijska implementacija neuronskih mreža, brzo prepoznavanje lica izravno na lokalnom uređaju, niskorazinski procesori prilagođeni tenzorskom računalstvu - TPU. Google lansira Coral ai - analog raspberry pi, mini-računalo za uvođenje neuronskih mreža u eksperimentalne instalacije
- 2017. – Google počinje razvijati decentraliziranu obuku i kombinirati rezultate obuke neuronske mreže s različitih uređaja u jedan model – na Androidu
Danas je cijela industrija posvećena sigurnosti podataka, agregaciji i replikaciji ishoda učenja na lokalnim uređajima.
– smjer ML-a u kojem pojedinačni modeli uče neovisno jedan o drugome, a zatim se kombiniraju u jedan model (bez centralizacije izvornih podataka), prilagođen rijetkim događajima, anomalijama, personalizaciji itd. Svi Android uređaji su u biti jedno računalno superračunalo za Google.
Generativni modeli koji se temelje na udruženom učenju obećavajući su budući smjer prema Googleu, koji je "u ranim fazama eksponencijalnog rasta". GAN-ovi su, prema riječima predavača, sposobni naučiti reproducirati masovno ponašanje populacija živih organizama i algoritama razmišljanja.
Na primjeru dviju jednostavnih GAN arhitektura pokazano je da kod njih potraga za optimizacijskim putem luta u krug, što znači da optimizacija kao takva ne dolazi. U isto vrijeme, ovi modeli vrlo su uspješni u simulaciji eksperimenata koje biolozi izvode na populacijama bakterija, tjerajući ih da nauče nove strategije ponašanja u potrazi za hranom. Možemo zaključiti da život funkcionira drugačije od funkcije optimizacije.
Pješačka GAN optimizacija
Sve što sada radimo u okviru strojnog učenja su uski i krajnje formalizirani zadaci, pri čemu ti formalizmi nisu dobro generalizirani i ne korespondiraju s našim predmetnim znanjima u područjima kao što su neurofiziologija i biologija.
Ono što se stvarno isplati posuditi iz područja neurofiziologije u bliskoj budućnosti su nove neuronske arhitekture i blaga revizija mehanizama povratnog širenja pogrešaka.
Sam ljudski mozak ne uči poput neuronske mreže:
- On nema nasumične primarne inpute, uključujući one položene kroz osjetila i u djetinjstvu
- Ima svojstvene smjerove instinktivnog razvoja (želja za učenjem jezika od dojenčeta, uspravno hodanje)
Uvježbavanje individualnog mozga zadatak je niske razine; možda bismo trebali razmotriti "kolonije" pojedinaca koji se brzo mijenjaju i prenose znanje jedni drugima kako bi reproducirali mehanizme grupne evolucije.
Što sada možemo usvojiti u ML algoritme:
- Primijeniti modele stanične loze koji osiguravaju učenje populacije, ali kratak život pojedinca ("individualni mozak")
- Malokratno učenje na malom broju primjera
- Složenije neuronske strukture, nešto drugačije aktivacijske funkcije
- Prijenos "genoma" sljedećim generacijama - algoritam povratnog širenja
- Nakon što povežemo neurofiziologiju i neuronske mreže, naučit ćemo izgraditi multifunkcionalni mozak od mnogih komponenti.
S ove točke gledišta, praksa SOTA rješenja je štetna i treba je revidirati radi razvoja zajedničkih zadataka (benchmarkova).
“Veridical Data Science”, Bin Yu (Berkeley)
Izvješće je posvećeno problemu tumačenja modela strojnog učenja i metodologiji za njihovo izravno testiranje i provjeru. Svaki uvježbani ML model može se percipirati kao izvor znanja koje iz njega treba izvući.
U mnogim područjima, posebice u medicini, uporaba modela je nemoguća bez izvlačenja ovog skrivenog znanja i tumačenja rezultata modela - inače nećemo biti sigurni da će rezultati biti stabilni, nenasumični, pouzdani i da neće uništiti pacijent. Cijeli jedan smjer metodologije rada razvija se unutar paradigme dubokog učenja i nadilazi njezine granice - veridical data science. Što je?
Želimo postići takvu kvalitetu znanstvenih publikacija i obnovljivost modela da su:
- predvidljiv
- izračunljiv
- stabilan
Ova tri principa čine osnovu nove metodologije. Kako se ML modeli mogu provjeriti prema ovim kriterijima? Najlakši način je izgraditi odmah interpretabilne modele (regresije, stabla odlučivanja). Međutim, također želimo dobiti neposredne prednosti dubokog učenja.
Nekoliko postojećih načina za rješavanje problema:
- interpretirati model;
- koristiti metode temeljene na pažnji;
- koristiti skupove algoritama prilikom obuke i osigurati da linearni interpretabilni modeli nauče predviđati iste odgovore kao neuronska mreža, tumačeći značajke iz linearnog modela;
- promijeniti i povećati podatke o obuci. To uključuje dodavanje šuma, smetnji i povećanje podataka;
- sve metode koje pomažu osigurati da rezultati modela nisu nasumični i ne ovise o manjim neželjenim smetnjama (adversarni napadi);
- interpretirati model naknadno, nakon obuke;
- proučiti težine značajki na različite načine;
- proučavanje vjerojatnosti svih hipoteza, raspodjela klasa.
Suparnički napad
Pogreške u modeliranju skupe su za sve: glavni primjer je rad Reinharta i Rogova."“ utjecao na ekonomske politike mnogih europskih zemalja i natjerao ih na politiku štednje, no pomna ponovna provjera podataka i njihova obrada godinama kasnije pokazala je suprotan rezultat!
Svaka ML tehnologija ima svoj životni ciklus od implementacije do implementacije. Cilj nove metodologije je provjeriti tri osnovna principa u svakoj fazi života modela.
Rezultati:
- Razvija se nekoliko projekata koji će pomoći da ML model bude pouzdaniji. Ovo je, na primjer, deeptune (link na: );
- Za daljnji razvoj metodologije potrebno je značajno poboljšati kvalitetu publikacija iz područja pranja novca;
- Strojno učenje treba voditelje s multidisciplinarnim obrazovanjem i stručnošću u tehničkim i humanističkim područjima.
"Modeliranje ljudskog ponašanja sa strojnim učenjem: mogućnosti i izazovi" Nuria M Oliver, Albert Ali Salah
Predavanje posvećeno modeliranju ljudskog ponašanja, njegovim tehnološkim osnovama i mogućnostima primjene.
Modeliranje ljudskog ponašanja može se podijeliti na:
- individualno ponašanje
- ponašanje male grupe ljudi
- masovno ponašanje
Svaka od ovih vrsta može se modelirati pomoću ML-a, ali s potpuno različitim ulaznim informacijama i značajkama. Svaka vrsta također ima svoje etičke probleme kroz koje svaki projekt prolazi:
- individualno ponašanje – krađa identiteta, deepfake;
- ponašanje grupa ljudi - deanonimizacija, dobivanje informacija o kretanju, telefonskim pozivima i sl.;
individualno ponašanje
Uglavnom vezano za temu Računalni vid – prepoznavanje ljudskih emocija i reakcija. Možda samo u kontekstu, u vremenu ili s relativnom razmjerom vlastite varijabilnosti emocija. Slajd prikazuje prepoznavanje Mona Lisinih emocija koristeći kontekst iz emocionalnog spektra mediteranskih žena. Rezultat: osmijeh radosti, ali s prijezirom i gađenjem. Razlog je najvjerojatnije u tehničkom načinu definiranja “neutralne” emocije.
Ponašanje male grupe ljudi
Do sada je najlošiji model zbog nedovoljno informacija. Kao primjer, prikazani su radovi iz 2018. – 2019. godine. na desecima ljudi X desecima videozapisa (usp. 100k++ skupova slika). Za najbolje modeliranje ovog zadatka potrebne su multimodalne informacije, po mogućnosti od senzora na tjelesnom visinomjeru, termometru, snimanje mikrofona itd.
Masovno ponašanje
Najrazvijenije područje, budući da je kupac UN i mnoge države. Vanjske nadzorne kamere, podaci s telefonskih tornjeva - naplata, SMS, pozivi, podaci o kretanju između državnih granica - sve to daje vrlo pouzdanu sliku kretanja ljudi i društvenih nestabilnosti. Potencijalne primjene tehnologije: optimizacija operacija spašavanja, pomoć i pravovremena evakuacija stanovništva u hitnim slučajevima. Modeli koji se koriste uglavnom su još uvijek slabo interpretirani - to su razni LSTM-ovi i konvolucijske mreže. Bila je kratka napomena da UN lobira za novi zakon koji bi obvezao europske tvrtke da dijele anonimizirane podatke potrebne za bilo kakvo istraživanje.
“Od sustava 1 do dubokog učenja sustava 2”, Yoshua Bengio
U predavanju Joshue Bengia duboko učenje susreće neuroznanost na razini postavljanja ciljeva.
Bengio identificira dvije glavne vrste problema prema metodologiji nobelovca Daniela Kahnemana (knjiga “")
tip 1 - Sustav 1, nesvjesne radnje koje radimo “automatski” (prastari mozak): vožnja automobila na poznatim mjestima, hodanje, prepoznavanje lica.
tip 2 - Sustav 2, svjesne radnje (cerebralni korteks), postavljanje ciljeva, analiza, razmišljanje, složeni zadaci.
AI je do sada dosegla dovoljne visine samo u zadacima prve vrste, dok je naš zadatak dovesti je do druge, podučavajući je da izvodi multidisciplinarne operacije i operira logikom i kognitivnim vještinama visoke razine.
Za postizanje ovog cilja predlaže se:
- u NLP zadacima koristite pažnju kao ključni mehanizam za modeliranje mišljenja
- koristiti meta-učenje i učenje predstavljanja za bolje modeliranje značajki koje utječu na svijest i njihovu lokalizaciju - i na njihovoj osnovi prijeći na rad s konceptima više razine.
Umjesto zaključka, evo pozvanog govora: Bengio je jedan od mnogih znanstvenika koji pokušavaju proširiti polje ML-a izvan problema optimizacije, SOTA-e i novih arhitektura.
Ostaje otvoreno pitanje koliko je kombinacija problema svijesti, utjecaja jezika na mišljenje, neurobiologije i algoritama ono što nas čeka u budućnosti i omogućit će nam da prijeđemo na strojeve koji “misle” poput ljudi.
Hvala vam!
Izvor: www.habr.com