NeuroIPS () najveća je svjetska konferencija o mašinskom učenju i umjetnoj inteligenciji i glavni događaj u svijetu dubokog učenja.
Hoćemo li i mi, inženjeri DS-a, u novoj deceniji savladati i biologiju, lingvistiku i psihologiju? Reći ćemo vam u našoj recenziji.
Ove godine konferencija je okupila više od 13500 ljudi iz 80 zemalja u Vancouveru, Kanada. Ovo nije prva godina da Sberbank predstavlja Rusiju na konferenciji - tim DS-a govorio je o implementaciji ML u bankarske procese, o takmičenju u ML-u i mogućnostima platforme Sberbank DS. Koji su bili glavni trendovi u 2019. u zajednici pranja novca? Učesnici konferencije kažu: и .
Ove godine NeurIPS je prihvatio više od 1400 radova—algoritama, novih modela i novih aplikacija za nove podatke.
Sadržaj:
- Trendovi
- Interpretabilnost modela
- Multidisciplinarnost
- Obrazloženje
- RL
- GAN
- Osnovni pozvani razgovori
- „Društvena inteligencija“, Blaise Aguera y Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- „Modeliranje ljudskog ponašanja uz mašinsko učenje: mogućnosti i izazovi“, Nuria M Oliver, Albert Ali Salah
- „Od Sistema 1 do Sistema 2 Duboko učenje“, Yoshua Bengio
Trendovi 2019
1. Interpretabilnost modela i nova metodologija ML
Glavna tema konferencije je tumačenje i dokaz zašto dobijamo određene rezultate. Može se dugo govoriti o filozofskoj važnosti tumačenja „crne kutije“, ali je bilo više stvarnih metoda i tehničkih razvoja u ovoj oblasti.
Metodologija za repliciranje modela i izvlačenje znanja iz njih je novi alat za nauku. Modeli mogu poslužiti kao alat za stjecanje novih znanja i njihovo testiranje, a svaka faza predobrade, obuke i primjene modela mora biti reproducibilna.
Značajan dio publikacija nije posvećen konstrukciji modela i alata, već problemima osiguranja sigurnosti, transparentnosti i provjerljivosti rezultata. Posebno se pojavio poseban stream o napadima na model (adversarial napadi), a razmatraju se opcije i za napade na obuku i za napade na aplikaciju.
Članci:
- — programski članak o metodologiji verifikacije modela. Uključuje pregled savremenih alata za tumačenje modela, posebno, korišćenje pažnje i dobijanje značaja karakteristika „destilacijom“ neuronske mreže linearnim modelima.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net prikazuje interpretaciju modela za zadatke obrade teksta
2. Multidisciplinarnost
Da bismo osigurali pouzdanu verifikaciju i razvili mehanizme za provjeru i proširenje znanja, potrebni su nam stručnjaci iz srodnih oblasti koji istovremeno posjeduju kompetencije u ML i predmetnoj oblasti (medicina, lingvistika, neurobiologija, obrazovanje itd.). Posebno je vredno istaći značajnije prisustvo radova i govora u neuronaukama i kognitivnim naukama – dolazi do približavanja specijalista i posuđivanja ideja.
Pored ovog zbližavanja, pojavljuje se multidisciplinarnost u zajedničkoj obradi informacija iz različitih izvora: teksta i fotografija, teksta i igara, grafičkih baza podataka + teksta i fotografija.
Članci:
- Neurologija + ML —
- VisualQA -
- RL + NLP -
Dva modela – strateg i izvršni – zasnovani na RL i NLP-u igraju online strategiju
3. Obrazloženje
Jačanje vještačke inteligencije je pokret ka samoučećim sistemima, „svjesnim“, rasuđivanju i rasuđivanju. Posebno se razvija uzročno zaključivanje i zdravorazumsko zaključivanje. Neki od izvještaja su posvećeni meta-učenju (o tome kako naučiti učiti) i kombinaciji DL tehnologija sa logikom 1. i 2. reda – termin umjetna opća inteligencija (AGI) postaje uobičajen termin u govorima govornika.
Članci:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bahtin, Laurens van der Maten, Džastin Džonson, Laura Gustafson, Ros Giršik
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Učenje s pojačanjem
Najveći deo posla nastavlja se na razvoju tradicionalnih oblasti RL - DOTA2, Starcraft, kombinovanjem arhitekture sa kompjuterskom vizijom, NLP-om, bazama podataka grafova.
Poseban dan konferencije bio je posvećen RL radionici, na kojoj je predstavljena arhitektura Optimistic Actor Critic Model, superiorna u odnosu na sve prethodne, a posebno Soft Actor Critic.
Članci:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferirane mreže); Takahiro Ishikawa (Univerzitet u Tokiju) [eksterna pdf veza].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Univerzitet u Torontu); Mohammad Norouzi (Google Brain)
StarCraft igrači se bore protiv modela Alphastar (DeepMind)
5.GAN
Generativne mreže su i dalje u centru pažnje: mnogi radovi koriste vanile GAN-ove za matematičke dokaze, a primjenjuju ih i na nove, neobične načine (generativni modeli grafova, rad sa serijama, primjena na uzročno-posljedične veze u podacima, itd.).
Članci:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Marija Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Pošto je više radova prihvaćeno U nastavku ćemo govoriti o najvažnijim govorima.
Invited Talks
„Društvena inteligencija“, Blaise Aguera y Arcas (Google)
Govor se fokusira na opštu metodologiju mašinskog učenja i izglede koji menjaju industriju upravo sada – sa kojom se raskršću suočavamo? Kako funkcioniraju mozak i evolucija i zašto tako malo koristimo ono što već znamo o razvoju prirodnih sistema?
Industrijski razvoj ML-a se u velikoj mjeri poklapa s prekretnicama razvoja Google-a, koji iz godine u godinu objavljuje svoje istraživanje o NeurIPS-u:
- 1997 – lansiranje objekata za pretragu, prvih servera, male računarske snage
- 2010 – Jeff Dean pokreće projekat Google Brain, bum neuronskih mreža na samom početku
- 2015 – industrijska implementacija neuronskih mreža, brzo prepoznavanje lica direktno na lokalnom uređaju, procesori niskog nivoa prilagođeni tenzorskom računarstvu - TPU. Google lansira Coral ai - analog raspberry pi, mini kompjuter za uvođenje neuronskih mreža u eksperimentalne instalacije
- 2017 – Google počinje razvijati decentraliziranu obuku i kombinirati rezultate obuke neuronskih mreža s različitih uređaja u jedan model – na Androidu
Danas je čitava industrija posvećena sigurnosti podataka, agregaciji i replikaciji ishoda učenja na lokalnim uređajima.
– smjer strojnog učenja u kojem se pojedinačni modeli obučavaju nezavisno jedan od drugog, a zatim kombiniraju u jedan model (bez centralizacije izvornih podataka), s prilagođavanjima za rijetke događaje, anomalije, personalizaciju itd. Svi uređaji sa Android u suštini jedan računarski superračunar za Google.
Generativni modeli zasnovani na udruženom učenju su obećavajući budući smjer prema Googleu, koji je „u ranoj fazi eksponencijalnog rasta“. GAN-ovi su, prema predavaču, sposobni da nauče da reprodukuju masovno ponašanje populacija živih organizama i misaone algoritme.
Na primjeru dvije jednostavne GAN arhitekture pokazano je da u njima potraga za optimizacijskom putanjom luta u krug, što znači da do optimizacije kao takve nema. Istovremeno, ovi modeli su vrlo uspješni u simulaciji eksperimenata koje biolozi izvode na bakterijskim populacijama, prisiljavajući ih da nauče nove strategije ponašanja u potrazi za hranom. Možemo zaključiti da život funkcionira drugačije od funkcije optimizacije.
Walking GAN optimizacija
Sve što sada radimo u okviru mašinskog učenja su uski i krajnje formalizovani zadaci, dok se ovi formalizmi ne generalizuju dobro i ne odgovaraju našem predmetnom znanju u oblastima kao što su neurofiziologija i biologija.
Ono što zaista vrijedi posuditi iz područja neurofiziologije u bliskoj budućnosti jesu nove arhitekture neurona i blaga revizija mehanizama povratnog širenja grešaka.
Sam ljudski mozak ne uči kao neuronska mreža:
- On nema nasumične primarne inpute, uključujući i one postavljene kroz čula iu djetinjstvu
- Ima inherentne smjerove instinktivnog razvoja (želja za učenjem jezika od bebe, uspravno hodanje)
Treniranje individualnog mozga je zadatak niskog nivoa, možda bismo trebali razmotriti „kolonije“ pojedinaca koji se brzo mijenjaju koji jedni drugima prenose znanje kako bi reproducirali mehanizme grupne evolucije.
Šta sada možemo usvojiti u ML algoritme:
- Primijeniti modele stanične loze koji osiguravaju učenje populacije, ali kratak život pojedinca („individualni mozak“)
- Učenje u nekoliko snimaka koristeći mali broj primjera
- Složenije strukture neurona, malo drugačije aktivacijske funkcije
- Prenošenje “genoma” na sljedeće generacije – algoritam povratnog širenja
- Kada povežemo neurofiziologiju i neuronske mreže, naučit ćemo graditi multifunkcionalni mozak od mnogih komponenti.
Sa ove tačke gledišta, praksa SOTA rješenja je štetna i treba je revidirati radi razvijanja zajedničkih zadataka (benchmarka).
“Veridical Data Science”, Bin Yu (Berkeley)
Izvještaj je posvećen problemu tumačenja modela mašinskog učenja i metodologiji za njihovo direktno testiranje i verifikaciju. Svaki obučeni ML model može se smatrati izvorom znanja koje treba izvući iz njega.
U mnogim oblastima, posebno u medicini, upotreba modela je nemoguća bez izvlačenja ovog skrivenog znanja i interpretacije rezultata modela – inače nećemo biti sigurni da će rezultati biti stabilni, neslučajni, pouzdani i neće ubiti pacijent. Čitav pravac metodologije rada razvija se u okviru paradigme dubokog učenja i nadilazi njene granice – istinite nauke o podacima. Šta je to?
Želimo postići takav kvalitet naučnih publikacija i ponovljivost modela da oni budu:
- predvidljivo
- izračunljiv
- stabilan
Ova tri principa čine osnovu nove metodologije. Kako se ML modeli mogu provjeriti prema ovim kriterijima? Najlakši način je izgraditi modele koji se mogu odmah interpretirati (regresije, stabla odlučivanja). Međutim, takođe želimo da dobijemo neposredne prednosti dubokog učenja.
Nekoliko postojećih načina za rješavanje problema:
- interpretirati model;
- koristiti metode zasnovane na pažnji;
- koristiti ansamble algoritama prilikom obuke i osigurati da linearni interpretabilni modeli nauče predviđati iste odgovore kao i neuronska mreža, tumačeći karakteristike iz linearnog modela;
- promijeniti i povećati podatke o obuci. Ovo uključuje dodavanje šuma, smetnji i povećanje podataka;
- sve metode koje pomažu da se osigura da rezultati modela nisu nasumični i da ne ovise o manjim neželjenim smetnjama (adversarni napadi);
- interpretirati model nakon činjenice, nakon obuke;
- proučavanje težine karakteristika na različite načine;
- proučavanje vjerovatnoće svih hipoteza, distribucije klasa.
Adversarial napad
Greške u modeliranju su skupe za sve: najbolji primjer je rad Reinharta i Rogova."“ uticalo na ekonomske politike mnogih evropskih zemalja i natjeralo ih na politiku štednje, ali je pažljiva ponovna provjera podataka i njihova obrada godinama kasnije pokazala suprotan rezultat!
Svaka ML tehnologija ima svoj životni ciklus od implementacije do implementacije. Cilj nove metodologije je provjeriti tri osnovna principa u svakoj fazi života modela.
Rezultati:
- Razvija se nekoliko projekata koji će pomoći da model ML bude pouzdaniji. Ovo je, na primjer, deeptune (link na: );
- Za dalji razvoj metodologije potrebno je značajno poboljšati kvalitet publikacija iz oblasti PN;
- Za mašinsko učenje su potrebni lideri sa multidisciplinarnom obukom i stručnošću u tehničkim i humanističkim oblastima.
“Modeliranje ljudskog ponašanja uz mašinsko učenje: mogućnosti i izazovi” Nuria M Oliver, Albert Ali Salah
Predavanje posvećeno modeliranju ljudskog ponašanja, njegovim tehnološkim osnovama i perspektivama primjene.
Modeliranje ljudskog ponašanja može se podijeliti na:
- individualno ponašanje
- ponašanje male grupe ljudi
- masovno ponašanje
Svaki od ovih tipova može se modelirati pomoću ML-a, ali sa potpuno različitim ulaznim informacijama i karakteristikama. Svaki tip takođe ima svoja etička pitanja kroz koja svaki projekat prolazi:
- individualno ponašanje – krađa identiteta, deepfake;
- ponašanje grupa ljudi - deanonimizacija, dobijanje informacija o kretanju, telefonski pozivi itd.;
individualno ponašanje
Uglavnom se odnosi na temu kompjuterskog vida - prepoznavanje ljudskih emocija i reakcija. Možda samo u kontekstu, u vremenu ili s relativnom skalom vlastite varijabilnosti emocija. Slajd prikazuje prepoznavanje Mona Lizinih emocija koristeći kontekst iz emocionalnog spektra žena Mediterana. Rezultat: osmeh radosti, ali sa prezirom i gađenjem. Razlog je najvjerovatnije u tehničkom načinu definiranja “neutralne” emocije.
Ponašanje male grupe ljudi
Do sada najgori model je zbog nedovoljne informacije. Kao primjer prikazani su radovi od 2018. do 2019. godine. na desetine ljudi X desetine video zapisa (usp. 100k++ skupova slika). Za najbolje modeliranje ovog zadatka potrebne su multimodalne informacije, po mogućnosti od senzora na visinomjeru, termometru, snimanju mikrofona itd.
Masovno ponašanje
Najrazvijenije područje, budući da su kupac UN i mnoge države. Vanjske nadzorne kamere, podaci sa telefonskih stubova - naplata, SMS, pozivi, podaci o kretanju između državnih granica - sve to daje vrlo pouzdanu sliku kretanja ljudi i društvenih nestabilnosti. Potencijalne primjene tehnologije: optimizacija operacija spašavanja, pomoć i pravovremena evakuacija stanovništva u vanrednim situacijama. Korišteni modeli su uglavnom još uvijek loše interpretirani - to su razni LSTM i konvolucione mreže. Bila je kratka opaska da UN lobiraju za novi zakon koji bi obavezao evropske kompanije da dijele anonimne podatke neophodne za bilo kakvo istraživanje.
„Od Sistema 1 do Sistema 2 Duboko učenje“, Yoshua Bengio
U predavanju Joshue Bengia, duboko učenje se susreće sa neuronaukom na nivou postavljanja ciljeva.
Bengio identificira dvije glavne vrste problema prema metodologiji nobelovca Daniela Kahnemana (knjiga “")
tip 1 - Sistem 1, nesvjesne radnje koje radimo "automatski" (drevni mozak): vožnja automobila na poznatim mjestima, hodanje, prepoznavanje lica.
tip 2 - Sistem 2, svjesne akcije (kora mozga), postavljanje ciljeva, analiza, razmišljanje, složeni zadaci.
AI je do sada dostigao dovoljne visine samo u zadacima prvog tipa, dok je naš zadatak da ga dovedemo do drugog, podučavajući ga da izvodi multidisciplinarne operacije i operira logikom i kognitivnim vještinama visokog nivoa.
Za postizanje ovog cilja predlaže se:
- u NLP zadacima, koristite pažnju kao ključni mehanizam za modeliranje razmišljanja
- koristiti meta-učenje i učenje o predstavljanju za bolje modeliranje karakteristika koje utiču na svijest i njihovu lokalizaciju - i na njihovoj osnovi preći na rad s konceptima višeg nivoa.
Umjesto zaključka, evo pozvanog govora: Bengio je jedan od mnogih naučnika koji pokušavaju da prošire polje ML-a izvan problema optimizacije, SOTA-e i novih arhitektura.
Ostaje otvoreno pitanje u kojoj meri je kombinacija problema svesti, uticaja jezika na mišljenje, neurobiologije i algoritama ono što nas čeka u budućnosti i što će nam omogućiti da pređemo na mašine koje „razmišljaju“ kao ljudi.
Hvala vam!
izvor: www.habr.com
