NeuroIPS () je največja konferenca na svetu o strojnem učenju in umetni inteligenci ter glavni dogodek v svetu globokega učenja.
Bomo DS-inženirji v novem desetletju obvladali tudi biologijo, jezikoslovje, psihologijo? Povedali vam bomo v našem pregledu.
Letos se je konference v Vancouvru (Kanada) zbralo več kot 13500 ljudi iz 80 držav. Sberbank že vrsto let zastopa Rusijo na konferenci — ekipa DS je govorila o uvedbi ML v bančne procese, o konkurenci ML in o zmogljivostih platforme Sberbank DS. Kateri so bili glavni trendi leta 2019 v skupnosti ML? Udeleženci konference pravijo: и .
Letos je bilo na NeurIPS sprejetih več kot 1400 člankov - algoritmi, novi modeli in nove aplikacije za nove podatke.
Vsebina:
- Trendi
-
- Interpretabilnost modela
- Multidisciplinarnost
- Obrazložitev
- RL
- GAN
- Osnovni vabljeni pogovori
-
- "Socialna inteligenca", Blaise Aguera y Arcas (Google)
- »Veridical Data Science«, Bin Yu (Berkeley)
- »Modeliranje človeškega vedenja s strojnim učenjem: priložnosti in izzivi«, Nuria M Oliver, Albert Ali Salah
- "Od sistema 1 do sistema 2 globoko učenje", Yoshua Bengio
Trendi 2019 leta
1. Interpretabilnost modelov in nova metodologija ML
Glavna tema konference je interpretacija in dokazovanje, zakaj dobimo določene rezultate. Dolgo lahko govorite o filozofskem pomenu razlage "črne skrinjice", vendar je bilo na tem področju več resničnih metod in tehničnega razvoja.
Metodologija ponovljivosti modelov in pridobivanja znanja iz njih je nov komplet orodij znanosti. Modeli lahko služijo kot orodje za pridobivanje novega znanja in njegovo testiranje, vsak korak predprocesiranja, usposabljanja in uporabe modela pa mora biti ponovljiv.
Precejšen delež objav ni posvečen konstrukciji modelov in orodij, temveč problemom zagotavljanja varnosti, preglednosti in preverljivosti rezultatov. Predvsem se je pojavil ločen tok o napadih na model (adversarial attacks), pri čemer so obravnavani napadi na učenje in napadi na aplikacijo.
Članki:
- — politični članek o metodologiji preverjanja modela. Vključuje pregled sodobnih orodij za interpretacijo modelov, zlasti uporabo pozornosti in pridobivanje pomembnosti značilnosti zaradi "destilacije" nevronske mreže z linearnimi modeli.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sarah Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edvard Raff
ExBert.net prikazuje interpretacijo modelov za naloge obdelave besedila
2. Multidisciplinarnost
Za zagotavljanje zanesljivega preverjanja in razvoj mehanizmov za preverjanje in dopolnjevanje znanja so potrebni strokovnjaki sorodnih področij, ki imajo hkrati kompetence v ML in predmetnem področju (medicina, jezikoslovje, nevroznanost, izobraževanje itd.). Posebej velja opozoriti na izrazitejšo prisotnost del in predstavitev v nevroznanosti in kognitivnih znanostih – prihaja do zbliževanja strokovnjakov in izposojanja idej.
Poleg tega zbliževanja se multidisciplinarnost začrta v skupni obdelavi informacij iz različnih virov: besedilo in fotografija, besedilo in igre, grafične baze + besedilo in fotografije.
Članki:
- Nevrobiologija + ML -
- VisualQA -
- RL + NLP -
Dva modela - strateg in izvajalec - temeljita na RL in NLP, igrata spletno strategijo
3. Utemeljitev
Krepitev umetne inteligence je gibanje v smeri samoučečih se sistemov, »zavestnega«, razmišljanja in razmišljanja (rezoniranja). Razvijata se zlasti vzročno sklepanje in zdravorazumsko sklepanje. Del poročil je posvečen metaučenju (kako se naučiti učiti) in kombinaciji tehnologij DL z logiko 1. in 2. reda – izraz umetna splošna inteligenca (AGI) postaja pogost izraz v govorih zvočniki.
Članki:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bahtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Okrepitveno učenje
Večina dela se nadaljuje z razvojem tradicionalnih področij RL - DOTA2, Starcraft, združevanje arhitektur z računalniškim vidom, NLP, grafične baze podatkov.
Poseben dan konference je bil namenjen delavnici RL, na kateri je bila predstavljena arhitektura modela Optimistic Actor Critic, ki prekaša vse prejšnje, še posebej Soft Actor Critic.
Članki:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (prednostna omrežja); Takahiro Ishikawa (Univerza v Tokiu) [zunanja povezava pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Univerza v Torontu); Mohammad Norouzi (Google Brain)
Igralci StarCrafta se borijo z modelom Alphastar (DeepMind)
5.GAN
Generativna omrežja so še vedno v središču pozornosti: veliko dela uporablja nenavadne GAN-je za matematične dokaze, pa tudi za njihovo uporabo na nove, nenavadne načine (grafični generativni modeli, delo s serijami, uporaba za vzročne povezave v podatkih itd.).
Članki:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ker je bilo delo sprejeto več V nadaljevanju bomo izpostavili najpomembnejše nastope.
Vabljeni pogovori
"Socialna inteligenca", Blaise Aguera y Arcas (Google)
Poročilo je posvečeno splošni metodologiji strojnega učenja in obetom, ki trenutno spreminjajo industrijo – s kakšnim razpotjem se soočamo? Kako delujejo možgani in evolucija in zakaj tako malo uporabljamo tisto, kar že dobro vemo o razvoju naravnih sistemov?
Industrijski razvoj ML v veliki meri sovpada z mejniki v razvoju Googla, ki leto za letom objavlja svoje raziskave o NeurIPS:
- 1997 - zagon iskalnih zmogljivosti, prvi strežniki, nizka računalniška moč
- 2010 - Jeff Dean lansira projekt Google Brain, razcvet nevronskih mrež na samem začetku
- 2015 - industrijska implementacija nevronskih mrež, hitro prepoznavanje obrazov neposredno na lokalni napravi, nizkonivojski procesorji, nabrušeni za tenzorsko računalništvo - TPU. Google lansira Coral ai - analog raspberry pi, mini računalnik za uvajanje nevronskih mrež v eksperimentalne nastavitve
- 2017 – Google začne razvijati decentralizirano učenje in združuje rezultate učenja nevronske mreže iz različnih naprav v en model – na androidu
Danes je cela industrija posvečena varnosti podatkov, združevanju in replikaciji učnih rezultatov na lokalnih napravah.
- smer ML, pri kateri se posamezni modeli učijo neodvisno drug od drugega, nato pa se združijo v en sam model (brez centralizacije izvornih podatkov), prilagojen za redke dogodke, anomalije, personalizacijo itd. Vse naprave Android so v bistvu en sam računalniški superračunalnik za Google.
Generativni modeli, ki temeljijo na zveznem učenju, so po mnenju Googla obetavna smer prihodnosti, ki je »v zgodnjih fazah eksponentne rasti«. GAN-ji se po besedah predavatelja lahko naučijo reproducirati masovno vedenje populacij živih organizmov, razmišljati algoritme.
Na primeru dveh preprostih GAN arhitektur je prikazano, da pri njih iskanje optimizacijske poti tava v krogu, kar pomeni, da do optimizacije kot take ne pride. Hkrati ti modeli zelo uspešno simulirajo poskuse, ki jih biologi izvajajo na populacijah bakterij in jih prisilijo, da se naučijo novih strategij vedenja pri iskanju hrane. Lahko sklepamo, da življenje deluje drugače kot optimizacijska funkcija.
Tavajoča optimizacija GAN
Vse, kar zdaj počnemo v okviru strojnega učenja, so ozke in visoko formalizirane naloge, medtem ko so ti formalizmi slabo posplošeni in ne ustrezajo našemu predmetnemu znanju na področjih, kot sta nevrofiziologija in biologija.
Kar si je res vredno izposoditi s področja nevrofiziologije v bližnji prihodnosti, so nove nevronske arhitekture in majhna revizija mehanizmov širjenja nazaj.
Človeški možgani se sami ne učijo kot nevronska mreža:
- Nima naključnih primarnih vnosov, vključno s tistimi, ki so nastali skozi čutila in v otroštvu.
- Določil je smeri instinktivnega razvoja (želja po učenju jezika od dojenčka, pokončna drža)
Usposabljanje posameznih možganov je naloga nizke ravni, morda bi morali razmisliti o "kolonijah" hitro spreminjajočih se posameznikov, ki si med seboj prenašajo znanje, da bi reproducirali mehanizme skupinske evolucije.
Kaj lahko zdaj sprejmemo v algoritme ML:
- Uporabite modele celične linije, ki zagotavljajo populacijsko učenje, vendar kratko življenje posameznika (»posamezni možgani«)
- Nekajkratno učenje na majhnem številu primerov
- Kompleksnejše strukture nevronov, nekoliko drugačne aktivacijske funkcije
- Prenos »genoma« na naslednje generacije – Algoritem širjenja nazaj
- Ko bomo združili nevrofiziologijo in nevronske mreže, se bomo naučili zgraditi multifunkcionalne možgane iz številnih komponent.
S tega vidika je praksa rešitev SOTA škodljiva in jo je treba pregledati v korist razvoja skupnih nalog (meril).
»Veridical Data Science«, Bin Yu (Berkeley)
Poročilo je posvečeno problemu interpretacije modelov strojnega učenja in metodologiji njihovega neposrednega testiranja in preverjanja. Vsak usposobljen model ML je mogoče dojemati kot vir znanja, ki ga je treba iz njega izluščiti.
Na mnogih področjih, predvsem v medicini, je uporaba modela nemogoča brez izluščitve tega skritega znanja in interpretacije rezultatov modela – sicer ne bomo prepričani, da bodo rezultati stabilni, nenaključni, zanesljivi in ne bodo ubiti bolnika. Celotno področje metodologije dela se razvija znotraj paradigme globokega učenja in jo presega – veridical data science. Kaj je to?
Želimo doseči takšno kakovost znanstvenih objav in ponovljivost modelov, da so:
- predvidljivo
- izračunljiv
- stabilno
Ta tri načela tvorijo osnovo nove metodologije. Kako je mogoče modele ML preveriti glede na ta merila? Najlažji način je zgraditi modele, ki jih je mogoče takoj interpretirati (regresije, odločitvena drevesa). Vendar pa želimo imeti tudi takojšnje koristi poglobljenega učenja.
Več obstoječih načinov za reševanje težave:
- interpretirati model;
- uporabljati metode, ki temeljijo na pozornosti;
- uporabljati sklope algoritmov pri učenju in zagotoviti, da se linearni interpretabilni modeli naučijo napovedovati enake odgovore kot nevronska mreža, ki interpretira funkcije iz linearnega modela;
- spremeniti in povečati podatke o usposabljanju. To vključuje dodajanje šuma, motenj in povečanje podatkov;
- vse metode, ki zagotavljajo, da rezultati modela niso naključni in niso odvisni od majhnih neželenih motenj (adversarial attacks);
- interpretirati model po dejstvu, po usposabljanju;
- proučevanje uteži značilnosti na različne načine;
- študija verjetnosti vseh hipotez, porazdelitev razredov.
Kontrastni napad
Napake pri modeliranju so drage za vse: živahen primer je delo Reinharta in Rogova ""vplival na ekonomsko politiko številnih evropskih držav in jih prisilil v politiko varčevanja, vendar je skrbno ponovno preverjanje podatkov in njihova obdelava leta kasneje pokazala nasproten rezultat!
Vsaka tehnologija ML ima svoj življenjski cikel od izvedbe do izvedbe. Cilj nove metodologije je testirati tri glavna načela na vsaki stopnji življenjske dobe modela.
Rezultati:
- V razvoju je več projektov, ki bodo pripomogli k večji zanesljivosti modela ML. To je na primer deeptune (povezava do: );
- Za nadaljnji razvoj metodologije je potrebno bistveno izboljšati kakovost objav na področju ML;
- Strojno učenje potrebuje vodje z multidisciplinarnim usposabljanjem in strokovnim znanjem na tehničnem in človeškem področju.
»Modeliranje človeškega vedenja s strojnim učenjem: priložnosti in izzivi« Nuria M Oliver, Albert Ali Salah
Predavanje posvečeno modeliranju človeškega vedenja, njegovim tehnološkim osnovam in možnostim uporabe.
Modeliranje človeškega vedenja lahko razdelimo na:
- individualno vedenje
- obnašanje v majhni skupini
- množično vedenje
Vsaka od teh vrst je primerna za modeliranje z uporabo ML, vendar s popolnoma drugačnimi vhodnimi informacijami in funkcijami. Vsaka vrsta ima tudi svoja etična vprašanja, skozi katera gre vsak projekt:
- vedenje posameznika - kraja identitete, deepfake;
- obnašanje skupin ljudi - deanonimizacija, pridobivanje informacij o gibanju, telefonskih klicih ipd.;
individualno vedenje
V večji meri se nanaša na temo računalniškega vida - prepoznavanje človeških čustev, njegovih reakcij. Možna le v kontekstu, v času ali z relativno lestvico lastne variabilnosti čustev. Na prosojnici - prepoznavanje čustev Mona Lise s pomočjo konteksta iz čustvenega spektra sredozemskih žensk. Rezultat: nasmeh veselja, a s prezirom in gnusom. Razlog je najverjetneje v tehničnem načinu definiranja »nevtralnega« čustva.
Obnašanje majhne skupine ljudi
Doslej je najslabše modeliran zaradi premalo informacij. Kot primer so bila prikazana dela 2018-2019. na desetine ljudi X na desetine videoposnetkov (prim. 100k++ naborov slikovnih podatkov). Za najboljše modeliranje v okviru te naloge so potrebne multimodalne informacije, po možnosti iz senzorjev na telesu - višinomer, termometer, zapis iz mikrofona itd.
Vedenje v razsutem stanju
Najbolj razvita smer, saj ZN in številne države delujejo kot naročnik. Nadzorne kamere, podatki o telefonskem stolpu - obračunavanje, SMS, klici, podatki o gibanju med državnimi mejami - vse to daje zelo zanesljivo sliko gibanja tokov ljudi, družbenih nestabilnosti. Možne uporabe tehnologije: optimizacija reševalnih akcij, zagotavljanje pomoči in pravočasna evakuacija prebivalstva v primeru nevarnosti. Uporabljeni modeli so zaenkrat večinoma slabo interpretirani - to so razni LSTM-ji in konvolucijska omrežja. Sledila je kratka pripomba, da ZN lobirajo za nov zakon, ki bi evropska podjetja zavezal k izmenjavi anonimiziranih podatkov, potrebnih za kakršne koli raziskave.
"Od sistema 1 do sistema 2 globoko učenje", Yoshua Bengio
V predavanju Joshue Bengia se globoko učenje sreča z nevroznanostjo na ravni postavljanja ciljev.
Bengio razlikuje dve glavni vrsti problemov po metodologiji Nobelovega nagrajenca Daniela Kahnemana (knjiga "")
tip 1 - Sistem 1, nezavedna dejanja, ki jih delamo "na stroju" (stari možgani): vožnja z avtomobilom po znanih mestih, hoja, prepoznavanje obrazov.
tip 2 - Sistem 2, zavestna dejanja (možganska skorja), postavljanje ciljev, analiza, razmišljanje, sestavljene naloge.
Doslej je AI dosegel zadostne višine le pri nalogah prve vrste, naša naloga pa je, da jo pripeljemo do druge, tako da jo naučimo izvajati multidisciplinarne operacije in delovati z logiko, kognitivnimi veščinami na visoki ravni.
Za dosego tega cilja se predlaga:
- uporabite pozornost kot ključni mehanizem za modeliranje mišljenja pri NLP nalogah
- uporabite metaučenje in reprezentacijsko učenje za boljše modeliranje značilnosti, ki vplivajo na zavest in njihovo lokalizacijo – in na njihovi podlagi preidete na delovanje s koncepti višje ravni.
Namesto zaključka puščamo vnos povabljenega govora: Bengio je eden izmed mnogih znanstvenikov, ki poskušajo razširiti področje ML onkraj problemov optimizacije, SOTA in novih arhitektur.
Odprto ostaja vprašanje, v kolikšni meri nas kombinacija problemov zavesti, vpliva jezika na mišljenje, nevroznanosti in algoritmov čaka v prihodnosti in nam bo omogočila prehod na stroje, ki »mislijo« kot ljudje.
Hvala!
Vir: www.habr.com