NeuroIPS () je najväčšia svetová konferencia o strojovom učení a umelej inteligencii a hlavná udalosť vo svete hlbokého učenia.
Zvládneme v novom desaťročí aj my, inžinieri DS, biológiu, lingvistiku a psychológiu? To vám prezradíme v našej recenzii.
Tento rok sa na konferencii v kanadskom Vancouveri stretlo viac ako 13500 80 ľudí z 2019 krajín. Nie je to prvý rok, čo Sberbank zastupuje Rusko na konferencii – tím DS hovoril o implementácii ML do bankových procesov, o súťaži ML a o možnostiach platformy Sberbank DS. Aké boli hlavné trendy roku XNUMX v komunite ML? Účastníci konferencie hovoria: и .
Tento rok spoločnosť NeurIPS prijala viac ako 1400 XNUMX článkov – algoritmy, nové modely a nové aplikácie na nové údaje.
Obsah:
- trendy
-
- Interpretovateľnosť modelu
- Multidisciplinárnosť
- uvažovanie
- RL
- GAN
- Základné pozvané rozhovory
-
- „Sociálna inteligencia“, Blaise Aguera y Arcas (Google)
- „Veridical Data Science“, Bin Yu (Berkeley)
- „Modelovanie ľudského správania pomocou strojového učenia: Príležitosti a výzvy“, Nuria M Oliver, Albert Ali Salah
- „Od systému 1 k systému 2 hlboké učenie“, Yoshua Bengio
Trendy 2019 roka
1. Interpretovateľnosť modelu a nová metodika ML
Hlavnou témou konferencie je interpretácia a dôkazy o tom, prečo získavame určité výsledky. O filozofickom význame interpretácie „čiernej skrinky“ sa dá hovoriť dlho, ale v tejto oblasti bolo viac skutočných metód a technického rozvoja.
Metodológia na replikovanie modelov a získavanie vedomostí z nich je novým súborom nástrojov pre vedu. Modely môžu slúžiť ako nástroj na získavanie nových poznatkov a ich testovanie, pričom každá fáza predspracovania, trénovania a aplikácie modelu musí byť reprodukovateľná.
Značná časť publikácií sa nevenuje konštrukcii modelov a nástrojov, ale problémom zabezpečenia bezpečnosti, transparentnosti a overiteľnosti výsledkov. Najmä sa objavil samostatný stream o útokoch na model (útoky protivníka) a zvažujú sa možnosti útokov na tréning aj útokov na aplikáciu.
články:
- — programový článok o metodike overovania modelov. Obsahuje prehľad moderných nástrojov na interpretáciu modelov, najmä využitie pozornosti a získanie dôležitosti funkcie „destilovaním“ neurónovej siete lineárnymi modelmi.
- Hrajú: Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net ukazuje interpretáciu modelu pre úlohy spracovania textu
2. Multidisciplinárnosť
Na zabezpečenie spoľahlivého overovania a rozvíjania mechanizmov na overovanie a rozširovanie vedomostí potrebujeme špecialistov v príbuzných odboroch, ktorí majú súčasne kompetencie v ML av danej oblasti (medicína, lingvistika, neurobiológia, vzdelávanie a pod.). Za povšimnutie stojí najmä výraznejšia prítomnosť diel a prejavov v neurovedách a kognitívnych vedách - dochádza k zbližovaniu špecialistov a preberaniu myšlienok.
Okrem tohto zblíženia vzniká multidisciplinárnosť pri spoločnom spracovaní informácií z rôznych zdrojov: text a fotografie, text a hry, databázy grafov + text a fotografie.
články:
- Neuroveda + ML —
- VisualQA -
- RL + NLP -
Dva modely – stratég a výkonný – založené na online stratégii RL a NLP
3. Zdôvodnenie
Posilňovanie umelej inteligencie je pohyb smerom k samoučiacim sa systémom, „vedomému“, uvažovaniu a uvažovaniu. Rozvíja sa najmä kauzálna inferencia a uvažovanie zdravým rozumom. Niektoré správy sú venované meta-vzdelávaniu (o tom, ako sa naučiť učiť) a kombinácii DL technológií s logikou 1. a 2. rádu – pojem umelá všeobecná inteligencia (AGI) sa stáva bežným pojmom v prejavoch rečníkov.
články:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Hrajú: Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Posilňovacie učenie
Väčšina práce pokračuje v rozvíjaní tradičných oblastí RL - DOTA2, Starcraft, kombinovanie architektúr s počítačovým videním, NLP, grafové databázy.
Samostatný deň konferencie bol venovaný RL workshopu, na ktorom bola prezentovaná architektúra Optimistic Actor Critic Model, nadradená všetkým predchádzajúcim, najmä Soft Actor Critic.
články:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (preferované siete, Inc.); Prabhat Nagarajan (preferované siete); Takahiro Ishikawa (The University of Tokyo) [externý odkaz pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Torontská univerzita); Mohammad Norouzi (Google Brain)
Hráči StarCraftu bojujú s modelom Alphastar (DeepMind)
5.GAN
Generatívne siete sú stále v centre pozornosti: mnohé práce používajú vanilku GAN na matematické dôkazy a tiež ich aplikujú novými, neobvyklými spôsobmi (generatívne modely grafov, práca so sériami, aplikácia na vzťahy príčin a následkov v dátach atď.).
články:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Keďže bolo prijatých viac práce Nižšie si povieme o najdôležitejších prejavoch.
Pozvané rozhovory
„Sociálna inteligencia“, Blaise Aguera y Arcas (Google)
Prednáška sa zameriava na všeobecnú metodológiu strojového učenia a vyhliadky, ktoré práve teraz menia toto odvetvie – akej križovatke čelíme? Ako funguje mozog a evolúcia a prečo tak málo využívame to, čo už vieme o vývoji prírodných systémov?
Priemyselný rozvoj ML sa do značnej miery zhoduje s míľnikmi vývoja spoločnosti Google, ktorá zverejňuje svoj výskum na NeurIPS rok čo rok:
- 1997 – spustenie vyhľadávacích zariadení, prvé servery, malý výpočtový výkon
- 2010 – Jeff Dean spúšťa projekt Google Brain, boom neurónových sietí na samom začiatku
- 2015 – priemyselná implementácia neurónových sietí, rýchle rozpoznávanie tváre priamo na lokálnom zariadení, nízkoúrovňové procesory na mieru pre tensor computing - TPU. Google uvádza na trh Coral ai – analóg raspberry pi, minipočítač na zavádzanie neurónových sietí do experimentálnych inštalácií
- 2017 – Google začína s vývojom decentralizovaného tréningu a spája výsledky tréningu neurónových sietí z rôznych zariadení do jedného modelu – v systéme Android
V súčasnosti sa celý priemysel venuje bezpečnosti údajov, agregácii a replikácii výsledkov vzdelávania na miestnych zariadeniach.
– smer ML, v ktorom sa jednotlivé modely učia nezávisle od seba a následne sa spoja do jedného modelu (bez centralizácie zdrojových údajov), upraveného pre zriedkavé udalosti, anomálie, personalizáciu atď. Všetky zariadenia so systémom Android sú pre Google v podstate jediným výpočtovým superpočítačom.
Generatívne modely založené na federatívnom učení sú podľa Google sľubným budúcim smerom, ktorý je „v raných fázach exponenciálneho rastu“. GANy sú podľa prednášajúceho schopné naučiť sa reprodukovať masové správanie populácií živých organizmov a algoritmy myslenia.
Na príklade dvoch jednoduchých GAN architektúr sa ukazuje, že v nich hľadanie optimalizačnej cesty blúdi v kruhu, čiže optimalizácia ako taká nenastáva. Tieto modely sú zároveň veľmi úspešné pri simulácii experimentov, ktoré biológovia vykonávajú na populáciách baktérií, čo ich núti učiť sa nové stratégie správania pri hľadaní potravy. Môžeme konštatovať, že život funguje inak ako optimalizačná funkcia.
Chôdza GAN optimalizácia
Všetko, čo teraz robíme v rámci strojového učenia, sú úzke a extrémne formalizované úlohy, pričom tieto formalizmy nie sú dobre zovšeobecňované a nezodpovedajú našim predmetom znalostí v oblastiach ako neurofyziológia a biológia.
Čo sa v blízkej budúcnosti skutočne oplatí vypožičať z oblasti neurofyziológie, sú nové neurónové architektúry a mierna revízia mechanizmov spätného šírenia chýb.
Samotný ľudský mozog sa neučí ako neurónová sieť:
- Nemá náhodné primárne vstupy, vrátane tých, ktoré sa ukladajú prostredníctvom zmyslov a v detstve
- Má vrodené smery inštinktívneho vývoja (túžba učiť sa jazyk od dieťaťa, chôdza vzpriamene)
Tréning individuálneho mozgu je úloha na nízkej úrovni; možno by sme mali zvážiť „kolónie“ rýchlo sa meniacich jednotlivcov, ktorí si navzájom odovzdávajú poznatky, aby reprodukovali mechanizmy skupinovej evolúcie.
Čo môžeme teraz prijať do algoritmov ML:
- Použiť modely bunkovej línie, ktoré zaisťujú učenie sa populácie, ale krátky život jednotlivca („individuálny mozog“)
- Niekoľkonásobné učenie pomocou malého počtu príkladov
- Zložitejšie štruktúry neurónov, mierne odlišné aktivačné funkcie
- Prenos „genómu“ na ďalšie generácie – algoritmus spätného šírenia
- Keď prepojíme neurofyziológiu a neurónové siete, naučíme sa budovať multifunkčný mozog z mnohých komponentov.
Z tohto hľadiska je prax SOTA riešení škodlivá a mala by sa prepracovať z dôvodu vývoja spoločných úloh (benchmarkov).
„Veridical Data Science“, Bin Yu (Berkeley)
Správa sa venuje problematike interpretácie modelov strojového učenia a metodológii ich priameho testovania a overovania. Akýkoľvek natrénovaný model ML môže byť vnímaný ako zdroj vedomostí, ktoré je potrebné z neho vyťažiť.
V mnohých oblastiach, najmä v medicíne, je použitie modelu nemožné bez extrahovania týchto skrytých znalostí a interpretácie výsledkov modelu – inak nebudeme mať istotu, že výsledky budú stabilné, nenáhodné, spoľahlivé a nezabijú pacient. V rámci paradigmy hlbokého učenia sa rozvíja celý smer metodológie práce a presahuje jej hranice – veridical data science. Čo to je?
Chceme dosiahnuť takú kvalitu vedeckých publikácií a reprodukovateľnosť modelov, aby boli:
- predvídateľné
- vypočítateľný
- stabilný
Tieto tri princípy tvoria základ novej metodológie. Ako možno modely ML kontrolovať podľa týchto kritérií? Najjednoduchším spôsobom je zostaviť okamžite interpretovateľné modely (regresie, rozhodovacie stromy). Chceme však tiež získať okamžité výhody hlbokého učenia.
Niekoľko existujúcich spôsobov riešenia problému:
- interpretovať model;
- používať metódy založené na pozornosti;
- používať súbory algoritmov pri trénovaní a zabezpečiť, aby sa lineárne interpretovateľné modely naučili predpovedať rovnaké odpovede ako neurónová sieť, interpretujúc prvky z lineárneho modelu;
- meniť a rozširovať tréningové údaje. To zahŕňa pridávanie šumu, rušenia a zväčšenia údajov;
- akékoľvek metódy, ktoré pomáhajú zabezpečiť, že výsledky modelu nie sú náhodné a nezávisia od menšieho nežiaduceho rušenia (útoky protivníka);
- interpretovať model po fakte, po tréningu;
- študovať váhy prvkov rôznymi spôsobmi;
- študovať pravdepodobnosti všetkých hypotéz, rozdelenie tried.
Protistranný útok
Chyby v modelovaní sú nákladné pre každého: ukážkovým príkladom je práca Reinharta a Rogova."“ ovplyvnilo hospodársku politiku mnohých európskych krajín a prinútilo ich k úspornej politike, no starostlivá opätovná kontrola údajov a ich spracovanie po rokoch ukázali opačný výsledok!
Každá technológia ML má svoj vlastný životný cyklus od implementácie po implementáciu. Cieľom novej metodológie je overiť tri základné princípy v každej fáze života modelu.
Výsledky:
- Vyvíja sa niekoľko projektov, ktoré pomôžu spoľahlivejšiemu modelu ML. Toto je napríklad deeptune (odkaz na: );
- Pre ďalší rozvoj metodiky je potrebné výrazne zvýšiť kvalitu publikácií v oblasti ML;
- Strojové učenie potrebuje lídrov s multidisciplinárnym školením a odbornými znalosťami v technických aj humanitných odboroch.
„Modelovanie ľudského správania pomocou strojového učenia: Príležitosti a výzvy“ Nuria M Oliver, Albert Ali Salah
Prednáška venovaná modelovaniu ľudského správania, jeho technologickým základom a aplikačným perspektívam.
Modelovanie ľudského správania možno rozdeliť na:
- individuálne správanie
- správanie malej skupiny ľudí
- masové správanie
Každý z týchto typov je možné modelovať pomocou ML, avšak s úplne odlišnými vstupnými informáciami a vlastnosťami. Každý typ má tiež svoje etické problémy, ktorými každý projekt prechádza:
- individuálne správanie – krádež identity, deepfake;
- správanie skupín ľudí - deanonymizácia, získavanie informácií o pohybe, telefonovanie a pod.;
individuálne správanie
Väčšinou súvisí s témou Počítačové videnie – rozpoznávanie ľudských emócií a reakcií. Azda len v kontexte, v čase, či s relatívnou mierkou vlastnej premenlivosti emócií. Snímka ukazuje rozpoznávanie emócií Mony Lisy pomocou kontextu z emocionálneho spektra stredomorských žien. Výsledok: úsmev radosti, ale s pohŕdaním a znechutením. Dôvodom je s najväčšou pravdepodobnosťou technický spôsob definovania „neutrálnej“ emócie.
Správanie malej skupiny ľudí
Zatiaľ najhorší model je spôsobený nedostatočnými informáciami. Ako príklad boli uvedené práce z rokov 2018 – 2019. na desiatkach ľudí X desiatky videí (porovnaj 100k++ obrazových datasetov). Na čo najlepšie modelovanie tejto úlohy sú potrebné multimodálne informácie, najlepšie zo senzorov na telesnom výškomere, teplomere, zázname mikrofónu atď.
Masové správanie
Najrozvinutejšia oblasť, keďže odberateľom je OSN a mnohé štáty. Vonkajšie monitorovacie kamery, údaje z telefónnych veží - fakturácia, SMS, hovory, údaje o pohybe medzi štátnymi hranicami - to všetko dáva veľmi spoľahlivý obraz o pohybe osôb a sociálnych nestabilitách. Potenciálne aplikácie technológie: optimalizácia záchranných operácií, pomoc a včasná evakuácia obyvateľstva pri mimoriadnych udalostiach. Použité modely sú hlavne stále slabo interpretované – ide o rôzne LSTM a konvolučné siete. Zaznela krátka poznámka, že OSN lobuje za nový zákon, ktorý by zaviazal európske podniky zdieľať anonymizované údaje potrebné na akýkoľvek výskum.
„Od systému 1 k systému 2 hlboké učenie“, Yoshua Bengio
V prednáške Joshuu Bengia sa hlboké učenie stretáva s neurovedou na úrovni stanovovania cieľov.
Bengio identifikuje dva hlavné typy problémov podľa metodiky nositeľa Nobelovej ceny Daniela Kahnemana (kniha „")
typ 1 - Systém 1, nevedomé činnosti, ktoré robíme „automaticky“ (staroveký mozog): jazda autom na známych miestach, chôdza, rozpoznávanie tvárí.
typ 2 - Systém 2, vedomé akcie (mozgová kôra), stanovenie cieľov, analýza, myslenie, zložené úlohy.
Umelá inteligencia zatiaľ dosiahla dostatočné výšky iba v úlohách prvého typu, zatiaľ čo našou úlohou je priviesť ju k druhému, naučiť ju vykonávať multidisciplinárne operácie a operovať s logikou a kognitívnymi schopnosťami na vysokej úrovni.
Na dosiahnutie tohto cieľa sa navrhuje:
- v úlohách NLP využiť pozornosť ako kľúčový mechanizmus na modelovanie myslenia
- použiť metaučenie a učenie reprezentácie na lepšie modelovanie funkcií, ktoré ovplyvňujú vedomie a ich lokalizáciu – a na ich základe prejsť k fungovaniu s konceptmi vyššej úrovne.
Namiesto záveru je tu pozvaná prednáška: Bengio je jedným z mnohých vedcov, ktorí sa snažia rozšíriť oblasť ML za problémy s optimalizáciou, SOTA a novými architektúrami.
Otázkou zostáva, do akej miery je kombinácia problémov vedomia, vplyvu jazyka na myslenie, neurobiológiu a algoritmy tým, čo nás v budúcnosti čaká a umožní nám prejsť na stroje, ktoré „myslia“ ako ľudia.
Ďakujeme!
Zdroj: hab.com