NeuroIPS () je největší světová konference o strojovém učení a umělé inteligenci a hlavní událost ve světě hlubokého učení.
Zvládneme v novém desetiletí i my, inženýři DS, biologii, lingvistiku a psychologii? To vám prozradíme v naší recenzi.
Letos se na konferenci v kanadském Vancouveru sešlo více než 13500 80 lidí z 2019 zemí. Není to první rok, co Sberbank na konferenci zastupuje Rusko – tým DS hovořil o implementaci ML do bankovních procesů, o soutěži ML a o možnostech platformy Sberbank DS. Jaké byly hlavní trendy roku XNUMX v komunitě ML? Účastníci konference říkají: и .
V letošním roce společnost NeurIPS přijala více než 1400 XNUMX článků – algoritmy, nové modely a nové aplikace pro nová data.
Obsah:
- Trendy
-
- Interpretovatelnost modelu
- Multidisciplinarita
- Uvažování
- RL
- GAN
- Základní zvaná jednání
-
- „Sociální inteligence“, Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- „Modelování lidského chování pomocí strojového učení: příležitosti a výzvy“, Nuria M Oliver, Albert Ali Salah
- „Od systému 1 k systému 2 Hluboké učení“, Yoshua Bengio
Trendy 2019 roku
1. Interpretovatelnost modelu a nová metodika ML
Hlavním tématem konference je interpretace a důkazy, proč k určitým výsledkům dochází. O filozofické důležitosti výkladu „černé skříňky“ lze hovořit dlouho, ale v této oblasti existovalo více skutečných metod a technického rozvoje.
Metodologie pro replikaci modelů a získávání znalostí z nich je novou sadou nástrojů pro vědu. Modely mohou sloužit jako nástroj pro získávání nových znalostí a jejich testování a každá fáze předzpracování, trénování a aplikace modelu musí být reprodukovatelná.
Značná část publikací není věnována konstrukci modelů a nástrojů, ale problémům zajištění bezpečnosti, transparentnosti a ověřitelnosti výsledků. Zejména se objevil samostatný stream o útocích na model (adversariální útoky) a zvažují se možnosti jak útoků na trénink, tak útoků na aplikaci.
Články:
- — programový článek o metodice ověřování modelů. Zahrnuje přehled moderních nástrojů pro interpretaci modelů, zejména využití pozornosti a získání důležitosti rysů „destilací“ neuronové sítě lineárními modely.
- Hrají: Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net ukazuje interpretaci modelu pro úlohy zpracování textu
2. Multidisciplinarita
K zajištění spolehlivého ověřování a rozvíjení mechanismů pro ověřování a rozšiřování znalostí potřebujeme specialisty v příbuzných oborech, kteří mají současně kompetence v ML i v dané oblasti (lékařství, lingvistika, neurobiologie, vzdělávání atd.). Za povšimnutí stojí zejména výraznější přítomnost děl a projevů v neurovědách a kognitivních vědách - dochází ke sbližování specialistů a vypůjčování myšlenek.
Kromě tohoto sblížení vzniká multidisciplinárnost při společném zpracování informací z různých zdrojů: text a fotografie, text a hry, databáze grafů + text a fotografie.
Články:
- Neurověda + ML —
- VisualQA -
- RL + NLP -
Dva modely – stratég a výkonný – založené na online strategii hraní RL a NLP
3. Odůvodnění
Posilování umělé inteligence je pohyb směrem k samoučícím se systémům, „vědomým“, uvažování a uvažování. Rozvíjí se zejména kauzální dedukce a uvažování zdravým rozumem. Některé ze zpráv jsou věnovány meta-learningu (o tom, jak se naučit učit) a kombinaci DL technologií s logikou 1. a 2. řádu – pojem Artificial General Intelligence (AGI) se stává běžným pojmem v projevech řečníků.
Články:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Posílení učení
Většina práce pokračuje v rozvoji tradičních oblastí RL - DOTA2, Starcraft, kombinování architektur s počítačovým viděním, NLP, grafové databáze.
Samostatný den konference byl věnován RL workshopu, na kterém byla představena architektura Optimistic Actor Critic Model, převyšující všechny předchozí, zejména Soft Actor Critic.
Články:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (preferované sítě); Takahiro Ishikawa (The University of Tokyo) [externí odkaz pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Torontská univerzita); Mohammad Norouzi (Google Brain)
Hráči StarCraftu bojují s modelem Alphastar (DeepMind)
5.GAN
Generativní sítě jsou stále v centru pozornosti: mnoho prací používá vanilla GAN pro matematické důkazy a také je aplikuje novými, neobvyklými způsoby (generativní modely grafů, práce se sériemi, aplikace na vztahy příčiny a následku v datech atd.).
Články:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Protože bylo přijato více práce Níže budeme hovořit o nejdůležitějších projevech.
Zvané rozhovory
„Sociální inteligence“, Blaise Aguera y Arcas (Google)
Přednáška se zaměřuje na obecnou metodologii strojového učení a vyhlídky, které právě teď mění toto odvětví – jakým křižovatkám čelíme? Jak funguje mozek a evoluce a proč tak málo využíváme toho, co už víme o vývoji přírodních systémů?
Průmyslový rozvoj ML se do značné míry shoduje s milníky vývoje společnosti Google, která rok co rok zveřejňuje svůj výzkum na NeurIPS:
- 1997 – spuštění vyhledávacích zařízení, první servery, malý výpočetní výkon
- 2010 – Jeff Dean spouští projekt Google Brain, boom neuronových sítí na samém začátku
- 2015 – průmyslová implementace neuronových sítí, rychlé rozpoznání obličeje přímo na lokálním zařízení, nízkoúrovňové procesory na míru pro tensor computing - TPU. Google uvádí na trh Coral ai – analog raspberry pi, minipočítač pro zavádění neuronových sítí do experimentálních instalací
- 2017 – Google začíná vyvíjet decentralizované školení a spojuje výsledky tréninku neuronové sítě z různých zařízení do jednoho modelu – na Androidu
Dnes se celé odvětví věnuje zabezpečení dat, agregaci a replikaci výsledků učení na místních zařízeních.
– směr ML, ve kterém se jednotlivé modely učí nezávisle na sobě a následně se spojují do jediného modelu (bez centralizace zdrojových dat), upraveného pro vzácné události, anomálie, personalizaci atd. Všechna zařízení Android jsou pro Google v podstatě jediným počítačovým superpočítačem.
Generativní modely založené na federovaném učení jsou podle Google slibným budoucím směrem, který je „v raných fázích exponenciálního růstu“. GANy jsou podle přednášejícího schopny naučit se reprodukovat hromadné chování populací živých organismů a algoritmy myšlení.
Na příkladu dvou jednoduchých GAN architektur je ukázáno, že se v nich hledání optimalizační cesty toulá v kruhu, což znamená, že k optimalizaci jako takové nedochází. Tyto modely jsou zároveň velmi úspěšné v simulaci experimentů, které biologové provádějí na populacích bakterií a nutí je učit se nové strategie chování při hledání potravy. Můžeme dojít k závěru, že život funguje jinak než funkce optimalizace.
Chůze GAN optimalizace
Vše, co nyní v rámci strojového učení děláme, jsou úzké a extrémně formalizované úkoly, přičemž tyto formalismy se nedají dobře zobecnit a neodpovídají našim věcným znalostem v oblastech, jako je neurofyziologie a biologie.
Co opravdu stojí za vypůjčení z oblasti neurofyziologie v blízké budoucnosti, jsou nové neuronové architektury a mírná revize mechanismů zpětného šíření chyb.
Samotný lidský mozek se neučí jako neuronová síť:
- Nemá náhodné primární vstupy, včetně těch, které byly vneseny prostřednictvím smyslů a v dětství
- Má vrozené směry instinktivního vývoje (touha učit se jazyk od kojence, chodit vzpřímeně)
Trénink individuálního mozku je úkol nízké úrovně; možná bychom měli zvážit „kolonie“ rychle se měnících jedinců, kteří si předávají znalosti, aby reprodukovali mechanismy skupinové evoluce.
Co nyní můžeme převzít do algoritmů ML:
- Aplikujte modely buněčné linie, které zajišťují učení populace, ale krátký život jednotlivce („individuální mozek“)
- Učení s malým počtem příkladů
- Složitější neuronové struktury, mírně odlišné aktivační funkce
- Přenos „genomu“ na další generace – algoritmus zpětného šíření
- Jakmile propojíme neurofyziologii a neuronové sítě, naučíme se budovat multifunkční mozek z mnoha komponent.
Z tohoto pohledu je praxe SOTA řešení škodlivá a měla by být revidována kvůli vývoji společných úkolů (benchmarků).
"Veridical Data Science", Bin Yu (Berkeley)
Zpráva je věnována problému interpretace modelů strojového učení a metodice jejich přímého testování a ověřování. Jakýkoli natrénovaný model ML lze vnímat jako zdroj znalostí, které je z něj potřeba vytěžit.
V mnoha oblastech, zejména v medicíně, je použití modelu nemožné bez extrahování těchto skrytých znalostí a interpretace výsledků modelu - jinak nebudeme mít jistotu, že výsledky budou stabilní, nenáhodné, spolehlivé a nezabijí trpěliví. V rámci paradigmatu hlubokého učení se vyvíjí celý směr metodologie práce a překračuje jeho hranice – veridical data science. co to je?
Chceme dosáhnout takové kvality vědeckých publikací a reprodukovatelnosti modelů, aby byly:
- předvídatelný
- vypočitatelný
- stabilní
Tyto tři principy tvoří základ nové metodiky. Jak lze modely ML kontrolovat podle těchto kritérií? Nejjednodušší je sestavit okamžitě interpretovatelné modely (regrese, rozhodovací stromy). Chceme však také získat okamžité výhody hlubokého učení.
Několik existujících způsobů, jak s problémem pracovat:
- interpretovat model;
- používat metody založené na pozornosti;
- používat soubory algoritmů při trénování a zajistit, aby se lineární interpretovatelné modely naučily předpovídat stejné odpovědi jako neuronová síť a interpretovaly prvky z lineárního modelu;
- měnit a rozšiřovat tréninková data. To zahrnuje přidání šumu, interference a rozšíření dat;
- jakékoli metody, které pomáhají zajistit, aby výsledky modelu nebyly náhodné a nezávisely na menším nežádoucím rušení (útoky protivníka);
- interpretovat model po faktu, po tréninku;
- studovat váhy rysů různými způsoby;
- studovat pravděpodobnosti všech hypotéz, rozdělení tříd.
Útok protivníka
Chyby v modelování jsou nákladné pro každého: ukázkovým příkladem je práce Reinharta a Rogova."“ ovlivnila hospodářskou politiku mnoha evropských zemí a donutila je k úsporám, ale pečlivá opakovaná kontrola dat a jejich zpracování po letech ukázaly opačný výsledek!
Každá technologie ML má svůj vlastní životní cyklus od implementace po implementaci. Cílem nové metodiky je ověřit tři základní principy v každé fázi života modelu.
Výsledky:
- Vyvíjí se několik projektů, které pomohou ML modelu být spolehlivější. Jedná se například o deeptune (odkaz na: );
- Pro další rozvoj metodiky je nutné výrazně zlepšit kvalitu publikací v oblasti ML;
- Strojové učení potřebuje lídry s multidisciplinárním školením a odbornými znalostmi v technických i humanitních oborech.
„Modelování lidského chování pomocí strojového učení: příležitosti a výzvy“ Nuria M Oliver, Albert Ali Salah
Přednáška věnovaná modelování lidského chování, jeho technologickým základům a aplikačním perspektivám.
Modelování lidského chování lze rozdělit na:
- individuální chování
- chování malé skupiny lidí
- masové chování
Každý z těchto typů lze modelovat pomocí ML, ale se zcela odlišnými vstupními informacemi a vlastnostmi. Každý typ má také své vlastní etické problémy, kterými každý projekt prochází:
- individuální chování – krádež identity, deepfake;
- chování skupin osob - deanonymizace, získávání informací o pohybu, telefonování apod.;
individuální chování
Většinou souvisí s tématem Počítačové vidění – rozpoznávání lidských emocí a reakcí. Snad jen v kontextu, v čase nebo s relativním měřítkem vlastní proměnlivosti emocí. Snímek ukazuje rozpoznání emocí Mony Lisy pomocí kontextu z emocionálního spektra středomořských žen. Výsledek: úsměv radosti, ale s opovržením a znechucením. Důvod je nejspíše v technickém způsobu definování „neutrální“ emoce.
Chování malé skupiny lidí
Zatím nejhorší model je způsoben nedostatečnou informovaností. Jako příklad byly uvedeny práce z let 2018 – 2019. na desítkách lidí X desítkách videí (srov. 100k++ obrazových datových sad). K co nejlepšímu modelování tohoto úkolu jsou potřeba multimodální informace, nejlépe ze senzorů na tělesném výškoměru, teploměru, záznamu z mikrofonu atd.
Masové chování
Nejrozvinutější oblastí, protože zákazníkem je OSN a mnoho států. Venkovní sledovací kamery, data z telefonních věží - účtování, SMS, hovory, údaje o pohybu mezi státními hranicemi - to vše dává velmi spolehlivý obraz o pohybu osob a sociálních nestabilitách. Potenciální aplikace technologie: optimalizace záchranných akcí, pomoc a včasná evakuace obyvatelstva při mimořádných událostech. Používané modely se hlavně stále špatně interpretují – jde o různé LSTM a konvoluční sítě. Zazněla krátká poznámka, že OSN lobuje za nový zákon, který by evropským podnikům uložil povinnost sdílet anonymizovaná data nezbytná pro jakýkoli výzkum.
„Od systému 1 k systému 2 Hluboké učení“, Yoshua Bengio
V přednášce Joshuy Bengia se hluboké učení setkává s neurovědou na úrovni stanovování cílů.
Bengio identifikuje dva hlavní typy problémů podle metodiky laureáta Nobelovy ceny Daniela Kahnemana (kniha „")
typ 1 - Systém 1, nevědomé akce, které děláme „automaticky“ (starověký mozek): řízení auta na známých místech, chůze, rozpoznávání tváří.
typ 2 - Systém 2, vědomé akce (cerebrální kůra), stanovení cílů, analýza, myšlení, složené úkoly.
Umělá inteligence zatím dosáhla dostatečné výše pouze v úkolech prvního typu, zatímco naším úkolem je přivést ji k druhému, naučit ji provádět multidisciplinární operace a operovat s logikou a kognitivními dovednostmi na vysoké úrovni.
K dosažení tohoto cíle se navrhuje:
- v úkolech NLP použijte pozornost jako klíčový mechanismus pro modelování myšlení
- využít meta-learning a učení reprezentace k lepšímu modelování funkcí, které ovlivňují vědomí a jejich lokalizaci – a na jejich základě přejít k práci s koncepty vyšší úrovně.
Místo závěru je zde pozvaná přednáška: Bengio je jedním z mnoha vědců, kteří se snaží rozšířit oblast ML za problémy s optimalizací, SOTA a nové architektury.
Otázkou zůstává, do jaké míry je kombinace problémů vědomí, vlivu jazyka na myšlení, neurobiologii a algoritmy tím, co nás v budoucnu čeká a umožní nám přejít na stroje, které „myslí“ jako lidé.
Děkujeme!
Zdroj: www.habr.com