NeuroIPS () to największa na świecie konferencja poświęcona uczeniu maszynowemu i sztucznej inteligencji oraz główne wydarzenie w świecie głębokiego uczenia się.
Czy my, inżynierowie DS, w nowej dekadzie opanujemy także biologię, lingwistykę i psychologię? Powiemy Ci w naszej recenzji.
W tym roku konferencja zgromadziła w Vancouver w Kanadzie ponad 13500 80 osób z 2019 krajów. To nie pierwszy rok, w którym Sbierbank reprezentuje Rosję na konferencji – zespół DS mówił o wdrażaniu ML w procesach bankowych, o konkurencji ML oraz o możliwościach platformy Sberbank DS. Jakie były główne trendy XNUMX roku w społeczności ML? Uczestnicy konferencji mówią: и .
W tym roku do NeurIPS napłynęło ponad 1400 artykułów dotyczących algorytmów, nowych modeli i nowych zastosowań nowych danych.
Spis treści:
- Trendy
-
- Interpretowalność modelu
- Multidyscyplinarność
- Rozumowanie
- RL
- GAN
- Podstawowe rozmowy zaproszone
-
- „Inteligencja społeczna”, Blaise Aguera y Arcas (Google)
- „Weryczna nauka o danych”, Bin Yu (Berkeley)
- „Modelowanie ludzkich zachowań za pomocą uczenia maszynowego: możliwości i wyzwania”, Nuria M. Oliver, Albert Ali Salah
- „Od głębokiego uczenia się systemu 1 do systemu 2”, Yoshua Bengio
Trendy 2019 roku
1. Interpretowalność modelu i nowa metodologia ML
Głównym tematem konferencji jest interpretacja i udowodnienie, dlaczego uzyskujemy określone wyniki. O filozoficznym znaczeniu interpretacji „czarnej skrzynki” można mówić długo, jednak realnych metod i osiągnięć technicznych w tym obszarze było więcej.
Metodologia replikowania modeli i wydobywania z nich wiedzy to nowy zestaw narzędzi dla nauki. Modele mogą służyć jako narzędzie do zdobywania nowej wiedzy i jej testowania, a każdy etap wstępnego przetwarzania, uczenia i stosowania modelu musi być powtarzalny.
Znaczna część publikacji poświęcona jest nie konstruowaniu modeli i narzędzi, ale zagadnieniom zapewnienia bezpieczeństwa, przejrzystości i sprawdzalności wyników. W szczególności pojawił się osobny strumień dotyczący ataków na model (ataki kontradyktoryjne) i rozważane są opcje zarówno ataków na szkolenie, jak i ataków na aplikację.
Artykuły:
- — artykuł programowy na temat metodologii weryfikacji modeli. Zawiera przegląd nowoczesnych narzędzi interpretacji modeli, w szczególności wykorzystania uwagi i uzyskiwania ważności cech poprzez „destylację” sieci neuronowej modelami liniowymi.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edwarda Raffa
ExBert.net przedstawia interpretację modelu dla zadań przetwarzania tekstu
2. Multidyscyplinarność
Aby zapewnić rzetelną weryfikację oraz wypracować mechanizmy weryfikacji i poszerzania wiedzy, potrzebujemy specjalistów z dziedzin pokrewnych, posiadających jednocześnie kompetencje w zakresie ML i merytorycznie (medycyna, lingwistyka, neurobiologia, edukacja itp.). Na szczególną uwagę zasługuje bardziej znacząca obecność prac i wystąpień w neuronaukach i naukach kognitywnych - następuje zbliżenie specjalistów i zapożyczanie idei.
Oprócz tego zbliżenia pojawia się multidyscyplinarność we wspólnym przetwarzaniu informacji z różnych źródeł: tekstu i zdjęć, tekstu i gier, grafowych baz danych + tekstu i zdjęć.
Artykuły:
- Neuronauka + ML —
- Wizualna kontrola jakości —
- RL + NLP -
Dwa modele – strateg i wykonawczy – oparte na strategii gry online RL i NLP
3. Rozumowanie
Wzmacnianie sztucznej inteligencji to ruch w stronę systemów samouczących się, „świadomych”, rozumowania i rozumowania. W szczególności rozwija się wnioskowanie przyczynowe i zdroworozsądkowe rozumowanie. Część raportów poświęcona jest meta-uczeniu (o tym, jak się uczyć, jak się uczyć) i połączeniu technologii DL z logiką pierwszego i drugiego rzędu – termin Sztuczna Inteligencja Ogólna (AGI) staje się coraz powszechniejszym terminem w wystąpieniach prelegentów.
Artykuły:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bachtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Uczenie się przez wzmacnianie
Większość prac to dalszy rozwój tradycyjnych obszarów RL – DOTA2, Starcraft, łączenie architektur z wizją komputerową, NLP, grafowe bazy danych.
Osobny dzień konferencji poświęcono warsztatom RL, podczas których zaprezentowano architekturę Optimistic Actor Critic Model, przewyższającą wszystkie poprzednie, w szczególności Soft Actor Critic.
Artykuły:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (sieci preferowane); Takahiro Ishikawa (Uniwersytet Tokijski) [zewnętrzny link do pliku pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Uniwersytet w Toronto); Mohammad Norouzi (Mózg Google)
Gracze StarCraft walczą z modelem Alphastar (DeepMind)
5.GAN
Sieci generatywne są wciąż w centrum uwagi: wiele prac wykorzystuje zwykłe GAN do dowodów matematycznych, a także stosuje je w nowy, nietypowy sposób (modele generatywne grafów, praca z szeregami, zastosowanie do związków przyczynowo-skutkowych w danych itp.).
Artykuły:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ponieważ przyjęto więcej prac Poniżej omówimy najważniejsze wystąpienia.
Zaproszone Rozmowy
„Inteligencja społeczna”, Blaise Aguera y Arcas (Google)
Wykład skupia się na ogólnej metodologii uczenia maszynowego i perspektywach zmieniających się obecnie w branży – na jakim rozdrożu stoimy? Jak działa mózg i ewolucja i dlaczego tak mało wykorzystujemy to, co już wiemy o rozwoju systemów naturalnych?
Rozwój przemysłowy ML w dużej mierze zbiega się z kamieniami milowymi rozwoju Google, które rok po roku publikuje swoje badania na temat NeurIPS:
- 1997 – uruchomienie wyszukiwarek, pierwsze serwery, mała moc obliczeniowa
- 2010 – Jeff Dean uruchamia projekt Google Brain, rozkwit sieci neuronowych na samym początku
- 2015 – przemysłowe wdrożenia sieci neuronowych, szybkie rozpoznawanie twarzy bezpośrednio na urządzeniu lokalnym, niskopoziomowe procesory dostosowane do obliczeń tensorowych – TPU. Google wprowadza na rynek Coral ai – analog Raspberry Pi, minikomputer do wprowadzania sieci neuronowych do eksperymentalnych instalacji
- 2017 – Google rozpoczyna rozwój zdecentralizowanego uczenia i łączenia wyników uczenia sieci neuronowej z różnych urządzeń w jeden model – na Androidzie
Obecnie cała branża zajmuje się bezpieczeństwem danych, agregacją i replikacją efektów uczenia się na urządzeniach lokalnych.
– kierunek ML, w którym poszczególne modele uczą się niezależnie od siebie, a następnie są łączone w jeden model (bez centralizacji danych źródłowych), dostosowany do rzadkich zdarzeń, anomalii, personalizacji itp. Wszystkie urządzenia z Androidem to w zasadzie pojedynczy superkomputer obliczeniowy dla Google.
Według Google, które znajduje się „we wczesnych stadiach wykładniczego wzrostu”, modele generatywne oparte na uczeniu stowarzyszonym to obiecujący kierunek na przyszłość. GAN, zdaniem wykładowcy, są w stanie nauczyć się odtwarzać masowe zachowania populacji organizmów żywych i algorytmy myślenia.
Na przykładzie dwóch prostych architektur GAN pokazano, że poszukiwanie ścieżki optymalizacji wędruje w nich po okręgu, co oznacza, że optymalizacja jako taka nie zachodzi. Jednocześnie modele te z dużym powodzeniem symulują eksperymenty, które biolodzy przeprowadzają na populacjach bakterii, zmuszając je do uczenia się nowych strategii behawioralnych w poszukiwaniu pożywienia. Możemy stwierdzić, że życie działa inaczej niż funkcja optymalizacji.
Chodząca optymalizacja sieci GAN
Wszystko, co obecnie robimy w ramach uczenia maszynowego, to wąskie i skrajnie sformalizowane zadania, przy czym te formalizmy nie generalizują dobrze i nie odpowiadają naszej wiedzy przedmiotowej z takich dziedzin jak neurofizjologia i biologia.
Tym, co naprawdę warto w najbliższej przyszłości zaczerpnąć z dziedziny neurofizjologii, są nowe architektury neuronowe i niewielka rewizja mechanizmów wstecznej propagacji błędów.
Sam ludzki mózg nie uczy się jak sieć neuronowa:
- Nie ma przypadkowych, pierwotnych danych wejściowych, w tym tych przekazywanych za pośrednictwem zmysłów i w dzieciństwie
- Posiada wrodzone kierunki rozwoju instynktownego (chęć nauki języka już od niemowlęcia, chodzenie w pozycji wyprostowanej)
Trenowanie indywidualnego mózgu to zadanie niskiego poziomu; być może powinniśmy rozważyć „kolonie” szybko zmieniających się jednostek przekazujących sobie nawzajem wiedzę w celu odtworzenia mechanizmów ewolucji grupy.
Co możemy teraz zastosować w algorytmach ML:
- Zastosuj modele linii komórkowych, które zapewniają uczenie się populacji, ale krótkie życie jednostki („indywidualny mózg”)
- Krótka nauka na niewielkiej liczbie przykładów
- Bardziej złożone struktury neuronowe, nieco inne funkcje aktywacyjne
- Przekazanie „genomu” następnym pokoleniom – algorytm wstecznej propagacji
- Gdy połączymy neurofizjologię i sieci neuronowe, nauczymy się budować wielofunkcyjny mózg z wielu komponentów.
Z tego punktu widzenia praktyka rozwiązań SOTA jest szkodliwa i powinna zostać zrewidowana w celu opracowania wspólnych zadań (benchmarków).
„Weryczna nauka o danych”, Bin Yu (Berkeley)
Raport poświęcony jest problematyce interpretacji modeli uczenia maszynowego oraz metodyce ich bezpośredniego testowania i weryfikacji. Każdy wyszkolony model ML może być postrzegany jako źródło wiedzy, którą należy z niego wydobyć.
W wielu dziedzinach, szczególnie w medycynie, zastosowanie modelu jest niemożliwe bez wydobycia tej ukrytej wiedzy i zinterpretowania wyników modelu – w przeciwnym razie nie będziemy pewni, że wyniki będą stabilne, nielosowe, wiarygodne i nie zabiją człowieka. pacjent. W ramach paradygmatu głębokiego uczenia się rozwija się cały kierunek metodologii pracy i wykracza poza jego granice - veridical data science. Co to jest?
Chcemy osiągnąć taką jakość publikacji naukowych i powtarzalność modeli, aby były:
- możliwy do przewidzenia
- obliczeniowy
- stabilny
Te trzy zasady stanowią podstawę nowej metodologii. W jaki sposób można sprawdzić modele uczenia maszynowego pod kątem tych kryteriów? Najłatwiej jest zbudować modele, które można natychmiast zinterpretować (regresje, drzewa decyzyjne). Chcemy jednak również uzyskać natychmiastowe korzyści z głębokiego uczenia się.
Kilka istniejących sposobów pracy z problemem:
- zinterpretować model;
- stosować metody oparte na uwadze;
- podczas uczenia wykorzystywać zespoły algorytmów i zapewniać, że modele interpretowalne liniowo nauczą się przewidywać te same odpowiedzi, co sieć neuronowa, interpretując cechy modelu liniowego;
- zmieniać i uzupełniać dane treningowe. Obejmuje to dodawanie szumów, zakłóceń i powiększanie danych;
- wszelkie metody, które pozwalają zapewnić, że wyniki modelu nie są losowe i nie zależą od drobnych niepożądanych zakłóceń (ataki kontradyktoryjne);
- interpretować model po fakcie, po treningu;
- badać wagi cech na różne sposoby;
- badać prawdopodobieństwa wszystkich hipotez, rozkład klas.
Atak kontradyktoryjny
Błędy w modelowaniu są kosztowne dla wszystkich: najlepszym przykładem jest praca Reinharta i Rogova.” wpłynął na politykę gospodarczą wielu krajów europejskich i zmusił je do prowadzenia polityki oszczędnościowej, ale uważna ponowna kontrola danych i ich przetwarzanie po latach pokazała odwrotny skutek!
Każda technologia ML ma swój własny cykl życia od wdrożenia do wdrożenia. Celem nowej metodologii jest sprawdzenie trzech podstawowych zasad na każdym etapie życia modelu.
Wyniki:
- Opracowywanych jest kilka projektów, które pomogą zwiększyć niezawodność modelu ML. Jest to np. deeptune (link do: );
- Dla dalszego rozwoju metodologii konieczna jest znacząca poprawa jakości publikacji z zakresu ML;
- Uczenie maszynowe potrzebuje liderów z multidyscyplinarnym przeszkoleniem i wiedzą specjalistyczną zarówno w dziedzinach technicznych, jak i humanistycznych.
„Modelowanie ludzkich zachowań za pomocą uczenia maszynowego: możliwości i wyzwania” Nuria M. Oliver, Albert Ali Salah
Wykład poświęcony modelowaniu zachowań człowieka, jego podstawom technologicznym i perspektywom zastosowań.
Modelowanie zachowań człowieka można podzielić na:
- indywidualne zachowanie
- zachowanie małej grupy ludzi
- zachowanie masowe
Każdy z tych typów można modelować za pomocą ML, ale z zupełnie innymi informacjami wejściowymi i funkcjami. Każdy typ ma również swoje własne problemy etyczne, przez które przechodzi każdy projekt:
- indywidualne zachowanie – kradzież tożsamości, deepfake;
- zachowania grup ludzi – deanonimizacja, pozyskiwanie informacji o ruchach, rozmowach telefonicznych itp.;
indywidualne zachowanie
Głównie związane z tematyką Computer Vision - rozpoznawaniem ludzkich emocji i reakcji. Być może tylko w kontekście, w czasie lub ze względną skalą własnej zmienności emocji. Slajd pokazuje rozpoznawanie emocji Mony Lisy w kontekście ze spektrum emocjonalnego kobiet śródziemnomorskich. Rezultat: uśmiech radości, ale z pogardą i obrzydzeniem. Przyczyna leży najprawdopodobniej w technicznym sposobie definiowania „neutralnej” emocji.
Zachowanie małej grupy ludzi
Jak dotąd najgorszy model wynika z niewystarczających informacji. Jako przykład pokazano prace z lat 2018 – 2019. na dziesiątkach osób X dziesiątkach filmów (por. zbiory danych obrazów 100 tys.+). Aby jak najlepiej modelować to zadanie, potrzebne są informacje multimodalne, najlepiej z czujników na wysokościomierzu, termometrze, zapisie mikrofonu itp.
Zachowanie masowe
Najbardziej rozwinięty obszar, ponieważ klientem jest ONZ i wiele państw. Zewnętrzne kamery monitoringu, dane z masztów telefonicznych – bilingi, SMS-y, połączenia, dane o ruchu pomiędzy granicami państw – to wszystko daje bardzo rzetelny obraz przepływu osób i niestabilności społecznej. Potencjalne zastosowania technologii: optymalizacja działań ratowniczych, pomoc i terminowa ewakuacja ludności w sytuacjach awaryjnych. Stosowane modele są w większości nadal słabo zinterpretowane - są to różne LSTM i sieci splotowe. Pojawiła się krótka uwaga, że ONZ lobbuje za nowym prawem, które zobowiązałoby europejskie firmy do udostępniania zanonimizowanych danych niezbędnych do jakichkolwiek badań.
„Od głębokiego uczenia się systemu 1 do systemu 2”, Yoshua Bengio
W wykładzie Joshuy Bengio głębokie uczenie się spotyka się z neuronauką na poziomie wyznaczania celów.
Bengio identyfikuje dwa główne typy problemów zgodnie z metodologią laureata Nagrody Nobla Daniela Kahnemana (książka „")
typ 1 – System 1, nieświadome czynności, które wykonujemy „automatycznie” (starożytny mózg): prowadzenie samochodu w znanych miejscach, chodzenie, rozpoznawanie twarzy.
typ 2 - System 2, świadome działanie (kora mózgowa), wyznaczanie celów, analiza, myślenie, zadania złożone.
Sztuczna inteligencja osiągnęła dotychczas wystarczające wyżyny jedynie w zadaniach pierwszego rodzaju, natomiast naszym zadaniem jest doprowadzenie jej do drugiego, ucząc ją wykonywania multidyscyplinarnych operacji oraz operowania logiką i wysokimi umiejętnościami poznawczymi.
Aby osiągnąć ten cel proponuje się:
- w zadaniach NLP wykorzystuj uwagę jako kluczowy mechanizm modelowania myślenia
- wykorzystać metauczenie się i uczenie się reprezentacji, aby lepiej modelować cechy wpływające na świadomość i ich lokalizację - i na ich podstawie przejść do operowania koncepcjami wyższego poziomu.
Zamiast podsumowania, oto wykład na zaproszenie: Bengio jest jednym z wielu naukowców, którzy próbują rozszerzyć dziedzinę ML poza problemy optymalizacyjne, SOTA i nowe architektury.
Otwartym pozostaje pytanie, w jakim stopniu połączenie problemów świadomości, wpływu języka na myślenie, neurobiologii i algorytmów czeka nas w przyszłości i pozwoli nam przejść do maszyn, które „myślą” jak ludzie.
Dziękuję!
Źródło: www.habr.com