NeuroIPS () a világ legnagyobb gépi tanulással és mesterséges intelligenciával foglalkozó konferenciája, valamint a mélytanulás világának fő eseménye.
Vajon mi, DS-mérnökök is elsajátítjuk a biológiát, a nyelvészetet és a pszichológiát az új évtizedben? Véleményünkben elmondjuk.
Idén a konferencián több mint 13500 80 ember vett részt 2019 országból a kanadai Vancouverben. Nem ez az első év, hogy a Sberbank képviselte Oroszországot a konferencián – a DS csapata beszélt az ML bevezetéséről a banki folyamatokban, az ML versenyről és a Sberbank DS platform képességeiről. Melyek voltak XNUMX fő trendjei az ML közösségben? A konferencia résztvevői ezt mondják: и .
Ebben az évben a NeurIPS több mint 1400 dokumentumot fogadott el – algoritmusokat, új modelleket és új alkalmazásokat az új adatokhoz.
Tartalom:
- trendek
-
- Modell értelmezhetőség
- Multidiszciplinaritás
- Érvelés
- RL
- GAN
- Alapvető meghívott beszélgetések
-
- „Social Intelligence”, Blaise Aguera y Arcas (Google)
- „Veridical Data Science”, Bin Yu (Berkeley)
- „Emberi viselkedés modellezés gépi tanulással: lehetőségek és kihívások”, Nuria M Oliver, Albert Ali Salah
- „Az 1. rendszerből a 2. rendszerbe mély tanulás”, Yoshua Bengio
Trendek 2019
1. Modell értelmezhetőség és új ML módszertan
A konferencia fő témája annak értelmezése és bizonyítása, hogy miért kapunk bizonyos eredményeket. Hosszan lehet beszélni a „fekete doboz” értelmezés filozófiai fontosságáról, de ezen a téren több valós módszer és technikai fejlesztés történt.
A modellek replikálására és az azokból ismeretek kinyerésére szolgáló módszertan új eszköztár a tudomány számára. A modellek eszközként szolgálhatnak az új ismeretek megszerzéséhez és teszteléséhez, és a modell előfeldolgozásának, betanításának és alkalmazásának minden szakaszának reprodukálhatónak kell lennie.
A publikációk jelentős része nem a modellek és eszközök felépítésével foglalkozik, hanem a biztonság, az átláthatóság és az eredmények ellenőrizhetőségének problémáival foglalkozik. Külön folyam jelent meg a modell elleni támadásokról (ellenkező támadások), és mind a képzés elleni támadások, mind az alkalmazás elleni támadások lehetőségeit mérlegelik.
Cikkek:
- — egy programszerű cikk a modellellenőrzés módszertanáról. Tartalmazza a modern modellértelmezési eszközök áttekintését, különös tekintettel a figyelem használatára és a tulajdonságok fontosságának megszerzésére a neurális hálózat lineáris modellekkel történő „lepárlásával”.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Szereplők: Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
Az ExBert.net modellértelmezést mutat be szövegfeldolgozási feladatokhoz
2. Multidiszciplinaritás
A megbízható verifikáció biztosításához, valamint az ismeretek igazolására és bővítésére szolgáló mechanizmusok kialakításához szükségünk van a kapcsolódó területeken olyan szakemberekre, akik egyszerre rendelkeznek ML-ben és szakterületen (orvostudomány, nyelvészet, neurobiológia, oktatás stb.) kompetenciákkal. Külön kiemelendő a művek és beszédek jelentősebb jelenléte az ideg- és kognitív tudományokban - tapasztalható a szakemberek közeledése, ötletkölcsönzés.
E közeledés mellett megjelenik a multidiszciplinaritás a különböző forrásokból származó információk együttes feldolgozásában: szöveg és fotó, szöveg és játék, grafikon adatbázisok + szöveg és fotók.
Cikkek:
- Idegtudomány + ML —
- VisualQA -
- RL + NLP -
Két modell – a stratéga és a végrehajtó – az RL és az NLP online játékstratégián alapul
3. Érvelés
A mesterséges intelligencia erősítése az öntanuló rendszerek, a „tudatos”, az érvelés és az érvelés felé történő elmozdulás. Különösen az ok-okozati következtetések és a józan ész érvelése fejlődik ki. A jelentések egy része a meta-learningnek (a tanulás megtanulásának mikéntjéről), valamint a DL-technológiák első és második rendű logikával való kombinációjáról szól – az Artificial General Intelligence (AGI) kifejezés egyre gyakoribb kifejezés az előadók beszédeiben.
Cikkek:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bahtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Megerősítő tanulás
A munka nagy része továbbra is az RL hagyományos területeinek fejlesztésére irányul - DOTA2, Starcraft, az architektúrákat számítógépes látással, NLP-vel, gráf adatbázisokkal kombinálva.
A konferencia egy külön napját szentelték egy RL workshopnak, amelyen bemutatták az Optimistic Actor Critic Model architektúráját, amely minden korábbinál, különösen a Soft Actor Criticnél jobb.
Cikkek:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferált hálózatok); Takahiro Ishikawa (The University of Tokyo) [külső pdf hivatkozás].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Torontói Egyetem); Mohammad Norouzi (Google Brain)
A StarCraft játékosok az Alphastar modellel küzdenek (DeepMind)
5.GAN
A generatív hálózatok továbbra is reflektorfényben vannak: sok mű vaníliás GAN-okat használ matematikai bizonyításra, illetve új, szokatlan módokon alkalmazza őket (gráfgeneratív modellek, sorozatokkal való munka, adatok ok-okozati összefüggéseinek alkalmazása stb.).
Cikkek:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Mivel több munkát elfogadtak Az alábbiakban a legfontosabb beszédekről lesz szó.
Meghívott beszélgetések
„Social Intelligence”, Blaise Aguera y Arcas (Google)
A beszélgetés a gépi tanulás általános módszertanára és az iparágat jelenleg megváltoztató kilátásokra összpontosít – milyen válaszút előtt állunk? Hogyan működik az agy és az evolúció, és miért használjuk olyan kevéssé azt, amit a természetes rendszerek fejlődéséről már tudunk?
Az ML ipari fejlődése nagyrészt egybeesik a Google fejlődésének mérföldköveivel, amely évről évre publikálja a NeurIPS-ről szóló kutatásait:
- 1997 – keresési lehetőségek, első szerverek, kis számítási teljesítmény elindítása
- 2010 – Jeff Dean elindítja a Google Brain projektet, a neurális hálózatok kezdeti fellendülését
- 2015 – Neurális hálózatok ipari megvalósítása, gyors arcfelismerés közvetlenül egy helyi eszközön, alacsony szintű processzorok tenzorszámításhoz szabva - TPU. A Google piacra dobja a Coral ai-t – a Raspberry pi analógját, egy mini-számítógépet a neurális hálózatok kísérleti telepítésekbe való bevezetésére
- 2017 – A Google megkezdi a decentralizált képzés fejlesztését, és a különböző eszközökről származó neurális hálózatok oktatásának eredményeit egyetlen modellben egyesíti – Androidon
Ma egy egész iparág foglalkozik az adatbiztonsággal, a tanulási eredmények összesítésével és replikációjával a helyi eszközökön.
– az ML olyan iránya, amelyben az egyes modellek egymástól függetlenül tanulnak, majd egyetlen modellbe egyesítik (a forrásadatok központosítása nélkül), igazítva a ritka eseményekhez, anomáliákhoz, személyre szabáshoz stb. Az összes Android-eszköz lényegében egyetlen számítógépes szuperszámítógép a Google számára.
Az egyesített tanuláson alapuló generatív modellek ígéretes jövőbeli irányt jelentenek a Google szerint, amely „az exponenciális növekedés korai szakaszában van”. Az előadó szerint a GAN-ok képesek megtanulni reprodukálni az élő szervezetek populációinak tömeges viselkedését és a gondolkodási algoritmusokat.
Két egyszerű GAN architektúra példáján látható, hogy bennük az optimalizálási út keresése körben vándorol, ami azt jelenti, hogy az optimalizálás mint olyan nem történik meg. Ugyanakkor ezek a modellek nagyon sikeresen szimulálják azokat a kísérleteket, amelyeket a biológusok végeznek baktériumpopulációkon, és arra kényszerítik őket, hogy új viselkedési stratégiákat tanuljanak meg táplálékkeresés során. Megállapíthatjuk, hogy az élet másként működik, mint az optimalizálási függvény.
Gyalogos GAN optimalizálás
Mindaz, amit a gépi tanulás keretében most végzünk, szűk és rendkívül formalizált feladatok, miközben ezek a formalizmusok nem általánosíthatók jól, és nem felelnek meg tantárgyi tudásunknak olyan területeken, mint a neurofiziológia és a biológia.
Amit igazán érdemes a közeljövőben kölcsönvenni a neurofiziológia területéről, az új neuronarchitektúrák és a hibák visszaszaporodásának mechanizmusainak enyhe felülvizsgálata.
Maga az emberi agy nem úgy tanul, mint egy neurális hálózat:
- Nincsenek véletlenszerű elsődleges bemenetei, beleértve az érzékszerveken és gyermekkorban lefektetetteket
- Ösztönös fejlődési irányai vannak (a vágy, hogy egy csecsemőtől nyelvet tanuljon, egyenesen járva)
Az egyén agyának képzése alacsony szintű feladat, talán figyelembe kellene vennünk a gyorsan változó egyének „kolóniáit”, amelyek tudást adnak át egymásnak, hogy reprodukálják a csoportfejlődés mechanizmusait.
Amit most átvehetünk az ML algoritmusokba:
- Olyan sejtvonal-modellek alkalmazása, amelyek biztosítják a populáció tanulását, de az egyén rövid életét („egyéni agy”).
- Kevés példát használó tanulás
- Bonyolultabb idegsejtek szerkezete, kissé eltérő aktivációs funkciók
- A „genom” átvitele a következő generációkra - visszaszaporító algoritmus
- Miután összekapcsoljuk a neurofiziológiát és a neurális hálózatokat, megtanulunk több komponensből többfunkciós agyat építeni.
Ebből a szempontból a SOTA megoldások gyakorlata káros, a közös feladatok (benchmark) kialakítása érdekében felül kell vizsgálni.
„Veridical Data Science”, Bin Yu (Berkeley)
A jelentés a gépi tanulási modellek értelmezésének problémájával, valamint közvetlen tesztelésük és ellenőrzésük módszertanával foglalkozik. Bármely betanított ML modell felfogható tudásforrásként, amelyet ki kell kinyerni belőle.
Sok területen, különösen az orvostudományban, lehetetlen egy modell használata e rejtett tudás kivonása és a modell eredményeinek értelmezése nélkül - különben nem leszünk biztosak abban, hogy az eredmények stabilak, nem véletlenszerűek, megbízhatóak lesznek, és nem ölik meg a beteg. A mély tanulási paradigmán belül a munkamódszertan egész iránya fejlődik ki, és túlmutat annak határain – a hiteles adattudomány. Ami?
Olyan színvonalú tudományos publikációkat és modellek reprodukálhatóságát szeretnénk elérni, hogy azok:
- kiszámítható
- kiszámítható
- stabil
Ez a három elv képezi az új módszertan alapját. Hogyan ellenőrizhetők az ML modellek ezeknek a kritériumoknak megfelelően? A legegyszerűbb az azonnal értelmezhető modellek (regressziók, döntési fák) felépítése. Szeretnénk azonban a mély tanulás azonnali előnyeit is kihasználni.
Számos létező módszer a probléma kezelésére:
- értelmezni a modellt;
- figyelemre épülő módszerek alkalmazása;
- a képzés során algoritmus-együtteseket használjon, és gondoskodjon arról, hogy a lineárisan értelmezhető modellek megtanulják ugyanazokat a válaszokat megjósolni, mint a neurális hálózat, értelmezve a lineáris modell jellemzőit;
- módosítani és bővíteni az edzési adatokat. Ez magában foglalja a zaj, az interferencia és az adatbővítés hozzáadását;
- minden olyan módszer, amely segít biztosítani, hogy a modell eredményei ne legyenek véletlenszerűek, és ne függjenek kisebb nem kívánt interferenciától (ellenálló támadások);
- értelmezni a modellt utólag, edzés után;
- különböző módokon tanulmányozza a jellemzősúlyokat;
- tanulmányozza az összes hipotézis valószínűségét, osztályeloszlást.
Ellenkező támadás
A modellezési hibák mindenki számára költségesek: jó példa Reinhart és Rogov munkája."" számos európai ország gazdaságpolitikáját befolyásolta és megszorító politikára kényszerítette őket, de az adatok gondos újraellenőrzése és évekkel későbbi feldolgozása az ellenkező eredményt mutatta!
Minden ML technológiának megvan a maga életciklusa a megvalósítástól a megvalósításig. Az új módszertan célja három alapelv ellenőrzése a modell életének minden szakaszában.
Eredmények:
- Számos olyan projektet fejlesztenek ki, amelyek az ML-modell megbízhatóbbá válását segítik elő. Ez például a deeptune (link: );
- A módszertan továbbfejlesztéséhez az ML területén megjelent publikációk minőségének jelentős javítása szükséges;
- A gépi tanuláshoz multidiszciplináris képzettséggel és szakértelemmel rendelkező vezetőkre van szükség mind a műszaki, mind a humán területen.
„Emberi viselkedés modellezés gépi tanulással: lehetőségek és kihívások” Nuria M Oliver, Albert Ali Salah
Előadás az emberi viselkedés modellezéséről, annak technológiai alapjairól és alkalmazási kilátásairól.
Az emberi viselkedés modellezése a következőkre osztható:
- egyéni viselkedés
- egy kis embercsoport viselkedése
- tömeges viselkedés
Ezen típusok mindegyike modellezhető ML használatával, de teljesen eltérő bemeneti információkkal és jellemzőkkel. Mindegyik típusnak megvannak a maga etikai problémái is, amelyeken minden projekt keresztülmegy:
- egyéni viselkedés – személyazonosság-lopás, mélyhamisítás;
- embercsoportok viselkedése - anonimizálás, információszerzés a mozgásokról, telefonhívásokról stb.;
egyéni viselkedés
Leginkább a Számítógépes látás témaköréhez kapcsolódik – az emberi érzelmek és reakciók felismerése. Talán csak kontextusban, időben, vagy saját érzelmei változékonyságának relatív léptékével. A dia Mona Lisa érzelmeinek felismerését mutatja be a mediterrán nők érzelmi spektrumából származó kontextus felhasználásával. Eredmény: mosoly az örömtől, de megvetéssel és undorral. Az ok valószínűleg a „semleges” érzelem meghatározásának technikai módjában keresendő.
Emberek kis csoportjának viselkedése
Az eddigi legrosszabb modell az elégtelen információnak köszönhető. Példaként a 2018-2019 közötti munkákat mutattuk be. több tucat emberen X tucatnyi videón (vö. 100 ezer++ képadatkészlet). A feladat legjobb modellezéséhez multimodális információkra van szükség, lehetőleg testmagasságmérőn, hőmérőn, mikrofonfelvételen stb.
Tömeges viselkedés
A legfejlettebb terület, hiszen a megrendelő az ENSZ és számos állam. Kültéri térfigyelő kamerák, telefontornyok adatai - számlázás, SMS, hívások, államhatárok közötti mozgások adatai - mindez nagyon megbízható képet ad az emberek mozgásáról és a társadalmi instabilitásokról. A technológia lehetséges alkalmazásai: a mentési műveletek optimalizálása, segítségnyújtás és a lakosság időben történő evakuálása vészhelyzetekben. A használt modellek többnyire még mindig rosszul értelmezettek – ezek a különféle LSTM-ek és konvolúciós hálózatok. Elhangzott egy rövid megjegyzés, hogy az ENSZ olyan új törvényért lobbizik, amely kötelezné az európai vállalkozásokat, hogy osszák meg minden kutatáshoz szükséges anonimizált adatokat.
„Az 1. rendszerből a 2. rendszerbe mély tanulás”, Yoshua Bengio
Joshua Bengio előadásában a mély tanulás találkozik az idegtudományokkal a célmeghatározás szintjén.
Bengio a problémák két fő típusát azonosítja a Nobel-díjas Daniel Kahneman módszertana szerint ("")
1. típus - 1. rendszer, öntudatlan cselekvések, amelyeket „automatikusan” végzünk (ősi agy): autózás ismerős helyeken, séta, arcok felismerése.
2. típus - 2. rendszer, tudatos cselekvések (agykéreg), célmeghatározás, elemzés, gondolkodás, összetett feladatok.
A mesterséges intelligencia eddig csak az első típusú feladatokban ért el kellő magasságot, a másodikhoz viszont az a feladatunk, hogy megtanítsuk multidiszciplináris műveletekre, logikával és magas szintű kognitív képességekkel operálni.
E cél elérése érdekében javasolt:
- az NLP feladatokban a figyelmet a gondolkodás modellezésének kulcsmechanizmusaként használja
- használja a meta-learninget és a reprezentációs tanulást a tudatot és azok lokalizációját befolyásoló jellemzők jobb modellezésére - és ezek alapján lépjen tovább a magasabb szintű koncepciókkal való működésre.
Befejezés helyett íme egy meghívott előadás: Bengio egyike annak a sok tudósnak, akik az optimalizálási problémákon, a SOTA-n és az új architektúrákon túlmenően megpróbálják kiterjeszteni az ML területét.
Nyitott marad a kérdés, hogy a tudatproblémák, a nyelv gondolkodásra gyakorolt befolyása, a neurobiológia és az algoritmusok kombinációja mennyiben vár ránk a jövőben, és mennyiben engedi majd át az emberekhez hasonlóan „gondolkodó” gépek felé.
Köszönöm!
Forrás: will.com