NeuroIPS () er stærsta ráðstefna heims um vélanám og gervigreind og aðalviðburðurinn í heimi djúpnáms.
Munum við, DS verkfræðingar, líka ná tökum á líffræði, málvísindum og sálfræði á nýjum áratug? Við munum segja þér það í umfjöllun okkar.
Í ár komu saman meira en 13500 manns frá 80 löndum á ráðstefnunni í Vancouver í Kanada. Þetta er ekki fyrsta árið sem Sberbank er fulltrúi Rússlands á ráðstefnunni - DS teymið talaði um innleiðingu ML í bankaferlum, um ML keppnina og um getu Sberbank DS vettvangsins. Hverjar voru helstu stefnur ársins 2019 í ML samfélaginu? Þátttakendur ráðstefnunnar segja: и .
Á þessu ári samþykkti NeurIPS meira en 1400 pappíra - reiknirit, nýjar gerðir og ný forrit fyrir ný gögn.
Efnisyfirlit:
- Stefna
-
- Túlkanleiki líkana
- Fjölfræði
- Rökstuðningur
- RL
- GAN
- Grunnboðsspjall
-
- „Social Intelligence“, Blaise Aguera y Arcas (Google)
- „Sanngjarn gagnavísindi“, Bin Yu (Berkeley)
- „Mannleg atferlislíkan með vélanámi: tækifæri og áskoranir“, Nuria M Oliver, Albert Ali Salah
- „Frá kerfi 1 til kerfis 2 djúpt nám“, Yoshua Bengio
Þróun 2019 ársins
1. Túlkanleiki líkana og ný aðferðafræði ML
Meginefni ráðstefnunnar er túlkun og sönnun þess hvers vegna við fáum ákveðnar niðurstöður. Það má lengi tala um heimspekilegt mikilvægi „svarta kassans“ túlkunar, en það voru raunverulegri aðferðir og tækniþróun á þessu sviði.
Aðferðafræðin við að endurtaka líkön og draga þekkingu úr þeim er ný verkfærakista fyrir vísindi. Líkön geta þjónað sem tæki til að afla nýrrar þekkingar og prófa hana og hvert stig í forvinnslu, þjálfun og beitingu líkansins verður að vera hægt að endurskapa.
Umtalsverður hluti rita er ekki varið til smíði líkana og verkfæra, heldur vandamálum við að tryggja öryggi, gagnsæi og sannreynandi niðurstöður. Sérstaklega hefur sérstakt straumur birst um árásir á líkanið (andstæðingarárásir) og valkostir fyrir bæði árásir á þjálfun og árásir á forrit eru skoðaðar.
Greinar:
- — dagskrárgrein um aðferðafræði líkanasannprófunar. Inniheldur yfirlit yfir nútíma verkfæri til að túlka líkön, einkum notkun athygli og fá mikilvægi eiginleika með því að „eima“ tauganetið með línulegum líkönum.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net sýnir líkantúlkun fyrir textavinnsluverkefni
2. Fjölfræði
Til að tryggja áreiðanlega sannprófun og þróa aðferðir til að sannreyna og auka þekkingu, þurfum við sérfræðinga á skyldum sviðum sem hafa samtímis hæfni í ML og á fagsviðinu (læknisfræði, málvísindi, taugalíffræði, menntun o.fl.). Sérstaklega er vert að taka eftir mikilvægari tilvist verka og ræðna í taugavísindum og hugrænum vísindum - það er nálgun sérfræðinga og lánaðar hugmyndir.
Auk þessarar nálgunar er að myndast þverfaglegt í sameiginlegri úrvinnslu upplýsinga úr ýmsum áttum: texta og myndum, texta og leikjum, línuritagrunnum + texta og myndum.
Greinar:
- Taugavísindi + ML —
- VisualQA -
- RL + NLP -
Tvær gerðir - strategist og framkvæmdastjóri - byggðar á RL og NLP spila stefnu á netinu
3. Rökstuðningur
Efling gervigreindar er hreyfing í átt að sjálflærandi kerfum, „meðvitað“, rökhugsun og rökhugsun. Sérstaklega eru orsakaályktanir og skynsemisrök að þróast. Sumar skýrslurnar eru helgaðar meta-námi (um hvernig á að læra að læra) og samsetningu DL tækni með 1. og 2. röð rökfræði - hugtakið Artificial General Intelligence (AGI) er að verða algengt hugtak í ræðum ræðumanna.
Greinar:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle og Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Mest af vinnunni heldur áfram að þróa hefðbundin svæði RL - DOTA2, Starcraft, sem sameinar arkitektúr með tölvusjón, NLP, grafgagnagrunnum.
Sérstakur dagur ráðstefnunnar var helgaður RL vinnustofu, þar sem arkitektúr Optimistic Actor Critic Model var kynntur, betri en allar fyrri, einkum Soft Actor Critic.
Greinar:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Háskólinn í Tókýó) [ytri pdf hlekkur].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (háskólinn í Toronto); Mohammad Norouzi (Google Brain)
StarCraft leikmenn berjast við Alphastar líkanið (DeepMind)
5.GAN
Generative net eru enn í sviðsljósinu: mörg verk nota vanillu GANs fyrir stærðfræðilegar sannanir og beita þeim einnig á nýjan, óvenjulegan hátt (myndagerðarlíkön, vinna með röð, beitingu á orsök-og-afleiðingartengsl í gögnum, osfrv.).
Greinar:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang og Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Þar sem meira verk var tekið Hér að neðan verður fjallað um mikilvægustu ræðurnar.
Boðsspjall
„Social Intelligence“, Blaise Aguera y Arcas (Google)
Erindið fjallar um almenna aðferðafræði vélanáms og horfur sem breyta greininni núna - hvaða krossgötur stöndum við frammi fyrir? Hvernig virkar heilinn og þróunin og hvers vegna nýtum við svo lítið það sem við vitum nú þegar um þróun náttúrukerfa?
Iðnaðarþróun ML fellur að mestu leyti saman við tímamót þróunar Google, sem gefur út rannsóknir sínar á NeurIPS ár eftir ár:
- 1997 – opnun leitaraðstöðu, fyrstu netþjóna, lítill tölvuafli
- 2010 - Jeff Dean setur af stað Google Brain verkefnið, uppsveiflu tauganeta strax í upphafi
- 2015 – iðnaðarútfærsla tauganeta, hröð andlitsþekking beint á staðbundnu tæki, örgjörvar á lágu stigi sérsniðnir fyrir tensor-tölvu – TPU. Google kynnir Coral ai - hliðstæðu við raspberry pi, smátölvu til að kynna taugakerfi í tilraunauppsetningar
- 2017 - Google byrjar að þróa dreifða þjálfun og sameina niðurstöður tauganetþjálfunar frá mismunandi tækjum í eina gerð - á Android
Í dag er heil iðnaður tileinkaður gagnaöryggi, samansöfnun og afritun námsárangurs á staðbundnum tækjum.
– stefnu ML þar sem einstök líkön læra óháð hvert öðru og eru síðan sameinuð í eitt líkan (án þess að miðlægja upprunagögnin), aðlagað fyrir sjaldgæfa atburði, frávik, sérstillingu o.s.frv. Öll Android tæki eru í rauninni ein ofurtölva fyrir Google.
Generative líkön sem byggjast á sameinuðu námi eru vænleg framtíðarstefna samkvæmt Google, sem er „á fyrstu stigum veldisvaxtar“. GAN, að sögn fyrirlesarans, eru fær um að læra að endurskapa fjöldahegðun stofna lifandi lífvera og hugsana reiknirit.
Með því að nota dæmi um tvo einfalda GAN arkitektúra er sýnt að í þeim flakkar leitin að hagræðingarleið í hring, sem þýðir að hagræðing sem slík á sér ekki stað. Á sama tíma eru þessi líkön mjög farsæl við að líkja eftir tilraunum sem líffræðingar gera á bakteríum, sem neyða þá til að læra nýjar hegðunaraðferðir í leit að fæðu. Við getum ályktað að lífið virki öðruvísi en hagræðingaraðgerðin.
Gangandi GAN hagræðing
Allt sem við gerum innan ramma vélanáms núna eru þröng og afar formbundin verkefni, á meðan þessi formalismi er illa alhæfður og samsvarar ekki faglegri þekkingu okkar á sviðum eins og taugalífeðlisfræði og líffræði.
Það sem er í raun þess virði að fá að láni frá sviði taugalífeðlisfræði í náinni framtíð er nýr taugafrumuarkitektúr og lítilsháttar endurskoðun á aðferðum við bakútbreiðsla villna.
Mannsheilinn sjálfur lærir ekki eins og taugakerfi:
- Hann hefur ekki tilviljunarkenndar fruminntak, þar með talið þau sem sett eru í gegnum skynfærin og í æsku
- Hann hefur eðlislægar stefnur um eðlislægan þroska (löngun til að læra tungumál af ungbarni, gangandi uppréttur)
Þjálfun einstaks heila er á lágu stigi verkefni; kannski ættum við að íhuga „nýlendur“ einstaklinga sem eru að breytast hratt og miðla þekkingu hver til annars til að endurskapa ferli hópþróunar.
Það sem við getum tekið upp í ML reiknirit núna:
- Notaðu frumulíkön sem tryggja nám íbúanna, en stutt líf einstaklingsins („einstakur heili“)
- Nám með fáum skotum með fáum dæmum
- Flóknari taugafrumubyggingar, örlítið mismunandi virkjunaraðgerðir
- Flutningur „erfðaefnisins“ til næstu kynslóða - reiknirit fyrir útbreiðslu aftur
- Þegar við tengjum taugalífeðlisfræði og tauganet, munum við læra að byggja upp fjölvirkan heila úr mörgum þáttum.
Frá þessu sjónarhorni er notkun SOTA lausna skaðleg og ætti að endurskoða þær til að þróa sameiginleg verkefni (viðmið).
„Sanngjarn gagnavísindi“, Bin Yu (Berkeley)
Skýrslan er helguð vandamálinu við að túlka vélanámslíkön og aðferðafræðina fyrir beina prófun þeirra og sannprófun. Hægt er að líta á hvaða þjálfaða ML líkan sem er sem uppsprettu þekkingar sem þarf að vinna úr því.
Á mörgum sviðum, sérstaklega í læknisfræði, er notkun líkans ómöguleg án þess að draga fram þessa huldu þekkingu og túlka niðurstöður líkansins - annars erum við ekki viss um að niðurstöðurnar verði stöðugar, ótilviljanakenndar, áreiðanlegar og drepi ekki þolinmóður. Heil stefna vinnuaðferðafræði er að þróast innan djúpnámshugmyndarinnar og fer út fyrir mörk hennar - sannkölluð gagnavísindi. Hvað það er?
Við viljum ná slíkum gæðum vísindarita og endurgerðanleika líkana að þau séu:
- fyrirsjáanlegt
- reiknanleg
- stöðugt
Þessar þrjár meginreglur liggja til grundvallar nýju aðferðafræðinni. Hvernig er hægt að athuga ML líkön gegn þessum viðmiðum? Auðveldasta leiðin er að byggja strax túlkanleg líkön (aðhvarf, ákvörðunartré). Hins vegar viljum við líka fá strax ávinning af djúpnámi.
Nokkrar núverandi leiðir til að vinna með vandamálið:
- túlka líkanið;
- nota aðferðir sem byggja á athygli;
- nota samsetningar reiknirita við þjálfun og tryggja að línuleg túlkanleg líkön læri að spá fyrir um sömu svör og tauganetið, túlka eiginleika úr línulega líkaninu;
- breyta og auka þjálfunargögn. Þetta felur í sér að bæta við hávaða, truflunum og gagnaaukningu;
- allar aðferðir sem hjálpa til við að tryggja að niðurstöður líkansins séu ekki tilviljunarkenndar og séu ekki háðar minniháttar óæskilegum truflunum (andstæðingarárásum);
- túlka líkanið eftir staðreyndinni, eftir þjálfun;
- námseiginleikavigtir á ýmsan hátt;
- rannsaka líkur á öllum tilgátum, flokkadreifingu.
Andstæðingur árás
Líkanavillur eru dýrar fyrir alla: gott dæmi er verk Reinhart og Rogov.““ hafði áhrif á efnahagsstefnu margra Evrópulanda og neyddi þau til að fylgja niðurskurðarstefnu, en vandlega endurskoðuð gögnin og úrvinnsla þeirra árum síðar sýndi þveröfuga niðurstöðu!
Sérhver ML tækni hefur sína eigin lífsferil frá innleiðingu til innleiðingar. Markmiðið með nýju aðferðafræðinni er að athuga þrjár grundvallarreglur á hverju stigi lífs líkansins.
Niðurstöður:
- Nokkur verkefni eru í þróun sem munu hjálpa ML líkaninu að vera áreiðanlegra. Þetta er til dæmis deeptune (tengill á: );
- Til frekari þróunar aðferðafræðinnar er nauðsynlegt að bæta verulega gæði rita á sviði ML;
- Vélnám þarf leiðtoga með þverfaglega þjálfun og sérfræðiþekkingu bæði á tækni- og hugvísindasviði.
„Mannleg atferlislíkan með vélanámi: tækifæri og áskoranir“ Nuria M Oliver, Albert Ali Salah
Fyrirlestur tileinkaður líkan mannlegrar hegðunar, tæknilegum grunni hennar og umsóknarhorfum.
Mannlegri hegðunarlíkönum má skipta í:
- einstaklingshegðun
- hegðun lítils hóps fólks
- fjöldahegðun
Hægt er að móta hverja þessara tegunda með ML, en með gjörólíkum inntaksupplýsingum og eiginleikum. Hver tegund hefur einnig sín siðferðilegu vandamál sem hvert verkefni gengur í gegnum:
- einstaklingshegðun - persónuþjófnaður, djúpfalsun;
- hegðun hópa fólks - afnöfnun nafnleyndar, öflun upplýsinga um hreyfingar, símtöl o.s.frv.;
einstaklingshegðun
Aðallega tengt efninu Tölvusjón - viðurkenning á tilfinningum og viðbrögðum manna. Kannski aðeins í samhengi, í tíma eða með hlutfallslegu mælikvarða hans eigin breytileika tilfinninga. Skyggnan sýnir viðurkenningu á tilfinningum Mónu Lísu með því að nota samhengi úr tilfinningasviði Miðjarðarhafskvenna. Niðurstaða: bros af gleði, en með fyrirlitningu og viðbjóði. Ástæðan er líklegast í tæknilegum hætti við að skilgreina „hlutlausa“ tilfinningu.
Hegðun lítils hóps fólks
Hingað til er versta líkanið vegna ófullnægjandi upplýsinga. Sem dæmi voru sýnd verk frá 2018 – 2019. á tugum manna X tugum myndbanda (sbr. 100k++ myndagagnasett). Til að móta þetta verkefni sem best þarf fjölþættar upplýsingar, helst frá skynjurum á líkamshæðarmæli, hitamæli, hljóðnemaupptöku o.s.frv.
Massahegðun
Þróaðasta svæðið, þar sem viðskiptavinurinn er SÞ og mörg ríki. Eftirlitsmyndavélar utandyra, gögn frá símaturnum - innheimtu, SMS, símtöl, gögn um flutning milli landamæra ríkisins - allt gefur þetta mjög áreiðanlega mynd af fólksflutningum og félagslegum óstöðugleika. Hugsanleg notkun tækninnar: hagræðing björgunaraðgerða, aðstoð og tímanlega brottflutning íbúa í neyðartilvikum. Líkönin sem notuð eru eru aðallega enn illa túlkuð - þetta eru ýmis LSTM og flækjunet. Það var stutt athugasemd um að SÞ beitti sér fyrir nýjum lögum sem skylda evrópsk fyrirtæki til að deila nafnlausum gögnum sem nauðsynleg eru fyrir allar rannsóknir.
„Frá kerfi 1 til kerfis 2 djúpt nám“, Yoshua Bengio
Í fyrirlestri Joshua Bengio mætir djúpt nám taugavísindi á stigi markmiðasetningar.
Bengio skilgreinir tvær megin tegundir vandamála samkvæmt aðferðafræði Nóbelsverðlaunahafans Daniel Kahneman (bók “")
tegund 1 - Kerfi 1, meðvitundarlausar aðgerðir sem við gerum "sjálfkrafa" (forn heili): að keyra bíl á kunnuglegum stöðum, ganga, þekkja andlit.
tegund 2 - Kerfi 2, meðvitaðar aðgerðir (heilaberki), markmiðasetning, greining, hugsun, samsett verkefni.
Gervigreind hefur hingað til aðeins náð nægum hæðum í verkefnum af fyrstu gerð, á meðan verkefni okkar er að koma því yfir í þá seinni, kenna því að framkvæma þverfaglegar aðgerðir og starfa með rökfræði og vitsmunalegri færni á háu stigi.
Til að ná þessu markmiði er lagt til:
- í NLP verkefnum, notaðu athygli sem lykilbúnað til að móta hugsun
- nota meta-learning og representation learning til að búa betur til eiginleika sem hafa áhrif á meðvitund og staðsetningu þeirra - og á grundvelli þeirra halda áfram að vinna með hugtök á hærra stigi.
Í stað niðurstöðu, hér er boðið erindi: Bengio er einn af mörgum vísindamönnum sem eru að reyna að víkka út svið ML umfram hagræðingarvandamál, SOTA og nýjan arkitektúr.
Spurningin er enn opin að hve miklu leyti sambland af vandamálum meðvitundar, áhrif tungumáls á hugsun, taugalíffræði og reiknirit er það sem bíður okkar í framtíðinni og gerir okkur kleift að fara yfir í vélar sem „hugsa“ eins og fólk.
Þakka þér!
Heimild: www.habr.com