NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej

NeuroIPS (Neural Information Processing Systems) yog lub rooj sib tham loj tshaj plaws hauv ntiaj teb ntawm kev kawm tshuab thiab kev txawj ntse thiab cov xwm txheej tseem ceeb hauv ntiaj teb kev kawm tob.

Puas yog peb, DS engineers, tseem kawm txog biology, lus Askiv, thiab kev puas siab puas ntsws hauv xyoo kaum xyoo tshiab? Peb yuav qhia koj hauv peb qhov kev tshuaj xyuas.

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej

Xyoo no lub rooj sib tham tau coj ntau dua 13500 tus neeg los ntawm 80 lub teb chaws hauv Vancouver, Canada. Qhov no tsis yog thawj xyoo uas Sberbank tau sawv cev rau Russia ntawm lub rooj sib tham - pab pawg DS tau hais txog kev siv ML hauv cov txheej txheem hauv tuam txhab nyiaj, hais txog kev sib tw ML thiab txog lub peev xwm ntawm Sberbank DS platform. Dab tsi yog qhov tseem ceeb ntawm 2019 hauv ML zej zog? Cov neeg koom nrog lub rooj sab laj hais tias: Andrey Chertok и Tatyana Shavrina.

Xyoo no, NeurIPS tau txais ntau dua 1400 cov ntawv-algorithms, cov qauv tshiab, thiab cov ntawv thov tshiab rau cov ntaub ntawv tshiab. Txuas rau txhua yam ntaub ntawv

Txheem:

  • Tiam sis
    • Qauv txhais lus
    • Multidisciplinarity
    • Kev Xav Vim
    • RL
    • GAN
  • Basic Caw Tham
    • "Social Intelligence", Blaise Aguera thiab Arcas (Google)
    • "Veridical Data Science", Bin Yu (Berkeley)
    • "Kev coj tus cwj pwm ntawm tib neeg nrog Kev Kawm Tshuab: Lub Sijhawm thiab Kev Sib Tw", Nuria M Oliver, Albert Ali Salah
    • “Los ntawm System 1 txog System 2 Deep Learning”, Yoshua Bengio

Trends 2019

1. Tus qauv txhais lus thiab cov txheej txheem ML tshiab

Lub ntsiab lus tseem ceeb ntawm lub rooj sib tham yog kev txhais lus thiab pov thawj ntawm vim li cas peb thiaj li tau txais qee qhov txiaj ntsig. Ib tug tuaj yeem tham ntev txog qhov tseem ceeb ntawm kev txhais lus "black box", tab sis muaj ntau txoj hauv kev tiag tiag thiab kev tsim kho hauv cheeb tsam no.

Cov txheej txheem rau kev rov ua cov qauv thiab muab cov kev paub los ntawm lawv yog cov cuab yeej tshiab rau kev tshawb fawb. Cov qauv siv tau los ua ib qho cuab yeej rau kev tau txais kev paub tshiab thiab kev sim nws, thiab txhua theem ntawm kev ua ntej, kev cob qhia thiab kev siv cov qauv yuav tsum rov ua dua.
Ib feem tseem ceeb ntawm kev tshaj tawm yog mob siab rau tsis yog rau kev tsim qauv thiab cov cuab yeej, tab sis rau cov teeb meem ntawm kev ua kom muaj kev ruaj ntseg, pob tshab thiab kev txheeb xyuas cov txiaj ntsig. Tshwj xeeb, ib qho kev sib cais tau tshwm sim txog kev tawm tsam ntawm tus qauv (kev tawm tsam kev tawm tsam), thiab kev xaiv rau kev tawm tsam ntawm kev cob qhia thiab kev tawm tsam ntawm daim ntawv thov raug txiav txim siab.

Cov ntawv:

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej
ExBert.net qhia tus qauv txhais lus rau kev ua cov ntawv nyeem

2. Muaj ntau hom kev qhuab qhia

Txhawm rau kom ntseeg tau qhov tseeb thiab tsim cov txheej txheem rau kev txheeb xyuas thiab nthuav dav kev paub, peb xav tau cov kws tshaj lij hauv cov haujlwm muaj feem cuam tshuam uas ib txhij muaj peev xwm hauv ML thiab hauv cov kev kawm (tshuaj, lus Askiv, neurobiology, kev kawm, thiab lwm yam). Nws yog ib qho tseem ceeb uas yuav tsum nco ntsoov qhov tseem ceeb ntawm kev ua haujlwm thiab kev hais lus hauv neurosciences thiab kev paub txog kev paub - muaj kev sib tham ntawm cov kws tshaj lij thiab kev qiv ntawm cov tswv yim.

Ntxiv nrog rau qhov kev sib tham no, kev qhuab qhia ntau yam tau tshwm sim hauv kev sib koom ua ke ntawm cov ntaub ntawv los ntawm ntau qhov chaw: ntawv thiab duab, ntawv nyeem thiab ua si, daim duab databases + ntawv thiab duab.

Cov ntawv:

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej
Ob tus qauv - tus kws tshaj lij thiab tus thawj coj - raws li RL thiab NLP ua si hauv online zoo

3. Kev Xav Txog

Strengthening artificial txawj ntse yog ib qho kev txav mus rau qhov kev kawm ntawm tus kheej, "paub meej", kev xav thiab kev xav. Hauv particular, causal inference thiab commonsense reasoning tab tom tsim. Qee cov ntawv ceeb toom tau mob siab rau kev kawm meta-kev kawm (hais txog yuav ua li cas kawm tau) thiab kev sib xyaw ntawm DL thev naus laus zis nrog 1st thiab 2nd order logic - lo lus Artificial General Intelligence (AGI) tau dhau los ua ib lo lus hauv cov lus hais lus.

Cov ntawv:

4.Txoj kev kawm ntxiv

Feem ntau ntawm kev ua haujlwm txuas ntxiv txhim kho thaj chaw ib txwm muaj ntawm RL - DOTA2, Starcraft, sib txuas cov qauv tsim nrog lub computer tsis pom kev, NLP, graph databases.

Ib hnub cais ntawm lub rooj sib tham tau mob siab rau rau lub rooj cob qhia RL, ntawm qhov kev ua yeeb yam zoo tshaj plaws rau tus neeg ua yeeb yam Critic Model architecture tau nthuav tawm, zoo dua rau txhua tus dhau los, tshwj xeeb yog Tus Neeg Ua Yeeb Yam Zoo Tshaj Plaws.

Cov ntawv:

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej
StarCraft players sib ntaus sib tua Alphastar qauv (DeepMind)

5. GAN

Generative tes hauj lwm tseem nyob rau hauv lub tsom teeb: ntau yam hauj lwm siv vanilla GANs rau kev ua lej pov thawj, thiab kuj siv rau hauv cov tshiab, txawv txawv txoj kev (graph generative qauv, ua hauj lwm nrog series, daim ntawv thov rau kev sib raug zoo ntawm cov ntaub ntawv, thiab lwm yam).

Cov ntawv:

Txij li thaum ua haujlwm tau txais ntau dua 1400 Hauv qab no peb yuav tham txog cov lus tseem ceeb tshaj plaws.

Caw Tham

"Social Intelligence", Blaise Aguera thiab Arcas (Google)

txuas
Slides thiab videos
Kev hais lus tsom mus rau cov txheej txheem dav dav ntawm kev kawm tshuab thiab cov kev cia siab hloov pauv kev lag luam tam sim no - peb tab tom ntsib txoj kev sib tshuam li cas? Lub hlwb thiab evolution ua haujlwm li cas, thiab vim li cas peb thiaj li siv me ntsis ntawm qhov peb twb paub txog kev tsim cov txheej txheem ntuj tsim?

Kev tsim kho kev lag luam ntawm ML feem ntau coincides nrog cov tseem ceeb ntawm txoj kev loj hlob ntawm Google, uas luam tawm nws cov kev tshawb fawb ntawm NeurIPS xyoo tom qab xyoo:

  • 1997 - tso tawm cov chaw tshawb nrhiav, thawj cov servers, kev siv hluav taws xob me me
  • 2010 - Jeff Dean pib Google Brain qhov project, qhov kev loj hlob ntawm neural networks thaum pib
  • 2015 - kev siv cov neural networks, ceev lub ntsej muag lees paub ncaj qha rau ntawm cov khoom siv hauv zos, cov txheej txheem qis rau kev siv tensor xam - TPU. Google nthuav tawm Coral ai - ib qho piv txwv ntawm raspberry pi, lub khoos phis tawj me me rau kev qhia cov neural networks rau hauv kev sim kev teeb tsa
  • 2017 - Google pib tsim kev cob qhia kev ncaj ncees thiab sib txuas cov txiaj ntsig ntawm kev cob qhia neural network los ntawm cov khoom siv sib txawv rau hauv ib qho qauv - ntawm Android

Niaj hnub no, tag nrho kev lag luam tau mob siab rau cov ntaub ntawv kev ruaj ntseg, sib sau ua ke, thiab rov ua dua ntawm cov txiaj ntsig kev kawm ntawm cov khoom siv hauv zos.

Federated kev kawm - ib qho kev taw qhia ntawm ML nyob rau hauv uas ib tus qauv kawm ntawm nws tus kheej ntawm ib leeg thiab tom qab ntawd muab tso rau hauv ib qho qauv (tsis muaj cov ntaub ntawv hauv nruab nrab), hloov kho rau cov xwm txheej tsis tshua muaj, tsis zoo, tus kheej, thiab lwm yam. Tag nrho cov khoom siv hauv Android yog qhov tseem ceeb ib qho kev suav supercomputer rau Google.

Cov qauv tsim qauv raws li kev kawm hauv tsoomfwv yog qhov kev cog lus rau yav tom ntej raws li Google, uas yog "thaum ntxov ntawm kev loj hlob exponential." GANs, raws li tus kws qhia ntawv, muaj peev xwm kawm los tsim cov cwj pwm loj ntawm cov neeg nyob hauv cov kab mob thiab kev xav algorithms.

Siv cov piv txwv ntawm ob qho yooj yim GAN architectures, nws tau qhia tias nyob rau hauv lawv cov kev tshawb fawb rau ib qho optimization txoj kev wanders nyob rau hauv ib lub voj voog, uas txhais tau hais tias optimization xws li tsis tshwm sim. Nyob rau tib lub sijhawm, cov qauv no muaj kev vam meej hauv kev simulating cov kev sim uas cov kws tshawb fawb biologists ua rau cov kab mob, yuam kom lawv kawm cov tswv yim coj cwj pwm tshiab hauv kev tshawb nrhiav zaub mov. Peb tuaj yeem xaus tias lub neej ua haujlwm txawv dua li kev ua kom zoo dua qub.

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej
Taug kev GAN Optimization

Txhua yam uas peb ua nyob rau hauv lub moj khaum ntawm kev kawm tshuab tam sim no yog nqaim thiab heev formalized hauj lwm, thaum cov formalisms tsis generalize zoo thiab tsis sib haum mus rau peb cov kev paub nyob rau hauv cov cheeb tsam xws li neurophysiology thiab biology.

Dab tsi yog qhov tsim nyog qiv los ntawm thaj chaw ntawm neurophysiology nyob rau yav tom ntej yog cov tshiab neuron architectures thiab kev kho me ntsis ntawm cov txheej txheem ntawm kev rov ua dua ntawm qhov yuam kev.

Tib neeg lub hlwb nws tus kheej tsis kawm zoo li lub neural network:

  • Nws tsis muaj qhov sib txawv ntawm qhov tseem ceeb, suav nrog cov uas tau tso los ntawm kev xav thiab thaum yau
  • Nws muaj cov lus qhia ntawm qhov kev loj hlob ntawm instinctive (lub siab xav kawm lus ntawm tus me nyuam mos, taug kev ncaj)

Kev cob qhia ib tus neeg lub hlwb yog ib txoj haujlwm qis; tej zaum peb yuav tsum xav txog "cov cheeb tsam" ntawm cov tib neeg hloov pauv sai sai rau kev paub txog ib leeg los tsim cov txheej txheem ntawm pawg evolution.

Dab tsi peb tuaj yeem siv rau hauv ML algorithms tam sim no:

  • Siv cov qauv ntawm tes uas ua kom muaj kev kawm ntawm cov pej xeem, tab sis lub neej luv luv ntawm tus kheej ("ib leeg hlwb")
  • Ob peb-steev kawm siv ib tug me me piv txwv
  • Ntau cov txheej txheem neuron, sib txawv me ntsis kev ua haujlwm
  • Hloov cov "genome" mus rau tiam tom ntej - backpropagation algorithm
  • Thaum peb txuas neurophysiology thiab neural tes hauj lwm, peb yuav kawm los tsim ib lub hlwb multifunctional los ntawm ntau yam.

Los ntawm qhov kev xav no, kev coj ua ntawm SOTA cov kev daws teeb meem tsis zoo thiab yuav tsum tau kho dua tshiab rau kev tsim cov dej num sib xws (cov qauv ntsuas).

"Veridical Data Science", Bin Yu (Berkeley)

Yeeb yaj duab thiab slides
Daim ntawv tshaj tawm tau mob siab rau qhov teeb meem ntawm kev txhais cov qauv kev kawm tshuab thiab cov txheej txheem rau lawv qhov kev ntsuam xyuas ncaj qha thiab pov thawj. Txhua tus qauv ML tau txais kev cob qhia tuaj yeem pom tau tias yog qhov kev paub uas yuav tsum tau muab rho tawm los ntawm nws.

Nyob rau hauv ntau qhov chaw, tshwj xeeb tshaj yog nyob rau hauv cov tshuaj, kev siv ntawm ib tug qauv yog tsis yooj yim sua yam uas tsis muaj extracting no zais kev paub thiab txhais cov qauv ntawm cov txiaj ntsig - txwv tsis pub peb yuav tsis paub tseeb tias cov txiaj ntsig yuav ruaj khov, tsis yog-random, txhim khu kev qha, thiab yuav tsis tua cov tus neeg mob. Tag nrho cov kev taw qhia ntawm kev ua hauj lwm txoj kev yog tsim nyob rau hauv lub sib sib zog nqus kev kawm paradigm thiab mus tshaj nws cov ciam teb - veridical ntaub ntawv science. Nws yog dab tsi?

Peb xav ua kom tiav qhov zoo ntawm kev tshaj tawm kev tshawb fawb thiab kev tsim tawm ntawm cov qauv uas lawv yog:

  1. kwv yees tau
  2. suav tau
  3. ruaj khov

Peb lub hauv paus ntsiab lus no tsim lub hauv paus ntawm cov txheej txheem tshiab. Cov qauv ML tuaj yeem kuaj tau li cas los ntawm cov qauv no? Txoj kev yooj yim tshaj plaws yog tsim cov qauv kev txhais tau sai (regressions, txiav ntoo). Txawm li cas los xij, peb kuj xav tau cov txiaj ntsig tam sim ntawm kev kawm tob.

Muaj ntau txoj hauv kev los ua haujlwm nrog qhov teeb meem:

  1. txhais cov qauv;
  2. siv cov txheej txheem raws li kev mloog;
  3. siv cov pawg ntawm cov algorithms thaum kev cob qhia, thiab xyuas kom meej tias cov qauv kev txhais lus tau kawm los kwv yees cov lus teb tib yam li cov neural network, txhais cov yam ntxwv ntawm cov qauv linear;
  4. hloov thiab txhawb nqa cov ntaub ntawv qhia. Qhov no suav nrog ntxiv suab nrov, cuam tshuam, thiab cov ntaub ntawv augmentation;
  5. txhua txoj hauv kev uas pab kom paub tseeb tias tus qauv cov txiaj ntsig tsis yog random thiab tsis nyob ntawm qhov cuam tshuam me me (kev tawm tsam tsis zoo);
  6. txhais cov qauv tom qab qhov tseeb, tom qab kev cob qhia;
  7. kawm feature luj nyob rau hauv ntau txoj kev;
  8. kawm txog qhov tshwm sim ntawm txhua qhov kev xav, kev faib cov chav kawm.

NeurIPS 2019: ML tiam sis uas yuav nyob nrog peb rau kaum xyoo tom ntej
Adversarial nres rau pig

Kev ua qauv tsis raug yog kim rau txhua tus neeg: qhov piv txwv tseem ceeb yog kev ua haujlwm ntawm Reinhart thiab Rogov. "Kev loj hlob nyob rau hauv ib lub sij hawm ntawm cov nuj nqis" cuam tshuam rau txoj cai tswjfwm kev lag luam ntawm ntau lub tebchaws nyob sab Europe thiab yuam kom lawv ua raws li txoj cai tswjfwm, tab sis ua tib zoo rov xyuas cov ntaub ntawv thiab lawv cov kev ua haujlwm xyoo tom qab tau pom qhov txawv txav!

Txhua lub tshuab ML muaj nws lub neej voj voog ntawm kev siv mus rau kev siv. Lub hom phiaj ntawm txoj kev tshiab yog los xyuas peb lub hauv paus ntsiab lus ntawm txhua theem ntawm tus qauv lub neej.

Cov txiaj ntsig:

  • Ntau qhov haujlwm tau tsim los uas yuav pab tau tus qauv ML kom ntseeg tau ntau dua. Qhov no yog, piv txwv li, deeptune (txuas mus rau: github.com/ChrisCummins/paper-end2end-dl);
  • Txhawm rau txhim kho cov txheej txheem ntxiv, nws yog ib qho tsim nyog los txhim kho qhov zoo ntawm cov ntawv tshaj tawm hauv thaj tsam ntawm ML;
  • Kev kawm tshuab xav tau cov thawj coj nrog kev cob qhia ntau yam thiab kev txawj ntse hauv ob qho tib si technical thiab humanities.

"Kev coj tus cwj pwm tib neeg nrog Kev Kawm Tshuab: Lub Sijhawm thiab Kev Sib Tw" Nuria M Oliver, Albert Ali Salah

Cov lus qhuab qhia mob siab rau ua qauv rau tib neeg tus cwj pwm, nws cov txheej txheem thev naus laus zis thiab kev cia siab rau kev thov.

Tib neeg tus cwj pwm qauv tuaj yeem muab faib ua:

  • tus cwj pwm ntawm tus kheej
  • tus cwj pwm ntawm ib pawg neeg me
  • tus cwj pwm loj

Txhua hom no tuaj yeem ua qauv siv ML, tab sis nrog cov ntaub ntawv sib txawv kiag li thiab cov yam ntxwv. Txhua hom kuj muaj nws cov teeb meem kev coj ncaj ncees uas txhua qhov project mus txog:

  • tus cwj pwm ntawm tus kheej - kev nyiag tus kheej, kev dag ntxias;
  • tus cwj pwm ntawm pawg neeg - de-anonymization, tau txais cov ntaub ntawv hais txog kev txav, hu xov tooj, thiab lwm yam .;

Tus cwj pwm ntawm tus kheej

Feem ntau muaj feem xyuam rau lub ntsiab lus ntawm Computer Vision - kev paub txog tib neeg kev xav thiab kev xav. Tej zaum tsuas yog nyob rau hauv cov ntsiab lus, nyob rau hauv lub sij hawm, los yog nrog cov txheeb ze teev ntawm nws tus kheej variability ntawm tus cwj pwm txawv. Cov swb qhia txog kev paub txog Mona Lisa cov kev xav uas siv cov ntsiab lus los ntawm kev xav ntawm cov poj niam Mediterranean. Qhov tshwm sim: lub luag nyav ntawm kev xyiv fab, tab sis nrog kev thuam thiab qias neeg. Qhov laj thawj feem ntau yuav nyob rau hauv txoj kev ntawm kev txhais cov kev xav "tsis nruab nrab".

Cwj pwm ntawm ib pawg neeg me

Txog tam sim no tus qauv phem tshaj plaws yog vim cov ntaub ntawv tsis txaus. Raws li qhov piv txwv, ua haujlwm los ntawm 2018 - 2019 tau qhia. ntawm kaum ob tus neeg X kaum ob ntawm cov yeeb yaj kiab (cf. 100k++ duab datasets). Txhawm rau ua qauv zoo tshaj plaws rau txoj haujlwm no, cov ntaub ntawv multimodal yog xav tau, nyiam dua los ntawm cov sensors ntawm lub cev qhov ntsuas, ntsuas kub, ntsuas microphone, thiab lwm yam.

Kev coj cwj pwm loj

Qhov chaw tsim kho tshaj plaws, txij li cov neeg siv khoom yog UN thiab ntau lub xeev. Lub koob yees duab saib sab nraum zoov, cov ntaub ntawv los ntawm xov tooj yees - kev them nqi, SMS, hu, cov ntaub ntawv ntawm kev txav mus los ntawm lub xeev ciam teb - tag nrho cov no muab cov duab zoo heev ntawm kev txav ntawm tib neeg thiab kev tsis sib haum xeeb. Muaj peev xwm siv thev naus laus zis: kev ua kom zoo ntawm kev ua haujlwm cawm, kev pab thiab kev khiav tawm raws sijhawm ntawm cov pej xeem thaum muaj xwm txheej ceev. Cov qauv siv feem ntau tseem txhais tau tsis zoo - cov no yog ntau yam LSTMs thiab kev sib txuas lus sib txuas. Muaj lus hais luv luv tias UN tab tom tos txais txoj cai tshiab uas yuav yuam kom cov lag luam nyob sab Europe qhia cov ntaub ntawv tsis qhia npe tsim nyog rau kev tshawb fawb.

“Los ntawm System 1 txog System 2 Deep Learning”, Yoshua Bengio

Cov swb
Hauv Joshua Bengio cov lus qhuab qhia, kev kawm tob ua tau raws li kev tshawb fawb txog neuroscience ntawm theem ntawm lub hom phiaj.
Bengio txheeb xyuas ob hom teeb meem loj raws li cov txheej txheem ntawm Nobel laureate Daniel Kahneman (phau ntawv "Xav qeeb, txiav txim siab sai")
hom 1 - System 1, kev tsis nco qab uas peb ua "automatically" (lub hlwb qub): tsav tsheb hauv qhov chaw paub, taug kev, pom lub ntsej muag.
hom 2 - Qhov System 2, kev ua siab zoo (cerebral cortex), lub hom phiaj, kev tsom xam, kev xav, kev ua haujlwm sib xyaw.

Txog tam sim no AI tau mus txog qhov siab txaus nkaus xwb hauv cov haujlwm ntawm thawj hom, thaum peb txoj haujlwm yog coj mus rau qhov thib ob, qhia nws ua haujlwm ntau yam kev qhuab qhia thiab ua haujlwm nrog kev xav thiab kev paub txog qib siab.

Yuav kom ua tiav lub hom phiaj no nws tau npaj tseg:

  1. hauv NLP cov dej num, siv kev mloog raws li lub hauv paus ntsiab lus rau kev xav ua qauv
  2. siv meta-kev kawm thiab kev sawv cev kev kawm rau cov qauv zoo dua uas cuam tshuam rau kev nco qab thiab lawv qhov chaw nyob - thiab ntawm lawv lub hauv paus mus rau kev khiav hauj lwm nrog cov ntsiab lus siab dua.

Hloov chaw ntawm qhov xaus, ntawm no yog ib qho kev caw: Bengio yog ib qho ntawm ntau tus kws tshawb fawb uas tab tom sim nthuav dav ntawm ML dhau qhov teeb meem kev ua kom zoo, SOTA thiab cov qauv tshiab.
Cov lus nug tseem qhib rau qhov twg ntawm kev sib xyaw ntawm cov teeb meem ntawm kev nco qab, kev cuam tshuam ntawm cov lus ntawm kev xav, neurobiology thiab algorithms yog qhov tos peb yav tom ntej thiab yuav tso cai rau peb txav mus rau cov tshuab uas "xav" zoo li tib neeg.

Ua tsaug!



Tau qhov twg los: www.hab.com

Ntxiv ib saib