ProHoster > Блог > rongo ipurangi > NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei

NeuroIPS (Nga Pūnaha Tukatuka Korero Neural) ko te hui nui rawa atu o te ao mo te ako miihini me te mohiotanga horihori me te kaupapa matua i te ao ako hohonu.

Ka rangatira ano tatou, ko nga miihini DS, te koiora, te reo me te hinengaro i roto i te tekau tau hou? Ka korerotia e matou ki a koe i roto i ta maatau arotake.

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei

I tenei tau i huihuia e te huihuinga neke atu i te 13500 nga taangata mai i nga whenua 80 i Vancouver, Kanata. Ehara tenei i te tau tuatahi i whakaatu a Sberbank i a Russia i te huihuinga - i korero te kapa DS mo te whakatinanatanga o te ML i roto i nga tukanga putea, mo te whakataetae ML me nga kaha o te papaarangi Sberbank DS. He aha nga ahuatanga matua o te tau 2019 i roto i te hapori ML? Ka kii nga kaiuru o te huihuinga: Andrey Chertok и Tatyana Shavrina.

I tenei tau, neke atu i te 1400 nga pepa i whakaaetia e NeurIPS—nga taurangi, nga tauira hou, me nga tono hou ki nga raraunga hou. Hononga ki nga rauemi katoa

Ngā tirotiro:

  • Tuhinga
    • Te tauira whakamaoritanga
    • Te mahi maha
    • Whakaaroaro
    • RL
    • GAN
  • Oreroraa parau titau-manihini-hia
    • “Social Intelligence”, Blaise Aguera me Arcas (Google)
    • “Putaiao Raraunga Pouaka”, Bin Yu (Berkeley)
    • "Te Whakatauira Whanonga Tangata me te Ako Miihini: Nga Whainga me nga Wero", Nuria M Oliver, Albert Ali Salah
    • “Mai i te Pūnaha 1 ki te Pūnaha 2 Te Ako Hohonu”, Yoshua Bengio

2019 Trends

1. Whakatauira te whakamaoritanga me nga tikanga ML hou

Ko te kaupapa matua o te huihuinga ko te whakamaarama me nga taunakitanga o te take i whiwhi ai tatou i etahi hua. Ka taea e tetahi te korero mo te wa roa mo te hiranga whakaaro o te whakamaoritanga "pouaka pango", engari he nui ake nga tikanga me nga whanaketanga hangarau i tenei waahanga.

Ko te tikanga mo te whakahoki tauira me te tango matauranga mai i a raatau he kete taputapu hou mo te putaiao. Ka taea e nga tauira te mahi hei taputapu mo te whiwhi matauranga hou me te whakamatautau, a ko ia waahanga o mua o te tukatuka, whakangungu me te tono o te tauira me whakahoki ano.
Ko te waahanga nui o nga whakaputanga kaore i whakatapua ki te hanga tauira me nga taputapu, engari ki nga raru o te whakarite i te haumarutanga, te maarama me te manatoko o nga hua. Ina koa, kua puta he awa motuhake mo nga whakaeke i runga i te tauira (whakaekea hoariri), ka whakaarohia nga whiringa mo nga whakaeke e rua mo te whakangungu me te whakaeke i te tono.

Tuhinga:

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei
Ka whakaatu a ExBert.net i te whakamaori tauira mo nga mahi tukatuka tuhinga

2. Whakamaamahatanga

Hei whakapumau i te manatoko pono me te whakawhanake i nga tikanga mo te manatoko me te whakawhanui i te matauranga, ka hiahia matou ki nga tohunga mo nga mara e pa ana ki a raatau i te wa kotahi nga pukenga ki te ML me te waahi kaupapa (rongoa, reo, neurobiology, matauranga, me etahi atu). He mea tika kia kite i te nui ake o nga mahi me nga whaikorero i roto i nga mahi neurosciences me nga matauranga hinengaro - he hononga o nga tohungatanga me te tono nama.

I tua atu i tenei whakawhanaungatanga, kei te puta mai te tini marautanga i roto i te mahi tahi i nga korero mai i nga momo puna: tuhinga me nga whakaahua, tuhinga me nga keemu, putunga kauwhata + tuhinga me nga whakaahua.

Tuhinga:

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei
E rua nga tauira - te rautaki me te kaiwhakahaere - i runga i te RL me te NLP takaro rautaki ipurangi

3. Whakaaroaroaro

Ko te whakapakari i te mohiotanga hangai he kaupapa ki nga punaha ako-whaiaro, "mohio", te whakaaro me te whakaaro. Otirā, kei te whanake haere te whakatau take me te whakaaro noa. Ko etahi o nga purongo e whakatapua ana ki te ako-meta (mo te ako ki te ako) me te whakakotahitanga o nga hangarau DL me te arorau o te raupapa tuatahi me te tuarua - ko te kupu Artificial General Intelligence (AGI) kei te noho noa i roto i nga whaikorero a nga kaikorero.

Tuhinga:

4.Te Akoranga Whakapakari

Ko te nuinga o nga mahi kei te whakawhanake tonu i nga waahi tuku iho o RL - DOTA2, Starcraft, te whakakotahi i nga hoahoanga me te tirohanga rorohiko, NLP, nga papaa raraunga kauwhata.

He ra motuhake o te hui i whakatapua ki tetahi awheawhe RL, i whakaatuhia ai te hoahoanga Tauira Kaihanga Kaiwaiata Optimistic, he pai ake i nga mea katoa o mua, ina koa ko te Kaiwhaiwhai Actor Soft.

Tuhinga:

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei
Ka whawhai nga kaitakaro StarCraft ki te tauira Alphastar (DeepMind)

5.GAN

Ko nga whatunga whakangao kei te maarama tonu: he maha nga mahi e whakamahi ana i nga GAN vanilla mo nga tohu pangarau, me te whakamahi ano i nga huarahi hou, rerekee (whakaahua tauira kauwhata, mahi me nga raupapa, tono ki nga hononga take-me-painga i roto i nga raraunga, me etahi atu).

Tuhinga:

I te mea he nui ake nga mahi i whakaaetia 1400 Kei raro nei ka korero tatou mo nga korero tino nui.

Nga Korero Powhiri

“Social Intelligence”, Blaise Aguera me Arcas (Google)

hono
Kiriata me nga ataata
Ko te korero e aro ana ki nga tikanga whanui mo te ako miihini me nga tumanako ka huri i te umanga inaianei - he aha te maatanga huarahi kei mua i a tatou? He pehea te mahi a te roro me te kukuwhatanga, a he aha tatou i iti ai te whakamahi i nga mea kua mohio tatou mo te whanaketanga o nga punaha taiao?

Ko te whanaketanga ahumahi o ML te nuinga o te taurite ki nga tohu o te whanaketanga o Google, e whakaputa ana i ana rangahau mo NeurIPS ia tau i ia tau:

  • 1997 – te whakarewanga o nga whare rapu, nga kaitoro tuatahi, te mana rorohiko iti
  • 2010 – I whakarewahia e Jeff Dean te kaupapa Google Brain, te puhaketanga o nga whatunga neural i te timatanga.
  • 2015 – te whakatinanatanga ahumahi o nga whatunga neural, tere te whakamohiotanga kanohi ki runga i te taputapu o te rohe, nga kaitukatuka taumata-iti kua whakaritea mo te rorohiko tensor - TPU. Ka whakarewahia e Google a Coral ai - he taurite o te raspberry pi, he rorohiko paku mo te whakauru i nga whatunga neural ki nga whakaurunga whakamatautau.
  • 2017 – Ka timata a Google ki te whakawhanake whakangungu motuhake me te whakakotahi i nga hua o te whakangungu whatunga neural mai i nga taputapu rereke ki te tauira kotahi - i runga i te Android

I tenei ra, kua whakatapua tetahi umanga katoa ki te haumarutanga raraunga, te whakahiato, me te tukurua o nga putanga ako i runga i nga taputapu o te rohe.

Te ako whakakotahi – he aronga o te ML e ako takitahi ana nga tauira ki a raatau ano, ka whakakotahi ki te tauira kotahi (kaore i te whakakotahi i nga raraunga puna), ka whakatikahia mo nga huihuinga onge, he rerekee, he whakawhaiaro, aha atu. Ko nga taputapu Android katoa he tino rorohiko rorohiko kotahi mo Google.

Ko nga tauira whakatipu i runga i te ako whakakotahi he huarahi pai mo nga ra kei te heke mai e ai ki a Google, "kei te timatanga o te tipu haere." Ko nga GAN, e ai ki te kaikorero, e kaha ana ki te ako ki te whakaputa i te whanonga papatipu o nga taupori o nga rauropi ora me nga huringa whakaaro.

Ma te whakamahi i te tauira o nga hoahoanga GAN ngawari e rua, ka whakaatuhia i roto i a raatau ko te rapu mo te ara arotautanga ka kopikopiko i roto i te porowhita, ko te tikanga kaore e puta te arotautanga penei. I te wa ano, he tino angitu enei tauira ki te whakataurite i nga whakamatautau ka mahia e nga tohunga koiora ki nga taupori huakita, e akiaki ana i a raatau ki te ako i nga rautaki whanonga hou ki te rapu kai. Ka taea e tatou te whakatau he rereke te mahi o te ora i te mahi arotautanga.

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei
Hikoi GAN Optimization

Ko nga mea katoa e mahia ana e matou i roto i te anga o te ako miihini i naianei he mahi whaiti me te tino whai mana, engari kaore enei tikanga okawa e tino whaanui ana, kaore hoki e rite ki o maatau matauranga kaupapa i nga waahanga penei i te neurophysiology me te koiora.

Ko te mea tino utu ki te nama mai i te mara o te neurophysiology i nga wa e heke mai nei ko nga hoahoanga neuron hou me te whakarereketanga iti o nga tikanga o te whakahokinga o nga hapa.

Ko te roro o te tangata ake kaore e ako penei i te whatunga neural:

  • Karekau he whakaurunga tuatahi matapōkeretia, tae atu ki ērā i whakatakotoria i roto i te hinengaro me te tamarikitanga
  • Kei a ia nga tikanga o te whakawhanaketanga parapara (te hiahia ki te ako i te reo mai i te kohungahunga, te hikoi tika)

Ko te whakangungu i te roro takitahi he mahi taumata iti; tera pea me whai whakaaro tatou ki nga "koroni" o nga tangata e huri tere ana ki te tuku matauranga ki a ratou ano ki te whakaputa i nga tikanga o te whanaketanga roopu.

Ko nga mea ka taea e taatau ki te whakauru ki nga algorithms ML inaianei:

  • Hoatuhia nga tauira whakapapa o te waea e whakarite ana i te ako o te taupori, engari te oranga poto o te tangata ("roro takitahi")
  • Te ako ma te whakamahi i te iti o nga tauira
  • Ko nga hanganga neuron uaua ake, he rereke nga mahi whakahoahoa
  • Te whakawhiti i te "genome" ki nga whakatipuranga e whai ake nei - backpropagation algorithm
  • Ina hono tatou i te neurophysiology me nga whatunga neural, ka ako tatou ki te hanga roro mahi maha mai i nga waahanga maha.

Mai i tenei tirohanga, he kino te mahi o nga otinga SOTA, me whakahou ake mo te whakaaro ki te whakawhanake i nga mahi noa (tohu tohu).

“Putaiao Raraunga Pouaka”, Bin Yu (Berkeley)

Ataata me nga kiriata
E whakatapua ana te ripoata ki te raru o te whakamaori i nga tauira ako miihini me nga tikanga mo o raatau whakamatautau tika me te manatoko. Ko nga tauira ML kua whakangungua ka taea te mohio he puna matauranga e tika ana kia tangohia mai i a ia.

I roto i nga waahi maha, ina koa i te rongoa, kaore e taea te whakamahi i tetahi tauira me te kore e tango i tenei matauranga huna me te whakamaori i nga hua o te tauira - ki te kore ka kore e tino mohio ko nga hua ka pumau, kaore i te tupurangi, ka pono, ka kore e mate te manawanui. Ko te ahunga katoa o nga tikanga mahi kei te whanake i roto i te kaupapa ako hohonu me te haere ki tua atu o ona rohe - veridical data science. He aha tena?

Kei te pirangi matou ki te whakatutuki i te kounga o nga whakaputanga putaiao me te whakahoki ano o nga tauira ko enei:

  1. matapae
  2. ka taea te tatau
  3. pūmau

Ko enei maataapono e toru te turanga o te tikanga hou. Me pehea te tirotiro i nga tauira ML ki enei paearu? Ko te huarahi ngawari ko te hanga i nga tauira ka taea te whakamaori tonu (he whakahekenga, he rakau whakatau). Heoi ano, kei te pirangi ano matou ki te whiwhi i nga hua o te ako hohonu.

He maha nga huarahi hei mahi me te raru:

  1. whakamaori i te tauira;
  2. whakamahi tikanga i runga i te aro;
  3. te whakamahi i nga huinga algorithms i te wa e whakangungu ana, me te whakarite kia ako nga tauira whakamaori rarangi ki te matapae i nga whakautu rite ki te whatunga neural, te whakamaori i nga ahuatanga mai i te tauira raina;
  4. huringa me te whakanui i nga raraunga whakangungu. Kei roto i tenei ko te taapiri i te haruru, te pokanoa, me te whakarahi raraunga;
  5. nga tikanga ka awhina i te kore ohorere nga hua o te tauira me te kore e whakawhirinaki ki nga pokanoa iti e hiahiatia ana (nga whakaeke a te hoariri);
  6. te whakamaori i te tauira i muri i te meka, i muri i te whakangungu;
  7. te ako i nga taumahatanga i roto i nga huarahi rereke;
  8. ako i te tūponotanga o ngā whakapae katoa, te tohatoha akomanga.

NeurIPS 2019: Ko nga ahuatanga ML ka noho ki a tatou mo nga tau tekau e whai ake nei
Te whakaeke hoariri mo te poaka

He utu nui nga hapa whakatauira mo te katoa: ko te tauira nui ko nga mahi a Reinhart me Rogov."Te tipu i te wa o te nama" i whakaawe i nga kaupapa here ohaoha o te maha o nga whenua Pakeha me te akiaki i a raatau ki te whai i nga kaupapa here iti, engari ma te ata tirotiro ano i nga raraunga me o raatau tukatuka i nga tau i muri mai, he rereke te hua!

Tetahi hangarau ML kei tona ake huringa ora mai i te whakatinanatanga ki te whakatinanatanga. Ko te whainga o te tikanga hou ko te tirotiro i nga kaupapa matua e toru i ia wahanga o te oranga o te tauira.

Hua:

  • He maha nga kaupapa kei te hangaia hei awhina i te tauira ML kia pono ake. Koinei, hei tauira, deeptune (hono ki: github.com/ChrisCummins/paper-end2end-dl);
  • Mo te whakawhanaketanga ake o te tikanga, me tino whakapai ake te kounga o nga whakaputanga i roto i te mara ML;
  • Ko te ako miihini e hiahia ana ki nga kaiarahi me nga whakangungu maha me nga tohungatanga i roto i nga waahanga hangarau me te tangata.

"Te Whakatauira Whanonga Tangata me te Ako Miihini: Nga Whainga me nga Wero" Nuria M Oliver, Albert Ali Salah

He kauhau e whakatapua ana ki te whakatauira i te whanonga tangata, ona turanga hangarau me nga tirohanga tono.

Ka taea te wehea te whakatauira whanonga tangata ki:

  • whanonga takitahi
  • whanonga o te roopu iti o te tangata
  • whanonga papatipu

Ka taea te whakatauira ia o enei momo ma te whakamahi i te ML, engari he rereke nga korero whakauru me nga ahuatanga. Kei ia momo ano ona ake take matatika ka mahia e ia kaupapa:

  • whanonga takitahi – tahae tuakiri, hohonu;
  • te whanonga o nga roopu tangata - te whakakore ingoa, te whiwhi korero mo nga nekehanga, waea waea, aha atu;

whanonga takitahi

Ko te nuinga e pa ana ki te kaupapa o Rorohiko Tirohanga - te mohio ki nga kare a te tangata me nga tauhohenga. Tena pea i roto i te horopaki, i te waa, i te tauine ranei o tona ake rereketanga o nga kare-a-roto. Ko te kiriata e whakaatu ana i te mohio ki nga kare a Mona Lisa ma te whakamahi i te horopaki mai i te hiranga kare a nga wahine o Mediterranean. Ko te hua: he ataata o te koa, engari me te whakahawea me te whakarihariha. Ko te take pea i roto i te huarahi hangarau ki te tautuhi i te kare-a-roto "kupapa".

Te whanonga o te roopu iti

I tenei wa ko te tauira kino rawa atu na te iti rawa o nga korero. Hei tauira, i whakaatuhia nga mahi mai i te 2018 - 2019. i runga i te maha o nga tangata X tatini ataata (cf. 100k++ nga huinga whakaahua). Kia pai ake te whakatauira i tenei mahi, me hiahia nga korero maha, pai ake mai i nga pūoko i runga i te ine-tinana, i te inemahana, i te hopuoroorooro, me era atu.

Te whanonga papatipu

Ko te rohe tino whakawhanakehia, mai i te kaihoko ko te UN me te maha o nga kawanatanga. Ko nga kamera tirotiro o waho, nga raraunga mai i nga pourewa waea - te nama, te SMS, nga waea, nga raraunga mo te neke i waenga i nga rohe o te kawanatanga - ko enei katoa e whakaatu ana i te tino pono o te nekehanga o nga tangata me nga raruraru hapori. Nga tono pea o te hangarau: te arotautanga o nga mahi whakaora, te awhina me te whakatahi i te taupori i nga wa ohorere. Ko nga tauira e whakamahia ana he kino te whakamaoritanga - he momo LSTM me nga hononga honohono. He korero poto kei te tono te UN mo tetahi ture hou e kii ai nga pakihi Pakeha ki te tiri raraunga kore ingoa e tika ana mo tetahi rangahau.

“Mai i te Pūnaha 1 ki te Pūnaha 2 Te Ako Hohonu”, Yoshua Bengio

Kiriata
I roto i te kauhau a Joshua Bengio, ka tutuki te ako hohonu ki te neuroscience i te taumata o te whakatakoto whainga.
E rua nga momo raru e tohuhia ana e Bengio e ai ki nga tikanga a te toa toa Nobel a Daniel Kahneman (pukapuka "Whakaaro puhoi, whakatau tere")
momo 1 - Pūnaha 1, mahi pohehe ka mahia e tatou "aunoa" (roro tawhito): te taraiwa waka ki nga waahi mohio, te hikoi, te mohio kanohi.
momo 2 - Pūnaha 2, mahi mohio (cerebral cortex), whakatakoto whāinga, tātari, whakaaro, mahi hiato.

I tenei wa kua eke a AI ki nga taumata teitei anake i roto i nga mahi o te momo tuatahi, ko ta maatau mahi ko te kawe ki te tuarua, ako ki te mahi i nga mahi maha me te mahi ma te arorau me nga pukenga hinengaro taumata tiketike.

Hei whakatutuki i tenei whainga ka whakaarohia:

  1. i roto i nga mahi NLP, whakamahia te aro hei tikanga matua mo te whakatauira whakaaro
  2. whakamahi ako meta-ako me te ako whakakanohi kia pai ake ai te whakatauira i nga ahuatanga e whakaawe ana i te maaramatanga me o raatau waahi - a, i runga i o raatau kaupapa ka neke ki te mahi me nga ariā taumata teitei.

Engari i te whakatau, koinei te korero powhiri: Ko Bengio tetahi o nga kaiputaiao maha e ngana ana ki te whakawhānui ake i te mara o ML ki tua atu i nga raru arotautanga, SOTA me nga hoahoanga hou.
Ko te patai kei te tuwhera tonu ki te pehea o te huinga o nga raruraru o te mohio, ko te awe o te reo ki runga i te whakaaro, te neurobiology me te algorithms ko te mea e tatari ana ki a tatou i te wa kei te heke mai ka taea e tatou te neke ki nga miihini e "whakaaro" ana ki te tangata.

Mauruuru!



Source: will.com

Tāpiri i te kōrero