NeuroIPS () bụ ogbako kasị ukwuu n'ụwa banyere mmụta igwe na ọgụgụ isi na isi ihe omume na ụwa nke mmụta miri emi.
Anyị, ndị injinia DS, ga-amụtakwa ihe gbasara bayoloji, mmụta asụsụ, na akparamaagwa n’ime afọ iri ọhụrụ? Anyị ga-agwa gị na nyocha anyị.
N'afọ a, ogbako ahụ chịkọtara ihe karịrị mmadụ 13500 sitere na mba 80 na Vancouver, Canada. Nke a abụghị afọ mbụ nke Sberbank nọchitere anya Russia na ogbako ahụ - ndị otu DS kwuru banyere mmejuputa ML na usoro ụlọ akụ, banyere asọmpi ML na banyere ikike nke ikpo okwu Sberbank DS. Kedu ihe bụ isi usoro nke 2019 na obodo ML? Ndị sonyere ọgbakọ kwuru: и .
N'afọ a, NeurIPS nabatara akwụkwọ karịa 1400-algorithms, ụdị ọhụrụ, na ngwa ọhụrụ na data ọhụrụ.
Ọdịnaya:
- Ụdị
-
- Nkọwa nkọwa nlereanya
- Multidisciplinarity
- Ntụgharị uche
- RL
- GAN
- Mkparịta ụka ndị a kpọrọ òkù bụ isi
-
- "Ọgụgụ isi ọha", Blaise Aguera na Arcas (Google)
- "Sayensị data ziri ezi", Bin Yu (Berkeley)
- "Ụdị omume mmadụ na mmụta igwe: ohere na ihe ịma aka", Nuria M Oliver, Albert Ali Salah
- "Site na Sistemụ 1 ruo Sistemụ 2 miri emi", Yoshua Bengio
Trends 2019
1. Ntugharị ụdị na usoro ML ọhụrụ
Isi isiokwu nke ogbako bụ nkọwa na ihe akaebe nke ihe mere anyị ji enweta nsonaazụ ụfọdụ. Onye nwere ike ikwu ogologo oge banyere mkpa nkà ihe ọmụma nke nkọwa "igbe ojii", ma e nwere ụzọ ndị ọzọ dị adị na nkà na ụzụ na mpaghara a.
Usoro maka imepụtagharị ụdị na iwepụta ihe ọmụma na ha bụ ngwa ọhụrụ maka sayensị. Ụdị nwere ike ịbụ ngwá ọrụ maka inweta ihe ọmụma ọhụrụ na ịnwale ya, na ọkwa nke ọ bụla nke nhazi, ọzụzụ na ntinye nke ihe nlereanya ahụ ga-abụrịrị mmeghari.
Ọnụ ọgụgụ dị ịrịba ama nke mbipụta na-etinyeghị aka na iwu nke ụdị na ngwá ọrụ, kama na nsogbu nke ịhụ na nchekwa, nghọta na nkwenye nke nsonaazụ. Karịsịa, iyi dị iche apụtawo banyere mwakpo na ihe nlereanya (mwakpo ndị iro), na nhọrọ maka ọgụ abụọ na ọzụzụ na ọgụ na ngwa na-atụle.
Akụkọ:
- - isiokwu mmemme na usoro nke nkwenye nlereanya. Gụnyere nkọwapụta nke ngwaọrụ ọgbara ọhụrụ maka ntụgharị ụdị, ọkachasị, ojiji nlebara anya na inweta mkpa njirimara site na “iji ụdị ahịrị ihichapụ” netwọkụ akwara ozi.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net na-egosi nkọwa nlereanya maka ọrụ nhazi ederede
2. Multidisciplinarity
Iji hụ na nkwenye a pụrụ ịdabere na ya na ịmepụta usoro iji nyochaa na ịgbasa ihe ọmụma, anyị chọrọ ndị ọkachamara na mpaghara ndị metụtara ya bụ ndị nwere ikike n'otu oge na ML na mpaghara isiokwu (ọgwụ, asụsụ, neurobiology, agụmakwụkwọ, wdg). Ọ bụ karịsịa kwesịrị ịrịba ama ndị ọzọ ịrịba ọnụnọ nke ọrụ na okwu na neurosciences na cognitive sayensị - e nwere a rapprochement nke ọkachamara na-agbaziri nke echiche.
Na mgbakwunye na njikọ a, multidisciplinarity na-apụta na nhazi njikọ nke ozi sitere na isi mmalite dị iche iche: ederede na foto, ederede na egwuregwu, ọdụ data eserese + ederede na foto.
Akụkọ:
- Sayensị Neuroscience + ML —
- VisualQA -
- RL + NLP -
Ụdị abụọ - strategist na onye isi - dabere na RL na NLP egwuregwu ịntanetị
3. asontụgharị uche
Ịkwado ọgụgụ isi mmadụ ike bụ mmegharị ahụ na-aga n'ihu na usoro mmụta onwe onye, "mara", echiche na echiche. Karịsịa, nrịbama ihe kpatara na echiche ezi uche na-etolite. Ụfọdụ akụkọ na-etinye aka na mmụta meta (banyere otu esi amụta ịmụta) yana nchikota teknụzụ DL na mgbagha nke mbụ na nke abụọ - okwu Artificial General Intelligence (AGI) na-aghọ okwu nkịtị n'okwu ndị ọkà okwu.
Akụkọ:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Nkwalite mmụta
Ọtụtụ n'ime ọrụ na-aga n'ihu ịzụlite mpaghara ọdịnala nke RL - DOTA2, Starcraft, ijikọta architectures na ọhụụ kọmputa, NLP, ọdụ data eserese.
Ụbọchị dị iche iche nke ogbako ahụ bụ nke etinyere na nkuzi RL, bụ nke gosipụtara Optimistic Actor Critic Model architecture, dị elu karịa ndị niile gara aga, karịsịa Soft Actor Critic.
Akụkọ:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Networks, Inc.)*; Toshiki Kataoka (Networks, Inc.); Prabhat Nagarajan ( Netwọk ahọpụtara); Takahiro Ishikawa (Mahadum nke Tokyo) [njikọ pdf mpụga].
- ; Danjar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Mahadum Toronto); Mohammad Norouzi (ụbụrụ Google)
Ndị egwuregwu StarCraft na-alụ ọgụ ụdị Alphastar (DeepMind)
5.GAN
Netwọk ndị na-emepụta ihe ka dị n'ìhè: ọtụtụ ọrụ na-eji vanilla GANs maka ihe akaebe mgbakọ na mwepụ, na-etinyekwa ha n'ụzọ ọhụrụ, nke na-adịghị ahụkebe (ụdị ndị na-emepụta eserese, na-arụ ọrụ na usoro, ngwa na-akpata-na-emetụta mmekọrịta na data, wdg).
Akụkọ:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khorva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ebe ọ bụ na a nabatara ọrụ ndị ọzọ N'okpuru ebe a, anyị ga-ekwu maka okwu ndị kachasị mkpa.
Mkparịta ụka akpọrọ
"Ọgụgụ isi ọha", Blaise Aguera na Arcas (Google)
Okwu a lekwasịrị anya na usoro mmụta igwe n'ozuzu ya na atụmanya na-agbanwe ụlọ ọrụ ugbu a - olee ụzọ gafere anyị na-eche ihu? Olee otú ụbụrụ na evolushọn si arụ ọrụ, gịnịkwa mere anyị ji ejighị ihe anyị maralarị banyere mmepe nke usoro okike eme ihe?
Mmepe ụlọ ọrụ mmepụta ihe nke ML dabara n'ụzọ dị ukwuu na isi mmalite nke mmepe Google, nke na-ebipụta nyocha ya na NeurIPS kwa afọ:
- 1997 - mmalite nke ụlọ ọrụ ọchụchọ, sava mbụ, obere ike mgbako
- 2010 - Jeff Dean weputara oru ngo Google Brain, mmụba nke netwọkụ akwara na mbido mbụ.
- 2015 - mmejuputa ụlọ ọrụ nke netwọkụ akwara ozi, njirimara ihu ngwa ngwa ozugbo na ngwaọrụ mpaghara, ndị nrụpụta ọkwa dị ala ahaziri maka mgbakọ tensor - TPU. Google weputara Coral ai - analog nke raspberry pi, obere kọmpụta maka iwebata netwọkụ akwara n'ime nrụnye nnwale.
- 2017 - Google na-amalite ịmalite ọzụzụ na-enweghị isi na ijikọta nsonaazụ nke ọzụzụ netwọkụ neural site na ngwaọrụ dị iche iche n'otu ụdị - na gam akporo.
Taa, a na-arara ụlọ ọrụ niile maka nchekwa data, nchịkọta, na mmụgharị nke nsonaazụ mmụta na ngwaọrụ mpaghara.
- ntụzịaka nke ML nke ụdị onye ọ bụla na-amụta n'adabereghị onwe ya wee jikọta ya na otu ụdị (na-enweghị ịkọwapụta data isi mmalite), gbanwee maka ihe omume na-adịghị ahụkebe, anomalies, nhazi onwe, wdg. Ngwa Android niile bụ n'ezie otu kọmpụta supercomputer maka Google.
Ụdị mmepụta ihe dabere na mmụta jikọtara ọnụ bụ ntụzịaka na-ekwe nkwa n'ọdịnihu dị ka Google si kwuo, nke bụ "n'oge mmalite nke uto n'ike." Ndị GAN, dị ka onye nkuzi si kwuo, nwere ike ịmụta imepụtaghachi omume oke nke ọnụọgụgụ nke ihe dị ndụ na algọridim echiche.
N'iji ihe atụ nke ụlọ ọrụ GAN abụọ dị mfe, a na-egosi na n'ime ha ịchọ ụzọ njikarịcha na-awagharị na gburugburu, nke pụtara na njikarịcha dị otú ahụ adịghị eme. N'otu oge ahụ, ụdị ndị a na-enwe ihe ịga nke ọma n'ịmepụta nnwale ndị ọkà mmụta ihe ndị dị ndụ na-eme na nje bacteria, na-amanye ha ịmụta usoro omume ọhụrụ na-achọ nri. Anyị nwere ike ikwubi na ndụ na-arụ ọrụ dị iche iche karịa ọrụ njikarịcha.
Ịga ije GAN Optimization
Ihe niile anyị na-eme na usoro mmụta igwe ugbu a bụ ọrụ dị warara ma bụrụ nke a na-ahazi nke ọma, ebe usoro iwu ndị a anaghị achịkọta nke ọma na anaghị anabata ihe ọmụma isiokwu anyị na mpaghara dị ka neurophysiology na bayoloji.
Ihe bara uru n'ezie ịgbazinye ego site na ngalaba nke neurophysiology n'ọdịnihu dị nso bụ ihe nrụpụta neuron ọhụrụ yana ntakịrị nlegharị anya nke usoro mgbasa ozi nke njehie.
Ụbụrụ mmadụ n'onwe ya adịghị amụta ihe dị ka netwọk neural:
- O nweghi ihe ntinye nke mbu, tinyere nke eweputara site na uche na n'oge nwata
- O nwere ntụziaka ebumpụta ụwa nke mmepe mmuo (ọchịchọ ịmụ asụsụ site n'aka nwa ọhụrụ, na-eje ije ziri ezi)
Ịzụ ụbụrụ onye ọ bụla bụ ọrụ dị ala; ikekwe anyị kwesịrị ịtụle "mpaghara" nke ndị mmadụ n'otu n'otu na-agbanwe ngwa ngwa na-enyefe ibe ha ihe ọmụma iji mepụtaghachi usoro nke evolushọn otu.
Ihe anyị nwere ike itinye n'ime algọridim ML ugbu a:
- Tinye ụdị usoro ọmụmụ cell nke na-ahụ na mmụta nke ndị mmadụ, mana ndụ dị mkpirikpi nke onye ọ bụla ("ụbụrụ n'otu n'otu")
- Obere-ịgba mmụta site na iji ọnụ ọgụgụ dị nta nke ihe atụ
- Ọdịdị neuron dị mgbagwoju anya, ọrụ ịgbalite dịtụ iche
- Ịnyefe "genome" na ọgbọ na-abịa - backpropagation algọridim
- Ozugbo anyị jikọtara neurophysiology na netwọk neural, anyị ga-amụta iwu ụbụrụ multifunctional site na ọtụtụ ihe.
Site n'echiche a, omume nke ngwọta SOTA bụ ihe na-emerụ ahụ ma ekwesịrị imegharị ya n'ihi ịmepụta ọrụ nkịtị (ihe nrịbama).
"Sayensị data ziri ezi", Bin Yu (Berkeley)
Akuko a gbadoro ụkwụ na nsogbu nke ịsụgharị ụdị mmụta igwe yana usoro maka nnwale na nkwenye ozugbo. Enwere ike ịghọta ụdị ML ọ bụla a zụrụ azụ dị ka isi iyi ihe ọmụma nke kwesịrị isi na ya pụta.
N'ọtụtụ ebe, karịsịa na nkà mmụta ọgwụ, iji ihe nlereanya agaghị ekwe omume na-enweghị wepụ ihe ọmụma a zoro ezo na ịkọwapụta ihe nlereanya ahụ - ma ọ bụghị ya, anyị agaghị ejide n'aka na ihe ga-esi na ya pụta ga-eguzosi ike, na-abụghị nke a na-apụghị ịdabere na ya, nke a pụrụ ịdabere na ya, na ọ gaghị egbu ndị ahụ. ndidi. Usoro usoro ọrụ na-etolite n'ime usoro mmụta miri emi wee gafere oke ya - veridical data science. Kedu ihe ọ bụ?
Anyị chọrọ inweta ụdị akwụkwọ sayensị na imepụtagharị ụdị nke ha bụ:
- amụma
- compactable
- kwụsie ike
Ụkpụrụ atọ ndị a bụ ntọala nke usoro ọhụrụ ahụ. Kedu otu esi enyocha ụdị ML megide njirisi ndị a? Ụzọ kachasị mfe bụ iji wuo ụdị nkọwa ozugbo (regressions, osisi mkpebi). Agbanyeghị, anyị chọkwara inweta uru mmụta miri emi ozugbo.
Ọtụtụ ụzọ dị ugbu a iji rụọ ọrụ na nsogbu ahụ:
- kọwaa ihe nlereanya;
- jiri usoro dabere na nlebara anya;
- jiri ensembles nke algọridim mgbe ị na-azụ, ma hụ na ụdị ntụgharị nke ahịrị na-amụta ịkọ otu azịza dị ka netwọkụ akwara, na-akọwa njirimara site na ụdị linear;
- mgbanwe na augment data ọzụzụ. Nke a gụnyere ịgbakwụnye mkpọtụ, nnyonye anya, na mmụba data;
- Ụzọ ọ bụla nke na-enyere aka hụ na nsonaazụ ihe nlereanya ahụ abụghị ihe efu ma ghara ịdabere na obere nnyonye anya na-achọghị (mwakpo ndị iro);
- kọwaa ihe nlereanya mgbe eziokwu, mgbe ọzụzụ;
- ọmụmụ ihe na-egosi ịdị arọ n'ụzọ dị iche iche;
- mụọ ihe gbasara omume nke echiche niile, nkesa klaasị.
Mmegide iro
Njehie imezi ihe na-efu onye ọ bụla: ezigbo ihe atụ bụ ọrụ Reinhart na Rogov."" metụtakwara amụma akụ na ụba nke ọtụtụ mba Europe ma manye ha ịchụso austerity atumatu, ma iji nlezianya nyochaa data na nhazi ha afọ mgbe e mesịrị gosipụtara ihe na-abụghị!
Teknụzụ ML ọ bụla nwere usoro ndụ nke ya site na mmejuputa ya ruo na mmejuputa ya. Ebumnuche nke usoro ọhụrụ a bụ ịlele ụkpụrụ atọ bụ isi na ọkwa ọ bụla nke ndụ ihe nlereanya ahụ.
Na nchikota:
- A na-emepụta ọtụtụ ọrụ ga-enyere ụdị ML aka inwe ntụkwasị obi karị. Nke a bụ, dịka ọmụmaatụ, deeptune (njikọ na: );
- Maka mmepe nke usoro a, ọ dị mkpa iji mee ka mma nke mbipụta dị na mpaghara ML dịkwuo mma;
- Ịmụ igwe chọrọ ndị isi nwere ọzụzụ na nka dị iche iche na ngalaba nka na ọrụ mmadụ.
"Mmepụta omume mmadụ na mmụta igwe: ohere na ihe ịma aka" Nuria M Oliver, Albert Ali Salah
Nkuzi a raara nye ime ka omume mmadu, ntọala teknụzụ ya na atụmanya ngwa.
Enwere ike ikewa ụdị omume mmadụ na:
- omume onye ọ bụla
- omume nke obere ìgwè mmadụ
- omume oke
Nke ọ bụla n'ime ụdị ndị a nwere ike iji ML mee ihe, mana nwere ozi ntinye na njirimara dị iche iche. Ụdị nke ọ bụla nwekwara nsogbu omume nke ya nke ọrụ ọ bụla na-aga na ya:
- omume onye ọ bụla - izu ohi njirimara, adịgboroja miri emi;
- omume nke otu ndị mmadụ - de-anonymization, inweta ozi gbasara mmegharị, oku ekwentị, wdg;
Omume onye ọ bụla
Ọtụtụ metụtara isiokwu nke Kọmputa Vision - nnabata nke mmetụta uche mmadụ na mmeghachi omume. Ikekwe naanị na onodu, na oge, ma ọ bụ na ikwu ọnụ ọgụgụ nke ya mgbanwe nke mmetụta uche. Ihe mmịfe ahụ na-egosi nnabata nke mmetụta Mona Lisa site na iji ọnọdụ sitere na ụdị mmetụta mmetụta nke ụmụ nwanyị Mediterranean. Nsonaazụ: ọnụ ọchị nke ọṅụ, ma na nlelị na ịkpọasị. Ihe kpatara ya yikarịrị ka ọ dị n'ụzọ nkà na ụzụ nke ịkọwa mmetụta "na-anọpụ iche".
Omume nke obere ìgwè mmadụ
Ka ọ dị ugbu a ụdị kachasị njọ bụ n'ihi enweghị ozi zuru oke. Dịka ọmụmaatụ, egosiri ọrụ sitere na 2018 - 2019. n'ọtụtụ mmadụ X ọtụtụ vidiyo (cf. 100k++ datasets image). Iji rụpụta ọrụ a nke ọma, achọrọ ozi multimodal, ọkachamma site na sensọ na igwe-altimeter, temometa, ndekọ igwe okwu, wdg.
Omume oke
Mpaghara kachasị emepe emepe, ebe ọ bụ na onye ahịa bụ UN na ọtụtụ steeti. Igwefoto onyunyo n'èzí, data sitere na ụlọ elu ekwentị - ịgba ụgwọ, SMS, oku, data na mmegharị n'etiti ala ala - ihe a niile na-enye foto a pụrụ ịdabere na ya nke mmegharị nke ndị mmadụ na enweghị ntụkwasị obi. Ngwa nwere ike ime nke teknụzụ: njikarịcha ọrụ nnapụta, enyemaka na ịchụpụ ndị mmadụ n'oge n'oge ihe mberede. A ka na-akọwa nke ọma ụdị eji eme ihe - ndị a bụ LSTM dị iche iche na netwọk mmekọrịta. Enwere okwu dị nkenke na UN na-agba mbọ maka iwu ọhụrụ nke ga-amanye ndị ọchụnta ego Europe ịkesa data ezoro ezo dị mkpa maka nyocha ọ bụla.
"Site na Sistemụ 1 ruo Sistemụ 2 miri emi", Yoshua Bengio
N'ime nkuzi Joshua Bengio, mmụta miri emi na-ezute neuroscience n'ogo nke ntọala ebumnuche.
Bengio na-akọwapụta ụdị nsogbu abụọ bụ isi dị ka usoro nke onye nwetara onyinye Nobel Daniel Kahneman si dị (akwụkwọ "»
ụdị 1 - Sistemu 1, omume amaghị ihe anyị na-eme "na-akpaghị aka" (ụbụrụ oge ochie): ịnya ụgbọ ala n'ebe ndị a ma ama, ịga ije, ịmata ihu.
ụdị 2 - Sistemụ 2, omume maara ihe (cerebral cortex), ntọala ebumnuche, nyocha, iche echiche, ọrụ mejupụtara.
AI eruola elu zuru oke naanị na ọrụ nke ụdị nke mbụ, ebe ọrụ anyị bụ iweta ya na nke abụọ, na-akụziri ya ka ọ rụọ ọrụ multidisciplinary ma na-arụ ọrụ n'echiche na nkà mmụta dị elu.
Iji mezuo ebumnuche a, a tụrụ aro ya:
- N'ime ọrụ NLP, jiri nlebara anya dị ka usoro isi maka imepụta echiche
- jiri meta-mmụta na nnochi anya mmụta ka mma nlereanya atụmatụ na-emetụta nsụhọ na ha local - na ndabere ha na-aga n'ihu na-arụ ọrụ na elu-ọkwa echiche.
Kama nkwubi okwu, nke a bụ okwu a kpọrọ òkù: Bengio bụ otu n'ime ọtụtụ ndị ọkà mmụta sayensị na-agbalị ịgbasa ubi ML gafere nsogbu njikarịcha, SOTA na ụlọ ọhụrụ.
Ajụjụ na-anọgide na-emeghe ruo n'ókè nke nchikota nke nsogbu nke nsụhọ, mmetụta nke asụsụ na-eche echiche, neurobiology na algọridim bụ ihe na-echere anyị n'ọdịnihu na ga-ekwe ka anyị ịkwaga igwe na "na-eche" dị ka ndị mmadụ.
Daalụ!
isi: www.habr.com