NeuroIPS () no fihaonambe lehibe indrindra eran-tany momba ny fianarana milina sy ny faharanitan-tsaina artifisialy ary ny hetsika lehibe indrindra amin'ny tontolon'ny fianarana lalina.
Moa ve isika, injeniera DS, hahafehy ny biolojia, ny fiteny ary ny psikolojia amin'ny folo taona vaovao? Holazainay aminao amin'ny famerenanay.
Tamin’ity taona ity ilay fihaonambe dia nahavory olona maherin’ny 13500 80 avy amin’ny firenena 2019 tany Vancouver, Kanada. Tsy ity no taona voalohany nisolo tena an'i Rosia tamin'ny fihaonambe ny Sberbank - ny ekipa DS dia niresaka momba ny fampiharana ny ML amin'ny fizotran'ny banky, momba ny fifaninanana ML ary momba ny fahaiza-manaon'ny sehatra Sberbank DS. Inona no fironana lehibe tamin'ny taona XNUMX tao amin'ny vondrom-piarahamonina ML? Ireo mpandray anjara amin'ny fihaonambe dia miteny hoe: и .
Tamin'ity taona ity, NeurIPS dia nanaiky taratasy mihoatra ny 1400-algorithm, modely vaovao, ary fampiharana vaovao amin'ny angona vaovao.
Hevitra ato Anatiny:
- ny fironana
-
- Modely azo adika
- Multidisciplinarity
- Fandresen-dahatra
- RL
- Gan
- Lahateny Fototra Asaina
-
- "Faharanitan-tsaina ara-tsosialy", Blaise Aguera sy Arcas (Google)
- "Siansa Data Veridika", Bin Yu (Berkeley)
- "Mamodely ny fitondran-tenan'olombelona miaraka amin'ny fianarana milina: fahafahana sy fanamby", Nuria M Oliver, Albert Ali Salah
- "Avy amin'ny System 1 ka hatramin'ny System 2 Deep Learning", Yoshua Bengio
Trends 2019
1. Fandikana modely sy fomba fiasa ML vaovao
Ny lohahevitry ny fihaonambe dia ny fandikana sy ny porofon'ny antony ahazoantsika vokatra sasany. Afaka miresaka ela momba ny filozofika manan-danja ny fandikana ny "boaty mainty", fa nisy kokoa ny tena fomba sy ny fandrosoana ara-teknika ao amin'io faritra io.
Fitaovana vaovao ho an'ny siansa ny fomba fanaovana kopia modely sy fakana fahalalana avy amin'izy ireo. Ny modely dia azo ampiasaina ho fitaovana hahazoana fahalalana vaovao sy hizaha toetra azy, ary ny dingana tsirairay amin'ny fanodinana, fanofanana ary fampiharana ny maodely dia tsy maintsy azo averina.
Ny ampahany lehibe amin'ny famoahana dia tsy natokana ho an'ny fananganana modely sy fitaovana, fa ho an'ny olana amin'ny fiantohana ny fiarovana, ny mangarahara ary ny fanamarinana ny vokatra. Indrindra indrindra, nisy stream mitokana niseho momba ny fanafihana ny maodely (fanafihana adversarial), ary ny safidy ho an'ny fanafihana amin'ny fiofanana sy ny fanafihana amin'ny fampiharana dia raisina.
Lahatsoratra:
- - lahatsoratra programa momba ny fomba fanamarinana modely. Ahitana topimaso momba ny fitaovana maoderina amin'ny fandikana ny maodely, indrindra indrindra, ny fampiasana ny saina sy ny fahazoana ny maha-zava-dehibe ny endri-javatra amin'ny alàlan'ny "fanadiovana" ny tambajotra neural miaraka amin'ny maodely linear.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Rafa
ExBert.net dia mampiseho fandikana modely ho an'ny asa fanodinana lahatsoratra
2. Multidisciplinarity
Mba hiantohana ny fanamarinana azo itokisana sy ny fampivoarana ny rafitra hanamarinana sy fanitarana ny fahalalana, dia mila manam-pahaizana manokana amin'ny sehatra mifandraika izay manana fahaiza-manao amin'ny ML sy amin'ny sehatry ny lohahevitra (fitsaboana, linguistika, neurobiology, fanabeazana, sns.). Tena ilaina ny manamarika ny fisian'ny asa sy ny kabary manan-danja kokoa amin'ny neurosciences sy ny siansa ara-tsaina - misy rapprochement manam-pahaizana manokana sy ny fampindramam-bola hevitra.
Ho fanampin'io fifanatonana io, mipoitra ny fifampiraharahana maro amin'ny fanodinana iraisan'ny vaovao avy amin'ny loharano isan-karazany: lahatsoratra sy sary, lahatsoratra sy lalao, angon-drakitra grafika + lahatsoratra sy sary.
Lahatsoratra:
- Neuroscience + ML —
- VisualQA -
- RL + NLP -
Modely roa - stratejika sy mpanatanteraka - mifototra amin'ny RL sy NLP milalao paikady an-tserasera
3. Fandresen-dahatra
Ny fanamafisana ny faharanitan-tsaina artifisialy dia hetsika mankany amin'ny rafitra fianarana samirery, "conscient", fisainana ary fisainana. Indrindra indrindra, mivoatra ny fikajiana causal sy ny fanjohian-kevitra mahazatra. Ny sasany amin'ireo tatitra dia natokana ho amin'ny meta-fianarana (momba ny fomba fianarana mianatra) sy ny fampifangaroana ny teknolojia DL miaraka amin'ny lojika laharana voalohany sy faha-1 - ny teny hoe Artificial General Intelligence (AGI) dia lasa teny mahazatra amin'ny lahatenin'ny mpandahateny.
Lahatsoratra:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Fanamafisana ny fianarana
Ny ankamaroan'ny asa dia manohy mamolavola faritra nentim-paharazana amin'ny RL - DOTA2, Starcraft, manambatra ny maritrano miaraka amin'ny fahitan'ny solosaina, NLP, angon-drakitra grafika.
Andro iray manokana tamin'ny fihaonambe dia natokana ho an'ny atrikasa RL, izay nanehoana ny maritrano modely Optimistic Actor Critic Model, ambony noho ny teo aloha rehetra, indrindra ny Soft Actor Critic.
Lahatsoratra:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Tambajotra Tiana); Takahiro Ishikawa (The University of Tokyo) [rohy pdf ivelany].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
Ireo mpilalao StarCraft dia miady amin'ny modely Alphastar (DeepMind)
5.GAN
Mbola mibahan-toerana hatrany ny tambajotram-pamokarana: asa maro no mampiasa GAN lavanila ho porofo matematika, ary mampihatra azy ireo amin'ny fomba vaovao sy tsy mahazatra (modely famokarana grafika, miasa miaraka amin'ny andian-dahatsoratra, fampiharana amin'ny fifandraisan'ny antony sy ny vokany amin'ny angona, sns.).
Lahatsoratra:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Satria asa bebe kokoa no nekena Eto ambany isika dia hiresaka momba ny lahateny manan-danja indrindra.
Lahateny nasaina
"Faharanitan-tsaina ara-tsosialy", Blaise Aguera sy Arcas (Google)
Ny lahateny dia mifantoka amin'ny fomba ankapobeny amin'ny fianarana milina sy ny fahatsinjovana ny fanovana ny indostria amin'izao fotoana izao - sampana inona no atrehintsika? Ahoana no fiasan’ny atidoha sy ny evolisiona, ary nahoana isika no tsy mampiasa firy ny zavatra efa fantatsika momba ny fivoaran’ny rafitra voajanahary?
Ny fivoaran'ny indostrian'ny ML dia mifanandrify indrindra amin'ireo dingana lehibe amin'ny fivoaran'ny Google, izay mamoaka ny fikarohana nataony momba ny NeurIPS isan-taona:
- 1997 - fanombohana trano fikarohana, mpizara voalohany, hery informatika kely
- 2010 - Jeff Dean dia namoaka ny tetikasa Google Brain, ny firoboroboan'ny tambajotra neural tany am-piandohana.
- 2015 - fampiharana indostrialy ny tambajotra neural, famantarana endrika haingana mivantana amin'ny fitaovana eo an-toerana, processeurs avo lenta namboarina ho an'ny computing tensor - TPU. Navoakan'i Google ny Coral ai - analogue amin'ny raspberry pi, solosaina kely hampidirana tambajotra neural amin'ny fametrahana andrana.
- 2017 – Nanomboka namolavola fiofanana itsinjaram-pahefana i Google ary nampifangaro ny vokatry ny fanofanana tambajotra neural avy amina fitaovana samihafa ho modely iray – amin'ny Android
Ankehitriny, indostria iray manontolo dia natokana ho an'ny fiarovana ny angon-drakitra, ny fanangonana ary ny famerenana ny vokatry ny fianarana amin'ny fitaovana eo an-toerana.
- toro-lalana amin'ny ML izay ianaran'ny modely tsirairay tsy miankina ary atambatra ho modely tokana (tsy misy ivon'ny angon-drakitra loharano), amboarina amin'ny hetsika tsy fahita firy, tsy fahita firy, fanavakavahana, sns. Ny fitaovana Android rehetra dia supercomputer tokana ho an'ny Google.
Ny maodely miteraka mifototra amin'ny fianarana federasiona dia tari-dàlana mampanantena ho avy araka ny filazan'i Google, izay "eo am-piandohan'ny fitomboana haingana." Ny GAN, araka ny filazan'ny mpampianatra, dia afaka mianatra mamerina ny fitondran-tena faoben'ny mponina amin'ny zavamananaina sy ny algorithms mieritreritra.
Amin'ny fampiasana ny ohatry ny GAN architectures tsotra roa, dia aseho fa ao amin'izy ireo ny fikarohana ny optimization lalana mirenireny ao amin'ny faribolana, izay midika fa ny optimization toy izany dia tsy mitranga. Mandritra izany fotoana izany, ireo modely ireo dia tena mahomby amin'ny fanaovana simulation ny andrana ataon'ny biolojista amin'ny mponina bakteria, manery azy ireo hianatra paikady vaovao momba ny fitondran-tena amin'ny fitadiavana sakafo. Afaka manatsoaka hevitra isika fa ny fiainana dia miasa amin'ny fomba hafa noho ny asa fanatsarana.
Mandeha GAN Optimization
Ny zavatra rehetra ataontsika ao anatin'ny rafitry ny fianarana milina ankehitriny dia asa tery sy tena manara-penitra, raha toa kosa ireo formalisma ireo dia tsy mifanentana tsara ary tsy mifanandrify amin'ny fahalalantsika amin'ny sehatra toy ny neurophysiology sy biolojia.
Ny tena mendrika hindramina avy amin'ny sehatry ny neurophysiology atsy ho atsy dia ny maritrano neuron vaovao sy ny fanavaozana kely ny mekanika amin'ny fampielezana ny fahadisoana.
Ny atidohan'olombelona mihitsy dia tsy mianatra toy ny tambazotra neural:
- Tsy manana fitaovana fototra kisendrasendra izy, ao anatin'izany ireo izay napetraka amin'ny alàlan'ny saina sy ny fahazazana
- Manana tari-dalana voajanahary amin'ny fivoarana voajanahary izy (ny faniriana hianatra fiteny amin'ny zazakely, mandeha mahitsy)
Asa ambany ny fanofanana ny atidohan'ny tsirairay; angamba tokony hojerentsika ny "fanjanahan-tany" misy olona miova haingana mampita fahalalana amin'ny tsirairay mba hamoahana ny fomban'ny fivoaran'ny vondrona.
Inona no azontsika raisina amin'ny algorithm ML izao:
- Ampiharo ny maodely firazanana sela izay miantoka ny fianaran'ny mponina, fa ny androm-piainan'ny tsirairay (" atidoha tsirairay")
- Fianarana vitsivitsy amin'ny fampiasana ohatra vitsivitsy
- Firafitry ny neuron sarotra kokoa, asa fampahavitrihana hafa kely
- Famindrana ny "genome" amin'ny taranaka manaraka - algorithm backpropagation
- Raha vantany vao mampifandray ny neurophysiology sy ny tamba-jotra neural isika dia hianatra hanorina atidoha multifunctional avy amin'ny singa maro.
Amin'io fomba fijery io, ny fampiharana ny vahaolana SOTA dia manimba ary tokony hohavaozina ho fampandrosoana ny asa iombonana (benchmarks).
"Siansa Data Veridika", Bin Yu (Berkeley)
Ny tatitra dia natokana ho an'ny olana amin'ny fandikana ny maodely fianarana milina sy ny fomba fanaovana fitiliana sy fanamarinana mivantana. Izay modely ML voaofana rehetra dia azo raisina ho loharanom-pahalalana mila alaina avy aminy.
Any amin'ny faritra maro, indrindra amin'ny fitsaboana, ny fampiasana modely dia tsy azo atao raha tsy misintona izany fahalalana miafina izany sy mandika ny vokatry ny modely - raha tsy izany dia tsy ho azo antoka fa ny vokatra dia ho mafy orina, tsy kisendrasendra, azo antoka, ary tsy hamono ny marary. Mivoatra ao anatin'ny paradigma fianarana lalina ny tari-dalana iray manontolo amin'ny fomba fiasa ary mihoatra ny fetrany - siansa data veridika. Inona izany?
Te-hatratra ny kalitaon'ny famoahana ara-tsiansa sy ny famerenan'ny modely toy izao izahay:
- mialoha
- azo kajy
- marin-toerana
Ireo fitsipika telo ireo no fototry ny fomba fiasa vaovao. Ahoana no hanamarinana ny modely ML mifanaraka amin'ireo fepetra ireo? Ny fomba tsotra indrindra dia ny fananganana modely azo adika avy hatrany (fiverenana, hazo fanapahan-kevitra). Na izany aza, tianay koa ny hahazo tombontsoa avy hatrany amin'ny fianarana lalina.
Misy fomba maro hamahana ny olana:
- fandikana ny modely;
- mampiasa fomba mifototra amin'ny saina;
- Mampiasà andiana algorithm rehefa miofana, ary miantoka fa ireo modely azo adika amin'ny tsipika dia mianatra maminavina valiny mitovy amin'ny tambajotra neural, mandika ireo endri-javatra avy amin'ny modely tsipika;
- fanovana sy ampitomboy ny angona fanofanana. Tafiditra ao anatin'izany ny fampidirana tabataba, fitsabahana ary fampitomboana angona;
- fomba rehetra manampy amin'ny fiantohana fa tsy kisendrasendra ny vokatry ny maodely ary tsy miankina amin'ny fitsabahana kely tsy ilaina (fanafihan'ny fahavalo);
- mandika ny modely aorian'ny zava-misy, aorian'ny fampiofanana;
- fianarana manasongadina lanja amin'ny fomba isan-karazany;
- mianatra ny mety ho petra-kevitra rehetra, fizarana kilasy.
Fanafihana fahavalo
Ny fahadisoana modely dia lafo ho an'ny rehetra: ny ohatra lehibe indrindra dia ny asan'i Reinhart sy Rogov. "" dia nisy fiantraikany tamin'ny politikan'ny toekaren'ny firenena Eoropeana maro ary nanery azy ireo hanaraka ny politikan'ny fitsitsiana, saingy ny fanaraha-maso amim-pitandremana ny angon-drakitra sy ny fanodinana azy ireo taona maro taty aoriana dia mampiseho ny vokatra mifanohitra amin'izany!
Ny teknolojia ML rehetra dia manana ny tsingerin'ny fiainany manokana manomboka amin'ny fampiharana ka hatramin'ny fampiharana. Ny tanjon'ny fomba fiasa vaovao dia ny manamarina ireo fitsipika fototra telo isaky ny dingana amin'ny fiainan'ny modely.
valiny:
- Tetikasa maromaro no novolavolaina hanampy ny modely ML ho azo antoka kokoa. Ity, ohatra, ny deeptune (rohy mankany amin'ny: );
- Ho fampivoarana bebe kokoa ny fomba fiasa dia ilaina ny manatsara ny kalitaon'ny famoahana eo amin'ny sehatry ny ML;
- Ny fianarana milina dia mila mpitarika manana fiofanana sy fahaiza-manao maro eo amin'ny sehatry ny teknika sy ny maha-olombelona.
"Famolavolana ny fitondran-tenan'olombelona miaraka amin'ny fianarana milina: fahafahana sy fanamby" Nuria M Oliver, Albert Ali Salah
Lahateny natokana ho modely amin'ny fitondran-tenan'ny olombelona, ny fototra ara-teknolojia ary ny mety ho fampiharana azy.
Ny modelin'ny fitondran-tenan'olombelona dia azo zaraina ho:
- fitondran-tena tsirairay
- fitondran-tenan’ny vondron’olona vitsy
- fitondran-tena faobe
Ny tsirairay amin'ireo karazana ireo dia azo atao modely amin'ny fampiasana ML, saingy miaraka amina fampahalalana sy endri-javatra hafa tanteraka. Ny karazany tsirairay koa dia manana olana etika manokana izay iainan'ny tetikasa tsirairay:
- fitondran-tenan'ny tsirairay - fangalarana ny maha-izy azy, deepfake;
- fitondran-tenan'ny vondron'olona - de-anonymization, fahazoana vaovao momba ny hetsika, antso an-telefaona, sns.;
fitondran-tena tsirairay
Ny ankamaroany mifandray amin'ny lohahevitry ny Computer Vision - fanekena ny fihetseham-po sy ny fihetsiky ny olombelona. Angamba amin'ny teny manodidina, amin'ny fotoana, na amin'ny haavon'ny fiovaovan'ny fihetseham-pony. Mampiseho ny fankasitrahana ny fihetseham-pon'i Mona Lisa amin'ny alalan'ny teny manodidina avy amin'ny sehatra ara-pihetseham-pon'ny vehivavy Mediterane ny sary mihetsika. Vokany: tsiky feno hafaliana, nefa feno tsinontsinona sy rikoriko. Ny antony dia mety amin'ny fomba ara-teknika hamaritana ny fihetseham-po "tsy miandany".
Fitondran'olona vitsivitsy
Hatreto ny modely ratsy indrindra dia noho ny tsy fahampian'ny fampahalalana. Ohatra, naseho ny asa tamin'ny taona 2018 - 2019. amin'ny olona am-polony X horonan-tsary am-polony (jereo 100k++ angona sary). Mba hanaovana modely tsara indrindra amin'ity asa ity dia ilaina ny fampahalalana multimodal, indrindra amin'ny sensor amin'ny altimeter vatana, thermometer, firaketana mikrofonina, sns.
Fihetseham-bahoaka
Ny faritra mandroso indrindra, satria ny mpanjifa dia ny ONU sy ny fanjakana maro. Fakan-tsary fanaraha-maso ivelan'ny trano, angona avy amin'ny tilikambo telefaona - faktiora, SMS, antso, angona momba ny hetsika eo anelanelan'ny sisintanin'ny fanjakana - izany rehetra izany dia manome sary azo antoka momba ny fihetsiky ny olona sy ny tsy fandriam-pahalemana ara-tsosialy. Fampiharana mety ho an'ny teknolojia: fanatsarana ny asa fanavotana, fanampiana ary famindrana ara-potoana ny mponina mandritra ny hamehana. Ny maodely ampiasaina dia mbola tsy voadika amin'ny ankapobeny - ireo dia LSTM isan-karazany sy tambajotra convolutional. Nisy fanamarihana fohy fa ny Firenena Mikambana dia manao lobbying amin'ny lalàna vaovao izay manery ny orinasa Eoropeana hizara angona tsy fantatra anarana ilaina amin'ny fikarohana rehetra.
"Avy amin'ny System 1 ka hatramin'ny System 2 Deep Learning", Yoshua Bengio
Ao amin'ny lahatenin'i Joshua Bengio, ny fianarana lalina dia mihaona amin'ny neuroscience amin'ny haavon'ny tanjona.
Bengio dia mamaritra karazana olana roa lehibe araka ny fomba fiasan'ilay nahazo ny loka Nobel Daniel Kahneman (boky "")
karazana 1 - Rafitra 1, hetsika tsy mahatsiaro tena izay ataontsika "ho azy" (atidoha taloha): mitondra fiara amin'ny toerana mahazatra, mandeha, mamantatra tarehy.
karazana 2 - System 2, hetsika saina (cortex cerebral), fametrahana tanjona, fanadihadiana, fisainana, asa mitambatra.
Ny AI hatramin'izao dia tsy nahatratra ny haavon'ny haavony afa-tsy amin'ny asa amin'ny karazana voalohany, raha ny andraikitray dia ny mitondra azy ho any amin'ny faharoa, mampianatra azy hanao asa multidisciplinary ary miasa miaraka amin'ny lojika sy fahaiza-manao avo lenta.
Mba hanatratrarana izany tanjona izany dia atolotra:
- Amin'ny asa NLP, ampiasao ny saina ho toy ny mekanika fototra amin'ny fisainana modely
- Mampiasà fianarana meta-fianarana sy fisoloan-tena mba hanamafisana ireo endri-javatra modely izay misy fiantraikany amin'ny fahatsiarovan-tena sy ny toerana misy azy ireo - ary miompana amin'ny fampiasana foto-kevitra ambony kokoa.
Raha tokony ho fehin-kevitra, ity misy lahateny nasaina: Bengio dia iray amin'ireo mpahay siansa maro izay manandrana manitatra ny sehatry ny ML mihoatra ny olana momba ny fanatsarana, SOTA ary ny maritrano vaovao.
Mbola misokatra ny fanontaniana hoe hatraiza ny fampifangaroana olana amin'ny fahatsiarovan-tena, ny fiantraikan'ny fiteny amin'ny fisainana, ny neurobiology ary ny algorithms no miandry antsika amin'ny ho avy ary hamela antsika hifindra amin'ny milina izay "mieritreritra" toy ny olona.
Misaotra anao!
Source: www.habr.com