NeuroIPS () konferansa herî mezin a cîhanê ya li ser fêrbûna makîneyê û îstîxbarata sûnî û bûyera sereke ye di cîhana fêrbûna kûr de.
Ma em ê endezyarên DS-ê di deh salên nû de li biyolojî, zimannasî û psîkolojiyê jî xwedî derkevin? Em ê di nirxandina xwe de ji we re vebêjin.
Konferans îsal ji 13500 welatan zêdetirî 80 hezar û 2019 kes li Vancouvera Kanadayê kom kir. Ev ne sala yekem e ku Sberbank di konferansê de nûnertiya Rûsyayê dike - tîmê DS li ser pêkanîna ML di pêvajoyên bankingê de, li ser pêşbaziya ML û li ser kapasîteyên platforma Sberbank DS axivî. Meylên sereke yên sala XNUMX-an di civata ML de çi bûn? Beşdarên konferansê dibêjin: и .
Îsal, NeurIPS zêdetirî 1400 kaxez qebûl kir - algorîtma, modelên nû, û serîlêdanên nû yên daneyên nû.
Contains:
- Trends
-
- şirovekirina modelê
- Multidisciplinarity
- Bersivk
- RL
- GAN
- Gotûbêjên Vexwendî yên Bingehîn
-
- "Sosyal Intelligence", Blaise Aguera y Arcas (Google)
- "Zanistiya Daneyên Rastî", Bin Yu (Berkeley)
- "Modelkirina Tevgera Mirovî Bi Fêrbûna Makîne: Derfet û Zehmetî", Nuria M Oliver, Albert Ali Salah
- "Ji Pergala 1 Berbi Pergala 2 Fêrbûna Kûr", Yoshua Bengio
Trendên 2019
1. Şirovekirina model û metodolojiya nû ya ML
Mijara sereke ya konferansê şirove û delîl e ku çima em hin encaman distînin. Mirov dikare demeke dirêj behsa girîngiya felsefî ya şîroveya “qutiya reş” bike, lê di vî warî de rêbazên rast û pêşkeftinên teknîkî zêdetir bûn.
Rêbaza dubarekirina modelan û derxistina zanînê ji wan amûrek nû ye ji bo zanistê. Model dikarin bibin amûrek ji bo bidestxistina zanyariyên nû û ceribandina wê, û her qonaxek pêş-processing, perwerdekirin û sepandina modelê divê were dubare kirin.
Beşek girîng a weşanan ne ji avakirina model û amûran re, lê ji pirsgirêkên dabînkirina ewlehî, zelalî û verastkirina encaman re têne veqetandin. Bi taybetî, der barê êrişên li ser modelê (êrîşên dijber) de çemek cûda derketiye, û vebijarkên hem ji bo êrişên perwerdehiyê û hem jî êrişên ser sepanê têne hesibandin.
Gotar:
- - gotarek bername li ser rêbaza verastkirina modelê. Di nav xwe de nihêrînek amûrên nûjen ên ji bo şîrovekirina modelan vedihewîne, bi taybetî, karanîna baldarî û bidestxistina girîngiya taybetmendiyê bi "teqandina" tora neuralî bi modelên xêzkirî.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net ji bo karên hilberandina nivîsê şirovekirina modelê nîşan dide
2. Pirdîsîplînî
Ji bo verastkirina pêbawer û pêşdebirina mekanîzmayên ji bo verastkirin û berfirehkirina zanînê, em hewceyê pisporên di warên têkildar de ne ku di heman demê de di ML û di warê mijarê de (bijîjkî, zimannasî, neurobiolojî, perwerdehî, hwd.) de jêhatî ne. Bi taybetî jî hêjayî gotinê ye ku hebûna girîng a kar û axaftinan di zanistên neurolojî û zanînê de - nêzîkbûna pisporan û deynkirina ramanan heye.
Ji bilî vê nêzîkbûnê, pirzimanî di hilberandina hevbeş a agahdariya ji çavkaniyên cihêreng de derdikeve holê: nivîs û wêne, nivîs û lîstik, databasên grafîkî + nivîs û wêne.
Gotar:
- Neuroscience + ML -
- VisualQA -
- RL + NLP -
Du model - stratejîst û rêveber - li ser bingeha RL û NLP stratejiya serhêl dilîzin
3. Ramanîn
Bihêzkirina îstîxbarata çêkirî tevgerek ber bi pergalên xwe-hînbûnê, "hişmendî", aqilmendî û ramanê ye. Bi taybetî, encama sedem û ramana hevpar pêş dikeve. Hin rapor ji fêrbûna meta (li ser meriv çawa fêrbûna fêrbûnê) û berhevkirina teknolojiyên DL bi mantiqa rêza 1-emîn û 2-emîn re têne veqetandin - têgîna Îstixbarata Giştî ya Hunerî (AGI) di axaftinên axaftvanan de dibe têgehek hevpar.
Gotar:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Fêrbûna xurtkirin
Piraniya kar berdewam dike ku qadên kevneşopî yên RL - DOTA2, Starcraft pêşve bibin, mîmarî bi dîtina komputerê, NLP, databasên grafîkî re hev bikin.
Rojek cihê konferansê ji bo atolyeyek RL hate veqetandin, ku tê de mîmariya Modela Rexnegir a Aktorê Optimîst hate pêşkêş kirin, ku ji hemî yên berê, bi taybetî Rexnegirê Lîstikvanê Nermal, bilindtir e.
Gotar:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Tora Preferred, Inc.)*; Toshiki Kataoka (Tora Preferred, Inc.); Prabhat Nagarajan (Torên Bijarte); Takahiro Ishikawa (Zanîngeha Tokyo) [girêdana pdf ya derve].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Zanîngeha Toronto); Mohammad Norouzi (Google Brain)
Lîstikvanên StarCraft bi modela Alphastar re şer dikin (DeepMind)
5.GAN
Torên hilberîner hîn jî di ber çavan de ne: gelek xebat ji bo delîlên matematîkî GAN-ên vanilla bikar tînin, û di heman demê de wan bi awayên nû, neasayî bikar tînin (modelên hilberîner ên grafîkî, bi rêzan re dixebitin, serîlêdana têkiliyên sedem-encamê di daneyan de, hwd.).
Gotar:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ji ber ku bêtir kar hate qebûl kirin Li jêr em ê behsa axaftinên herî girîng bikin.
Gotûbêjên vexwendin
"Sosyal Intelligence", Blaise Aguera y Arcas (Google)
Axaftin balê dikişîne ser metodolojiya giştî ya fêrbûna makîneyê û perspektîfên ku nuha pîşesaziyê diguhezîne - em bi kîjan xaçerêyan re rû bi rû ne? Mejî û peşveçûn çawa dixebitin, û çima em tiştên ku em berê di derbarê pêşkeftina pergalên xwezayî de dizanin hindik bikar tînin?
Pêşveçûna pîşesaziyê ya ML bi piranî bi qonaxên pêşkeftina Google re, ku sal bi sal lêkolîna xwe ya li ser NeurIPS diweşîne re têkildar e:
- 1997 - destpêkirina tesîsên lêgerînê, pêşkêşkerên yekem, hêza hesabkirina piçûk
- 2010 - Jeff Dean projeya Google Brain, geşbûna torên neuralî di destpêkê de dest pê dike.
- 2015 - Pêkanîna pîşesaziyê ya torên neuralî, naskirina rûyê bilez rasterast li ser amûrek herêmî, pêvajoyên asta nizm ên ku ji bo hesabkirina tensorê hatine çêkirin - TPU. Google Coral ai dest pê dike - analogek raspberry pi, mînî-komputerek ji bo danasîna torên neuralî di sazgehên ceribandinê de.
- 2017 - Google dest bi pêşxistina perwerdehiya nenavendî dike û encamên perwerdehiya tora neuralî ji cîhazên cihêreng di yek modelê de berhev dike - li ser Android
Îro, pîşesaziyek tevahî ji ewlehiya daneyê, berhevkirin, û dubarekirina encamên fêrbûnê li ser cîhazên herêmî ve girêdayî ye.
- rêgezek ML ku tê de modelên takekesî ji hev serbixwe fêr dibin û dûv re di modelek yekane de têne hev kirin (bêyî navendkirina daneya çavkaniyê), ji bo bûyerên kêm, anomalî, kesanekirin, hwd. Hemî cîhazên Android-ê bi bingehîn ji bo Google-ê superkomputerek yekane ne.
Modelên hilberîner ên ku li ser bingeha fêrbûna federasyonê ne, li gorî Google, ku "di qonaxên destpêkê yên mezinbûna berbiçav de ye." GAN, li gorî dersdêr, dikarin fêr bibin ku tevgera girseyî ya nifûsa organîzmayên zindî û algorîtmayên ramanê ji nû ve hilberînin.
Bi karanîna mînaka du mîmarên GAN-ê yên hêsan, tê xuyang kirin ku di wan de lêgerîna rêça xweşbîniyê di çemberekê de digere, ku tê vê wateyê ku xweşbînkirin bi vî rengî pêk nayê. Di heman demê de, ev model di simulasyona ceribandinên ku biyolog li ser nifûsa bakteriyan pêk tînin de pir serfiraz in, û wan neçar dikin ku di lêgerîna xwarinê de stratejiyên behrê yên nû fêr bibin. Em dikarin encam bikin ku jiyan ji fonksiyona xweşbîniyê cûda dixebite.
Walking GAN Optimization
Tiştê ku em di çarçoweya fêrbûna makîneyê de naha dikin peywirên teng û zehf fermî ne, di heman demê de ev formalîzm baş gelemperî nabin û di warên wekî neurofîzyolojî û biyolojî de bi zanîna meya mijarê re naguncînin.
Tiştê ku bi rastî hêja ye ku di pêşerojek nêzîk de ji qada neurofîzyolojiyê were deyn kirin, mîmariyên nû yên neuronê û guheztinek sivik a mekanîzmayên belavbûna xeletiyan e.
Mêjiyê mirov bixwe mîna tora neuralî fêr nabe:
- Ew ne xwediyê danûstendinên bingehîn ên rasthatî ye, di nav de yên ku bi hest û di zaroktiyê de hatine danîn
- Wî rêgezên xwerû yên pêşkeftina însînktîf heye (xwesta fêrbûna ziman ji pitikan, rêveçûna rast)
Perwerdekirina mejiyê ferdî karekî nizm e; belkî divê em "koloniyên" kesên ku zû diguherin bihesibînin ku zanînê ji hev re dihêlin da ku mekanîzmayên pêşkeftina komê ji nû ve hilberînin.
Tiştê ku em niha dikarin di algorîtmayên ML-ê de bipejirînin:
- Modelên rêza hucreyê bicîh bînin ku fêrbûna nifûsê, lê jiyana kurt a kesane ("mejiyê ferdî") misoger dike.
- Fêrbûna hindik bi karanîna hejmareke piçûk a mînakan
- Strukturên neuron ên tevlihevtir, fonksiyonên çalakkirinê hinekî cûda
- Veguheztina "jenom" ji nifşên pêş re - algorîtmaya paşveberdanê
- Gava ku em neurophysiology û torên neuralî ve girêdidin, em ê fêr bibin ku ji gelek pêkhateyan mejiyek pirfunctional ava bikin.
Ji vî alî ve, pratîka çareseriyên SOTA zirarê ye û divê ji bo pêşdebirina peywirên hevpar (pîvan) were revîze kirin.
"Zanistiya Daneyên Rastî", Bin Yu (Berkeley)
Rapor ji bo pirsgirêka şîrovekirina modelên fêrbûna makîneyê û metodolojiya ceribandin û verastkirina rasterast a wan ve girêdayî ye. Her modela ML-ya perwerdekirî dikare wekî çavkaniyek zanînê ya ku pêdivî ye ku jê were derxistin were hesibandin.
Di gelek waran de, nemaze di bijîjkî de, karanîna modelek bêyî derxistina vê zanîna veşartî û şîrovekirina encamên modelê ne mimkûn e - wekî din em ê ne bawer bin ku encam dê sabît, ne-tesadufî, pêbawer bin, û dê nekujin. nexweş. Tevahiya rêgezek metodolojiya xebatê di nav paradîgmaya fêrbûna kûr de pêş dikeve û ji sînorên wê derbas dibe - zanistiya daneya rastîn. Ew çi ye?
Em dixwazin bigihîjin qalîteya weşanên zanistî û dubarebûna modelan ku ew in:
- pêşdîtinî
- computable
- stewr
Ev sê prensîb bingeha rêbaza nû ava dikin. Çawa modelên ML-ê li hember van pîvanan têne kontrol kirin? Rêya herî hêsan ev e ku meriv modelên tavilê şirovekirî (regresyon, darên biryarê) ava bike. Lêbelê, em jî dixwazin ku tavilê feydeyên fêrbûna kûr bistînin.
Gelek awayên heyî yên ku bi pirsgirêkê re dixebitin:
- şirovekirina modelê;
- rêbazên li ser baldarî bikar bînin;
- Di dema perwerdehiyê de komek algorîtmayan bikar bînin, û pê ewle bibin ku modelên şîrovekirî yên xêzkirî fêr bibin ku heman bersivên wekî tora neuralî pêşbîn bikin, taybetmendiyên ji modela xêzik şîrove bikin;
- guhertin û daneyên perwerdehiyê zêde bikin. Di vê yekê de deng, destwerdan, û zêdekirina daneyê zêde dike;
- her rêbazek ku dibe alîkar ku encamên modelê ne rasthatî bin û bi destwerdanên piçûk ên nedilxwaz ve girêdayî nebin (êrîşên dijber);
- şirovekirina modela piştî rastiyê, piştî perwerdehiyê;
- bi awayên cihêreng giraniyên taybetmendiyê lêkolîn bikin;
- îhtîmalên hemû hîpotezan, belavkirina çînan lêkolîn bikin.
Êrîşa dijmin
Çewtiyên modelkirinê ji bo her kesî biha ne: mînakek sereke xebata Reinhart û Rogov e."" bandor li ser polîtîkayên aborî yên gelek welatên Ewropî kir û ew neçar kirin ku siyasetên teserûfê bimeşînin, lê lêkolînek bi baldarî ya daneyan û hilanîna wan piştî salan encamek berevajî nîşan da!
Her teknolojiyek ML ji pêkanînê heya bicîhkirinê çerxa jiyana xwe heye. Armanca metodolojiya nû ew e ku di her qonaxek jiyana modelê de sê prensîbên bingehîn kontrol bike.
Kurtayî:
- Gelek proje têne pêşve xistin ku dê alîkariya modela ML bike ku pêbawertir be. Ev e, bo nimûne, deeptune (girêdana to: );
- Ji bo pêşdebirina metodolojiyê, pêdivî ye ku di warê ML-ê de kalîteya weşanan bi girîngî baştir bike;
- Fêrbûna makîneyê hem di warên teknîkî û hem jî di warên mirovahî de hewceyê rêberên bi perwerdehiya pirzimanî û pisporî ye.
"Modelkirina Tevgera Mirovî Bi Fêrbûna Makîneyê: Derfet û Zehmetî" Nuria M Oliver, Albert Ali Salah
Ders ji bo modelkirina tevgera mirovî, bingehên wê yên teknolojîk û perspektîfên serîlêdanê ve girêdayî ye.
Modela tevgera mirovî dikare li jêr were dabeş kirin:
- tevgera takekesî
- tevgera komek piçûk a mirovan
- tevgera girseyî
Her yek ji van celeban dikare bi karanîna ML-ê were model kirin, lê bi agahdarî û taybetmendiyên têketinê bi tevahî cûda. Her celeb pirsgirêkên xwe yên exlaqî jî hene ku her proje tê de derbas dibe:
- tevgera takekesî - dizîna nasnameyê, kûrbûn;
- tevgera komên mirovan - nenaskirin, wergirtina agahdariya li ser tevgeran, têlefonê, hwd.;
tevgera takekesî
Bi piranî bi mijara Computer Vision - naskirina hest û reaksiyonên mirovan ve girêdayî ye. Belkî tenê di çarçovê de, di demê de, an bi pîvana têkildar a guhezbariya hestên xwe de. Slayd naskirina hestên Mona Lisa-yê bi karanîna çarçoveyek ji spektura hestyarî ya jinên Deryaya Navîn nîşan dide. Encam: bişirîneke şahiyê, lê bi rûreşî û nefret. Sedem bi îhtîmaleke mezin di awayê teknîkî yê pênasekirina hestek "bêalî" de ye.
Tevgera komeke biçûk a mirovan
Heya niha modela herî xirab ji ber agahdariya kêm e. Wek mînak, xebatên 2018 - 2019 hatin nîşandan. li ser bi dehan kesan X bi dehan vîdyoyan (binihêre 100k++ daneyên wêneyan). Ji bo modela çêtirîn vê peywirê, agahdariya pirmodal hewce ye, bi tercîh ji senzorên li ser altimeterek laş, termometre, tomarkirina mîkrofon, hwd.
tevgera girseyî
Qada herî pêşketî, ji ber ku xerîdar NY û gelek dewlet in. Kamerayên çavdêriyê yên li derve, daneyên bircên têlefonê - fatûre, SMS, bang, daneyên li ser tevgera di navbera sînorên dewletê de - ev hemî wêneyek pir pêbawer a tevgera mirovan û bêîstîqrariya civakî dide. Serîlêdanên potansiyel ên teknolojiyê: xweşbînkirina operasyonên rizgarkirinê, arîkarî û valakirina biwext a nifûsê di dema rewşa awarte de. Modelên ku têne bikar anîn bi gelemperî hîn jî nebaş têne şîrove kirin - ev LSTM-yên cihêreng û torên konvokî ne. Daxuyaniyek kurt hebû ku NY ji bo qanûnek nû lobî dikir ku dê karsaziyên Ewropî mecbûr bike ku daneyên nenaskirî yên ku ji bo lêkolînek hewce ne parve bikin.
"Ji Pergala 1 Berbi Pergala 2 Fêrbûna Kûr", Yoshua Bengio
Di dersa Joshua Bengio de, fêrbûna kûr di asta danîna armancê de bi neuroscience re hevdîtin dike.
Bengio li gorî metodolojiya xelatgirê Nobelê Daniel Kahneman du cureyên sereke yên pirsgirêkan destnîşan dike (pirtûka "")
tîp 1 - Pergala 1, kiryarên bêhiş ên ku em "xweber" dikin (mejiyê kevnar): ajotina otomobîlê li cihên nas, rêveçûn, naskirina rûyan.
celeb 2 - Pergala 2, tevgerên hişmendî (korteksa mêjî), danîna armanc, analîzkirin, fikirîn, karên tevlihev.
AI-ê heya nuha tenê di karên celebê yekem de gihîştiye bilindahiyên têr, dema ku peywira me ew e ku em wê bigihînin ya duyemîn, fêrî wê bikin ku operasyonên pirzimanî pêk bîne û bi mantiq û jêhatîbûnên zanînê yên asta bilind tevbigere.
Ji bo bidestxistina vê armancê tê pêşniyar kirin:
- di peywirên NLP de, balê wekî mekanîzmayek sereke ji bo ramîna modelê bikar bînin
- fêrbûna meta û nûnertiyê bikar bînin da ku modela taybetmendiyên çêtir ên ku bandorê li hişmendî û herêmîbûna wan dikin - û li ser bingeha wan berbi xebata bi têgehên asta bilind ve biçin.
Li şûna encamnameyekê, li vir axaftinek vexwendî heye: Bengio yek ji wan gelek zanyaran e ku hewl didin qada ML-yê li derveyî pirsgirêkên xweşbîniyê, SOTA û mîmariyên nû berfireh bikin.
Pirs vekirî dimîne heta çi radeyê berhevkirina pirsgirêkên hişmendiyê, bandora ziman li ser raman, neurobiolojî û algorîtmayan ew e ku di pêşerojê de li benda me ye û dê rê bide me ku em biçin makîneyên ku mîna mirovan "difikirin".
Spas!
Source: www.habr.com