NeuroIPS () yw cynhadledd fwyaf y byd ar ddysgu peiriannau a deallusrwydd artiffisial a'r prif ddigwyddiad ym myd dysgu dwfn.
A fyddwn ni, peirianwyr DS, hefyd yn meistroli bioleg, ieithyddiaeth a seicoleg yn y degawd newydd? Byddwn yn dweud wrthych yn ein hadolygiad.
Eleni daeth y gynhadledd â mwy na 13500 o bobl o 80 o wledydd ynghyd yn Vancouver, Canada. Nid dyma'r flwyddyn gyntaf i Sberbank gynrychioli Rwsia yn y gynhadledd - siaradodd tîm DS am weithrediad ML mewn prosesau bancio, am gystadleuaeth ML ac am alluoedd platfform Sberbank DS. Beth oedd prif dueddiadau 2019 yn y gymuned ML? Dywed cyfranogwyr y gynhadledd: и .
Eleni, derbyniodd NeurIPS fwy na 1400 o bapurau—algorithmau, modelau newydd, a chymwysiadau newydd i ddata newydd.
Cynnwys:
- Tueddiadau
-
- Model dehongliad
- Amlddisgyblaeth
- Rhesymu
- RL
- GAN
- Sgyrsiau Sylfaenol Gwahoddedig
-
- “Deallusrwydd Cymdeithasol”, Blaise Aguera ac Arcas (Google)
- “Gwyddor Data Veridical”, Bin Yu (Berkeley)
- “Modelu Ymddygiad Dynol gyda Dysgu Peiriannau: Cyfleoedd a Heriau”, Nuria M Oliver, Albert Ali Salah
- “O System 1 i Ddysgu Dwfn System 2”, Yoshua Bengio
Tueddiadau 2019
1. Model dehongliad a methodoleg ML newydd
Prif bwnc y gynhadledd yw dehongliad a thystiolaeth o pam rydym yn cael canlyniadau penodol. Gellir siarad am amser hir am bwysigrwydd athronyddol y dehongliad “blwch du”, ond roedd mwy o ddulliau gwirioneddol a datblygiadau technegol yn y maes hwn.
Mae'r fethodoleg ar gyfer atgynhyrchu modelau a thynnu gwybodaeth ohonynt yn becyn cymorth newydd ar gyfer gwyddoniaeth. Gall modelau fod yn arf ar gyfer cael gwybodaeth newydd a'i phrofi, a rhaid i bob cam o ragbrosesu, hyfforddi a chymhwyso'r model fod yn atgynhyrchadwy.
Mae cyfran sylweddol o gyhoeddiadau wedi'u neilltuo nid i adeiladu modelau ac offer, ond i'r problemau o sicrhau diogelwch, tryloywder a dilysrwydd canlyniadau. Yn benodol, mae ffrwd ar wahân wedi ymddangos am ymosodiadau ar y model (ymosodiadau gwrthwynebus), ac mae opsiynau ar gyfer ymosodiadau ar hyfforddiant ac ymosodiadau ar gais yn cael eu hystyried.
Erthyglau:
- — erthygl raglennol ar fethodoleg dilysu model. Yn cynnwys trosolwg o offer modern ar gyfer dehongli modelau, yn arbennig, y defnydd o sylw a chael pwysigrwydd nodwedd trwy “distyllu” y rhwydwaith niwral gyda modelau llinol.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
Mae ExBert.net yn dangos dehongliad enghreifftiol ar gyfer tasgau prosesu testun
2. Amlddisgyblaeth
Er mwyn sicrhau gwiriad dibynadwy a datblygu mecanweithiau ar gyfer gwirio ac ehangu gwybodaeth, mae angen arbenigwyr mewn meysydd cysylltiedig sydd â chymwyseddau mewn ML ac yn y maes pwnc ar yr un pryd (meddygaeth, ieithyddiaeth, niwrobioleg, addysg, ac ati). Mae'n arbennig o werth nodi presenoldeb mwy arwyddocaol gweithiau ac areithiau yn y niwrowyddorau a'r gwyddorau gwybyddol - mae arbenigwyr yn cael eu rapprochement a benthyca syniadau.
Yn ogystal â'r rapprochement hwn, mae amlddisgyblaeth yn dod i'r amlwg wrth brosesu gwybodaeth ar y cyd o wahanol ffynonellau: testun a ffotograffau, testun a gemau, cronfeydd data graffiau + testun a ffotograffau.
Erthyglau:
- Niwrowyddoniaeth + ML —
- VisualQA -
- RL + NLP -
Dau fodel - strategydd a gweithrediaeth - yn seiliedig ar strategaeth chwarae ar-lein RL a NLP
3. Rhesymu
Mae cryfhau deallusrwydd artiffisial yn symudiad tuag at systemau hunan-ddysgu, “ymwybodol”, rhesymu a rhesymu. Yn benodol, mae casgliad achosol a rhesymu synnwyr cyffredin yn datblygu. Mae rhai o'r adroddiadau wedi'u neilltuo i feta-ddysgu (am sut i ddysgu sut i ddysgu) ac mae'r cyfuniad o dechnolegau DL gyda rhesymeg trefn 1af ac 2il drefn - mae'r term Deallusrwydd Cyffredinol Artiffisial (AGI) yn dod yn derm cyffredin mewn areithiau siaradwyr.
Erthyglau:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Dysgu Atgyfnerthu
Mae'r rhan fwyaf o'r gwaith yn parhau i ddatblygu meysydd traddodiadol o RL - DOTA2, Starcraft, gan gyfuno pensaernïaeth â gweledigaeth gyfrifiadurol, NLP, cronfeydd data graff.
Neilltuwyd diwrnod ar wahân o'r gynhadledd i weithdy RL, lle cyflwynwyd pensaernïaeth y Model Beirniadol Actor Optimistaidd, yn well na'r holl rai blaenorol, yn enwedig Soft Actor Critic.
Erthyglau:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Rhwydweithiau a Ffefrir, Inc.)*; Toshiki Kataoka (Rhwydweithiau a Ffefrir, Inc.); Prabhat Nagarajan (Rhwydweithiau a Ffefrir); Takahiro Ishikawa (Prifysgol Tokyo) [dolen pdf allanol].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Prifysgol Toronto); Mohammad Norouzi (Google Brain)
Mae chwaraewyr StarCraft yn brwydro yn erbyn model Alphastar (DeepMind)
5.GAN
Mae rhwydweithiau cynhyrchiol yn dal i fod dan y chwyddwydr: mae llawer o weithiau'n defnyddio GANs fanila ar gyfer proflenni mathemategol, a hefyd yn eu cymhwyso mewn ffyrdd newydd, anarferol (modelau cynhyrchu graff, gweithio gyda chyfresi, cymhwyso i berthnasoedd achos-ac-effaith mewn data, ac ati).
Erthyglau:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Ers derbyn mwy o waith Isod byddwn yn siarad am yr areithiau pwysicaf.
Sgyrsiau Gwahoddedig
“Deallusrwydd Cymdeithasol”, Blaise Aguera ac Arcas (Google)
Mae'r sgwrs yn canolbwyntio ar fethodoleg gyffredinol dysgu peirianyddol a'r rhagolygon newid y diwydiant ar hyn o bryd - pa groesffordd sy'n ein hwynebu? Sut mae’r ymennydd ac esblygiad yn gweithio, a pham rydyn ni’n gwneud cyn lleied o ddefnydd o’r hyn rydyn ni’n ei wybod eisoes am ddatblygiad systemau naturiol?
Mae datblygiad diwydiannol ML yn cyd-fynd i raddau helaeth â cherrig milltir datblygiad Google, sy'n cyhoeddi ei ymchwil ar NeurIPS flwyddyn ar ôl blwyddyn:
- 1997 - lansio cyfleusterau chwilio, gweinyddwyr cyntaf, pŵer cyfrifiadura bach
- 2010 - Jeff Dean yn lansio prosiect Google Brain, ffyniant rhwydweithiau niwral ar y cychwyn cyntaf
- 2015 - gweithredu rhwydweithiau niwral yn ddiwydiannol, cydnabyddiaeth wyneb cyflym yn uniongyrchol ar ddyfais leol, proseswyr lefel isel wedi'u teilwra ar gyfer cyfrifiadura tensor - TPU. Mae Google yn lansio Coral ai - analog o raspberry pi, cyfrifiadur bach ar gyfer cyflwyno rhwydweithiau niwral i osodiadau arbrofol
- 2017 - Google yn dechrau datblygu hyfforddiant datganoledig a chyfuno canlyniadau hyfforddiant rhwydwaith niwral o wahanol ddyfeisiau yn un model - ar Android
Heddiw, mae diwydiant cyfan yn ymroddedig i ddiogelu data, agregu, ac atgynhyrchu canlyniadau dysgu ar ddyfeisiau lleol.
- cyfeiriad ML lle mae modelau unigol yn dysgu'n annibynnol ar ei gilydd ac yna'n cael eu cyfuno i fodel sengl (heb ganoli'r data ffynhonnell), wedi'i addasu ar gyfer digwyddiadau prin, anghysondebau, personoli, ac ati. Mae pob dyfais Android yn ei hanfod yn un uwchgyfrifiadur cyfrifiadurol ar gyfer Google.
Mae modelau cynhyrchiol sy'n seiliedig ar ddysgu ffederal yn gyfeiriad addawol ar gyfer y dyfodol yn ôl Google, sydd “yng nghamau cynnar twf esbonyddol.” Mae GANs, yn ôl y darlithydd, yn gallu dysgu i atgynhyrchu ymddygiad torfol poblogaethau o organebau byw ac algorithmau meddwl.
Gan ddefnyddio'r enghraifft o ddwy saernïaeth GAN syml, dangosir bod chwilio am lwybr optimeiddio ynddynt yn crwydro mewn cylch, sy'n golygu nad yw optimeiddio fel y cyfryw yn digwydd. Ar yr un pryd, mae'r modelau hyn yn llwyddiannus iawn wrth efelychu'r arbrofion y mae biolegwyr yn eu perfformio ar boblogaethau bacteriol, gan eu gorfodi i ddysgu strategaethau ymddygiad newydd wrth chwilio am fwyd. Gallwn ddod i'r casgliad bod bywyd yn gweithio'n wahanol na'r swyddogaeth optimeiddio.
Optimeiddio GAN Cerdded
Y cyfan a wnawn yn y fframwaith dysgu peirianyddol nawr yw tasgau cul a hynod ffurfiol, tra nad yw'r ffurfioldebau hyn yn cyffredinoli'n dda ac nid ydynt yn cyfateb i'n gwybodaeth bynciol mewn meysydd fel niwroffisioleg a bioleg.
Yr hyn sy'n wirioneddol werth ei fenthyca o faes niwroffisioleg yn y dyfodol agos yw pensaernïaeth niwronau newydd ac ychydig o adolygiad o fecanweithiau backpropagation o wallau.
Nid yw'r ymennydd dynol ei hun yn dysgu fel rhwydwaith niwral:
- Nid oes ganddo fewnbynnau cynradd ar hap, gan gynnwys y rhai a osodwyd trwy'r synhwyrau ac yn ystod plentyndod
- Mae ganddo gyfarwyddiadau cynhenid datblygiad greddfol (yr awydd i ddysgu iaith oddi wrth faban, gan gerdded yn unionsyth)
Mae hyfforddi ymennydd unigol yn dasg lefel isel; efallai y dylem ystyried “cytrefi” o unigolion sy'n newid yn gyflym ac yn trosglwyddo gwybodaeth i'w gilydd i atgynhyrchu mecanweithiau esblygiad grŵp.
Yr hyn y gallwn ei fabwysiadu yn algorithmau ML nawr:
- Cymhwyso modelau llinach celloedd sy'n sicrhau dysgu'r boblogaeth, ond bywyd byr yr unigolyn (“ymennydd unigol”)
- Ychydig o ddysgu trwy ergyd gan ddefnyddio nifer fach o enghreifftiau
- Strwythurau niwron mwy cymhleth, swyddogaethau actifadu ychydig yn wahanol
- Trosglwyddo'r “genom” i'r cenedlaethau nesaf - algorithm ôl-blygu
- Unwaith y byddwn yn cysylltu niwroffisioleg a rhwydweithiau niwral, byddwn yn dysgu sut i adeiladu ymennydd amlswyddogaethol o lawer o gydrannau.
O'r safbwynt hwn, mae arfer datrysiadau SOTA yn niweidiol a dylid eu hadolygu er mwyn datblygu tasgau cyffredin (meincnodau).
“Gwyddor Data Veridical”, Bin Yu (Berkeley)
Mae'r adroddiad yn canolbwyntio ar y broblem o ddehongli modelau dysgu peirianyddol a'r fethodoleg ar gyfer eu profi a'u dilysu'n uniongyrchol. Gellir gweld unrhyw fodel ML hyfforddedig fel ffynhonnell wybodaeth y mae angen ei thynnu ohono.
Mewn llawer o feysydd, yn enwedig mewn meddygaeth, mae'n amhosibl defnyddio model heb dynnu'r wybodaeth gudd hon a dehongli canlyniadau'r model - fel arall ni fyddwn yn sicr y bydd y canlyniadau'n sefydlog, heb fod ar hap, yn ddibynadwy, ac ni fyddant yn lladd y claf. Mae methodoleg cyfeiriad gwaith cyfan yn datblygu o fewn y patrwm dysgu dwfn ac yn mynd y tu hwnt i'w ffiniau - veridical data science. Beth yw e?
Rydym am sicrhau ansawdd cyhoeddiadau gwyddonol o’r fath ac atgynhyrchu modelau fel eu bod:
- rhagweladwy
- cyfrifadwy
- sefydlog
Mae'r tair egwyddor hyn yn sail i'r fethodoleg newydd. Sut y gellir gwirio modelau ML yn erbyn y meini prawf hyn? Y ffordd hawsaf yw adeiladu modelau y gellir eu dehongli ar unwaith (atchweliadau, coed penderfyniad). Fodd bynnag, rydym hefyd am gael manteision uniongyrchol dysgu dwfn.
Mae nifer o ffyrdd presennol o weithio gyda'r broblem:
- dehongli'r model;
- defnyddio dulliau sy'n seiliedig ar sylw;
- defnyddio ensembles o algorithmau wrth hyfforddi, a sicrhau bod modelau llinellol y gellir eu dehongli yn dysgu rhagfynegi'r un atebion â'r rhwydwaith niwral, gan ddehongli nodweddion o'r model llinol;
- newid ac ychwanegu at ddata hyfforddiant. Mae hyn yn cynnwys ychwanegu sŵn, ymyrraeth, ac ychwanegu at ddata;
- unrhyw ddulliau sy’n helpu i sicrhau nad yw canlyniadau’r model ar hap ac nad ydynt yn dibynnu ar fân ymyrraeth ddiangen (ymosodiadau gwrthwynebus);
- dehongli'r model ar ôl y ffaith, ar ôl hyfforddiant;
- astudio pwysau nodwedd mewn gwahanol ffyrdd;
- astudiwch debygolrwydd yr holl ddamcaniaethau, dosbarthiad dosbarth.
Ymosodiad gwrthwynebus
Mae gwallau modelu yn gostus i bawb: enghraifft wych yw gwaith Reinhart a Rogov."“ dylanwadu ar bolisïau economaidd llawer o wledydd Ewropeaidd a’u gorfodi i ddilyn polisïau llymder, ond dangosodd ail-wiriad gofalus o’r data a’u prosesu flynyddoedd yn ddiweddarach y canlyniad i’r gwrthwyneb!
Mae gan unrhyw dechnoleg ML ei chylch bywyd ei hun o weithredu i weithredu. Nod y fethodoleg newydd yw gwirio tair egwyddor sylfaenol ar bob cam o fywyd y model.
Canlyniadau:
- Mae sawl prosiect yn cael eu datblygu a fydd yn helpu'r model ML i fod yn fwy dibynadwy. Mae hyn, er enghraifft, yn deeptune (dolen i: );
- Er mwyn datblygu'r fethodoleg ymhellach, mae angen gwella ansawdd cyhoeddiadau ym maes ML yn sylweddol;
- Arweinwyr anghenion dysgu peiriannau gyda hyfforddiant amlddisgyblaethol ac arbenigedd ym meysydd technegol a dyniaethau.
“Modelu Ymddygiad Dynol gyda Dysgu Peiriannau: Cyfleoedd a Heriau” Nuria M Oliver, Albert Ali Salah
Darlith ymroddedig i fodelu ymddygiad dynol, ei sylfeini technolegol a rhagolygon cais....
Gellir rhannu modelu ymddygiad dynol yn:
- ymddygiad unigol
- ymddygiad grŵp bach o bobl
- ymddygiad torfol
Gellir modelu pob un o'r mathau hyn gan ddefnyddio ML, ond gyda gwybodaeth mewnbwn a nodweddion hollol wahanol. Mae gan bob math hefyd ei faterion moesegol ei hun y mae pob prosiect yn mynd drwyddo:
- ymddygiad unigol – dwyn hunaniaeth, ffug ffug;
- ymddygiad grwpiau o bobl - dad-ddienw, cael gwybodaeth am symudiadau, galwadau ffôn, ac ati;
ymddygiad unigol
Yn ymwneud yn bennaf â'r pwnc Gweledigaeth Cyfrifiadurol - adnabod emosiynau ac adweithiau dynol. Efallai mai dim ond mewn cyd-destun, mewn amser, neu gyda graddfa gymharol amrywioldeb ei emosiynau ei hun. Mae'r sleid yn dangos adnabyddiaeth o emosiynau Mona Lisa gan ddefnyddio cyd-destun o sbectrwm emosiynol merched Môr y Canoldir. Canlyniad: gwên o lawenydd, ond gyda dirmyg a ffieidd-dod. Mae'r rheswm yn fwyaf tebygol yn y ffordd dechnegol o ddiffinio emosiwn “niwtral”.
Ymddygiad grŵp bach o bobl
Hyd yn hyn mae'r model gwaethaf o ganlyniad i wybodaeth annigonol. Er enghraifft, dangoswyd gweithiau o 2018 – 2019. ar ddwsinau o bobl X dwsinau o fideos (cf. setiau data delwedd 100k++). Er mwyn modelu'r dasg hon yn y ffordd orau, mae angen gwybodaeth amlfodd, yn ddelfrydol o synwyryddion ar altimedr corff, thermomedr, recordiad meicroffon, ac ati.
Ymddygiad torfol
Y maes mwyaf datblygedig, gan fod y cwsmer yn y Cenhedloedd Unedig a llawer o daleithiau. Camerâu gwyliadwriaeth awyr agored, data o dyrau ffôn - bilio, SMS, galwadau, data ar symud rhwng ffiniau'r wladwriaeth - mae hyn i gyd yn rhoi darlun dibynadwy iawn o symudiad pobl ac ansefydlogrwydd cymdeithasol. Cymwysiadau posibl y dechnoleg: optimeiddio gweithrediadau achub, cymorth a gwacáu'r boblogaeth yn amserol yn ystod argyfyngau. Mae'r modelau a ddefnyddir yn dal i gael eu dehongli'n wael yn bennaf - mae'r rhain yn amrywiol LSTMs a rhwydweithiau troellog. Cafwyd sylw byr fod y Cenhedloedd Unedig yn lobïo am gyfraith newydd a fyddai’n gorfodi busnesau Ewropeaidd i rannu data dienw sy’n angenrheidiol ar gyfer unrhyw ymchwil.
“O System 1 i Ddysgu Dwfn System 2”, Yoshua Bengio
Yn narlith Joshua Bengio, mae dysgu dwfn yn cwrdd â niwrowyddoniaeth ar lefel gosod nodau.
Mae Bengio yn nodi dau brif fath o broblem yn ôl methodoleg enillydd gwobr Nobel Daniel Kahneman (llyfr “")
math 1 - System 1, gweithredoedd anymwybodol rydyn ni'n eu gwneud yn "awtomatig" (ymennydd hynafol): gyrru car mewn mannau cyfarwydd, cerdded, adnabod wynebau.
math 2 - System 2, gweithredoedd ymwybodol (cortecs cerebral), gosod nodau, dadansoddi, meddwl, tasgau cyfansawdd.
Hyd yn hyn, dim ond mewn tasgau o'r math cyntaf y mae AI wedi cyrraedd uchder digonol, a'n tasg ni yw dod ag ef i'r ail, gan ei ddysgu i gyflawni gweithrediadau amlddisgyblaethol a gweithredu gyda rhesymeg a sgiliau gwybyddol lefel uchel.
Er mwyn cyrraedd y nod hwn, cynigir:
- mewn tasgau NLP, defnyddio sylw fel mecanwaith allweddol ar gyfer modelu meddwl
- defnyddio meta-ddysgu a dysgu cynrychioliadol i fodelu nodweddion sy'n dylanwadu ar ymwybyddiaeth a'u lleoleiddio yn well - ac ar eu sail symud ymlaen i weithredu gyda chysyniadau lefel uwch.
Yn hytrach na chasgliad, dyma sgwrs wahoddedig: Mae Bengio yn un o lawer o wyddonwyr sy'n ceisio ehangu maes ML y tu hwnt i broblemau optimeiddio, SOTA a phensaernïaeth newydd.
Mae’r cwestiwn yn parhau’n agored i ba raddau y mae’r cyfuniad o broblemau ymwybyddiaeth, dylanwad iaith ar feddwl, niwrobioleg ac algorithmau yn aros amdanom yn y dyfodol ac yn caniatáu inni symud i beiriannau sy’n “meddwl” fel pobl.
Diolch yn fawr!
Ffynhonnell: hab.com