NeuroIPS () a’ cho-labhairt as motha san t-saoghal air ionnsachadh innealan agus inntleachd fuadain agus am prìomh thachartas ann an saoghal ionnsachadh domhainn.
Am bi sinn, innleadairean DS, cuideachd a’ faighinn maighstireachd air bith-eòlas, cànanachas, agus eòlas-inntinn anns an deichead ùr? Innsidh sinn dhut san ath-bhreithneachadh againn.
Am-bliadhna thug a’ cho-labhairt còrr air 13500 neach còmhla bho 80 dùthaich ann an Vancouver, Canada. Chan e seo a’ chiad bhliadhna a tha Sberbank air an Ruis a riochdachadh aig a’ cho-labhairt - bhruidhinn sgioba DS mu bhuileachadh ML ann am pròiseasan bancaidh, mun cho-fharpais ML agus mu chomasan àrd-ùrlar Sberbank DS. Dè na prìomh ghluasadan a bh’ ann an 2019 anns a’ choimhearsnachd ML? Tha com-pàirtichean na co-labhairt ag ràdh: и .
Am-bliadhna, ghabh NeurIPS ri còrr air 1400 pàipear - algorithms, modalan ùra, agus tagraidhean ùra gu dàta ùr.
Clàr-innse:
- Trends
-
- Eadar-mhìneachadh modail
- Ioma-chuspair
- Adhbhar
- RL
- GAN
- Còmhraidhean bunaiteach le cuireadh
-
- “Eòlas Sòisealta”, Blaise Aguera agus Arcas (Google)
- “Saidheans Dàta Veridical”, Bin Yu (Berkeley)
- “Modaladh Giùlan Daonna le Ionnsachadh Inneal: Cothroman is Dùbhlain”, Nuria M Oliver, Albert Ali Salah
- “Bho shiostam 1 gu siostam 2 ionnsachadh domhainn”, Yoshua Bengio
Gluasadan 2019
1. Mìneachadh modail agus modh-obrach ML ùr
Is e prìomh chuspair na co-labhairt mìneachadh agus fianais air carson a gheibh sinn toraidhean sònraichte. Faodaidh aon bruidhinn airson ùine mhòr mu cho cudromach sa tha feallsanachd “bogsa dubh” mìneachadh, ach bha barrachd dhòighean fìor agus leasachaidhean teignigeach san raon seo.
Tha an dòigh-obrach airson ath-riochdachadh mhodalan agus eòlas a tharraing bhuapa na inneal ùr airson saidheans. Faodaidh modalan a bhith nan inneal airson eòlas ùr fhaighinn agus deuchainn a dhèanamh air, agus feumaidh gach ìre de ro-ghiollachd, trèanadh agus cleachdadh a’ mhodail a bhith air ath-riochdachadh.
Tha cuibhreann nach beag de fhoillseachaidhean a’ buntainn chan ann ri togail mhodalan agus innealan, ach ri duilgheadasan dèanamh cinnteach à tèarainteachd, follaiseachd agus dearbhadh thoraidhean. Gu sònraichte, tha sruth air leth air nochdadh mu ionnsaighean air a 'mhodail (ionnsaighean dùbhlanach), agus thathar a' beachdachadh air roghainnean airson an dà chuid ionnsaigh air trèanadh agus ionnsaighean air tagradh.
Artaigilean:
- - artaigil prògramaichte air an dòigh-obrach airson dearbhadh modail. A’ toirt a-steach tar-shealladh air innealan ùr-nodha airson modalan a mhìneachadh, gu sònraichte, cleachdadh aire agus faighinn cudrom feart le bhith “a’ grùdaireachd ”an lìonra neural le modalan sreathach.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Eideard Raff
Tha ExBert.net a’ sealltainn mìneachadh modail airson gnìomhan giollachd teacsa
2. Iomadachachd
Gus dèanamh cinnteach à dearbhadh earbsach agus dòighean a leasachadh airson eòlas a dhearbhadh agus a leudachadh, feumaidh sinn eòlaichean ann an raointean co-cheangailte aig a bheil comasan aig an aon àm ann am ML agus ann an raon cuspair (leighis, cànanachas, neurobiology, foghlam, msaa). Is fhiach a bhith mothachail gu bheil làthaireachd nas cudromaiche de dh ’obraichean agus òraidean ann an neur-saidheans agus saidheansan inntinneil - tha rapprochement de eòlaichean agus iasad bheachdan.
A bharrachd air an rapprochement seo, tha ioma-chuspaireachd a’ nochdadh ann an co-obrachadh fiosrachaidh bho dhiofar stòran: teacsa agus dealbhan, teacsa agus geamannan, stòran-dàta grafa + teacsa agus dealbhan.
Artaigilean:
- Neuro-eòlas + ML -
- VisualQA -
- RL + NLP -
Dà mhodail - ro-innleachdach agus gnìomhaiche - stèidhichte air ro-innleachd cluich air-loidhne RL agus NLP
3. Adhbhar
Tha neartachadh inntleachd fuadain na ghluasad a dh’ ionnsaigh siostaman fèin-ionnsachaidh, “mothachail”, reusanachadh agus reusanachadh. Gu sònraichte, tha co-dhùnaidhean adhbharach agus reusanachadh ciall cumanta a’ tighinn air adhart. Tha cuid de na h-aithisgean gu sònraichte airson meta-ionnsachadh (mu dheidhinn mar a dh’ ionnsaicheas tu ionnsachadh) agus am measgachadh de theicneòlasan DL le loidsig òrdugh 1st agus 2nd - tha an teirm Artificial General Intelligence (AGI) a’ fàs na theirm cumanta ann an òraidean luchd-labhairt.
Artaigilean:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
Ionnsachadh 4.Reinforcement
Tha a’ mhòr-chuid den obair a’ leantainn air adhart a’ leasachadh raointean traidiseanta de RL - DOTA2, Starcraft, a’ cothlamadh ailtireachd le lèirsinn coimpiutair, NLP, stòran-dàta grafa.
Chaidh latha air leth den cho-labhairt a thoirt do bhùth-obrach RL, far an deach ailtireachd Modail Slatan-tomhais Cleasaiche Optimistic a thaisbeanadh, nas fheàrr na an fheadhainn a bh’ ann roimhe, gu sònraichte Soft Actor Critic.
Artaigilean:
- ; Kamil Ciosek, Quan Vuong, Raibeart Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Lìonra as Fheàrr, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Lìonra Roghaichte); Takahiro Ishikawa (Oilthigh Tokyo) [ceangal taobh a-muigh pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Oilthigh Thoronto); Mohammad Norouzi (Google Brain)
Bidh cluicheadairean StarCraft a’ sabaid ri modal Alphastar (DeepMind)
5.GAN
Tha lìonraidhean ginealachd fhathast fo aire: bidh mòran obraichean a’ cleachdadh vanilla GANs airson dearbhaidhean matamataigeach, agus cuideachd gan cur an sàs ann an dòighean ùra, neo-àbhaisteach (modailean gineadh grafa, ag obair le sreath, cleachdadh airson dàimhean adhbhar-is-buaidh ann an dàta, msaa).
Artaigilean:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Bho chaidh gabhail ri barrachd obrach Gu h-ìosal bruidhnidh sinn mu na h-òraidean as cudromaiche.
Còmhraidhean le cuireadh
“Eòlas Sòisealta”, Blaise Aguera agus Arcas (Google)
Bidh an òraid a’ cuimseachadh air an dòigh-obrach choitcheann airson ionnsachadh innealan agus na tha san amharc don ghnìomhachas atharrachadh an-dràsta - dè an crois-rathaid a tha romhainn? Ciamar a tha an eanchainn agus mean-fhàs ag obair, agus carson a tha sinn a’ dèanamh cho beag feum de na tha fios againn mu thràth mu leasachadh shiostaman nàdarra?
Tha leasachadh tionnsgalach ML gu ìre mhòr aig an aon àm ri clachan-mìle leasachadh Google, a bhios a’ foillseachadh an rannsachaidh aige air NeurIPS bliadhna às deidh bliadhna:
- 1997 - cur air bhog goireasan sgrùdaidh, ciad luchd-frithealaidh, cumhachd coimpiutaireachd beag
- 2010 - Jeff Dean a’ cur air bhog pròiseact Google Brain, àrdachadh lìonraidhean neural aig an fhìor thoiseach
- 2015 - buileachadh gnìomhachais de lìonraidhean neural, aithne aghaidh luath gu dìreach air inneal ionadail, pròiseasairean ìre ìosal air an dealbhadh airson coimpiutaireachd tensor - TPU. Bidh Google a ’cur air bhog Coral ai - analog de raspberry pi, mion-choimpiutair airson lìonraidhean neural a thoirt a-steach gu ionadan deuchainneach
- 2017 - Bidh Google a ’tòiseachadh a’ leasachadh trèanadh dì-mheadhanaichte agus a ’cothlamadh toraidhean trèanadh lìonra neural bho dhiofar innealan gu aon mhodail - air Android
An-diugh, tha gnìomhachas slàn gu sònraichte airson tèarainteachd dàta, cruinneachadh, agus ath-riochdachadh builean ionnsachaidh air innealan ionadail.
- stiùireadh ML anns am bi modalan fa leth ag ionnsachadh gu neo-eisimeileach bho chèile agus an uairsin air an cur còmhla ann an aon mhodail (gun a bhith a’ meadhanachadh an dàta stòr), air an atharrachadh airson tachartasan tearc, neo-riaghailteachdan, pearsanachadh, msaa. Tha a h-uile inneal Android gu ìre mhòr nan aon supercomputer coimpiutaireachd airson Google.
Tha modalan ginealach stèidhichte air ionnsachadh aonaichte nan slighe gealltanach san àm ri teachd a rèir Google, a tha “anns na tràth ìrean de fhàs eas-chruthach.” Tha GANn, a rèir an òraidiche, comasach air ionnsachadh a bhith ag ath-riochdachadh giùlan mòr àireamhan de fhàs-bheairtean beò agus algorithms smaoineachaidh.
A’ cleachdadh an eisimpleir de dhà ailtireachd GAN sìmplidh, thathas a’ sealltainn gu bheil iad a’ lorg slighe optimization a’ dol ann an cearcall, a’ ciallachadh nach tachair optimization mar sin. Aig an aon àm, tha na modailean sin air leth soirbheachail ann a bhith ag atharrais air na deuchainnean a bhios bith-eòlaichean a’ dèanamh air àireamhan bacteriach, gan toirt orra ro-innleachdan giùlain ùra ionnsachadh a bhith a’ lorg biadh. Faodaidh sinn a cho-dhùnadh gu bheil beatha ag obair ann an dòigh eadar-dhealaichte seach an gnìomh optimization.
Optimization GAN coiseachd
Is e a h-uile rud a nì sinn taobh a-staigh frèam ionnsachadh innealan a-nis gnìomhan cumhang agus air leth foirmeil, fhad ‘s nach eil na foirmealachdan sin a’ gnàthachadh gu math agus nach eil iad a ’freagairt ris an eòlas cuspair againn ann an raointean leithid neurophysiology agus bith-eòlas.
Is e an rud as fhiach iasad fhaighinn bho raon neurophysiology a dh’ aithghearr ailtirean neuron ùra agus ath-sgrùdadh beag air na dòighean air cùl-mhilleadh mhearachdan.
Chan eil an eanchainn daonna fhèin ag ionnsachadh mar lìonra neural:
- Chan eil cuir a-steach bun-sgoile air thuaiream aige, a’ toirt a-steach an fheadhainn a tha air an cur sìos tro na ciad-fàthan agus ann an leanabachd
- Tha treòrachadh bunaiteach aige mu leasachadh instinctive (am miann cànan ionnsachadh bho leanabh, a 'coiseachd dìreach)
Is e obair aig ìre ìosal a th’ ann a bhith a’ trèanadh eanchainn fa-leth; is dòcha gum bu chòir dhuinn beachdachadh air “coloinidhean” de dhaoine fa leth a tha ag atharrachadh gu luath a’ toirt seachad eòlas dha chèile gus dòighean mean-fhàs buidhne ath-riochdachadh.
Na rudan as urrainn dhuinn a ghabhail a-steach do algorithms ML a-nis:
- Cuir a-steach modalan loidhne cealla a nì cinnteach gum bi an sluagh ag ionnsachadh, ach beatha ghoirid an neach (eanchainn fa leth)
- Beagan ionnsachadh le dealbhan a’ cleachdadh àireamh bheag de eisimpleirean
- Structaran neuron nas iom-fhillte, gnìomhan gnìomhachaidh beagan eadar-dhealaichte
- A’ gluasad an “genome” chun ath ghinealach - algairim cùl-mholaidh
- Cho luath ‘s a cheanglas sinn neurophysiology agus lìonraidhean neural, ionnsaichidh sinn mar a thogas sinn eanchainn ioma-ghnìomhach bho iomadh pàirt.
Bhon t-sealladh seo, tha cleachdadh fhuasglaidhean SOTA millteach agus bu chòir ath-sgrùdadh a dhèanamh air airson gnìomhan cumanta (slat-tomhais) a leasachadh.
“Saidheans Dàta Veridical”, Bin Yu (Berkeley)
Tha an aithisg coisrigte don duilgheadas ann a bhith ag eadar-mhìneachadh mhodalan ionnsachaidh inneal agus an dòigh-obrach airson an deuchainn agus an dearbhadh dìreach. Faodar modal ML le trèanadh sam bith fhaicinn mar thùs eòlais a dh’ fheumar a thoirt bhuaithe.
Ann am mòran raointean, gu sònraichte ann an cungaidh-leigheis, tha e do-dhèanta modal a chleachdadh gun a bhith a ’toirt a-mach an eòlas falaichte seo agus a’ mìneachadh toraidhean a ’mhodail - air dhòigh eile cha bhith sinn cinnteach gum bi na toraidhean seasmhach, neo-thuaiream, earbsach, agus nach cuir iad às don euslainteach. Tha dòigh-obrach làn stiùireadh obrach a’ leasachadh taobh a-staigh a’ phìos ionnsachaidh domhainn agus a’ dol seachad air a chrìochan - veridical data science. Dè th' ann?
Tha sinn airson a leithid de chàileachd de fhoillseachaidhean saidheansail agus ath-riochdachadh mhodalan a choileanadh is iad:
- ro-innseach
- coimpiutaireachd
- seasmhach
Tha na trì prionnsapalan sin nam bunait don dòigh-obrach ùr. Ciamar a ghabhas modalan ML a dhearbhadh a rèir nan slatan-tomhais sin? Is e an dòigh as fhasa modalan a ghabhas mìneachadh sa bhad a thogail (regressions, craobhan co-dhùnaidh). Ach, tha sinn cuideachd airson na buannachdan sa bhad fhaighinn bho ionnsachadh domhainn.
Tha grunn dhòighean ann mu thràth airson obrachadh leis an duilgheadas:
- mìneachadh a 'mhodail;
- dòighean a chleachdadh stèidhichte air aire;
- cleachd ensembles de algorithms nuair a bhios tu a’ trèanadh, agus dèan cinnteach gun ionnsaich modalan sreathach eadar-mhìneachaidh na h-aon fhreagairtean ris an lìonra neural, a’ mìneachadh feartan bhon mhodail sreathach;
- atharrachadh agus leudachadh air dàta trèanaidh. Tha seo a’ gabhail a-steach cur ri fuaim, bacadh, agus àrdachadh dàta;
- dòighean sam bith a chuidicheas le bhith a’ dèanamh cinnteach nach eil toraidhean a’ mhodail air thuaiream agus nach eil iad an urra ri bacadh beag gun iarraidh (ionnsaighean nàmhaid);
- mìneachadh a 'mhodail an dèidh an fhìrinn, an dèidh trèanadh;
- sgrùdadh feartan cuideam ann an diofar dhòighean;
- Dèan sgrùdadh air coltachd a h-uile beachd-bharail, cuairteachadh clas.
ionnsaigh ionnsaigheach
Tha mearachdan modaladh cosgail don h-uile duine: is e prìomh eisimpleir obair Reinhart agus Rogov."“ thug e buaidh air poileasaidhean eaconamach mòran de dhùthchannan Eòrpach agus thug iad orra poileasaidhean teanntachd a leantainn, ach sheall ath-sgrùdadh faiceallach air an dàta agus na bliadhnaichean làimhseachaidh aca an toradh eile!
Tha a chuairt-beatha fhèin aig teicneòlas ML sam bith bho bhuileachadh gu buileachadh. Is e amas a’ mhodh-obrach ùr sgrùdadh a dhèanamh air trì prionnsapalan bunaiteach aig gach ìre de bheatha a’ mhodail.
Toraidhean:
- Tha grunn phròiseactan gan leasachadh a chuidicheas modal ML a bhith nas earbsaiche. Is e seo, mar eisimpleir, deeptune (ceangal gu: );
- Airson tuilleadh leasachaidh air an dòigh-obrach, feumar càileachd foillseachaidhean ann an raon ML a leasachadh gu mòr;
- Feumaidh ionnsachadh inneal stiùirichean le trèanadh ioma-chuspaireil agus eòlas ann an raointean teignigeach agus daonnachdan.
“Modaladh Giùlan Daonna le Ionnsachadh Inneal: Cothroman is Dùbhlain” Nuria M Oliver, Albert Ali Salah
Òraid a tha coisrigte ri bhith a’ modaladh giùlan daonna, na bunaitean teicneòlach aige agus na cothroman tagraidh.
Faodar modaladh giùlan daonna a roinn ann an:
- giùlan fa leth
- giùlan buidheann bheag de dhaoine
- giùlan mòr
Faodar gach aon de na seòrsaichean sin a mhodaladh le bhith a’ cleachdadh ML, ach le fiosrachadh agus feartan cur-a-steach gu tur eadar-dhealaichte. Tha a chùisean beusanta fhèin aig gach seòrsa cuideachd a bhios gach pròiseact a’ dol troimhe:
- giùlan fa-leth - goid dearbh-aithne, briseadh domhainn;
- giùlan bhuidhnean de dhaoine - dì-ainmeachadh, faighinn fiosrachadh mu ghluasadan, fiosan fòn, msaa;
Giùlan fa leth
Sa mhòr-chuid co-cheangailte ri cuspair Lèirsinn Coimpiutaireachd - aithneachadh faireachdainnean agus ath-bheachdan daonna. Is dòcha a-mhàin ann an co-theacsa, ann an ùine, no le sgèile coimeasach a chuid faireachdainnean fhèin. Tha an sleamhnag a’ sealltainn aithne air faireachdainnean Mona Lisa a’ cleachdadh co-theacsa bho speactram tòcail boireannaich na Meadhan-thìreach. Toradh: gàire aoibhneis, ach le tàir agus tàmailt. Tha an adhbhar as coltaiche anns an dòigh theicnigeach airson faireachdainn “neodrach” a mhìneachadh.
Giùlan buidheann bheag de dhaoine
Gu ruige seo tha am modail as miosa air sgàth dìth fiosrachaidh. Mar eisimpleir, chaidh obraichean bho 2018 - 2019 a shealltainn. air dusanan de dhaoine X dusanan de bhideothan (cf. 100k++ dealbhan dàta). Gus an obair seo a mhodail as fheàrr, tha feum air fiosrachadh ioma-mhodhail, mas fheàrr bho luchd-mothachaidh air corp-altimeter, teirmiméadar, clàradh microfòn, msaa.
Giùlan maise
Is e an raon as leasaichte, leis gur e an neach-ceannach an UN agus mòran stàitean. Camarathan sgrùdaidh a-muigh, dàta bho thùir fòn - cunntas, SMS, fiosan, dàta mu ghluasad eadar crìochan stàite - tha seo uile a ’toirt dealbh fìor earbsach de ghluasad dhaoine agus neo-sheasmhachd sòisealta. Cleachdaidhean a dh’fhaodadh a bhith aig an teicneòlas: obair teasairginn as fheàrr, cuideachadh agus falmhachadh an t-sluaigh ann an deagh àm ri linn èiginn. Tha na modailean a thathar a’ cleachdadh sa mhòr-chuid fhathast air an droch mhìneachadh - is iad sin diofar LSTM agus lìonraidhean connspaideach. Chaidh aithris ghoirid a dhèanamh gun robh an UN a’ coiteachadh airson lagh ùr a bheireadh air gnìomhachasan Eòrpach an dàta gun urra a tha riatanach airson rannsachadh sam bith a cho-roinn.
“Bho shiostam 1 gu siostam 2 ionnsachadh domhainn”, Yoshua Bengio
Ann an òraid Joshua Bengio, bidh ionnsachadh domhainn a’ coinneachadh ri neur-eòlas aig ìre suidheachadh amasan.
Tha Bengio a’ comharrachadh dà phrìomh sheòrsa de dhuilgheadas a rèir modh-obrach an labhraiche Nobel Daniel Kahneman (leabhar “")
seòrsa 1 - Siostam 1, gnìomhan neo-fhiosrachail a bhios sinn a’ dèanamh “gu fèin-ghluasadach” (eanchainn àrsaidh): a’ draibheadh càr ann an àiteachan air a bheil sinn eòlach, a’ coiseachd, ag aithneachadh aghaidhean.
seòrsa 2 - Siostam 2, gnìomhan mothachail (cortex cerebral), suidheachadh amasan, mion-sgrùdadh, smaoineachadh, gnìomhan co-dhèanta.
Tha AI gu ruige seo air àirde gu leòr a ruighinn a-mhàin ann an gnìomhan den chiad sheòrsa, agus is e an obair againn a thoirt chun dàrna fear, a theagasg gus gnìomhachd ioma-chuspaireil a dhèanamh agus obrachadh le loidsig agus sgilean inntinneil àrd-ìre.
Gus an amas seo a choileanadh thathar a’ moladh:
- ann an gnìomhan NLP, cleachd aire mar phrìomh dhòigh airson smaoineachadh modaladh
- cleachdadh meta-ionnsachadh agus ionnsachadh riochdachaidh gus feartan modail a bheir buaidh air mothachadh agus an suidheachadh ionadail aca a mhodail - agus air an stèidh aca gluais air adhart gu bhith ag obair le bun-bheachdan àrd-ìre.
An àite co-dhùnadh, seo òraid cuireadh: tha Bengio air aon de dh'iomadh neach-saidheans a tha a’ feuchainn ri raon ML a leudachadh nas fhaide na duilgheadasan optimization, SOTA agus ailtireachd ùr.
Tha a’ cheist fhathast fosgailte gu dè an ìre gu bheil an cothlamadh de dhuilgheadasan mothachaidh, buaidh cànain air smaoineachadh, neurobiology agus algoirmean na tha a’ feitheamh oirnn san àm ri teachd agus a leigeas leinn gluasad gu innealan a tha “a’ smaoineachadh ”mar dhaoine.
Tapadh leibh!
Source: www.habr.com