NeuroIPS () ni mkutano mkubwa zaidi duniani wa kujifunza kwa mashine na akili bandia na tukio kuu katika ulimwengu wa kujifunza kwa kina.
Je, sisi, wahandisi wa DS, pia tutabobea katika biolojia, isimu na saikolojia katika muongo mpya? Tutakuambia katika ukaguzi wetu.
Mwaka huu mkutano huo ulileta pamoja zaidi ya watu 13500 kutoka nchi 80 huko Vancouver, Kanada. Huu sio mwaka wa kwanza ambao Sberbank imewakilisha Urusi katika mkutano huo - timu ya DS ilizungumza kuhusu utekelezaji wa ML katika michakato ya benki, kuhusu ushindani wa ML na kuhusu uwezo wa jukwaa la Sberbank DS. Je, ni mitindo gani kuu ya 2019 katika jumuiya ya ML? Washiriki wa mkutano wanasema: ΠΈ .
Mwaka huu, NeurIPS ilikubali zaidi ya karatasi 1400βalgorithms, miundo mipya na programu mpya kwa data mpya.
Yaliyomo:
- Mwelekeo
-
- Ufafanuzi wa mfano
- Taaluma nyingi
- Hoja
- RL
- Gan
- Mazungumzo ya Msingi ya Kualikwa
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Sayansi ya Takwimu ya Haki", Bin Yu (Berkeley)
- "Kuiga Tabia ya Kibinadamu kwa Kujifunza kwa Mashine: Fursa na Changamoto", Nuria M Oliver, Albert Ali Salah
- "Kutoka Mfumo wa 1 hadi Mfumo wa 2 wa Mafunzo ya kina", Yoshua Bengio
Mitindo ya 2019
1. Ufafanuzi wa kielelezo na mbinu mpya ya ML
Mada kuu ya mkutano huo ni tafsiri na ushahidi wa kwa nini tunapata matokeo fulani. Mtu anaweza kuzungumza kwa muda mrefu juu ya umuhimu wa falsafa ya tafsiri ya "sanduku nyeusi", lakini kulikuwa na mbinu halisi zaidi na maendeleo ya kiufundi katika eneo hili.
Mbinu ya kunakili modeli na kupata maarifa kutoka kwayo ni zana mpya ya sayansi. Mitindo inaweza kutumika kama zana ya kupata maarifa mapya na kuyajaribu, na kila hatua ya usindikaji wa awali, mafunzo na utumiaji wa modeli lazima iweze kuzaliana.
Sehemu kubwa ya machapisho haijatolewa kwa ujenzi wa mifano na zana, lakini kwa shida za kuhakikisha usalama, uwazi na uthibitishaji wa matokeo. Hasa, mkondo tofauti umeonekana kuhusu mashambulizi ya mfano (mashambulizi ya adui), na chaguzi za mashambulizi yote juu ya mafunzo na mashambulizi ya maombi huzingatiwa.
Makala:
- - nakala ya programu juu ya mbinu ya uthibitishaji wa mfano. Inajumuisha muhtasari wa zana za kisasa za miundo ya ukalimani, haswa, matumizi ya umakini na kupata umuhimu wa kipengele kwa "kusafisha" mtandao wa neva kwa miundo ya mstari.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net inaonyesha tafsiri ya mfano kwa kazi za usindikaji wa maandishi
2. Taaluma nyingi
Ili kuhakikisha uthibitishaji unaotegemewa na kubuni mbinu za kuthibitisha na kupanua maarifa, tunahitaji wataalamu katika nyanja zinazohusiana ambao kwa wakati mmoja wana ujuzi katika ML na katika eneo la somo (dawa, isimu, neurobiolojia, elimu, n.k.). Inastahili kuzingatia uwepo muhimu zaidi wa kazi na hotuba katika sayansi ya neva na sayansi ya utambuzi - kuna ukaribu wa wataalam na kukopa kwa maoni.
Mbali na ukaribu huu, taaluma nyingi zinajitokeza katika usindikaji wa pamoja wa habari kutoka kwa vyanzo anuwai: maandishi na picha, maandishi na michezo, hifadhidata za grafu + maandishi na picha.
Makala:
- Sayansi ya Neuro + ML -
- VisualQA -
- RL + NLP -
Miundo miwili - mwanamkakati na mtendaji - kulingana na mkakati wa kucheza mtandaoni wa RL na NLP
3. Kujadili
Kuimarisha akili ya bandia ni harakati kuelekea mifumo ya kujifunza binafsi, "fahamu", hoja na hoja. Hasa, uelekezaji wa sababu na hoja za kawaida zinaendelea. Baadhi ya ripoti zimejikita katika mafunzo ya meta (kuhusu jinsi ya kujifunza kujifunza) na mchanganyiko wa teknolojia za DL zenye mantiki ya mpangilio wa 1 na wa 2 - neno Artificial General Intelligence (AGI) linakuwa neno la kawaida katika hotuba za wazungumzaji.
Makala:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Kuimarisha Mafunzo
Kazi nyingi zinaendelea kuendeleza maeneo ya jadi ya RL - DOTA2, Starcraft, kuchanganya usanifu na maono ya kompyuta, NLP, hifadhidata za grafu.
Siku tofauti ya mkutano ilitolewa kwa warsha ya RL, ambapo usanifu wa Optimistic Actor Critic Model uliwasilishwa, bora kuliko zote za awali, hasa Soft Actor Critic.
Makala:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Mitandao Inayopendelea, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Mitandao Inayopendekezwa); Takahiro Ishikawa (Chuo Kikuu cha Tokyo) [kiungo cha nje cha pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Chuo Kikuu cha Toronto); Mohammad Norouzi (Google Brain)
Wachezaji wa StarCraft wanapambana na mtindo wa Alphastar (DeepMind)
5.GAN
Mitandao ya uzalishaji bado iko katika uangalizi: kazi nyingi hutumia GAN za vanilla kwa uthibitisho wa hisabati, na pia huzitumia kwa njia mpya, zisizo za kawaida (miundo ya kuzalisha grafu, kufanya kazi na mfululizo, maombi ya kusababisha-na-athari uhusiano katika data, nk.).
Makala:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Kwa kuwa kazi zaidi ilikubaliwa Hapo chini tutazungumza juu ya hotuba muhimu zaidi.
Mazungumzo Yanayoalikwa
"Social Intelligence", Blaise Aguera y Arcas (Google)
Mazungumzo hayo yanaangazia mbinu ya jumla ya kujifunza kwa mashine na matarajio ya kubadilisha tasnia hivi sasa - ni njia panda zipi tunazokabiliana nazo? Ubongo na mageuzi hufanyaje kazi, na kwa nini sisi hutumia kidogo sana kile tunachojua tayari kuhusu ukuzi wa mifumo ya asili?
Maendeleo ya kiviwanda ya ML kwa kiasi kikubwa yanawiana na hatua muhimu za maendeleo ya Google, ambayo huchapisha utafiti wake kuhusu NeurIPS mwaka baada ya mwaka:
- 1997 - uzinduzi wa vituo vya utafutaji, seva za kwanza, nguvu ndogo za kompyuta
- 2010 - Jeff Dean anazindua mradi wa Google Brain, ukuaji wa mitandao ya neural mwanzoni kabisa
- 2015 - utekelezaji wa viwanda wa mitandao ya neva, utambuzi wa uso wa haraka moja kwa moja kwenye kifaa cha ndani, vichakataji vya kiwango cha chini vilivyoundwa kwa ajili ya kompyuta ya tensor - TPU. Google yazindua Coral ai - analogi ya raspberry pi, kompyuta ndogo kwa ajili ya kuanzisha mitandao ya neva katika usakinishaji wa majaribio
- 2017 - Google inaanza kutengeneza mafunzo yaliyogatuliwa na kuchanganya matokeo ya mafunzo ya mtandao wa neva kutoka kwa vifaa tofauti hadi muundo mmoja - kwenye Android.
Leo, tasnia nzima imejitolea kwa usalama wa data, ujumlishaji na urudufishaji wa matokeo ya kujifunza kwenye vifaa vya ndani.
- mwelekeo wa ML ambapo miundo ya mtu binafsi hujifunza kwa kujitegemea na kisha kuunganishwa kuwa mfano mmoja (bila kuweka data ya chanzo kati), iliyorekebishwa kwa matukio adimu, hitilafu, ubinafsishaji, n.k. Vifaa vyote vya Android kimsingi ni kompyuta kuu moja ya Google.
Miundo ya uzalishaji kulingana na ujifunzaji ulioshirikishwa ni mwelekeo mzuri wa siku zijazo kulingana na Google, ambayo "iko katika hatua za awali za ukuaji mkubwa." GAN, kulingana na mhadhiri, zina uwezo wa kujifunza kuzaliana tabia ya wingi wa viumbe hai na algorithms ya kufikiria.
Kwa kutumia mfano wa usanifu mbili rahisi wa GAN, inaonyeshwa kuwa ndani yao utaftaji wa njia ya uboreshaji huzunguka kwenye mduara, ambayo inamaanisha kuwa uboreshaji kama huo haufanyiki. Wakati huo huo, mifano hii inafanikiwa sana katika kuiga majaribio ambayo wanabiolojia hufanya juu ya idadi ya bakteria, na kuwalazimisha kujifunza mikakati mpya ya tabia katika kutafuta chakula. Tunaweza kuhitimisha kuwa maisha hufanya kazi tofauti na utendaji wa uboreshaji.
Uboreshaji wa GAN ya Kutembea
Yote tunayofanya katika mfumo wa kujifunza kwa mashine sasa ni kazi finyu na zilizorasimishwa sana, ilhali taratibu hizi hazishirikiani vizuri na hazilingani na maarifa yetu ya somo katika maeneo kama vile neurofiziolojia na baiolojia.
Kinachofaa sana kukopa kutoka kwa uwanja wa neurophysiology katika siku za usoni ni usanifu mpya wa neuroni na marekebisho kidogo ya mifumo ya uenezaji wa makosa.
Ubongo wa mwanadamu wenyewe haujifunzi kama mtandao wa neva:
- Yeye hana pembejeo za kimsingi za nasibu, pamoja na zile zilizowekwa kupitia hisi na utotoni
- Ana mwelekeo wa asili wa ukuaji wa silika (hamu ya kujifunza lugha kutoka kwa mtoto mchanga, kutembea wima)
Kufunza ubongo wa mtu binafsi ni kazi ya kiwango cha chini; labda tunapaswa kuzingatia "koloni" za watu binafsi wanaobadilika kwa haraka kupitisha ujuzi kwa kila mmoja ili kuzalisha taratibu za mageuzi ya kikundi.
Tunachoweza kupitisha katika algoriti za ML sasa:
- Tumia mifano ya ukoo wa seli ambayo inahakikisha ujifunzaji wa idadi ya watu, lakini maisha mafupi ya mtu binafsi ("ubongo wa mtu binafsi")
- Kujifunza kwa risasi chache kwa kutumia idadi ndogo ya mifano
- Miundo ngumu zaidi ya neuroni, kazi tofauti kidogo za uanzishaji
- Kuhamisha "jenomu" kwa vizazi vijavyo - algorithm ya uenezi nyuma
- Mara tu tunapounganisha niurofiziolojia na mitandao ya neva, tutajifunza kujenga ubongo wenye kazi nyingi kutoka kwa vipengele vingi.
Kwa mtazamo huu, mazoezi ya ufumbuzi wa SOTA ni mabaya na yanapaswa kurekebishwa kwa ajili ya kuendeleza kazi za kawaida (benchmarks).
"Sayansi ya Takwimu ya Haki", Bin Yu (Berkeley)
Ripoti hii imejikita kwa tatizo la kutafsiri miundo ya mashine ya kujifunza na mbinu ya majaribio yao ya moja kwa moja na uthibitishaji. Muundo wowote wa ML uliofunzwa unaweza kutambuliwa kama chanzo cha maarifa ambacho kinahitaji kutolewa kutoka humo.
Katika maeneo mengi, haswa katika dawa, utumiaji wa modeli hauwezekani bila kutoa maarifa haya yaliyofichwa na kutafsiri matokeo ya mfano - vinginevyo hatutakuwa na uhakika kuwa matokeo yatakuwa thabiti, yasiyo ya nasibu, ya kuaminika, na hayataua mgonjwa. Mwelekeo mzima wa mbinu ya kazi unakuzwa ndani ya dhana ya kina ya kujifunza na kwenda nje ya mipaka yake - sayansi ya data veridical. Ni nini?
Tunataka kufikia ubora wa machapisho ya kisayansi na uigaji wa mifano ambayo ni:
- kutabirika
- inayoweza kutekelezeka
- imara
Kanuni hizi tatu zinaunda msingi wa mbinu mpya. Je, mifano ya ML inawezaje kuangaliwa dhidi ya vigezo hivi? Njia rahisi ni kujenga mifano inayoweza kufasirika mara moja (regressions, miti ya uamuzi). Hata hivyo, tunataka pia kupata manufaa ya haraka ya kujifunza kwa kina.
Njia kadhaa zilizopo za kushughulikia shida:
- kutafsiri mfano;
- tumia njia kulingana na umakini;
- tumia mikusanyiko ya algoriti wakati wa mafunzo, na uhakikishe kuwa miundo ya mstari inayotafsirika inajifunza kutabiri majibu sawa na mtandao wa neva, vipengele vya kutafsiri kutoka kwa modeli ya mstari;
- kubadilisha na kuongeza data ya mafunzo. Hii ni pamoja na kuongeza kelele, kuingiliwa, na kuongeza data;
- njia zozote zinazosaidia kuhakikisha kuwa matokeo ya mfano sio ya bahati nasibu na haitegemei uingilivu mdogo usiohitajika (mashambulizi ya wapinzani);
- kutafsiri mfano baada ya ukweli, baada ya mafunzo;
- utafiti kipengele uzito kwa njia mbalimbali;
- soma uwezekano wa nadharia zote, usambazaji wa darasa.
Shambulio la adui
Makosa ya uundaji mfano ni ya gharama kwa kila mtu: mfano mkuu ni kazi ya Reinhart na Rogov."" iliathiri sera za kiuchumi za nchi nyingi za Ulaya na kuzilazimisha kufuata sera za kubana matumizi, lakini ukaguzi wa uangalifu wa data na usindikaji wao miaka ya baadaye ulionyesha matokeo tofauti!
Teknolojia yoyote ya ML ina mzunguko wake wa maisha kutoka kwa utekelezaji hadi utekelezaji. Lengo la mbinu mpya ni kuangalia kanuni tatu za msingi katika kila hatua ya maisha ya modeli.
Matokeo:
- Miradi kadhaa inatengenezwa ambayo itasaidia kielelezo cha ML kuwa cha kutegemewa zaidi. Hii ni, kwa mfano, deeptune (kiungo kwa: );
- Kwa maendeleo zaidi ya mbinu, ni muhimu kuboresha kwa kiasi kikubwa ubora wa machapisho katika uwanja wa ML;
- Kujifunza kwa mashine kunahitaji viongozi walio na mafunzo ya taaluma mbalimbali na utaalam katika nyanja za kiufundi na za kibinadamu.
"Kuiga Tabia ya Kibinadamu kwa Kujifunza kwa Mashine: Fursa na Changamoto" Nuria M Oliver, Albert Ali Salah
Hotuba inayotolewa kwa kuiga tabia ya binadamu, misingi yake ya kiteknolojia na matarajio ya matumizi.
Mfano wa tabia ya kibinadamu inaweza kugawanywa katika:
- tabia ya mtu binafsi
- tabia ya kikundi kidogo cha watu
- tabia ya wingi
Kila moja ya aina hizi zinaweza kutengenezwa kwa kutumia ML, lakini kwa taarifa na vipengele tofauti kabisa vya uingizaji. Kila aina pia ina masuala yake ya kimaadili ambayo kila mradi hupitia:
- tabia ya mtu binafsi - wizi wa utambulisho, kina bandia;
- tabia ya makundi ya watu - de-anonymization, kupata taarifa kuhusu harakati, simu, nk;
tabia ya mtu binafsi
Inahusiana sana na mada ya Maono ya Kompyuta - utambuzi wa hisia na athari za binadamu. Labda tu katika muktadha, kwa wakati, au kwa kiwango cha jamaa cha tofauti zake za mhemko. Slaidi inaonyesha utambuzi wa hisia za Mona Lisa kwa kutumia muktadha kutoka kwa wigo wa kihisia wa wanawake wa Mediterania. Matokeo: tabasamu la furaha, lakini kwa dharau na karaha. Sababu ni uwezekano mkubwa katika njia ya kiufundi ya kufafanua hisia "neutral".
Tabia ya kikundi kidogo cha watu
Hadi sasa mfano mbaya zaidi ni kutokana na taarifa zisizo za kutosha. Kwa mfano, kazi kutoka 2018 - 2019 zilionyeshwa. kwa watu kadhaa X kadhaa wa video (cf. 100k++ seti za picha za picha). Ili kutoa mfano bora wa kazi hii, maelezo ya multimodal inahitajika, ikiwezekana kutoka kwa sensorer kwenye altimeter ya mwili, kipimajoto, kurekodi kipaza sauti, nk.
Tabia ya wingi
Eneo lililoendelea zaidi, kwani mteja ni UN na majimbo mengi. Kamera za uchunguzi wa nje, data kutoka kwa minara ya simu - bili, SMS, simu, data juu ya harakati kati ya mipaka ya serikali - yote haya yanatoa picha ya kuaminika sana ya harakati za watu na machafuko ya kijamii. Utumizi unaowezekana wa teknolojia: uboreshaji wa shughuli za uokoaji, usaidizi na uhamishaji wa watu kwa wakati wakati wa dharura. Mitindo inayotumika bado haijafasiriwa vibaya - hizi ni LSTM na mitandao ya ubadilishaji. Kulikuwa na maelezo mafupi kwamba Umoja wa Mataifa ulikuwa unashawishi kuwepo kwa sheria mpya ambayo ingewalazimu wafanyabiashara wa Ulaya kushiriki data isiyojulikana inayohitajika kwa utafiti wowote.
"Kutoka Mfumo wa 1 hadi Mfumo wa 2 wa Mafunzo ya kina", Yoshua Bengio
Katika somo la Joshua Bengio, kujifunza kwa kina hukutana na sayansi ya neva katika kiwango cha kuweka malengo.
Bengio anabainisha aina mbili kuu za matatizo kulingana na mbinu ya mshindi wa Tuzo ya Nobel Daniel Kahneman (kitabu β")
aina ya 1 - Mfumo wa 1, vitendo vya kutojua ambavyo tunafanya "moja kwa moja" (ubongo wa zamani): kuendesha gari katika maeneo uliyozoea, kutembea, kutambua nyuso.
aina ya 2 - Mfumo wa 2, vitendo vya ufahamu (cortex ya ubongo), kuweka lengo, uchambuzi, kufikiri, kazi za mchanganyiko.
AI hadi sasa imefikia urefu wa kutosha tu katika kazi za aina ya kwanza, wakati kazi yetu ni kuileta kwa pili, kuifundisha kufanya shughuli za aina mbalimbali na kufanya kazi kwa mantiki na ujuzi wa juu wa utambuzi.
Ili kufikia lengo hili inapendekezwa:
- katika kazi za NLP, tumia umakini kama njia kuu ya kufikiria kielelezo
- tumia mafunzo ya meta na uwakilishi ili kuboresha vipengele vya muundo vinavyoathiri fahamu na ujanibishaji wao - na kwa misingi yao kuendelea na uendeshaji na dhana za kiwango cha juu.
Badala ya hitimisho, hapa kuna mazungumzo yaliyoalikwa: Bengio ni mmoja wa wanasayansi wengi ambao wanajaribu kupanua uwanja wa ML zaidi ya shida za uboreshaji, SOTA na usanifu mpya.
Swali linabaki wazi ni kwa kiwango gani mchanganyiko wa shida za fahamu, ushawishi wa lugha kwenye fikra, neurobiolojia na algorithms ndio unatungojea katika siku zijazo na itaturuhusu kuhamia mashine ambazo "hufikiria" kama watu.
Asante!
Chanzo: mapenzi.com