NeuroIPS () մեքենայական ուսուցման և արհեստական ինտելեկտի վերաբերյալ աշխարհի ամենամեծ համաժողովն է և խորը ուսուցման աշխարհում գլխավոր իրադարձությունը։
Արդյո՞ք մենք՝ DS-ի ինժեներներս, նոր տասնամյակում կտիրապետե՞նք կենսաբանությանը, լեզվաբանությանը և հոգեբանությանը: Մենք ձեզ կասենք մեր վերանայման մեջ:
Այս տարի համաժողովը համախմբեց ավելի քան 13500 մարդու 80 երկրներից Կանադայի Վանկուվեր քաղաքում: Սա առաջին տարին չէ, որ Սբերբանկը ներկայացնում է Ռուսաստանը համաժողովում. DS թիմը խոսեց բանկային գործընթացներում ML-ի ներդրման, ML մրցույթի և Sberbank DS հարթակի հնարավորությունների մասին: Որո՞նք էին 2019 թվականի հիմնական միտումները ՓԼ համայնքում: Համաժողովի մասնակիցներն ասում են. и .
Այս տարի NeurIPS-ն ընդունեց ավելի քան 1400 աշխատություն՝ ալգորիթմներ, նոր մոդելներ և նոր տվյալների նոր կիրառումներ:
Բովանդակությունը:
- Միտումները
-
- Մոդելի մեկնաբանելիություն
- Բազմառարկայականություն
- Փաստարկ
- RL
- GAN
- Հիմնական հրավիրված խոսակցություններ
-
- «Սոցիալական հետախուզություն», Բլեզ Ագուերա և Արկաս (Google)
- «Վերդիտալ տվյալների գիտություն», Բին Յու (Բերկլի)
- «Մարդկային վարքագծի մոդելավորում մեքենայական ուսուցմամբ. հնարավորություններ և մարտահրավերներ», Նուրիա Մ. Օլիվեր, Ալբերտ Ալի Սալահ
- «Համակարգ 1-ից մինչև համակարգ 2 խորը ուսուցում», Յոշուա Բենջիո
2019 Տարվա Տարրերը
1. Մոդելի մեկնաբանելիություն և ՓԼ նոր մեթոդաբանություն
Համաժողովի հիմնական թեման մեկնությունն ու ապացույցն է, թե ինչու ենք մենք որոշակի արդյունքներ ստանում: Կարելի է երկար խոսել «սև արկղի» մեկնաբանության փիլիսոփայական կարևորության մասին, սակայն այս ոլորտում ավելի իրական մեթոդներ և տեխնիկական զարգացումներ կային։
Մոդելների կրկնօրինակման և դրանցից գիտելիքներ քաղելու մեթոդոլոգիան գիտության համար նոր գործիքակազմ է: Մոդելները կարող են ծառայել որպես նոր գիտելիքներ ստանալու և դրանք փորձարկելու գործիք, և մոդելի նախնական մշակման, վերապատրաստման և կիրառման յուրաքանչյուր փուլ պետք է վերարտադրելի լինի:
Հրապարակումների զգալի մասը նվիրված է ոչ թե մոդելների և գործիքների կառուցմանը, այլ անվտանգության, թափանցիկության և արդյունքների ստուգելիության ապահովման խնդիրներին։ Մասնավորապես, առանձին հոսք է հայտնվել մոդելի վրա հարձակումների մասին (հակառակ հարձակումներ), և դիտարկվում են ինչպես ուսուցման, այնպես էլ հավելվածի վրա հարձակումների տարբերակներ:
Հոդվածներ:
- — ծրագրային հոդված մոդելի ստուգման մեթոդաբանության վերաբերյալ։ Ներառում է մոդելների մեկնաբանման ժամանակակից գործիքների ակնարկ, մասնավորապես, ուշադրության օգտագործումը և հատկանիշի կարևորությունը ձեռք բերելու միջոցով նեյրոնային ցանցը «թորելով» գծային մոդելներով:
- Չաոֆան Չեն, Օսկար Լի, Դանիել Տաո, Ալինա Բարնեթ, Սինթիա Ռուդին, Ջոնաթան Կ. Սու
- Սառա Հուկեր, Դումիտրու Էրհան, Պիտեր-Ջան Քինդերմանս, Բեն Քիմ
- Ալեքսանդր Մոտ, Դանիել Զորան, Մայք Խրզանովսկի, Դաան Վիերստրա, Դանիլո Խիմենես Ռեզենդե
- Սյաո Լի, Յու Վանգ, Սումանտա Բասու, Կարլ Կումբիեր, Բին Յու
- Ջեյմին Յու, Մինյոն Չո, Տեբում Քիմ, Ու Կանգ
- Էդվարդ Ռաֆ
ExBert.net-ը ցույց է տալիս տեքստի մշակման առաջադրանքների մոդելային մեկնաբանություն
2. Բազմառարկայականություն
Հուսալի ստուգում ապահովելու և գիտելիքների ստուգման և ընդլայնման մեխանիզմներ մշակելու համար մեզ անհրաժեշտ են հարակից ոլորտների մասնագետներ, որոնք միաժամանակ ունեն իրավասություններ ՓԼ և առարկայական ոլորտում (բժշկություն, լեզվաբանություն, նյարդակենսաբանություն, կրթություն և այլն): Հատկապես հարկ է նշել նեյրոգիտությունների և ճանաչողական գիտությունների մեջ աշխատությունների և ելույթների ավելի զգալի առկայությունը. նկատվում է մասնագետների մերձեցում և գաղափարների փոխառություն։
Ի հավելումն այս մերձեցման, ի հայտ է գալիս բազմառարկայականություն տարբեր աղբյուրներից տեղեկատվության համատեղ մշակման մեջ՝ տեքստ և լուսանկարներ, տեքստ և խաղեր, գրաֆիկական տվյալների բազաներ + տեքստ և լուսանկարներ:
Հոդվածներ:
- Նյարդագիտություն + ML —
- VisualQA -
- RL + NLP -
RL-ի և NLP-ի վրա հիմնված երկու մոդել՝ ստրատեգ և գործադիր, խաղում են առցանց ռազմավարություն
3. Պատճառաբանություն
Արհեստական ինտելեկտի ամրապնդումը շարժում է դեպի ինքնաուսուցման համակարգեր, «գիտակցական», դատողություն և բանականություն: Մասնավորապես, զարգանում են պատճառահետևանքային եզրակացությունը և ողջամտությունը: Զեկույցների մի մասը նվիրված է մետա-ուսուցմանը (ինչպես սովորել սովորել) և DL տեխնոլոգիաների համակցմանը 1-ին և 2-րդ կարգի տրամաբանության հետ. Արհեստական ընդհանուր բանականություն (AGI) տերմինը դառնում է սովորական տերմին բանախոսների ելույթներում:
Հոդվածներ:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Վայշակ Բելլ, Բրենդան Ջուբա
- Անտոն Բախտին, Լաուրենս վան դեր Մաատեն, Ջասթին Ջոնսոն, Լաուրա Գուստաֆսոն, Ռոս Գիրշիկ
- Դինեշ Գարգ, Շաջիթ Իկբալ, Սանտոշ Կ. Սրիվաստավա, Հարիտ Վիշվակարմա, Հիմա Կարանամ, Լ Վենկատա Սուբրամանիամ
4. Ուսուցման ուժեղացում
Աշխատանքի մեծ մասը շարունակում է զարգացնել RL-ի ավանդական տարածքները՝ DOTA2, Starcraft՝ համատեղելով ճարտարապետությունները համակարգչային տեսողության, NLP-ի, գրաֆիկական տվյալների բազաների հետ:
Կոնֆերանսի առանձին օր նվիրված էր RL սեմինարին, որին ներկայացվեց Լավատես դերասանական քննադատների մոդելի ճարտարապետությունը, որը գերազանցում է բոլոր նախորդներին, մասնավորապես՝ Soft Actor Critic-ին:
Հոդվածներ:
- ; Կամիլ Չիոսեկ, Քուան Վուոնգ, Ռոբերտ Լոֆթին, Կատյա Հոֆման
- ; Յասուհիրո Ֆուջիտա (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Պրաբհաթ Նագարաջան (Նախընտրելի ցանցեր); Տակահիրո Իշիկավա (Տոկիոյի համալսարան) [արտաքին pdf հղում]:
- ; Դանիյար Հաֆներ (Google)*; Թիմոթի Լիլիկրապ (DeepMind); Ջիմի Բա (Տորոնտոյի համալսարան); Մոհամմադ Նորուզի (Google Brain)
StarCraft-ի խաղացողները պայքարում են Alphastar մոդելի դեմ (DeepMind)
5.ԳԱՆ
Գեներատիվ ցանցերը դեռևս ուշադրության կենտրոնում են. շատ աշխատանքներ օգտագործում են վանիլային GAN-ներ մաթեմատիկական ապացույցների համար, ինչպես նաև դրանք կիրառում են նոր, անսովոր ձևերով (գրաֆի գեներատիվ մոդելներ, սերիաների հետ աշխատանք, տվյալների մեջ պատճառահետևանքային կապերի կիրառում և այլն):
Հոդվածներ:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Դան Ժանգ, Աննա Խորենա
- Լեյ Սյու, Մարիա Սկուլարիդու, Ալֆրեդո Կուեստա-Ինֆանտե, Կալյան Վեերամաչանենի
Քանի որ ավելի շատ աշխատանք է ընդունվել Ստորև կխոսենք ամենակարևոր ելույթների մասին։
Հրավիրված զրույցներ
«Սոցիալական հետախուզություն», Բլեզ Ագուերա և Արկաս (Google)
Զրույցը կենտրոնանում է մեքենայական ուսուցման ընդհանուր մեթոդաբանության և արդյունաբերությունը փոխելու հեռանկարների վրա հենց հիմա. ի՞նչ խաչմերուկների ենք հանդիպում: Ինչպե՞ս են աշխատում ուղեղը և էվոլյուցիան, և ինչու ենք մենք այդքան քիչ օգտագործում այն, ինչ արդեն գիտենք բնական համակարգերի զարգացման մասին:
ML-ի արդյունաբերական զարգացումը մեծապես համընկնում է Google-ի զարգացման կարևորագույն փուլերի հետ, որը տարեցտարի հրապարակում է իր հետազոտությունները NeurIPS-ի վերաբերյալ.
- 1997թ. – որոնողական միջոցների գործարկում, առաջին սերվերներ, փոքր հաշվողական հզորություն
- 2010 - Ջեֆ Դինը գործարկում է Google Brain նախագիծը, նեյրոնային ցանցերի բումը հենց սկզբում
- 2015 – նեյրոնային ցանցերի արդյունաբերական ներդրում, դեմքի արագ ճանաչում անմիջապես տեղական սարքի վրա, ցածր մակարդակի պրոցեսորներ՝ հարմարեցված թենզորային հաշվարկների համար՝ TPU: Google-ը թողարկում է Coral ai-ը՝ raspberry pi-ի անալոգը, մինի-համակարգիչ՝ նեյրոնային ցանցերը փորձարարական կայանքներում ներդնելու համար:
- 2017 – Google-ը սկսում է ապակենտրոնացված թրեյնինգ մշակել և տարբեր սարքերից նեյրոնային ցանցի ուսուցման արդյունքները միավորել մեկ մոդելում՝ Android-ում։
Այսօր մի ամբողջ արդյունաբերություն նվիրված է տվյալների անվտանգությանը, համախմբմանը և ուսուցման արդյունքների կրկնօրինակմանը տեղական սարքերում:
– ML-ի ուղղություն, որտեղ առանձին մոդելները սովորում են միմյանցից անկախ և այնուհետև միավորվում են մեկ մոդելի մեջ (առանց աղբյուրի տվյալների կենտրոնացման), հարմարեցված հազվադեպ իրադարձությունների, անոմալիաների, անհատականացման և այլնի համար: Բոլոր Android սարքերը ըստ էության Google-ի համար մեկ հաշվողական գերհամակարգիչ են:
Դաշնային ուսուցման վրա հիմնված գեներատիվ մոդելները ապագա խոստումնալից ուղղություն են, ըստ Google-ի, որը «էքսպոնենցիալ աճի վաղ փուլերում է»: GAN-ները, ըստ դասախոսի, ունակ են սովորելու վերարտադրել կենդանի օրգանիզմների պոպուլյացիաների զանգվածային վարքագիծը և մտածողության ալգորիթմները:
Օգտագործելով երկու պարզ GAN ճարտարապետության օրինակը, ցույց է տրվում, որ դրանցում օպտիմալացման ուղու որոնումը թափառում է շրջանագծի մեջ, ինչը նշանակում է, որ օպտիմալացում, որպես այդպիսին, տեղի չի ունենում: Միևնույն ժամանակ, այս մոդելները շատ հաջողակ են նմանակում այն փորձերը, որոնք կենսաբանները կատարում են բակտերիաների պոպուլյացիաների վրա՝ ստիպելով նրանց սովորել սննդի որոնման նոր վարքային ռազմավարություններ: Կարելի է եզրակացնել, որ կյանքը այլ կերպ է աշխատում, քան օպտիմալացման ֆունկցիան։
Քայլող GAN օպտիմիզացում
Այն ամենը, ինչ մենք հիմա անում ենք մեքենայական ուսուցման շրջանակներում, նեղ և չափազանց ֆորմալացված առաջադրանքներ են, մինչդեռ այդ ֆորմալիզմները լավ չեն ընդհանրացվում և չեն համապատասխանում մեր առարկայական գիտելիքներին այնպիսի ոլորտներում, ինչպիսիք են նեյրոֆիզիոլոգիան և կենսաբանությունը:
Այն, ինչ իսկապես արժե փոխառել նեյրոֆիզիոլոգիայի ոլորտից մոտ ապագայում, նեյրոնների նոր ճարտարապետությունն է և սխալների ետ տարածման մեխանիզմների մի փոքր վերանայումը:
Մարդու ուղեղն ինքնին նեյրոնային ցանցի պես չի սովորում.
- Նա չունի պատահական առաջնային մուտքեր, ներառյալ զգայարանների միջոցով և մանկության մեջ դրվածները
- Նա ունի բնազդային զարգացման բնազդային ուղղություններ (երեխայից լեզուն սովորելու ցանկություն, ուղիղ քայլել):
Անհատական ուղեղի մարզումը ցածր մակարդակի խնդիր է, միգուցե մենք պետք է դիտարկենք արագ փոփոխվող անհատների «գաղութները», որոնք գիտելիք են փոխանցում միմյանց՝ խմբային էվոլյուցիայի մեխանիզմները վերարտադրելու համար:
Այն, ինչ մենք այժմ կարող ենք ընդունել ML ալգորիթմների մեջ.
- Կիրառել բջջային տոհմի մոդելներ, որոնք ապահովում են բնակչության ուսուցումը, բայց անհատի կարճ կյանքը («անհատական ուղեղ»)
- Քիչ ուսուցում՝ օգտագործելով փոքր թվով օրինակներ
- Նեյրոնների ավելի բարդ կառուցվածքներ, մի փոքր տարբեր ակտիվացման գործառույթներ
- «Գենոմի» փոխանցում հաջորդ սերունդներին՝ հետտարածման ալգորիթմ
- Երբ մենք միացնենք նեյրոֆիզիոլոգիան և նեյրոնային ցանցերը, մենք կսովորենք կառուցել բազմաֆունկցիոնալ ուղեղ բազմաթիվ բաղադրիչներից:
Այս տեսանկյունից SOTA լուծումների պրակտիկան վնասակար է և պետք է վերանայվի՝ հանուն ընդհանուր առաջադրանքների (հենանիշների) մշակման:
«Վերդիտալ տվյալների գիտություն», Բին Յու (Բերկլի)
Զեկույցը նվիրված է մեքենայական ուսուցման մոդելների մեկնաբանման խնդրին և դրանց ուղղակի փորձարկման և ստուգման մեթոդաբանությանը: Ցանկացած վերապատրաստված ML մոդել կարող է ընկալվել որպես գիտելիքի աղբյուր, որը պետք է արդյունահանվի դրանից:
Շատ ոլորտներում, հատկապես բժշկության մեջ, մոդելի օգտագործումն անհնար է առանց այս թաքնված գիտելիքը հանելու և մոդելի արդյունքները մեկնաբանելու, հակառակ դեպքում մենք վստահ չենք լինի, որ արդյունքները կլինեն կայուն, ոչ պատահական, հուսալի և չեն սպանի մարդկանց: հիվանդ. Աշխատանքի մեթոդաբանության մի ամբողջ ուղղություն զարգանում է խորը ուսուցման պարադիգմում և դուրս է գալիս դրա սահմաններից՝ վավերական տվյալների գիտություն: Ինչ է դա?
Մենք ցանկանում ենք հասնել գիտական հրապարակումների այնպիսի որակի և մոդելների վերարտադրելիության, որ դրանք են.
- կանխատեսելի
- հաշվարկելի
- կայուն
Այս երեք սկզբունքները կազմում են նոր մեթոդաբանության հիմքը։ Ինչպե՞ս կարող են ML մոդելները ստուգվել այս չափանիշներով: Ամենահեշտ ձևը անհապաղ մեկնաբանվող մոդելներ (ռեգեսիաներ, որոշումների ծառեր) կառուցելն է: Այնուամենայնիվ, մենք նաև ցանկանում ենք ստանալ խորը ուսուցման անմիջական օգուտները:
Խնդրի հետ աշխատելու մի քանի գոյություն ունեցող ուղիներ.
- մեկնաբանել մոդելը;
- օգտագործել ուշադրության վրա հիմնված մեթոդներ;
- օգտագործել ալգորիթմների համույթներ մարզվելիս և ապահովել, որ գծային մեկնաբանելի մոդելները սովորեն կանխատեսել նույն պատասխանները, ինչ նեյրոնային ցանցը՝ մեկնաբանելով գծային մոդելի առանձնահատկությունները.
- փոխել և ավելացնել վերապատրաստման տվյալները: Սա ներառում է աղմուկի ավելացում, միջամտություն և տվյալների ավելացում.
- ցանկացած մեթոդ, որն օգնում է համոզվել, որ մոդելի արդյունքները պատահական չեն և կախված չեն աննշան անցանկալի միջամտությունից (հակառակորդի հարձակումներից).
- մեկնաբանել մոդելը փաստից հետո, վերապատրաստումից հետո;
- ուսումնասիրել առանձնահատկությունների կշիռները տարբեր ձևերով.
- ուսումնասիրել բոլոր վարկածների հավանականությունները, դասերի բաշխումը.
Հակառակորդի հարձակում
Մոդելավորման սխալները թանկ են բոլորի համար. վառ օրինակը Ռայնհարթի և Ռոգովի աշխատանքն է»:«Ազդեց շատ եվրոպական երկրների տնտեսական քաղաքականության վրա և ստիպեց նրանց վարել խնայողական քաղաքականություն, սակայն տվյալների մանրակրկիտ վերաստուգումը և դրանց մշակումը տարիներ անց ցույց տվեցին հակառակ արդյունքը։
Ցանկացած ML տեխնոլոգիա ունի իր կյանքի ցիկլը՝ ներդրումից մինչև իրականացում: Նոր մեթոդաբանության նպատակն է մոդելի կյանքի յուրաքանչյուր փուլում ստուգել երեք հիմնական սկզբունքները:
Ամփոփում
- Մշակվում են մի քանի նախագծեր, որոնք կօգնեն ML մոդելին ավելի հուսալի լինել: Սա, օրինակ, deeptune-ն է (հղում դեպի. );
- Մեթոդաբանության հետագա զարգացման համար անհրաժեշտ է էապես բարելավել ՓԼ ոլորտում հրապարակումների որակը.
- Մեքենայական ուսուցման համար անհրաժեշտ են առաջնորդներ՝ ինչպես տեխնիկական, այնպես էլ հումանիտար ոլորտներում բազմամասնագիտական պատրաստվածությամբ և փորձով:
«Մարդկային վարքագծի մոդելավորում մեքենայական ուսուցմամբ. հնարավորություններ և մարտահրավերներ» Նուրիա Մ. Օլիվեր, Ալբերտ Ալի Սալահ
Դասախոսություն՝ նվիրված մարդու վարքագծի մոդելավորմանը, դրա տեխնոլոգիական հիմքերին և կիրառման հեռանկարներին։
Մարդու վարքագծի մոդելավորումը կարելի է բաժանել.
- անհատական վարքագիծ
- մարդկանց փոքր խմբի վարքագիծը
- զանգվածային վարքագիծ
Այս տեսակներից յուրաքանչյուրը կարող է մոդելավորվել օգտագործելով ML, բայց բոլորովին այլ մուտքային տեղեկություններով և առանձնահատկություններով: Յուրաքանչյուր տեսակ ունի նաև իր էթիկական խնդիրները, որոնց միջով անցնում է յուրաքանչյուր նախագիծ.
- անհատական վարքագիծ – ինքնության գողություն, խորը կեղծիք;
- մարդկանց խմբերի վարքագիծը՝ անանունացում, տեղաշարժերի, հեռախոսազանգերի և այլնի մասին տեղեկությունների ստացում;
անհատական վարքագիծ
Հիմնականում կապված է Համակարգչային տեսլականի թեմայի հետ՝ մարդու հույզերի և ռեակցիաների ճանաչում: Թերևս միայն համատեքստում, ժամանակի կամ զգացմունքների սեփական փոփոխականության հարաբերական մասշտաբով: Սլայդը ցույց է տալիս Մոնա Լիզայի հույզերի ճանաչումը՝ օգտագործելով միջերկրածովյան կանանց հուզական սպեկտրի համատեքստը: Արդյունք՝ ուրախության ժպիտ, բայց արհամարհանքով ու զզվանքով։ Պատճառը, ամենայն հավանականությամբ, «չեզոք» էմոցիա սահմանելու տեխնիկական ձևով է:
Մարդկանց փոքր խմբի վարքագիծը
Մինչ այժմ ամենավատ մոդելը պայմանավորված է անբավարար տեղեկատվության պատճառով։ Որպես օրինակ՝ ցուցադրվել են 2018-2019թթ. տասնյակ մարդկանց վրա X տասնյակ տեսանյութեր (տես 100k++ պատկերների տվյալների հավաքածուներ): Այս առաջադրանքը լավագույնս մոդելավորելու համար անհրաժեշտ է մուլտիմոդալ տեղեկատվություն, գերադասելի է մարմնի բարձրաչափի սենսորներից, ջերմաչափից, խոսափողի ձայնագրությունից և այլն:
Զանգվածային վարքագիծ
Ամենազարգացած տարածքը, քանի որ պատվիրատուն ՄԱԿ-ն է և շատ պետություններ։ Արտաքին հսկողության տեսախցիկներ, հեռախոսային աշտարակների տվյալները՝ վճարումներ, SMS, զանգեր, պետական սահմանների միջև տեղաշարժի մասին տվյալներ, այս ամենը տալիս է մարդկանց տեղաշարժի և սոցիալական անկայունության շատ հուսալի պատկեր: Տեխնոլոգիայի հնարավոր կիրառությունները՝ փրկարարական աշխատանքների օպտիմալացում, օգնություն և բնակչության ժամանակին տարհանում արտակարգ իրավիճակների ժամանակ։ Օգտագործված մոդելները հիմնականում դեռ վատ են մեկնաբանվում. դրանք տարբեր LSTM-ներ և կոնվոլյուցիոն ցանցեր են: Կար կարճ նկատողություն այն մասին, որ ՄԱԿ-ը լոբբինգ է անում նոր օրենքի համար, որը կպարտադրի եվրոպական բիզնեսներին կիսել անանուն տվյալները, որոնք անհրաժեշտ են ցանկացած հետազոտության համար:
«Համակարգ 1-ից մինչև համակարգ 2 խորը ուսուցում», Յոշուա Բենջիո
Ջոշուա Բենջիոյի դասախոսության մեջ խորը ուսուցումը հանդիպում է նեյրոգիտությանը նպատակների սահմանման մակարդակում:
Բենջիոն առանձնացնում է խնդիրների երկու հիմնական տեսակ՝ համաձայն Նոբելյան մրցանակակիր Դանիել Կանեմանի մեթոդաբանության (գիրք «»)
տիպ 1 - Համակարգ 1, անգիտակից գործողություններ, որոնք մենք անում ենք «ավտոմատ» (հին ուղեղ). մեքենա վարել ծանոթ վայրերում, քայլել, ճանաչել դեմքերը:
տիպ 2 - Համակարգ 2, գիտակցված գործողություններ (ուղեղի կեղև), նպատակադրում, վերլուծություն, մտածողություն, կոմպոզիտային առաջադրանքներ:
AI-ն առայժմ բավարար բարձունքների է հասել միայն առաջին տեսակի առաջադրանքներում, մինչդեռ մեր խնդիրն է այն հասցնել երկրորդին՝ սովորեցնելով կատարել բազմամասնագիտական գործողություններ և գործել տրամաբանությամբ և բարձր մակարդակի ճանաչողական հմտություններով:
Այս նպատակին հասնելու համար առաջարկվում է.
- NLP առաջադրանքներում օգտագործել ուշադրությունը որպես մտածողության մոդելավորման հիմնական մեխանիզմ
- օգտագործել մետա-ուսուցումը և ներկայացման ուսուցումը ավելի լավ մոդելավորելու այն հատկանիշները, որոնք ազդում են գիտակցության և դրանց տեղայնացման վրա, և դրանց հիման վրա անցնել ավելի բարձր մակարդակի հասկացությունների հետ աշխատելուն:
Եզրակացության փոխարեն, ահա հրավիրված զրույց. Բենջիոն շատ գիտնականներից մեկն է, ովքեր փորձում են ընդլայնել ML-ի ոլորտը օպտիմալացման խնդիրներից, SOTA-ից և նոր ճարտարապետություններից դուրս:
Հարցը բաց է մնում, թե գիտակցության խնդիրների, մտածողության, նեյրոկենսաբանության և ալգորիթմների վրա լեզվի ազդեցությունը որքանով է մեզ սպասում ապագայում և թույլ կտա տեղափոխվել մարդկանց նման «մտածող» մեքենաներ:
Thank you!
Source: www.habr.com