NeuroIPS () մեքենայական ուսուցման և արհեստական ինտելեկտի վերաբերյալ աշխարհի ամենամեծ համաժողովն է և խորը ուսուցման աշխարհում գլխավոր իրադարձությունը։
Արդյո՞ք մենք՝ DS-ի ինժեներներս, նոր տասնամյակում կտիրապետե՞նք կենսաբանությանը, լեզվաբանությանը և հոգեբանությանը: Մենք ձեզ կասենք մեր վերանայման մեջ:
Այս տարի համաժողովը համախմբեց ավելի քան 13500 մարդու 80 երկրներից Կանադայի Վանկուվեր քաղաքում: Սա առաջին տարին չէ, որ Սբերբանկը ներկայացնում է Ռուսաստանը համաժողովում. DS թիմը խոսեց բանկային գործընթացներում ML-ի ներդրման, ML մրցույթի և Sberbank DS հարթակի հնարավորությունների մասին: Որո՞նք էին 2019 թվականի հիմնական միտումները ՓԼ համայնքում: Համաժողովի մասնակիցներն ասում են. и .
Այս տարի NeurIPS-ն ընդունեց ավելի քան 1400 աշխատություն՝ ալգորիթմներ, նոր մոդելներ և նոր տվյալների նոր կիրառումներ:
Բովանդակությունը:
- Միտումները
-
- Մոդելի մեկնաբանելիություն
- Բազմառարկայականություն
- Փաստարկ
- RL
- GAN
- Основные Invited Talks
-
- «Սոցիալական հետախուզություն», Բլեզ Ագուերա և Արկաս (Google)
- «Վերդիտալ տվյալների գիտություն», Բին Յու (Բերկլի)
- “Human Behavior Modeling with Machine Learning: Opportunities and Challenges”, Nuria M Oliver, Albert Ali Salah
- “From System 1 to System 2 Deep Learning”, Yoshua Bengio
2019 Տարվա Տարրերը
1. Մոդելի մեկնաբանելիություն և ՓԼ նոր մեթոդաբանություն
Заглавная тема конференции — интерпретация и доказательства, почему мы получаем те или иные результаты. Можно долго рассуждать о философской важности интерпретации “черного ящика”, но больше было реальных методик и технических наработок в этой сфере.
Մոդելների կրկնօրինակման և դրանցից գիտելիքներ քաղելու մեթոդոլոգիան գիտության համար նոր գործիքակազմ է: Մոդելները կարող են ծառայել որպես նոր գիտելիքներ ստանալու և դրանք փորձարկելու գործիք, և մոդելի նախնական մշակման, վերապատրաստման և կիրառման յուրաքանչյուր փուլ պետք է վերարտադրելի լինի:
Հրապարակումների զգալի մասը նվիրված է ոչ թե մոդելների և գործիքների կառուցմանը, այլ անվտանգության, թափանցիկության և արդյունքների ստուգելիության ապահովման խնդիրներին։ Մասնավորապես, առանձին հոսք է հայտնվել մոդելի վրա հարձակումների մասին (հակառակ հարձակումներ), և դիտարկվում են ինչպես ուսուցման, այնպես էլ հավելվածի վրա հարձակումների տարբերակներ:
Հոդվածներ:
- — ծրագրային հոդված մոդելի ստուգման մեթոդաբանության վերաբերյալ։ Ներառում է մոդելների մեկնաբանման ժամանակակից գործիքների ակնարկ, մասնավորապես, ուշադրության օգտագործումը և հատկանիշի կարևորությունը ձեռք բերելու միջոցով նեյրոնային ցանցը «թորելով» գծային մոդելներով:
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Սառա Հուկեր, Դումիտրու Էրհան, Պիտեր-Ջան Քինդերմանս, Բեն Քիմ
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Ջեյմին Յու, Մինյոն Չո, Տեբում Քիմ, Ու Կանգ
- Էդվարդ Ռաֆ
ExBert.net-ը ցույց է տալիս տեքստի մշակման առաջադրանքների մոդելային մեկնաբանություն
2. Բազմառարկայականություն
Чтобы обеспечить надежную проверку и разработать механизмы проверки и пополнения знаний, нужны специалисты смежных областей, одновременно обладающие компетенциями в ML и в предметной области (медицине, лингвистике, нейробиологии, образовании и т.д.). Особо стоит отметить более значимое присутствие работ и выступлений по нейронаукам и когнитивным наукам – происходит сближение специалистов и заимствование идей.
Ի հավելումն այս մերձեցման, ի հայտ է գալիս բազմառարկայականություն տարբեր աղբյուրներից տեղեկատվության համատեղ մշակման մեջ՝ տեքստ և լուսանկարներ, տեքստ և խաղեր, գրաֆիկական տվյալների բազաներ + տեքստ և լուսանկարներ:
Հոդվածներ:
- Նյարդագիտություն + ML —
- VisualQA -
- RL + NLP -
RL-ի և NLP-ի վրա հիմնված երկու մոդել՝ ստրատեգ և գործադիր, խաղում են առցանց ռազմավարություն
3. Պատճառաբանություն
Արհեստական ինտելեկտի ամրապնդումը շարժում է դեպի ինքնաուսուցման համակարգեր, «գիտակցական», դատողություն և բանականություն: Մասնավորապես, զարգանում են պատճառահետևանքային եզրակացությունը և ողջամտությունը: Զեկույցների մի մասը նվիրված է մետա-ուսուցմանը (ինչպես սովորել սովորել) և DL տեխնոլոգիաների համակցմանը 1-ին և 2-րդ կարգի տրամաբանության հետ. Արհեստական ընդհանուր բանականություն (AGI) տերմինը դառնում է սովորական տերմին բանախոսների ելույթներում:
Հոդվածներ:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Վայշակ Բելլ, Բրենդան Ջուբա
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Большая часть работ продолжает развивать традиционные направления RL — DOTA2, Starcraft, соединение архитектур с компьютерным зрением, NLP, графовыми БД.
Կոնֆերանսի առանձին օր նվիրված էր RL սեմինարին, որին ներկայացվեց Լավատես դերասանական քննադատների մոդելի ճարտարապետությունը, որը գերազանցում է բոլոր նախորդներին, մասնավորապես՝ Soft Actor Critic-ին:
Հոդվածներ:
- ; Կամիլ Չիոսեկ, Քուան Վուոնգ, Ռոբերտ Լոֆթին, Կատյա Հոֆման
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (The University of Tokyo) [external pdf link].
- ; Դանիյար Հաֆներ (Google)*; Թիմոթի Լիլիկրապ (DeepMind); Ջիմի Բա (Տորոնտոյի համալսարան); Մոհամմադ Նորուզի (Google Brain)
StarCraft-ի խաղացողները պայքարում են Alphastar մոդելի դեմ (DeepMind)
5. GAN
Գեներատիվ ցանցերը դեռևս ուշադրության կենտրոնում են. շատ աշխատանքներ օգտագործում են վանիլային GAN-ներ մաթեմատիկական ապացույցների համար, ինչպես նաև դրանք կիրառում են նոր, անսովոր ձևերով (գրաֆի գեներատիվ մոդելներ, սերիաների հետ աշխատանք, տվյալների մեջ պատճառահետևանքային կապերի կիրառում և այլն):
Հոդվածներ:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Դան Ժանգ, Աննա Խորենա
- Լեյ Սյու, Մարիա Սկուլարիդու, Ալֆրեդո Կուեստա-Ինֆանտե, Կալյան Վեերամաչանենի
Քանի որ ավելի շատ աշխատանք է ընդունվել Ստորև կխոսենք ամենակարևոր ելույթների մասին։
Invited Talks
«Սոցիալական հետախուզություն», Բլեզ Ագուերա և Արկաս (Google)
Доклад посвящен общей методологии машинного обучения и перспективам, меняющим индустрию прямо сейчас – перед каким распутьем мы стоим? Как работает мозг и эволюция, и почему мы так мало используем то, что уже хорошо знаем о развитии естественных систем?
ML-ի արդյունաբերական զարգացումը մեծապես համընկնում է Google-ի զարգացման կարևորագույն փուլերի հետ, որը տարեցտարի հրապարակում է իր հետազոտությունները NeurIPS-ի վերաբերյալ.
- 1997թ. – որոնողական միջոցների գործարկում, առաջին սերվերներ, փոքր հաշվողական հզորություն
- 2010 - Ջեֆ Դինը գործարկում է Google Brain նախագիծը, նեյրոնային ցանցերի բումը հենց սկզբում
- 2015 – նեյրոնային ցանցերի արդյունաբերական ներդրում, դեմքի արագ ճանաչում անմիջապես տեղական սարքի վրա, ցածր մակարդակի պրոցեսորներ՝ հարմարեցված թենզորային հաշվարկների համար՝ TPU: Google-ը թողարկում է Coral ai-ը՝ raspberry pi-ի անալոգը, մինի-համակարգիչ՝ նեյրոնային ցանցերը փորձարարական կայանքներում ներդնելու համար:
- 2017 – Google-ը սկսում է ապակենտրոնացված թրեյնինգ մշակել և տարբեր սարքերից նեյրոնային ցանցի ուսուցման արդյունքները միավորել մեկ մոդելում՝ Android-ում։
Այսօր մի ամբողջ արդյունաբերություն նվիրված է տվյալների անվտանգությանը, համախմբմանը և ուսուցման արդյունքների կրկնօրինակմանը տեղական սարքերում:
– ML-ի ուղղություն, որտեղ առանձին մոդելները սովորում են միմյանցից անկախ և այնուհետև միավորվում են մեկ մոդելի մեջ (առանց աղբյուրի տվյալների կենտրոնացման), հարմարեցված հազվադեպ իրադարձությունների, անոմալիաների, անհատականացման և այլնի համար: Բոլոր Android սարքերը ըստ էության Google-ի համար մեկ հաշվողական գերհամակարգիչ են:
Դաշնային ուսուցման վրա հիմնված գեներատիվ մոդելները ապագա խոստումնալից ուղղություն են, ըստ Google-ի, որը «էքսպոնենցիալ աճի վաղ փուլերում է»: GAN-ները, ըստ դասախոսի, ունակ են սովորելու վերարտադրել կենդանի օրգանիզմների պոպուլյացիաների զանգվածային վարքագիծը և մտածողության ալգորիթմները:
Օգտագործելով երկու պարզ GAN ճարտարապետության օրինակը, ցույց է տրվում, որ դրանցում օպտիմալացման ուղու որոնումը թափառում է շրջանագծի մեջ, ինչը նշանակում է, որ օպտիմալացում, որպես այդպիսին, տեղի չի ունենում: Միևնույն ժամանակ, այս մոդելները շատ հաջողակ են նմանակում այն փորձերը, որոնք կենսաբանները կատարում են բակտերիաների պոպուլյացիաների վրա՝ ստիպելով նրանց սովորել սննդի որոնման նոր վարքային ռազմավարություններ: Կարելի է եզրակացնել, որ կյանքը այլ կերպ է աշխատում, քան օպտիմալացման ֆունկցիան։
Քայլող GAN օպտիմիզացում
Все то, что мы делаем в рамках машинного обучения сейчас – это узкие и крайне формализованные задачи, в то время как эти формализмы плохо обобщаются и не соответствуют нашему предметному знанию в таких областях, как нейрофизиология и биология.
Այն, ինչ իսկապես արժե փոխառել նեյրոֆիզիոլոգիայի ոլորտից մոտ ապագայում, նեյրոնների նոր ճարտարապետությունն է և սխալների ետ տարածման մեխանիզմների մի փոքր վերանայումը:
Сам человеческий мозг учится не как нейросеть:
- Նա չունի պատահական առաջնային մուտքեր, ներառյալ զգայարանների միջոցով և մանկության մեջ դրվածները
- Նա ունի բնազդային զարգացման բնազդային ուղղություններ (երեխայից լեզուն սովորելու ցանկություն, ուղիղ քայլել):
Անհատական ուղեղի մարզումը ցածր մակարդակի խնդիր է, միգուցե մենք պետք է դիտարկենք արագ փոփոխվող անհատների «գաղութները», որոնք գիտելիք են փոխանցում միմյանց՝ խմբային էվոլյուցիայի մեխանիզմները վերարտադրելու համար:
Այն, ինչ մենք այժմ կարող ենք ընդունել ML ալգորիթմների մեջ.
- Применить cell lineage модели, обеспечивающие обучение популяции, но короткую жизнь индивидуума (“индивидуального мозга”)
- Few-shot learning на небольшом количестве примеров
- Նեյրոնների ավելի բարդ կառուցվածքներ, մի փոքր տարբեր ակտիվացման գործառույթներ
- «Գենոմի» փոխանցում հաջորդ սերունդներին՝ հետտարածման ալգորիթմ
- Երբ մենք միացնենք նեյրոֆիզիոլոգիան և նեյրոնային ցանցերը, մենք կսովորենք կառուցել բազմաֆունկցիոնալ ուղեղ բազմաթիվ բաղադրիչներից:
Այս տեսանկյունից SOTA լուծումների պրակտիկան վնասակար է և պետք է վերանայվի՝ հանուն ընդհանուր առաջադրանքների (հենանիշների) մշակման:
«Վերդիտալ տվյալների գիտություն», Բին Յու (Բերկլի)
Զեկույցը նվիրված է մեքենայական ուսուցման մոդելների մեկնաբանման խնդրին և դրանց ուղղակի փորձարկման և ստուգման մեթոդաբանությանը: Ցանկացած վերապատրաստված ML մոդել կարող է ընկալվել որպես գիտելիքի աղբյուր, որը պետք է արդյունահանվի դրանից:
Во многих областях, особенно в медицине, применение модели невозможно без извлечения этих скрытых знаний и интерпретации результатов модели – иначе мы не будем уверены, что результаты будут стабильны, неслучайны, надежны, не убьют пациента. Целое направление методологии работы развивается внутри парадигмы deep learning и выходит за ее пределы – veridical data science. Что это такое?
Мы хотим достичь такого качества научных публикаций и воспроизводимости моделей, чтобы они были:
- կանխատեսելի
- հաշվարկելի
- կայուն
Այս երեք սկզբունքները կազմում են նոր մեթոդաբանության հիմքը։ Ինչպե՞ս կարող են ML մոդելները ստուգվել այս չափանիշներով: Ամենահեշտ ձևը անհապաղ մեկնաբանվող մոդելներ (ռեգեսիաներ, որոշումների ծառեր) կառուցելն է: Այնուամենայնիվ, մենք նաև ցանկանում ենք ստանալ խորը ուսուցման անմիջական օգուտները:
Խնդրի հետ աշխատելու մի քանի գոյություն ունեցող ուղիներ.
- մեկնաբանել մոդելը;
- օգտագործել ուշադրության վրա հիմնված մեթոդներ;
- օգտագործել ալգորիթմների համույթներ մարզվելիս և ապահովել, որ գծային մեկնաբանելի մոդելները սովորեն կանխատեսել նույն պատասխանները, ինչ նեյրոնային ցանցը՝ մեկնաբանելով գծային մոդելի առանձնահատկությունները.
- փոխել և ավելացնել վերապատրաստման տվյալները: Սա ներառում է աղմուկի ավելացում, միջամտություն և տվյալների ավելացում.
- ցանկացած մեթոդ, որն օգնում է համոզվել, որ մոդելի արդյունքները պատահական չեն և կախված չեն աննշան անցանկալի միջամտությունից (հակառակորդի հարձակումներից).
- интерпретировать модель пост-фактум, после обучения;
- ուսումնասիրել առանձնահատկությունների կշիռները տարբեր ձևերով.
- ուսումնասիրել բոլոր վարկածների հավանականությունները, դասերի բաշխումը.
Adversarial attack
Մոդելավորման սխալները թանկ են բոլորի համար. վառ օրինակը Ռայնհարթի և Ռոգովի աշխատանքն է»:«Ազդեց շատ եվրոպական երկրների տնտեսական քաղաքականության վրա և ստիպեց նրանց վարել խնայողական քաղաքականություն, սակայն տվյալների մանրակրկիտ վերաստուգումը և դրանց մշակումը տարիներ անց ցույց տվեցին հակառակ արդյունքը։
У любой ML-технологии есть свой жизненный цикл от внедрения до внедрения. Задача новой методологии – сделать проверку на трех основных принципах на каждом этапе жизни модели.
Ամփոփում
- Развивается несколько проектов которые помогут ML-модели быть более надёжными. Это, например, deeptune (link to: );
- Для дальнейшего развития методологии необходимо существенно поднять качество публикаций в сфере ML;
- Մեքենայական ուսուցման համար անհրաժեշտ են առաջնորդներ՝ ինչպես տեխնիկական, այնպես էլ հումանիտար ոլորտներում բազմամասնագիտական պատրաստվածությամբ և փորձով:
«Մարդկային վարքագծի մոդելավորում մեքենայական ուսուցմամբ. հնարավորություններ և մարտահրավերներ» Նուրիա Մ. Օլիվեր, Ալբերտ Ալի Սալահ
Դասախոսություն՝ նվիրված մարդու վարքագծի մոդելավորմանը, դրա տեխնոլոգիական հիմքերին և կիրառման հեռանկարներին։
Մարդու վարքագծի մոդելավորումը կարելի է բաժանել.
- անհատական վարքագիծ
- մարդկանց փոքր խմբի վարքագիծը
- զանգվածային վարքագիծ
Այս տեսակներից յուրաքանչյուրը կարող է մոդելավորվել օգտագործելով ML, բայց բոլորովին այլ մուտքային տեղեկություններով և առանձնահատկություններով: Յուրաքանչյուր տեսակ ունի նաև իր էթիկական խնդիրները, որոնց միջով անցնում է յուրաքանչյուր նախագիծ.
- անհատական վարքագիծ – ինքնության գողություն, խորը կեղծիք;
- մարդկանց խմբերի վարքագիծը՝ անանունացում, տեղաշարժերի, հեռախոսազանգերի և այլնի մասին տեղեկությունների ստացում;
անհատական վարքագիծ
В большей степени касается темы Computer Vision – распознавание эмоций человека, его реакций. Возможно только в контексте, во времени либо с относительной шкалой его собственной вариативности эмоций. На слайде – распознавание эмоций Моны Лизы при помощи контекста из эмоционального спектра средиземноморских женщин. Результат: улыбка радости, но с презрением и отвращением. Причина скорее всего в техническом способе определения “нейтральной” эмоции.
Поведение небольшой группы лиц
Մինչ այժմ ամենավատ մոդելը պայմանավորված է անբավարար տեղեկատվության պատճառով։ Որպես օրինակ՝ ցուցադրվել են 2018-2019թթ. տասնյակ մարդկանց վրա X տասնյակ տեսանյութեր (տես 100k++ պատկերների տվյալների հավաքածուներ): Այս առաջադրանքը լավագույնս մոդելավորելու համար անհրաժեշտ է մուլտիմոդալ տեղեկատվություն, գերադասելի է մարմնի բարձրաչափի սենսորներից, ջերմաչափից, խոսափողի ձայնագրությունից և այլն:
Массовое поведение
Ամենազարգացած տարածքը, քանի որ պատվիրատուն ՄԱԿ-ն է և շատ պետություններ։ Արտաքին հսկողության տեսախցիկներ, հեռախոսային աշտարակների տվյալները՝ վճարումներ, SMS, զանգեր, պետական սահմանների միջև տեղաշարժի մասին տվյալներ, այս ամենը տալիս է մարդկանց տեղաշարժի և սոցիալական անկայունության շատ հուսալի պատկեր: Տեխնոլոգիայի հնարավոր կիրառությունները՝ փրկարարական աշխատանքների օպտիմալացում, օգնություն և բնակչության ժամանակին տարհանում արտակարգ իրավիճակների ժամանակ։ Օգտագործված մոդելները հիմնականում դեռ վատ են մեկնաբանվում. դրանք տարբեր LSTM-ներ և կոնվոլյուցիոն ցանցեր են: Կար կարճ նկատողություն այն մասին, որ ՄԱԿ-ը լոբբինգ է անում նոր օրենքի համար, որը կպարտադրի եվրոպական բիզնեսներին կիսել անանուն տվյալները, որոնք անհրաժեշտ են ցանկացած հետազոտության համար:
“From System 1 to System 2 Deep Learning”, Yoshua Bengio
Ջոշուա Բենջիոյի դասախոսության մեջ խորը ուսուցումը հանդիպում է նեյրոգիտությանը նպատակների սահմանման մակարդակում:
Բենջիոն առանձնացնում է խնդիրների երկու հիմնական տեսակ՝ համաձայն Նոբելյան մրցանակակիր Դանիել Կանեմանի մեթոդաբանության (գիրք «»)
տիպ 1 - Համակարգ 1, անգիտակից գործողություններ, որոնք մենք անում ենք «ավտոմատ» (հին ուղեղ). մեքենա վարել ծանոթ վայրերում, քայլել, ճանաչել դեմքերը:
տիպ 2 - Համակարգ 2, գիտակցված գործողություններ (ուղեղի կեղև), նպատակադրում, վերլուծություն, մտածողություն, կոմպոզիտային առաջադրանքներ:
AI-ն առայժմ բավարար բարձունքների է հասել միայն առաջին տեսակի առաջադրանքներում, մինչդեռ մեր խնդիրն է այն հասցնել երկրորդին՝ սովորեցնելով կատարել բազմամասնագիտական գործողություններ և գործել տրամաբանությամբ և բարձր մակարդակի ճանաչողական հմտություններով:
Для достижения этой цели предлагается:
- NLP առաջադրանքներում օգտագործել ուշադրությունը որպես մտածողության մոդելավորման հիմնական մեխանիզմ
- օգտագործել մետա-ուսուցումը և ներկայացման ուսուցումը ավելի լավ մոդելավորելու այն հատկանիշները, որոնք ազդում են գիտակցության և դրանց տեղայնացման վրա, և դրանց հիման վրա անցնել ավելի բարձր մակարդակի հասկացությունների հետ աշխատելուն:
Եզրակացության փոխարեն, ահա հրավիրված զրույց. Բենջիոն շատ գիտնականներից մեկն է, ովքեր փորձում են ընդլայնել ML-ի ոլորտը օպտիմալացման խնդիրներից, SOTA-ից և նոր ճարտարապետություններից դուրս:
Հարցը բաց է մնում, թե գիտակցության խնդիրների, մտածողության, նեյրոկենսաբանության և ալգորիթմների վրա լեզվի ազդեցությունը որքանով է մեզ սպասում ապագայում և թույլ կտա տեղափոխվել մարդկանց նման «մտածող» մեքենաներ:
Thank you!
Source: www.habr.com