NeuroIPS () - bu mashinani o'rganish va sun'iy intellekt bo'yicha dunyodagi eng yirik konferentsiya va chuqur o'rganish dunyosidagi asosiy voqea.
Biz, DS muhandislari, yangi o'n yillikda biologiya, tilshunoslik va psixologiyani ham o'zlashtiramizmi? Biz sizga sharhimizda aytib beramiz.
Bu yil konferentsiya Kanadaning Vankuver shahrida 13500 mamlakatdan 80 dan ortiq odamni birlashtirdi. Bu konferentsiyada Sberbank Rossiyani taqdim etayotgan birinchi yil emas - DS jamoasi bank jarayonlarida MLni joriy etish, ML raqobati va Sberbank DS platformasining imkoniyatlari haqida gapirdi. ML hamjamiyatidagi 2019-yilning asosiy tendentsiyalari qanday edi? Konferensiya ishtirokchilari: и .
Bu yil NeurIPS 1400 dan ortiq maqolalarni qabul qildi - algoritmlar, yangi modellar va yangi ma'lumotlarga yangi ilovalar.
Mundarija:
- Trends
-
- Modelning talqin qilinishi
- Multidisiplinarlik
- Fikrlash
- RL
- GAN
- Asosiy taklif qilingan suhbatlar
-
- "Ijtimoiy razvedka", Blez Aguera va Arkas (Google)
- "Veridikal ma'lumotlar ilmi", Bin Yu (Berkli)
- "Mashina o'rganish bilan inson xatti-harakatlarini modellashtirish: imkoniyatlar va muammolar", Nuria M Oliver, Albert Ali Salah
- "1-tizimdan 2-tizimga chuqur o'rganish", Yoshua Bengio
Yilning 2019 yo'nalishlari
1. Modelning izohlanishi va yangi ML metodologiyasi
Konferentsiyaning asosiy mavzusi nima uchun ma'lum natijalarga erishayotganimizni izohlash va isbotlashdir. "Qora quti" talqinining falsafiy ahamiyati haqida uzoq vaqt gapirish mumkin, ammo bu sohada ko'proq haqiqiy usullar va texnik ishlanmalar mavjud edi.
Modellarni takrorlash va ulardan bilim olish metodologiyasi fan uchun yangi vositadir. Modellar yangi bilimlarni olish va ularni sinab ko'rish uchun vosita bo'lib xizmat qilishi mumkin va modelni oldindan qayta ishlash, o'qitish va qo'llashning har bir bosqichi takrorlanishi kerak.
Nashrlarning katta qismi modellar va asboblarni yaratishga emas, balki xavfsizlik, shaffoflik va natijalarning tekshirilishini ta'minlash muammolariga bag'ishlangan. Xususan, modelga hujumlar (raqib hujumlar) haqida alohida oqim paydo bo'ldi va mashg'ulotlarga hujumlar va qo'llash bo'yicha hujumlar variantlari ko'rib chiqildi.
Maqolalar:
- — modelni tekshirish metodologiyasi boʻyicha dasturiy maqola. Modellarni talqin qilish uchun zamonaviy vositalar, xususan, chiziqli modellar bilan neyron tarmoqni "distillash" orqali diqqatni ishlatish va xususiyat ahamiyatini olish haqida umumiy ma'lumotni o'z ichiga oladi.
- Chaofan Chen, Oskar Li, Daniel Tao, Alina Barnett, Sintia Rudin, Jonatan K. Su
- Sara Xuker, Dumitru Erxan, Piter-Jan Kindermans, Kim Been
- Aleksandr Mott, Daniel Zoran, Mayk Xrzanovski, Daan Vierstra, Danilo Ximenes Rezende
- Xiao Li, Yu Vang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yu, Minyong Cho, Taebum Kim, U Kang
- Edvard Raff
ExBert.net matnni qayta ishlash vazifalari uchun model talqinini ko'rsatadi
2. Ko‘p tarmoqlilik
Ishonchli tekshirishni ta'minlash va bilimlarni tekshirish va kengaytirish mexanizmlarini ishlab chiqish uchun bizga ML va fan sohasida (tibbiyot, tilshunoslik, neyrobiologiya, ta'lim va boshqalar) bir vaqtning o'zida vakolatlarga ega bo'lgan tegishli sohalardagi mutaxassislar kerak. Ayniqsa, nevrologiya va kognitiv fanlarda asarlar va nutqlarning sezilarli darajada mavjudligini ta'kidlash kerak - mutaxassislarning yaqinlashishi va g'oyalarni jalb qilish mavjud.
Ushbu yaqinlashuvdan tashqari, turli manbalardan ma'lumotlarni birgalikda qayta ishlashda multidisiplinarlik paydo bo'ladi: matn va fotosuratlar, matn va o'yinlar, grafik ma'lumotlar bazalari + matn va fotosuratlar.
Maqolalar:
- Neyrologiya + ML -
- VisualQA -
- RL + NLP -
Ikki model - strateg va ijrochi - RL va NLP-ga asoslangan onlayn strategiya o'ynaydi
3. Fikrlash
Sun'iy intellektni kuchaytirish - bu o'z-o'zini o'rganish tizimlariga, "ongli", fikrlash va fikrlashga qaratilgan harakat. Xususan, sabab-oqibat xulosasi va umumiy fikrlash rivojlanmoqda. Ma'ruzalarning ba'zilari meta-o'rganishga (qanday o'rganishni o'rganish haqida) va DL texnologiyalarining 1 va 2-darajali mantiq bilan uyg'unligiga bag'ishlangan - Sun'iy umumiy intellekt (AGI) atamasi ma'ruzachilar nutqida keng tarqalgan atamaga aylanib bormoqda.
Maqolalar:
- Veytszyan Yu, Jingven Chjou, Veyxao Yu, Xiaodan Liang, Nong Xiao
- Van-Chjou Dai, Qiuling Syu, Yang Yu, Chji-Xua Chjou
- Vayshak Belle, Brendan Juba
- Anton Baxtin, Laurens van der Maaten, Jastin Jonson, Laura Gustafson, Ross Girshik
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Xarit Vishvakarma, Hima Karanam, L Venkata Subramaniam
4.O‘quvni mustahkamlash
Ishlarning aksariyati RL ning an'anaviy yo'nalishlarini rivojlantirish davom etmoqda - DOTA2, Starcraft, arxitekturani kompyuter ko'rish, NLP, grafik ma'lumotlar bazalari bilan birlashtirgan.
Konferentsiyaning alohida kuni RL seminariga bag'ishlandi, unda barcha oldingilaridan, xususan, Soft Actor Criticdan ustun bo'lgan Optimistik Aktyor Tanqidchi Modeli arxitekturasi taqdim etildi.
Maqolalar:
- ; Komil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (afzal tarmoqlar); Takahiro Ishikawa (Tokio universiteti) [tashqi pdf havola].
- ; Danijar Xafner (Google)*; Timoti Lillikrap (DeepMind); Jimmi Ba (Toronto universiteti); Muhammad Noruziy (Google Brain)
StarCraft o'yinchilari Alphastar modeliga qarshi kurashadilar (DeepMind)
5.GAN
Generativ tarmoqlar hali ham diqqat markazida: ko'pgina ishlar matematik dalillar uchun vanil GAN-lardan foydalanadi, shuningdek ularni yangi, noodatiy usullarda qo'llaydi (grafik generativ modellar, seriyalar bilan ishlash, ma'lumotlardagi sabab-ta'sir munosabatlariga qo'llash va boshqalar).
Maqolalar:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Chjan, Anna Xoreva
- Ley Xu, Mariya Skuularidou, Alfredo Kuesta-Infante, Kalyan Veeramachaneni
Ko'proq ish qabul qilinganligi sababli Quyida biz eng muhim nutqlar haqida gapiramiz.
Taklif etilgan suhbatlar
"Ijtimoiy razvedka", Blez Aguera va Arkas (Google)
Ma’ruza asosiy e’tibor mashinalarni o‘rganishning umumiy metodologiyasi va sohani o‘zgartirish istiqbollariga qaratiladi – biz qanday chorrahaga duch kelyapmiz? Miya va evolyutsiya qanday ishlaydi va nega biz tabiiy tizimlarning rivojlanishi haqida allaqachon bilgan narsalarimizdan unchalik kam foydalanamiz?
ML ning sanoat rivojlanishi ko'p jihatdan Google kompaniyasining rivojlanishining muhim bosqichlariga to'g'ri keladi, u o'z tadqiqotlarini NeurIPS-da yildan-yilga nashr etadi:
- 1997 yil - qidiruv ob'ektlari, birinchi serverlar, kichik hisoblash quvvati ishga tushirildi
- 2010 yil - Jeff Din Google Brain loyihasini ishga tushirdi, bu eng boshida neyron tarmoqlarning portlashi
- 2015 yil – neyron tarmoqlarni sanoatda joriy etish, to‘g‘ridan-to‘g‘ri mahalliy qurilmada yuzni tez aniqlash, tenzor hisoblash uchun moslashtirilgan past darajadagi protsessorlar - TPU. Google Coral ai - malina pi analogi, neyron tarmoqlarni eksperimental qurilmalarga kiritish uchun mini-kompyuterni ishga tushirdi.
- 2017 yil - Google markazlashtirilmagan treningni ishlab chiqishni va neyron tarmoqlarni o'qitish natijalarini turli qurilmalardan bir modelga birlashtirishni boshladi - Androidda
Bugungi kunda butun sanoat ma'lumotlar xavfsizligi, jamlash va o'quv natijalarini mahalliy qurilmalarda takrorlashga bag'ishlangan.
- ML yo'nalishi bo'lib, unda alohida modellar bir-biridan mustaqil ravishda o'rganiladi va keyinchalik yagona modelga birlashtiriladi (manba ma'lumotlarini markazlashtirmasdan), noyob hodisalar, anomaliyalar, shaxsiylashtirish va boshqalar uchun moslashtiriladi. Barcha Android qurilmalari aslida Google uchun yagona hisoblash superkompyuteridir.
Federativ ta'limga asoslangan generativ modellar Google-ga ko'ra, "eksponensial o'sishning dastlabki bosqichida" bo'lgan istiqbolli yo'nalishdir. O'qituvchining so'zlariga ko'ra, GANlar tirik organizmlar populyatsiyalarining ommaviy xatti-harakatlarini va fikrlash algoritmlarini ko'paytirishni o'rganishga qodir.
Ikki oddiy GAN arxitekturasining misolidan foydalanib, ularda optimallashtirish yo'lini qidirish aylana bo'ylab yurishi ko'rsatilgan, ya'ni optimallashtirish bunday bo'lmaydi. Shu bilan birga, bu modellar biologlar bakterial populyatsiyalar ustida olib boradigan tajribalarni simulyatsiya qilishda juda muvaffaqiyatli bo'lib, ularni oziq-ovqat izlashda yangi xulq-atvor strategiyalarini o'rganishga majbur qiladi. Xulosa qilishimiz mumkinki, hayot optimallashtirish funktsiyasidan boshqacha ishlaydi.
Yurish GAN optimallashtirish
Mashinani o'rganish doirasida biz hozir qilayotgan barcha ishlar tor va o'ta rasmiylashtirilgan vazifalardir, ammo bu rasmiyatchiliklar yaxshi umumlashtirilmaydi va neyrofiziologiya va biologiya kabi sohalardagi bizning fan bilimimizga mos kelmaydi.
Yaqin kelajakda neyrofiziologiya sohasidan qarz olishga arziydigan narsa bu yangi neyron arxitekturalari va xatolarni orqaga qaytarish mexanizmlarini biroz qayta ko'rib chiqishdir.
Inson miyasining o'zi neyron tarmoq kabi o'rganmaydi:
- U tasodifiy birlamchi ma'lumotlarga ega emas, shu jumladan hislar orqali va bolalik davrida qo'yilgan
- U instinktiv rivojlanishning o'ziga xos yo'nalishlariga ega (chaqaloqdan til o'rganish istagi, tik yurish)
Individual miyani o'rgatish past darajadagi vazifadir; ehtimol biz guruh evolyutsiyasi mexanizmlarini qayta ishlab chiqarish uchun tez o'zgaruvchan shaxslarning bir-biriga bilim uzatadigan "koloniyalari" ni ko'rib chiqishimiz kerak.
Endi ML algoritmlariga nimani qabul qilishimiz mumkin:
- Aholining o'rganishini ta'minlaydigan, ammo shaxsning qisqa umrini ta'minlaydigan hujayra avlodi modellarini qo'llang ("individual miya")
- Kichik miqdordagi misollar yordamida bir necha marta o'rganish
- Murakkab neyron tuzilmalari, faollashtirish funktsiyalari biroz boshqacha
- "Genom" ni keyingi avlodlarga o'tkazish - orqaga tarqalish algoritmi
- Neyrofiziologiya va neyron tarmoqlarni bog'laganimizdan so'ng, biz ko'p komponentlardan ko'p funktsiyali miyani qanday qurishni o'rganamiz.
Shu nuqtai nazardan, SOTA yechimlari amaliyoti zararli hisoblanadi va umumiy vazifalarni (benchmarks) ishlab chiqish uchun qayta ko'rib chiqilishi kerak.
"Veridikal ma'lumotlar ilmi", Bin Yu (Berkli)
Hisobot mashinani o'rganish modellarini talqin qilish muammosiga va ularni to'g'ridan-to'g'ri sinovdan o'tkazish va tekshirish metodologiyasiga bag'ishlangan. Har qanday o'qitilgan ML modeli undan olinishi kerak bo'lgan bilim manbai sifatida qabul qilinishi mumkin.
Ko'pgina sohalarda, ayniqsa tibbiyotda, ushbu yashirin bilimlarni olinmasdan va model natijalarini sharhlamasdan modeldan foydalanish mumkin emas - aks holda biz natijalar barqaror, tasodifiy bo'lmagan, ishonchli bo'lishiga ishonchimiz komil bo'lmaydi va odamlarni o'ldirmaydi. sabr. Ish metodologiyasining butun yo'nalishi chuqur o'rganish paradigmasi doirasida rivojlanmoqda va uning chegaralaridan tashqariga chiqadi - veridical data Science. Bu nima?
Biz ilmiy nashrlarning shunday sifatiga va modellarning takrorlanishiga erishmoqchimiz, ular:
- bashorat qilish mumkin
- hisoblash mumkin
- barqaror
Ushbu uchta tamoyil yangi metodologiyaning asosini tashkil qiladi. ML modellarini ushbu mezonlarga muvofiq qanday tekshirish mumkin? Eng oson yo'li - darhol izohlanadigan modellarni (regressiyalar, qarorlar daraxtlari) qurishdir. Biroq, biz chuqur o'rganishning darhol afzalliklarini olishni xohlaymiz.
Muammo bilan ishlashning bir necha mavjud usullari:
- modelni talqin qilish;
- diqqatga asoslangan usullardan foydalanish;
- treningda algoritmlar ansambllaridan foydalaning va chiziqli izohlanadigan modellar chiziqli modeldan xususiyatlarni sharhlab, neyron tarmoq bilan bir xil javoblarni bashorat qilishni o'rganishini ta'minlash;
- o'quv ma'lumotlarini o'zgartirish va oshirish. Bu shovqin, shovqin va ma'lumotlarni ko'paytirishni qo'shishni o'z ichiga oladi;
- model natijalari tasodifiy emasligini va kichik istalmagan aralashuvlarga bog'liq bo'lmasligini ta'minlashga yordam beradigan har qanday usullar (dushman hujumlari);
- haqiqatdan keyin, treningdan keyin modelni sharhlash;
- xususiyat vaznlarini turli yo'llar bilan o'rganish;
- barcha gipotezalarning ehtimolliklarini, sinf taqsimotini o'rganish.
Raqib hujumi
Modellashtirish xatolari hamma uchun qimmatga tushadi: buning yorqin misoli Reynxart va Rogovning ishi."" ko'plab Evropa davlatlarining iqtisodiy siyosatiga ta'sir ko'rsatdi va ularni tejamkorlik siyosatini olib borishga majbur qildi, ammo ma'lumotlarni sinchkovlik bilan qayta tekshirish va ularni qayta ishlash yillar o'tib, aksincha natijani ko'rsatdi!
Har qanday ML texnologiyasi amalga oshirishdan boshlab amalga oshirishgacha bo'lgan o'z hayot aylanishiga ega. Yangi metodologiyaning maqsadi - model hayotining har bir bosqichida uchta asosiy tamoyilni tekshirish.
Natijalar:
- ML modeli yanada ishonchli bo'lishiga yordam beradigan bir nechta loyihalar ishlab chiqilmoqda. Bu, masalan, deeptune (havola: );
- Metodologiyani yanada rivojlantirish uchun ML sohasidagi nashrlar sifatini sezilarli darajada oshirish kerak;
- Mashinani o'rganish texnik va gumanitar sohalarda ko'p tarmoqli tayyorgarlik va tajribaga ega bo'lgan rahbarlarga muhtoj.
"Mashina o'rganish bilan inson xatti-harakatlarini modellashtirish: imkoniyatlar va muammolar" Nuria M Oliver, Albert Ali Salah
Inson xatti-harakatlarini modellashtirish, uning texnologik asoslari va qo'llash istiqbollariga bag'ishlangan ma'ruza.
Inson xatti-harakatlarini modellashtirishni quyidagilarga bo'lish mumkin:
- individual xatti-harakatlar
- kichik bir guruh odamlarning xatti-harakati
- ommaviy xatti-harakatlar
Ushbu turlarning har biri ML yordamida modellashtirilishi mumkin, ammo kirish ma'lumotlari va xususiyatlari butunlay boshqacha. Har bir turning o'ziga xos axloqiy muammolari ham bor, ular har bir loyihani boshdan kechiradi:
- individual xatti-harakatlar - shaxsni o'g'irlash, deepfake;
- odamlar guruhlarining xatti-harakati - anonimlik, harakatlar, telefon qo'ng'iroqlari va boshqalar haqida ma'lumot olish;
individual xatti-harakatlar
Ko'pincha kompyuterni ko'rish mavzusi bilan bog'liq - insonning his-tuyg'ulari va reaktsiyalarini tan olish. Ehtimol, faqat kontekstda, vaqt ichida yoki hissiyotlarning o'zgaruvchanligining nisbiy ko'lami bilan. Slaydda Mona Lizaning his-tuyg'ularini tan olish O'rta er dengizi ayollarining hissiy spektridan kontekstdan foydalangan holda ko'rsatilgan. Natija: quvonch tabassumi, lekin nafrat va nafrat bilan. Buning sababi, ehtimol, "neytral" tuyg'uni aniqlashning texnik usulida.
Kichik bir guruh odamlarning xatti-harakati
Hozircha eng yomon model ma'lumotlarning etishmasligi bilan bog'liq. Misol tariqasida, 2018-2019 yillardagi ishlar ko'rsatilgan. o'nlab odamlarga X o'nlab videolar (qarang. 100k++ tasvir ma'lumotlar to'plami). Ushbu vazifani eng yaxshi modellashtirish uchun multimodal ma'lumot kerak, yaxshisi tana altimetri, termometr, mikrofon yozuvi va boshqalardagi sensorlardan.
Ommaviy xatti-harakatlar
Eng rivojlangan hudud, chunki mijoz BMT va ko'plab davlatlardir. Tashqi kuzatuv kameralari, telefon minoralari ma'lumotlari - hisob-kitoblar, SMS, qo'ng'iroqlar, davlat chegaralari orasidagi harakat haqidagi ma'lumotlar - bularning barchasi odamlar harakati va ijtimoiy beqarorlik haqida juda ishonchli tasvirni beradi. Texnologiyaning potentsial qo'llanilishi: qutqaruv ishlarini optimallashtirish, favqulodda vaziyatlarda yordam berish va aholini o'z vaqtida evakuatsiya qilish. Amaldagi modellar asosan hali ham yomon talqin qilinmoqda - bular turli xil LSTMlar va konvolyutsion tarmoqlar. Birlashgan Millatlar Tashkiloti Evropa bizneslarini har qanday tadqiqot uchun zarur bo'lgan anonim ma'lumotlarni almashishga majbur qiladigan yangi qonunni qo'llab-quvvatlayotgani haqida qisqacha eslatma bor edi.
"1-tizimdan 2-tizimga chuqur o'rganish", Yoshua Bengio
Joshua Bengio ma'ruzasida chuqur o'rganish maqsadni belgilash darajasida nevrologiya bilan uchrashadi.
Bengio Nobel mukofoti sovrindori Daniel Kahnemanning metodologiyasiga ko'ra muammolarning ikkita asosiy turini aniqlaydi ("kitob"")
1-toifa - 1-tizim, biz "avtomatik" (qadimiy miya) qiladigan ongsiz harakatlar: tanish joylarda mashina haydash, yurish, yuzlarni tanib olish.
2-toifa - 2-tizim, ongli harakatlar (miya yarim korteksi), maqsadni belgilash, tahlil qilish, fikrlash, kompozit vazifalar.
AI hozirgi kunga qadar faqat birinchi turdagi vazifalarda etarli balandlikka erishdi, bizning vazifamiz uni ikkinchi darajaga olib chiqish, uni ko'p tarmoqli operatsiyalarni bajarish va mantiqiy va yuqori darajadagi kognitiv ko'nikmalar bilan ishlashga o'rgatishdir.
Ushbu maqsadga erishish uchun quyidagilar taklif etiladi:
- NLP vazifalarida e'tiborni fikrlashni modellashtirishning asosiy mexanizmi sifatida foydalaning
- ongga va ularning lokalizatsiyasiga ta'sir qiluvchi xususiyatlarni yaxshiroq modellashtirish uchun meta-o'rganish va tasviriy o'rganishdan foydalaning - va ular asosida yuqori darajadagi tushunchalar bilan ishlashga o'ting.
Xulosa o'rniga taklif qilingan nutq: Bengio ML sohasini optimallashtirish muammolari, SOTA va yangi arxitekturalardan tashqari kengaytirishga harakat qilayotgan ko'plab olimlardan biridir.
Ong muammolarining uyg'unligi, tilning fikrlash, neyrobiologiya va algoritmlarga ta'siri kelajakda bizni kutayotgan narsa va odamlarga o'xshab "o'ylaydigan" mashinalarga o'tishimizga imkon beradi degan savol ochiqligicha qolmoqda.
Rahmat!
Manba: www.habr.com