NeuroIPS () - бұл машиналық оқыту және жасанды интеллект бойынша әлемдегі ең ірі конференция және терең оқыту әлеміндегі басты оқиға.
Біз, DS инженерлері, жаңа онжылдықта биология, лингвистика және психологияны да меңгереміз бе? Біз сізге шолуымызда айтамыз.
Биылғы жылы конференция Ванкуверде (Канада) 13500 елден 80-ден астам адамды жинады. Бұл конференцияда Сбербанк Ресей атынан бірінші жыл емес - DS тобы банктік процестерге ML енгізу туралы, ML бәсекелестігі туралы және Сбербанк DS платформасының мүмкіндіктері туралы айтты. ML қауымдастығындағы 2019 жылдың негізгі трендтері қандай болды? Конференцияға қатысушылар: и .
Биыл NeurIPS 1400-ден астам жұмысты қабылдады — алгоритмдер, жаңа үлгілер және жаңа деректерге арналған жаңа қосымшалар.
Мазмұны:
- Трендтер
-
- Модельді интерпретациялау
- Көпсалалылық
- Дәлелдеу
- RL
- GAN
- Негізгі шақырылған әңгімелер
-
- «Әлеуметтік интеллект», Блез Агуера және Аркас (Google)
- «Нақты деректер туралы ғылым», Бин Ю (Беркли)
- «Машиналық оқыту арқылы адам мінез-құлқын модельдеу: мүмкіндіктер мен қиындықтар», Нурия М Оливер, Альберт Али Салах
- Йошуа Бенджио, «1-жүйеден 2-жүйеге дейін терең оқыту».
2019 Жылдың үрдісі
1. Үлгінің түсіндірмелілігі және жаңа ML әдістемесі
Конференцияның негізгі тақырыбы - біз неліктен белгілі бір нәтижелерге қол жеткізетінімізді түсіндіру және дәлелдеу. «Қара жәшік» интерпретациясының философиялық маңыздылығы туралы ұзақ уақыт айтуға болады, бірақ бұл салада нақты әдістер мен техникалық әзірлемелер болды.
Модельдерді қайталау және олардан білім алу әдістемесі ғылым үшін жаңа құрал болып табылады. Модельдер жаңа білімді алу және оны тексеру құралы ретінде қызмет ете алады және үлгіні алдын ала өңдеудің, оқытудың және қолданудың әрбір кезеңі қайталанатын болуы керек.
Басылымдардың едәуір бөлігі үлгілер мен құралдарды құруға емес, қауіпсіздікті, ашықтықты және нәтижелердің тексерілуін қамтамасыз ету мәселелеріне арналған. Атап айтқанда, модельге жасалған шабуылдар (қарсыластық шабуылдар) туралы жеке ағын пайда болды және жаттығуға жасалған шабуылдардың да, қолданбаға шабуылдың да нұсқалары қарастырылады.
Мақалалар:
- — модельді тексеру әдістемесі туралы бағдарламалық мақала. Модельдерді интерпретациялауға арналған заманауи құралдардың шолуын қамтиды, атап айтқанда, нейрондық желіні сызықтық модельдермен «айту» арқылы зейінді пайдалану және ерекшелік маңыздылығын алу.
- Чаофан Чен, Оскар Ли, Дэниел Тао, Алина Барнетт, Синтия Рудин, Джонатан К.Су
- Сара Хукер, Думитру Эрхан, Питер-Джан Киндерманс, Беен Ким
- Александр Мотт, Дэниел Зоран, Майк Хрзановский, Даан Виерстра, Данило Хименес Резенде
- Сяо Ли, Ю Ван, Суманта Басу, Карл Кумбиер, Бин Ю
- Джемин Ю, Минён Чо, Тэбум Ким, У Кан
- Эдвард Рафф
ExBert.net мәтінді өңдеу тапсырмалары үшін үлгі интерпретациясын көрсетеді
2. Көпсалалылық
Сенімді тексеруді қамтамасыз ету және білімді тексеру және кеңейту тетіктерін әзірлеу үшін бізге бір уақытта ML және пәндік салада (медицина, лингвистика, нейробиология, білім беру және т.б.) құзыреттілігі бар тиісті салалардағы мамандар қажет. Неврология және когнитивтік ғылымдардағы еңбектер мен сөйлеген сөздердің анағұрлым маңызды болуын ерекше атап өткен жөн - мамандардың жақындасуы және идеялардың тартылуы байқалады.
Бұл жақындасудан басқа, әртүрлі көздерден алынған ақпаратты: мәтін мен фотосуреттер, мәтін мен ойындар, графикалық мәліметтер базасы + мәтін мен фотосуреттерді бірлесіп өңдеуде көп салалылық пайда болады.
Мақалалар:
- Неврология + ML —
- VisualQA -
- RL + NLP -
Екі модель - стратег және атқарушы - RL және NLP негізінде онлайн стратегиясын ойнайды
3. Ой қозғау
Жасанды интеллектті күшейту - бұл өздігінен білім алатын жүйелерге, «саналы», пайымдауға және пайымдауға бағытталған қозғалыс. Атап айтқанда, себеп-салдарлық қорытынды мен парасатты пайымдаулар дамып келеді. Есептердің кейбірі мета-оқытуға (үйренуді үйрену туралы) және DL технологияларының 1-ші және 2-ші ретті логикамен үйлесуі - жасанды жалпы интеллект (AGI) термині спикерлердің сөйлеуінде кең таралған терминге айналуда.
Мақалалар:
- Вэйцзян Ю, Цзинвэнь Чжоу, Вэйхао Ю, Сяодон Лян, Нонг Сяо
- Ван-Чжоу Дай, Цюлин Сю, Ян Ю, Чжи-Хуа Чжоу
- Вайшак Белле, Брендан Джуба
- Антон Бахтин, Лоренс ван дер Маатен, Джастин Джонсон, Лаура Густафсон, Росс Гиршик
- Динеш Гарг, Шаджит Икбал, Сантош К. Сривастава, Харит Вишвакарма, Хима Каранам, Л Венката Субраманиам
4. Оқытуды нығайту
Жұмыстың басым бөлігі архитектураны компьютерлік көру, NLP, графикалық мәліметтер базасымен біріктіретін RL - DOTA2, Starcraft дәстүрлі бағыттарын дамытуды жалғастыруда.
Конференцияның бөлек күні RL семинарына арналды, онда бұрынғылардың барлығынан, атап айтқанда Жұмсақ актер сыншысынан жоғары, оптимистік актер сыншысы үлгісінің архитектурасы ұсынылды.
Мақалалар:
- ; Камил Чиосек, Куан Вуонг, Роберт Лофтин, Катя Хофман
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Қалаулы желілер); Такахиро Ишикава (Токио университеті) [сыртқы pdf сілтемесі].
- ; Данияр Хафнер (Google)*; Тимоти Лилликрап (DeepMind); Джимми Ба (Торонто университеті); Мохаммад Норузи (Google миы)
StarCraft ойыншылары Alphastar үлгісімен күреседі (DeepMind)
5.ГАН
Генеративті желілер әлі де назарда: көптеген жұмыстар математикалық дәлелдеу үшін ванильді GAN пайдаланады, сондай-ақ оларды жаңа, әдеттен тыс тәсілдермен қолданады (графикалық генеративті модельдер, сериялармен жұмыс, деректердегі себеп-салдар байланыстарына қолдану және т.б.).
Мақалалар:
- Сангву Мо, Чихён Ким, Сонвун Ким, Минсу Чо, Джинву Шин
- Дан Чжан, Анна Хорева
- Лей Сю, Мария Скулариду, Альфредо Куэста-Инфанте, Калян Веерамачанени
Өйткені көбірек жұмыс қабылданды Төменде біз ең маңызды баяндамалар туралы айтатын боламыз.
Шақырылған әңгімелер
«Әлеуметтік интеллект», Блез Агуера және Аркас (Google)
Әңгіме машиналық оқытудың жалпы әдістемесіне және саланы дәл қазір өзгертетін перспективаларға бағытталған - біз қандай жол айрығында тұрмыз? Ми мен эволюция қалай жұмыс істейді және неге біз табиғи жүйелердің дамуы туралы білетінімізді соншалықты аз пайдаланамыз?
ML-дің өнеркәсіптік дамуы негізінен Google компаниясының даму кезеңдерімен сәйкес келеді, ол өзінің зерттеулерін NeurIPS-те жыл сайын жариялайды:
- 1997 ж. – іздеу құрылғыларын, алғашқы серверлерді, шағын есептеу қуатын іске қосу
- 2010 - Джефф Дин Google Brain жобасын іске қосты, бұл ең басында нейрондық желілердің бумы
- 2015 – нейрондық желілерді өнеркәсіптік енгізу, бетті тікелей жергілікті құрылғыда жылдам тану, тензорлық есептеулерге бейімделген төмен деңгейлі процессорлар – TPU. Google Coral ai - таңқурай pi аналогы, нейрондық желілерді эксперименттік қондырғыларға енгізуге арналған шағын компьютерді іске қосты.
- 2017 - Google орталықтандырылмаған оқытуды дамыта бастайды және әртүрлі құрылғылардан нейрондық желіні оқыту нәтижелерін Android жүйесінде бір модельге біріктіреді
Бүгінгі таңда бүкіл сала деректерді қорғауға, біріктіруге және жергілікті құрылғылардағы оқу нәтижелерін қайталауға арналған.
– жеке модельдер бір-бірінен тәуелсіз үйренетін, содан кейін сирек оқиғаларға, ауытқуларға, жекелендіруге және т.б. үшін реттелетін (бастапқы деректерді орталықтандырусыз) бір модельге біріктірілетін ML бағыты. Барлық Android құрылғылары Google үшін бір компьютерлік суперкомпьютер болып табылады.
Федерацияланған оқытуға негізделген генеративті модельдер «экспоненциалды өсудің бастапқы кезеңдерінде» тұрған Google пікірі бойынша келешегі зор болашақ бағыты болып табылады. Лектордың айтуынша, GAN тірі организмдердің популяцияларының жаппай мінез-құлқын және ойлау алгоритмдерін жаңғыртуды үйренуге қабілетті.
Екі қарапайым GAN архитектурасының мысалын қолдана отырып, оларда оңтайландыру жолын іздеу шеңбер бойымен жүретіні көрсетілген, яғни оңтайландыру ондай болмайды. Сонымен қатар, бұл модельдер биологтардың бактериялық популяцияларға жүргізетін эксперименттерін имитациялауда өте сәтті, оларды тамақ іздеуде жаңа мінез-құлық стратегияларын үйренуге мәжбүр етеді. Өмір оңтайландыру функциясына қарағанда басқаша жұмыс істейді деген қорытынды жасауға болады.
Жаяу GAN оңтайландыруы
Қазір машиналық оқыту аясында біз істеп жатқан нәрселердің барлығы тар және өте формальды тапсырмалар, ал бұл формализм жақсы жалпыланбайды және нейрофизиология және биология сияқты салалардағы пәндік білімімізге сәйкес келмейді.
Жақын болашақта нейрофизиология саласынан шынымен қарыз алуға тұрарлық нәрсе - жаңа нейрондық архитектуралар және қателердің кері таралу механизмдерін шамалы қайта қарау.
Адам миының өзі нейрондық желі сияқты үйренбейді:
- Оның кездейсоқ бастапқы кірістері жоқ, оның ішінде сезімдер арқылы және балалық шақта берілген
- Оған инстинктивтік дамудың тән бағыттары бар (сәрестеден тіл үйренуге, тік жүруге ұмтылу)
Жеке миды жаттықтыру - бұл төмен деңгейлі міндет; мүмкін, топтық эволюция механизмдерін жаңғырту үшін бір-біріне білім беретін жылдам өзгеретін индивидтердің «колонияларын» қарастыру керек.
Қазір ML алгоритмдеріне нені қабылдай аламыз:
- Популяцияның оқуын қамтамасыз ететін, бірақ жеке адамның қысқа өмірін («жеке ми») қамтамасыз ететін жасушалық тегі үлгілерін қолданыңыз.
- Мысалдардың аз санын пайдалана отырып, аздап оқыту
- Нейрондардың күрделі құрылымдары, белсендіру функциялары сәл өзгеше
- «Геномды» келесі ұрпаққа беру – кері таралу алгоритмі
- Нейрофизиология мен нейрондық желілерді қосқаннан кейін біз көптеген компоненттерден көп функциялы ми құруды үйренеміз.
Осы тұрғыдан алғанда, SOTA шешімдерінің тәжірибесі зиянды және жалпы тапсырмаларды (эталондарды) әзірлеу мақсатында қайта қаралуы керек.
«Нақты деректер туралы ғылым», Бин Ю (Беркли)
Есеп машиналық оқыту үлгілерін интерпретациялау мәселесіне және оларды тікелей тестілеу мен тексеру әдістемесіне арналған. Кез келген оқытылған ML моделін одан алуды қажет ететін білім көзі ретінде қабылдауға болады.
Көптеген салаларда, әсіресе медицинада, модельді пайдалану осы жасырын білімді шығармай және модель нәтижелерін түсіндірмей мүмкін емес - әйтпесе біз нәтижелердің тұрақты, кездейсоқ емес, сенімді болатынына сенімді болмаймыз және оны өлтірмейтін боламыз. пациент. Жұмыс әдістемесінің тұтас бір бағыты терең оқыту парадигмасы аясында дамып келеді және оның шекарасынан шығып кетеді – вердикалды деректер ғылымы. Бұл не?
Біз ғылыми жарияланымдар сапасына және үлгілердің қайталанатындығына қол жеткізгіміз келеді, олар:
- болжауға болатын
- есептелетін
- тұрақты
Осы үш қағида жаңа әдістеменің негізін құрайды. ML үлгілерін осы критерийлер бойынша қалай тексеруге болады? Ең оңай жолы – бірден түсіндірілетін үлгілерді (регрессиялар, шешім ағаштары) құру. Дегенмен, біз терең білімнің бірден пайдасына қол жеткізгіміз келеді.
Мәселемен жұмыс істеудің бірнеше бар тәсілдері:
- модельді түсіндіру;
- зейінге негізделген әдістерді қолдану;
- оқыту кезінде алгоритмдер ансамбльдерін пайдалану және сызықтық интерпретацияланатын модельдердің сызықтық модельдің мүмкіндіктерін түсіндіре отырып, нейрондық желі сияқты бірдей жауаптарды болжауды үйренуін қамтамасыз ету;
- оқыту деректерін өзгерту және толықтыру. Бұған шу, кедергі және деректерді көбейту қосу кіреді;
- үлгі нәтижелерінің кездейсоқ еместігін және шамалы қажетсіз кедергілерге (қарсы шабуылдар) тәуелді еместігін қамтамасыз етуге көмектесетін кез келген әдістер;
- модельді фактіден кейін, жаттығудан кейін түсіндіру;
- әртүрлі тәсілдермен ерекшелік салмақтарын зерттеу;
- барлық гипотезалардың ықтималдығын зерттеу, класстық бөлу.
Қарсылас шабуыл
Модельдеу қателері барлығына қымбатқа түседі: ең жақсы мысал - Рейнхарт пен Роговтың жұмысы».« көптеген еуропалық елдердің экономикалық саясатына әсер етті және оларды үнемдеу саясатын жүргізуге мәжбүр етті, бірақ деректерді мұқият қайта тексеру және оларды бірнеше жылдардан кейін өңдеу керісінше нәтиже көрсетті!
Кез келген ML технологиясының енгізуден іске асыруға дейінгі өзінің өмірлік циклі болады. Жаңа әдістеменің мақсаты – модель өмірінің әр кезеңінде үш негізгі қағиданы тексеру.
Нәтижелері:
- ML моделінің сенімдірек болуына көмектесетін бірнеше жобалар әзірленуде. Бұл, мысалы, deeptune (сілтеме: );
- Әдістемені одан әрі дамыту үшін ML саласындағы басылымдардың сапасын айтарлықтай жақсарту қажет;
- Машиналық оқытуға техникалық және гуманитарлық салаларда көпсалалы дайындығы мен тәжірибесі бар көшбасшылар қажет.
«Машиналық оқыту арқылы адам мінез-құлқын модельдеу: мүмкіндіктер мен қиындықтар» Нурия М Оливер, Альберт Али Салах
Адам мінез-құлқын модельдеуге, оның технологиялық негіздеріне және қолдану перспективаларына арналған дәріс.
Адамның мінез-құлқын модельдеуді келесідей бөлуге болады:
- жеке мінез-құлық
- шағын топтың мінез-құлқы
- бұқаралық мінез-құлық
Осы түрлердің әрқайсысын ML көмегімен модельдеуге болады, бірақ мүлдем басқа кіріс ақпараты мен мүмкіндіктері бар. Әрбір түрдің әрбір жобадан өтетін өз этикалық мәселелері бар:
- жеке мінез-құлық – жеке басын ұрлау, терең фейк;
- адамдар топтарының мінез-құлқы - анонимді жою, қозғалыстар туралы ақпарат алу, телефон қоңыраулары және т.б.;
жеке мінез-құлық
Көбінесе компьютерлік көру тақырыбымен байланысты - адамның эмоциялары мен реакцияларын тану. Мүмкін тек контексте, уақыт бойынша немесе эмоциялардың өзіндік өзгермелілігінің салыстырмалы масштабымен. Слайд Жерорта теңізі әйелдерінің эмоционалды спектрінен контекст арқылы Мона Лизаның эмоцияларын тануды көрсетеді. Нәтиже: қуаныш күлкі, бірақ менсінбеу және жиіркенішпен. Мұның себебі, ең алдымен, «бейтарап» эмоцияны анықтаудың техникалық тәсілінде болуы мүмкін.
Шағын топтағы адамдардың мінез-құлқы
Әзірге ең нашар үлгі ақпараттың жеткіліксіздігіне байланысты. Мысал ретінде 2018-2019 жылдар аралығындағы жұмыстар көрсетілді. ондаған адамдарға X ондаған бейнелер (қараңыз. 100k++ кескін деректер жинағы). Бұл тапсырманы жақсы модельдеу үшін мультимодальды ақпарат қажет, жақсырақ дене-биіктігі өлшегіштегі сенсорлардан, термометрден, микрофон жазуынан және т.б.
Жаппай мінез-құлық
Ең дамыған аймақ, өйткені тапсырыс беруші БҰҰ және көптеген мемлекеттер. Сырттағы бақылау камералары, телефон мұнараларының деректері – есеп айырысу, SMS, қоңыраулар, мемлекеттік шекаралар арасындағы қозғалыс деректері – мұның бәрі адамдардың қозғалысы мен әлеуметтік тұрақсыздықтың өте сенімді көрінісін береді. Технологияның әлеуетті қолданылуы: авариялық-құтқару жұмыстарын оңтайландыру, төтенше жағдайлар кезінде халықты дер кезінде эвакуациялау және көмек көрсету. Қолданылатын модельдер негізінен әлі де нашар түсіндіріледі - бұл әртүрлі LSTM және конволюционды желілер. Біріккен Ұлттар Ұйымы еуропалық бизнесті кез келген зерттеуге қажетті анонимді деректерді бөлісуге міндеттейтін жаңа заңға қолдау көрсетіп жатқаны туралы қысқаша ескерту болды.
Йошуа Бенджио, «1-жүйеден 2-жүйеге дейін терең оқыту».
Джошуа Бенджионың лекциясында терең оқыту мақсат қою деңгейінде неврологиямен кездеседі.
Бенджио Нобель сыйлығының лауреаты Дэниел Каннеманның әдістемесіне сәйкес мәселелердің екі негізгі түрін анықтайды («кітабы»).")
1 түрі - 1-жүйе, біз «автоматты түрде» жасайтын бейсаналық әрекеттер (ежелгі ми): таныс жерлерде көлік жүргізу, жүру, беттерді тану.
2 түрі – 2-жүйе, саналы әрекеттер (ми қыртысы), мақсат қою, талдау, ойлау, құрама тапсырмалар.
AI әлі күнге дейін бірінші типтегі тапсырмаларда ғана жеткілікті биіктерге жетті, ал біздің міндетіміз оны екінші деңгейге жеткізу, оны көп салалы операцияларды орындауға және логикалық және жоғары деңгейдегі танымдық дағдылармен жұмыс істеуге үйрету.
Бұл мақсатқа жету үшін ұсынылады:
- NLP тапсырмаларында зейінді ойлауды модельдеудің негізгі механизмі ретінде пайдаланыңыз
- санаға және олардың локализациясына әсер ететін мүмкіндіктерді жақсырақ модельдеу үшін мета-оқыту мен бейнелеуді оқытуды пайдаланыңыз және олардың негізінде жоғары деңгейлі тұжырымдамалармен жұмыс істеуге көшіңіз.
Қорытындының орнына шақырылған баяндама: Бенджио ML саласын оңтайландыру мәселелерінен, SOTA және жаңа архитектуралардан тыс кеңейтуге тырысатын көптеген ғалымдардың бірі.
Сана мәселелерінің үйлесімі, тілдің ойлауға, нейробиологияға және алгоритмдерге әсері қаншалықты болашақта бізді күтіп тұр және адамдар сияқты «ойлайтын» машиналарға көшуге мүмкіндік береді деген сұрақ ашық күйінде қалады.
рахмет!
Ақпарат көзі: www.habr.com