NeurIPS () машиналық оқыту және жасанды интеллект бойынша әлемдегі ең ірі конференция және терең оқыту әлеміндегі басты оқиға.
Біз, деректану инженерлері, жаңа онжылдықта биология, лингвистика және психологияны игереміз бе? Біз шолуымызда білеміз.
Биылғы конференция Ванкуверде (Канада) 80 елден 13 500-ден астам адамды жинады. Сбербанк Ресейді конференцияда бірнеше жыл бойы таныстырды — DS тобы банктік процестерге ML енгізуді, ML бәсекелестігін және Сбербанк DS платформасының мүмкіндіктерін талқылады. 2019 жылы ML қауымдастығындағы негізгі трендтер қандай болды? Конференцияға қатысушылар өз ойларымен бөлісті: и .
Биыл NeurIPS 1400-ден астам жұмысты қабылдады — алгоритмдер, жаңа үлгілер және жаңа деректерге арналған жаңа қолданбалар.
Мазмұны:
- Трендтер
- Модельдердің түсіндірмелілігі
- Көпсалалылық
- Дәлелдеу
- RL
- GAN
- Негізгі шақырылған келіссөздер
- «Әлеуметтік интеллект», Блез Агуера және Аркас (Google)
- «Нақты деректер туралы ғылым», Бин Ю (Беркли)
- «Машиналық оқыту арқылы адам мінез-құлқын модельдеу: мүмкіндіктер мен қиындықтар», Нурия М Оливер, Альберт Али Салах
- Йошуа Бенджио, «1-жүйеден 2-жүйеге дейін терең оқыту».
2019 жылдың трендтері
1. Модельдердің түсіндірмелілігі және жаңа ML әдістемесі
Конференцияның негізгі тақырыбы - түсіндіру және неліктен белгілі бір нәтижелерге қол жеткізгенімізді дәлелдеу. «Қара жәшіктерді» түсіндірудің философиялық маңыздылығын ұзақ талқылауға болады, бірақ бұл салада практикалық әдістер мен техникалық әзірлемелер көбірек болды.
Қайталанатын модельдер әдістемесі және олардан білім алу ғылым үшін жаңа құрал болып табылады. Модельдер жаңа білімді алу және оны растау құралы ретінде қызмет ете алады және үлгіні алдын ала өңдеудің, оқытудың және қолданудың әрбір кезеңі қайталанатын болуы керек.
Басылымдардың едәуір бөлігі үлгілер мен құралдарды құруға емес, қауіпсіздікті, ашықтықты және нәтижелердің тексерілуін қамтамасыз ету мәселелеріне арналған. Атап айтқанда, жаттығулар мен қолданбалы шабуылдарды зерттейтін қарсыластық шабуылдарға арналған жеке ағын пайда болды.
Мақалалар:
- — үлгіні тексеру әдістемесі бойынша бағдарламалық құжат. Ол модельді интерпретациялаудың заманауи құралдарының шолуын қамтиды, атап айтқанда, сызықтық модельдермен нейрондық желілерді дистилляциялау арқылы назар аудару мен ерекшелік маңыздылығын сандық бағалауды пайдалану.
- Чаофан Чен, Оскар Ли, Дэниел Тао, Алина Барнетт, Синтия Рудин, Джонатан К.Су
- Сара Хукер, Думитру Эрхан, Питер-Джан Киндерманс, Беен Ким
- Александр Мотт, Дэниел Зоран, Майк Хрзановский, Даан Виерстра, Данило Хименес Резенде
- Сяо Ли, Ю Ван, Суманта Басу, Карл Кумбиер, Бин Ю
- Джемин Ю, Минён Чо, Тэбум Ким, У Кан
- Эдвард Рафф
ExBert.net мәтінді өңдеу тапсырмалары үшін үлгі интерпретациясын көрсетеді
2. Көп салалылық
Сенімді тексеруді қамтамасыз ету және білімді растау мен байыту тетіктерін әзірлеу үшін ML және сәйкес пәндік салада (медицина, лингвистика, неврология, білім беру және т.б.) біріктірілген тәжірибесі бар тиісті сала мамандары қажет. Нейрология және когнитивтік ғылым бойынша баяндамалар мен презентациялардың көбеюі ерекше назар аудартады, бұл мамандарды біріктіріп, идеялармен бөліседі.
Осы конвергенциядан басқа, әртүрлі көздерден алынған ақпаратты: мәтін мен фотосуреттер, мәтін мен ойындар, графикалық мәліметтер базасы + мәтін мен фотосуреттерді бірлесіп өңдеуде көп салалылық пайда болады.
Мақалалар:
- Неврология + ML —
- VisualQA —
- RL + NLP —
RL және NLP негізіндегі екі модель, стратег және орындаушы онлайн стратегия ойынын ойнайды.
3. Ой қозғау
Жасанды интеллекттің дамуы «саналы», пайымдау және дауласатын өздігінен білім алатын жүйелерге қарай жылжу болып табылады. Нақтырақ айтсақ, себеп-салдарлық қорытынды мен парасатты пайымдаулар дамып келеді. Кейбір презентациялар мета-оқытуға (үйренуді қалай үйренуге болады) және терең оқыту технологияларын бірінші және екінші ретті логикамен біріктіруге арналған — жасанды жалпы интеллект (AGI) термині спикерлердің сөйлеген сөздерінде кең таралған терминге айналуда.
Мақалалар:
- Вэйцзян Ю, Цзинвэнь Чжоу, Вэйхао Ю, Сяодон Лян, Нонг Сяо
- Ван-Чжоу Дай, Цюлин Сю, Ян Ю, Чжи-Хуа Чжоу
- Вайшак Белле, Брендан Джуба
- Антон Бахтин, Лоренс ван дер Маатен, Джастин Джонсон, Лаура Густафсон, Росс Гиршик
- Динеш Гарг, Шаджит Икбал, Сантош К. Сривастава, Харит Вишвакарма, Хима Каранам, Л Венката Субраманиам
4. Оқытуды күшейту
Жұмыстың көп бөлігі архитектураны компьютерлік көру, NLP және графикалық мәліметтер базасымен біріктіретін RL - DOTA2, Starcraft дәстүрлі бағыттарын дамытуды жалғастыруда.
Конференцияның бөлек күні RL шеберханасына арналды, мұнда бұрынғылардың барлығынан, атап айтқанда жұмсақ актер сыншысынан асып түсетін оптимистік актер сыншысы үлгісінің архитектурасы ұсынылды.
Мақалалар:
- ; Камил Чиосек, Куан Вуонг, Роберт Лофтин, Катя Хофман
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Қалаулы желілер); Такахиро Ишикава (Токио университеті) [сыртқы pdf сілтемесі].
- ; Данияр Хафнер (Google)*; Тимоти Лилликрап (DeepMind); Джимми Ба (Торонто университеті); Мохаммад Норузи (Google миы)
StarCraft ойыншылары Alphastar (DeepMind) үлгісімен күреседі
5. ГАН
Генеративті желілер әлі де назарда: көптеген жұмыстар математикалық дәлелдеу үшін ванильді GAN-ды пайдаланады, сонымен қатар оларды жаңа, әдеттен тыс тәсілдермен қолданады (графикалық генеративті модельдер, қатарлармен жұмыс, оларды деректердегі себепті байланыстарға қолдану және т.б.).
Мақалалар:
- Сангву Мо, Чихён Ким, Сонвун Ким, Минсу Чо, Джинву Шин
- Дан Чжан, Анна Хорева
- Лей Сю, Мария Скулариду, Альфредо Куэста-Инфанте, Калян Веерамачанени
100-ден астам жұмыс қабылданды Төменде біз сізге ең маңызды баяндамалар туралы айтып береміз.
Шақырылған әңгімелер
«Әлеуметтік интеллект», Блез Агуера және Аркас (Google)
Есеп машиналық оқытудың жалпы әдістемесін және қазіргі уақытта саланы өзгертетін перспективаларды зерттейді - біз қандай тоғысқа тап болып отырмыз? Ми мен эволюция қалай жұмыс істейді және біз табиғи жүйелердің дамуы туралы бұрыннан білетінімізді неге соншалықты аз пайдаланамыз?
ML өнеркәсіптік дамуы негізінен Google компаниясының даму кезеңдерімен сәйкес келеді, ол өзінің зерттеулерін NeurIPS-те жыл сайын жариялайды:
- 1997 жыл – іздеу мүмкіндіктері, алғашқы серверлер, шағын есептеу қуаты іске қосылды
- 2010 - Джефф Дин Google Brain іске қосты, бұл нейрондық желінің бумының басталуын білдіреді
- 2015 жыл – Нейрондық желілерді өнеркәсіптік енгізу, жергілікті құрылғыда бетті жылдам тану, тензорлық есептеулер үшін оңтайландырылған төмен деңгейлі процессорлар – TPU. Google Coral AI – эксперименттік қондырғыларда нейрондық желілерді енгізуге арналған Raspberry Pi тәрізді шағын компьютерді іске қосты.
- 2017 – Google орталықтандырылмаған оқытуды дамыта бастайды және әртүрлі құрылғылардағы нейрондық желіні оқыту нәтижелерін бір модельге біріктіреді – Android жүйесінде
Бүгінгі таңда бүкіл сала деректерді қорғауға, шоғырландыруға және жергілікті құрылғыларда оқу нәтижелерін жаңғыртуға арналған.
– жеке модельдер бір-бірінен тәуелсіз оқытылатын, содан кейін сирек кездесетін оқиғаларға, ауытқуларға, дербестендіруге және т.б. түзетулер енгізілетін бірыңғай модельге біріктірілетін (бастапқы деректерді орталықтандырмай) ML бағыты. Барлық құрылғылар Android негізінен Google үшін бірыңғай есептеу суперкомпьютері.
Google компаниясының пікірінше, федеративтік оқытуға негізделген генеративті модельдер «экспоненциалды өсудің бастапқы сатысында» тұрған келешегі зор бағыт болып табылады. Лектордың айтуынша, GAN тірі организмдердің популяцияларының жаппай мінез-құлқын және ойлау алгоритмдерін жаңғыртуды үйренуге қабілетті.
Екі қарапайым GAN архитектурасын пайдалана отырып, біз олардың оңтайландыру жолын іздеуі дөңгелек екенін көрсетеміз, яғни оңтайландыру ондай болмайды. Дегенмен, бұл модельдер биологтардың бактериялық популяцияларға жүргізетін эксперименттерін сәтті үлгілейді, бұл оларды азық-түлік іздеудің жаңа стратегияларын үйренуге мәжбүр етеді. Бұл өмір оңтайландыру функциясына қарағанда басқаша жұмыс істейтінін көрсетеді.
Кездейсоқ GAN оңтайландыруы
Бүгінгі таңда машиналық оқытуда біз жасайтын барлық нәрсе тар және жоғары формальды тапсырмаларға бағытталған, ал бұл формализм нашар жалпыланған және нейрофизиология және биология сияқты салалардағы пәндік білімімізге сәйкес келмейді.
Жақын болашақта нейрофизиология саласынан шынымен қарыз алуға тұрарлық нәрсе - жаңа нейрондық архитектуралар және қателердің кері таралу механизмдерін шамалы қайта қарау.
Адам миының өзі нейрондық желі сияқты үйренбейді:
- Оның кездейсоқ бастапқы кірістері жоқ, оның ішінде сезімдер арқылы және балалық шақта берілген
- Оның алдын ала анықталған инстинктивтік даму тенденциялары бар (нәрестеде тілді үйренуге, тік жүруге)
Жеке миды үйрену төмен деңгейлі тапсырма болғанымен, топ эволюциясының тетіктерін қайталау үшін бір-біріне білім беретін жылдам өзгеретін тұлғалардың «колонияларын» қарастыруымыз керек.
Қазір ML алгоритмдеріне нені қабылдай аламыз:
- Популяция үшін оқуды қамтамасыз ететін, бірақ жеке адам үшін қысқа өмір сүру ұзақтығын («жеке ми») қамтамасыз ететін жасуша тегі үлгілерін қолданыңыз.
- Мысалдардың аз саны бойынша бірнеше рет оқыту
- Нейрондық құрылымдар күрделірек, белсендіру функциялары сәл өзгеше
- «Геномды» болашақ ұрпаққа беру – кері таралу алгоритмі
- Нейрофизиология мен нейрондық желілерді қосқаннан кейін біз көптеген компоненттерден көп функциялы ми құруды үйренеміз.
Осы тұрғыдан алғанда, SOTA шешімдерінің тәжірибесі зиянды және жалпы тапсырмаларды (эталондарды) әзірлеу пайдасына қайта қаралуы керек.
«Нақты деректер туралы ғылым», Бин Ю (Беркли)
Бұл есеп машиналық оқыту үлгілерін интерпретациялау мәселесін және оларды тікелей валидациялау мен тексеру әдістемесін қарастырады. Кез келген оқытылған ML моделін одан алынатын білім көзі ретінде қабылдауға болады.
Көптеген салаларда, әсіресе медицинада, модельді қолдану осы жасырын білімді алып тастамай және модель нәтижелерін интерпретацияламай мүмкін емес. Әйтпесе, нәтижелер тұрақты, кездейсоқ емес, сенімді немесе науқасты өлтіруі мүмкін екеніне сенімді бола алмаймыз. Терең оқыту парадигмасының аясында жаңа әдістеме саласы дамып, оның шегінен шығып жатыр - нақты деректер туралы ғылым. Бұл не?
Біз ғылыми жарияланымдар сапасына және үлгілердің қайталанатындығына қол жеткізгіміз келеді, олар:
- болжауға болатын
- есептелетін
- тұрақты
Осы үш қағида жаңа әдістеменің негізін құрайды. Осы критерийлерге сәйкес келетін ML үлгілерін қалай тексеруге болады? Ең қарапайым әдіс - бірден түсіндірілетін модельдерді (регрессиялар, шешім ағаштары) құру. Дегенмен, біз де терең білімнің бірден пайдасын көргіміз келеді.
Мәселені шешудің бірнеше қолданыстағы жолдары бар:
- модельді түсіндіру;
- зейінге негізделген әдістерді қолдану;
- оқытуда алгоритмдердің ансамбльдерін пайдалану және сызықтық интерпретацияланатын модельдердің сызықтық модельдің мүмкіндіктерін интерпретациялау арқылы нейрондық желі сияқты жауаптарды болжауды үйренуін қамтамасыз ету;
- оқыту деректерін өзгерту және толықтыру. Бұған шу, кедергі және деректерді көбейту қосу кіреді;
- модель нәтижелерінің кездейсоқ еместігіне және кішігірім қажетсіз шуларға (қарсы шабуылдар) тәуелді еместігіне көз жеткізетін кез келген әдістер;
- оқытудан кейін постфактум моделін түсіндіру;
- ерекшелік салмақтарын әртүрлі тәсілдермен зерттеу;
- барлық гипотезалардың ықтималдықтарын, кластарды бөлуді зерттеу.
Қарсылас шабуыл
Модельдеу қателері барлығына қымбатқа түседі: ең жақсы мысал - Рейнхарт пен Роговтың жұмысы.« көптеген еуропалық елдердің экономикалық саясатына әсер етті және оларды үнемдеу саясатын жүргізуге мәжбүр етті, бірақ деректерді мұқият қайта қарау және оны өңдеу жылдардан кейін керісінше нәтиже көрсетті!
Әрбір ML технологиясының іске асырудан бастап орналастыруға дейінгі өз өмірлік циклі болады. Жаңа әдістеменің мақсаты - модельдің өмірлік циклінің әрбір кезеңінде үш негізгі қағидаға қарсы валидацияны қамтамасыз ету.
Нәтижелері:
- ML үлгілерінің сенімдірек болуына көмектесу үшін бірнеше жобалар іске асырылуда. Мысалы, deeptune (сілтеме: );
- Әдістемені одан әрі дамыту үшін ML саласындағы басылымдардың сапасын айтарлықтай жақсарту қажет;
- Машиналық оқыту техникалық және гуманитарлық салаларда көпсалалы дайындығы мен тәжірибесі бар көшбасшыларды қажет етеді.
«Машиналық оқыту арқылы адам мінез-құлқын модельдеу: мүмкіндіктер мен қиындықтар» Нурия М Оливер, Альберт Али Салах
Адам мінез-құлқын модельдеу, оның технологиялық негіздері және қолдану перспективалары туралы дәріс.
Адамның мінез-құлқын модельдеуді келесідей бөлуге болады:
- жеке мінез-құлық
- шағын адамдар тобының мінез-құлқы
- бұқаралық мінез-құлық
Осы түрлердің әрқайсысын ML көмегімен модельдеуге болады, бірақ мүлдем басқа кіріс деректері мен мүмкіндіктері бар. Әрбір түрдің өз этикалық мәселелері бар, олар әрбір жоба қарастырады:
- жеке мінез-құлық – жеке басын ұрлау, терең фейк;
- адамдар топтарының мінез-құлқы – деанонимдеу, қозғалыстар туралы ақпарат алу, телефон қоңыраулары және т.б.;
жеке мінез-құлық
Бұл адамның эмоциялары мен реакцияларын тану — Computer Vision тақырыбына көбірек қатысты. Бұл тек контексте, уақыт өте келе немесе жеке тұлғаның эмоционалды өзгергіштігінің салыстырмалы масштабында ғана мүмкін болады. Слайд Жерорта теңізі әйелдерінің эмоционалды спектріндегі контекстті пайдалана отырып, Мона Лизаның эмоцияны тануын көрсетеді. Нәтижесі: қуанышты күлімсіреу, сонымен бірге жек көрушілік пен жиіркеніш. Мұның себебі, ең алдымен, «бейтарап» эмоцияны анықтау үшін қолданылатын техникалық әдіс.
Жеке адамдардың шағын тобының мінез-құлқы
Қазіргі уақытта ең нашар үлгілеу деректердің жеткіліксіздігіне байланысты. Мысал ретінде, 2018–2019 жылдардағы жұмыс ондаған адамға және ондаған бейнелерге көрсетілді (қараңыз. 100k++ кескін деректер жинағы). Бұл тапсырманы ең жақсы модельдеу үшін мультимодальды ақпарат қажет, жақсырақ дене биіктігі өлшегіш, термометр, микрофон жазуы және т.б.
Жаппай мінез-құлық
Бұл ең дамыған сала, өйткені БҰҰ және көптеген елдер тапсырыс берушілер болып табылады. Бақылау камералары, телефон мұнарасының деректері (шот, SMS, қоңыраулар және ұлттық шекаралар арасындағы қозғалыс туралы деректер) барлығы адам қозғалысы мен әлеуметтік тұрақсыздықтың жоғары сенімді бейнесін береді. Технологияның әлеуетті қолдануларына құтқару жұмыстарын оңтайландыру, көмек көрсету және төтенше жағдайлар кезінде халықты уақтылы эвакуациялауды қамтамасыз ету кіреді. Қолданылатын модельдер әдетте нашар түсіндіріледі – олар әртүрлі LSTM және конволюционды желілерді қамтиды. Біріккен Ұлттар Ұйымының еуропалық бизнестен кез келген зерттеуге қажетті анонимді деректерді бөлісуді талап ететін жаңа заңға қолдау көрсетуі туралы қысқаша түсініктеме болды.
Йошуа Бенджио, «1-жүйеден 2-жүйеге дейін терең оқыту».
Йошуа Бенджионың дәрісінде терең оқыту мақсат қою деңгейінде неврологиямен кездеседі.
Бенджио Нобель сыйлығының лауреаты Дэниел Каннеманның әдістемесіне сәйкес мәселелердің екі негізгі түрін анықтайды («кітабы»).» )
1-түр – 1-жүйе, біз «автоматты түрде» жасайтын санасыз әрекеттер (ежелгі ми): таныс жерлерде көлік жүргізу, жүру, бет-әлпетті тану.
2-түрі – 2-жүйе, саналы әрекеттер (ми қыртысы), мақсат қою, талдау, ойлау, күрделі тапсырмалар.
AI осы уақытқа дейін бірінші типтегі тапсырмаларды орындаудың жеткілікті деңгейіне қол жеткізді, ал біздің міндетіміз оны екінші деңгейге жеткізу, оны көп салалы операцияларды орындауға және логикалық және жоғары деңгейдегі танымдық дағдылармен жұмыс істеуге үйрету.
Бұл мақсатқа жету үшін мыналар ұсынылады:
- NLP тапсырмаларында зейінді ойлауды модельдеудің негізгі механизмі ретінде пайдаланыңыз
- санаға және олардың локализациясына әсер ететін мүмкіндіктерді жақсы модельдеу үшін мета-оқыту мен бейнелеуді оқытуды пайдаланыңыз және осы негізде жоғары деңгейлі тұжырымдамалармен жұмыс істеуге көшіңіз.
Қорытындылай келе, біз шақырылған баяндаманың жазбасын қалдырамыз: Бенджио - ML саласын оңтайландыру мәселелерінен, SOTA және жаңа архитектуралардан тыс кеңейтуге тырысатын көптеген ғалымдардың бірі.
Сана мәселелерінің үйлесімі, тілдің ойлауға, нейробиологияға және алгоритмдерге әсері қаншалықты болашақта бізді күтіп тұр және адамдар сияқты «ойлайтын» машиналарға көшуге мүмкіндік береді деген сұрақ ашық күйінде қалады.
рахмет!
Ақпарат көзі: www.habr.com
