NeurIPS () – самая большая конференция в мире по машинному обучению и искусственному интеллекту и главное событие в мире deep learning.
Будем ли мы, DS-инженеры, в новом десятилетии осваивать еще и биологию, лингвистику, психологию? Расскажем в нашем обзоре.
В этом году конференция собрала более 13500 человек из 80 стран в Ванкувере (Канада). Сбербанк не первый год представляет Россию на конференции — команда DS рассказала о внедрении ML в банковские процессы, о ML-соревновании и о возможностях платформы Sberbank DS. Какими же были основные тренды 2019 года в ML-коммьюнити? Рассказывают участники конференции: dhe .
В этом году на NeurIPS было принято более 1400 статей — алгоритмы, новые модели и новые применения к новым данным.
Përmbajtja:
- Тренды
- Интерпретируемость моделей
- Мультидисциплинарность
- Reasoning
- RL
- GAN
- Основные Invited Talks
- “Social Intelligence”, Blaise Aguera y Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- “Human Behavior Modeling with Machine Learning: Opportunities and Challenges”, Nuria M Oliver, Albert Ali Salah
- “From System 1 to System 2 Deep Learning”, Yoshua Bengio
Тренды 2019 года
1. Интерпретируемость моделей и новая методология ML
Заглавная тема конференции — интерпретация и доказательства, почему мы получаем те или иные результаты. Можно долго рассуждать о философской важности интерпретации “черного ящика”, но больше было реальных методик и технических наработок в этой сфере.
Методология воспроизводимости моделей и извлечения знаний из них — новый инструментарий науки. Модели могут служить инструментом получения нового знания и его проверки, и воспроизводимым должен быть каждый этап препроцессинга, обучения и применения модели.
Существенная доля публикаций посвящена не построению моделей и инструментов, а проблемам обеспечения безопасности, прозрачности и проверяемости результатов. В частности, появился отдельный стрим об атаках на модель (adversarial attacks), причем рассматриваются варианты как атаки на обучение, так и атаки на применение.
Artikuj:
- — программная статья о методологии верификации моделей. Включает обзор современных средств для интерпретации моделей, в частности — использование attention и получение feature importance за счет «дистилляции» нейросети линейными моделями.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net показывает интерпретацию моделей для задач обработки текста
2. Мультидисциплинарность
Чтобы обеспечить надежную проверку и разработать механизмы проверки и пополнения знаний, нужны специалисты смежных областей, одновременно обладающие компетенциями в ML и в предметной области (медицине, лингвистике, нейробиологии, образовании и т.д.). Особо стоит отметить более значимое присутствие работ и выступлений по нейронаукам и когнитивным наукам – происходит сближение специалистов и заимствование идей.
Помимо этого сближения, намечается мультидисциплинарность в совместной обработке информации из различных источников: текст и фото, текст и игры, графовые бд + текст и фото.
Artikuj:
- Нейробиология + ML —
- VisualQA —
- RL + NLP —
Две модели — стратег и исполнитель — на основе RL и NLP играют в онлайн-стратегию
3. Reasoning
Усиление искусственного интеллекта – движение в сторону самообучающихся систем, “осознанных”, рассуждающих и аргументирующих (reasoning). В частности, развивается causal inference и commonsense reasoning. Часть докладов посвящена мета-обучению (о том, как учиться учиться) и соединению DL-технологий с логикой 1 и 2 порядка — термин Artificial General Intelligence (AGI) становится обычным термином в выступлениях спикеров.
Artikuj:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Shumica e punëve vazhdon të zhvillojë drejtime tradicionale RL - DOTA2, Starcraft, lidhjen e arkitekturave me vizionin kompjuterik, NLP, bazat e të dhënave grafike.
Një ditë e veçantë e konferencës iu dedikua punëtorisë RL, ku u paraqit arkitektura Optimistic Actor Critic Model, që tejkalon të gjitha modellet e mëparshme, përfshirë Soft Actor Critic.
Artikuj:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Universiteti i Tokios) [linku pdf të jashtëm].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universiteti i Torontos); Mohammad Norouzi (Google Brain)
Lojtarët e StarCraft hapin garë me modelin Alphastar (DeepMind)
5. GAN
Modelet generuese ende janë në qendër të vëmendjes: shumë punë përdorin GAN të thjeshtë për prova matematikore, si dhe i aplikojnë ato në variante të reja e të pazakonta (modele grafike, punë me seri, aplikime për lidhjet shkaqore në të dhëna etj.).
Artikuj:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Duke qenë se janë pranuar më shumë punë më poshtë do të flasim për fjalimet më të rëndësishme.
Fjalimet e ftuar
“Social Intelligence”, Blaise Aguera y Arcas (Google)
Kjo referat i kushtohet metodologjisë së përgjithshme të mësimit të makinave dhe perspektivave që po e ndryshojnë industrinë aktualisht – përpara se ndodhemi në një kryqëzim? Si funksionon truri dhe evolucionin, dhe pse ne përdorim aq pak nga ajo që tashmë e dimë për zhvillimin e sistemeve natyrore?
Zhvillimi industrial i ML është në përputhje të madhe me momentet historike të kompanisë Google, e cila çdo vit publikohet me hulumtimet e saj në NeurIPS:
- 1997 – lancimi i kapaciteteve kërkuese, serverët e parë, kapacitet i vogël përpunimi
- 2010 – Jeff Dean nis projektin Google Brain, bum i rrjeteve nervore në fillim
- 2015 – implementimi industrial i rrjeteve nervore, njohja e shpejtë e fytyrave direkt në pajisjen lokale, procesorë të nivelit të ulët, të dizajnuar për përllogaritjet tensor – TPU. Google lançon Coral ai – një version i mini-kompjuterit për të implementuar rrjete nervore në instalime eksperimentale
- 2017 – Google fillon zhvillimin e mësimit të decentralizuar dhe integrimin e rezultateve të mësimit të rrjeteve nervore nga pajisje të ndryshme në një model – në android
Sot ekziston një industri e tërë që merret me çështjet e sigurisë së të dhënave, integrimin dhe riprodhimin e rezultateve të mësimit në pajisjet lokale.
– një drejtim i ML, ku modelet e veçanta mësojnë të pavarura nga njëra-tjetra dhe pastaj mblidhen në një model të vetëm (pa centralizimin e të dhënave), me rregullime për ngjarjet e rralla, anomalitë, personalizimin etj. Të gjitha pajisjet me Android në thelb janë një superkompjuter i vetëdijshëm për Google.
Modelet generuese mbi bazën e federated learning – një drejtim tërheqës sipas mendimit të Google, që ndodhet "në fazat e hershme të rritjes eksponenciale". GAN të mendojnë se janë të afta të mësojnë për të riprodhuar sjelljet masive të popullatave të organizmave të gjallë, algoritmet e mendimit.
Duke e ilustruar me dy arkitektura të thjeshta GAN, tregohet se në to procesi i optimizimit humbet rrugën dhe për këtë arsye, optimizimi si i tillë nuk ndodh. Megjithatë, këto modele janë shumë efektive në modelimin e eksperimenteve që biologët i bëjnë mbi popullatat e baktereve, duke i bërë ata të mësojnë strategji të reja sjelljeje në kërkim të ushqimit. Mund të përfundohet se jeta funksionon ndryshe nga funksioni i optimizimit.
Optimizimi që humbet rrugën në GAN
Çdo gjë që ne bëjmë në kuadër të mësimit të makinave tani është detyra të ngushta dhe jashtëzakonisht të formalizuara, ndërsa këto formalizime nuk përfshihen dhe nuk përputhen me njohuritë tona tematike në fusha si neurofiziologjia dhe biologia.
Ajo që vërtet duhet të marrëhu nga fusha e neurofiziologjisë në perspektivën e afërt – janë arkitektur të reja për neurone dhe një rishikim i mekanizmave të përhapjes së gabimit.
Truri njerëzor nuk mëson si një rrjet nervor:
- Ai nuk ka inpute fillestare të rastit, përfshirë ato të vendosura përmes organeve të ndjenjës dhe fëmijërisë
- Ai ka drejtime të vendosura të zhvillimit instiktiv (dëshira për të mësuar një gjuhë nga foshnjat, qëndrim në këmbë)
Mësimi i trurit të individëve është një detyrë me nivel të ulët, ndoshta duhet të shqyrtojmë "kolonitë" e individëve që ndryshojnë shpejt, duke shkëmbyer njohuri me njëri-tjetrin, për të riprodhuar mekanizmat e evolucionit në grup.
Çfarë mund të marrim në algoritmet e ML tashmë tani:
- Të aplikoni modelet e linjës qelizore që sigurojnë mësimin e popullsisë, por një jetë të shkurtër për individin (“trurin individual”)
- Mësimi me pak shembuj
- Struktura më komplekse e neuroneve, pak funksione tjetër aktivizimi
- Transferimi i “genomit” në gjeneratat e ardhshme – algoritmi i përhapjes së gabimeve
- Sa herë që do t'i bashkojmë neurofiziologjinë dhe rrjetet neuronale, do të mësojmë të ndërtojmë një tru multifunksional nga shumica e komponentëve.
Nga kjo pikë e parë praktika e zgjidhjeve SOTA është e dëmshme dhe duhet të rishikohet në favor të zhvillimit të detyrave të përbashkëta (benchmarks).
“Veridical Data Science”, Bin Yu (Berkeley)
Ky raport i kushtohet problemit të interpretimit të modeleve të mësimit makinerik dhe metodologjisë së verifikimit dhe vërtetimit të tyre të menjëhershëm. Çdo model ML i mësuar mund të perceptohet si një burim njohurish që duhet të nxirret prej tij.
Në shumë fusha, veçanërisht në mjekësi, aplikimi i modelit është i pamundur pa nxjerrjen e këtyre njohurive të fshehura dhe interpretimin e rezultateve të modelit – përndryshe nuk do të jemi të sigurt se rezultatet do të jenë të qëndrueshme, jo të rastësishme, të besueshme, dhe nuk do të vrasin pacientin. Një e tërë metodologji po zhvillohet brenda paradigmes së deep learning dhe del përtej saj – shkenca e të dhënave veridikale. Çfarë është kjo?
Ne duam të arrijmë një cilësi të tillë të publikimeve shkencore dhe riprodhueshmërisë së modeleve, sa ato të jenë:
- të parashikueshme
- të kalkulueshme
- të qëndrueshme
Këto tre principe formojnë bazën e një metodologjie të re. Si mund të kontrollojmë modelet ML në përputhje me këto kritere? Mënyra më e thjeshtë është të ndërtojmë menjëherë modele interpretuese (regresione, pemë vendimmarrëse). Megjithatë, ne duam të përfitojmë gjithashtu përfitimet e drejtpërdrejta të deep learning.
Disa nga mënyrat ekzistuese për të punuar me këtë problem:
- të interpretojmë modelin;
- të përdorim metoda të bazuara në vëmendje;
- të përdorim grupe algoritmish gjatë mësimit dhe të arrijmë që modelet interpretuese lineare të mësojnë për të parashikuar të njëjtat rezultate si rrjeti neural, duke interpretuar karakteristikat nga modeli linear;
- të modifikojmë dhe të augmentojmë të dhënat për mësimin. Kjo përfshin shtimin e zhurmave, pengesave, dhe data augmentation;
- çdo metodë që lejon të jemi të sigurt se rezultatet e modelit nuk janë rastësore dhe nuk varen nga pengesa të vogla të padëshiruara (sulmet adversariale);
- të interpretojmë modelin pas faktit, pas mësimit;
- të studiojmë peshat e karakteristikave në mënyra të ndryshme;
- të studiojmë probabilitet e të gjitha hipotezave, shpërndarjen e klasave.
Sulmi adversarial
Gabimet e modelimit kanë kosto të larta për të gjithë: një shembull i qartë është puna e Reinhart dhe Rogoff "" ndikoi në politikën ekonomike të shumë vendeve europiane dhe i detyroi ato të ndjekin një politikë kursimi, por verifikimi i kujdesshëm i të dhënave dhe procesimit të tyre vite më vonë tregoi rezultat të kundërt!
Çdo teknologji ML ka ciklin e saj të jetës nga zbatimi deri në zbatim. Objektivi i metodologjisë së re është të bëjë kontrollin sipas tre parimeve kryesore në çdo fazë të jetës së modelit.
Përfundimet:
- Po zhvillohen disa projekte që do të ndihmojnë modelet ML të jenë më të besueshme. Këto janë, për shembull, deeptune (link to: );
- Për zhvillimin e mëtejshëm të metodologjisë është e nevojshme të rritet ndjeshëm cilësia e publikimeve në fushën e ML;
- Mësimi me makinë kërkon liderë me formim multidisiplinar dhe ekspertizë si në fusha teknike, ashtu edhe në ato humanitare.
“Human Behavior Modeling with Machine Learning: Opportunities and Challenges” Nuria M Oliver, Albert Ali Salah
Ligjërata e kushtuar modelimit të sjelljes njerëzore, themelore teknologjisë dhe perspektivave të aplikacioneve.
Modelimi i sjelljes njerëzore mund të ndahet në:
- sjellja individuale
- sjellja e një grupi të vogël
- sjellja masive
Secili nga këta tipa është subjekt i modelimit përmes ML, por me informacione dhe karakteristika hyrëse tërësisht të ndryshme. Çdo tip gjithashtu ka problemet e tij etike, të cilat kalon çdo projekt:
- sjellja individuale – vjedhja e identitetit, deepfake;
- sjellja e grupeve të njerëzve – deanonimizimi, marrja e informacionit mbi lëvizjet, thirrje telefonike, etj.;
Sjellja individuale
Shumë më tepër përqendrohet në temën e Computer Vision – njohja e emocionet e njerëzve, reagimet e tij. E mundur vetëm në kontekst, në kohë ose me shkallë relative të variabilitetit të tij emocional. Në slide – njohja e emocioneve të Mona Lizës përmes kontekstit nga spektri emocional i grave mesdhetare. Rezultati: një buzëqeshje gëzimi, por me përbuzje dhe neveri. Shkaku është shumë i mundshëm nga mënyra teknike e përcaktimit të emocionit “neutral”.
Sjellja e një grupi të vogël
Për momentin, modelimi është më i dobët për shkak të pamjaftueshmërisë së informacionit. Si shembuj u paraqitën punët e vitit 2018 – 2019 mbi dhjetëra njerëz në dhjetëra video (krahaso datasetet e imazheve 100k++). Për modelimin më të mirë në këtë detyrë, është e nevojshme informacioni multimodal, preferohet nga sensorët në trup—altimetri, termometri, regjistrimi me mikrofon etj.
Sjellja masive
Ky është drejtimi më i zhvilluar, pasi klienti është OKB dhe shumë shtete. Kamerat e survejimit të jashtëm, të dhënat nga kullat telefonike – faturat, SMS-të, thirrjet, të dhënat mbi lëvizjet mes kufijve të shteteve—të gjitha këto ofrojnë një përfaqësim shumë të besueshëm mbi lëvizjen e fluksit të njerëzve dhe pasigurinë sociale. Aplikimet potenciale të teknologjisë përfshijnë optimizimin e operacioneve të shpëtimit, ofrimin e ndihmës dhe evakuimin në kohë të popullsive në rast emergjence. Modelet e përdorura deri tani janë kryesisht të keqinterpretueshme—kjo janë LSTM të ndryshme dhe rrjetet konvolucionale. U përmend një shënim i shkurtër se OKB po lobon një ligj të ri që do të detyrojë bizneset europiane të ndajnë të dhëna të paidentifikuara, të nevojshme për çdo lloj kërkimi.
“From System 1 to System 2 Deep Learning”, Yoshua Bengio
Në leksionin e Yoshua Bengio, deep learning takon neuroshkencën në nivelin e vendosjes së qëllimeve.
Bengio identifikon dy lloje të tjera të detyrave sipas metodologjisë së fituesit të Çmimit Nobel Daniel Kahneman (libri “» )
lloji 1 — Sistemi 1, veprimet e pavetëdijshme që i bëjmë "në automatik" (truri i lashtë): vozitja e makinës në vende të njohura, ecja, njohja e fytyrave.
lloji 2 — Sistemi 2, veprimet e vetëdijshme (kora e trurit), vendosja e qëllimeve, analiza, mendimi, detyrat kompozite.
Për momentin, AI arrin nivele të mjaftueshme vetëm në detyrat e llojit të parë—ndërsa detyra jonë është ta çojmë atë në të dytin, duke e mësuar të kryejë operacione multidisiplinore dhe të operojë me logjikë dhe aftësi të larta kognitive.
Për të arritur këtë qëllim, propozohet:
- në detyrat e NLP të përdoret attention si mekanizmi kyç për modelimin e mendjes
- të përdoret meta-learning dhe representation learning për një modelim më të mirë të karakteristikave që ndikojnë në vetëdijen dhe lokalizimin e tyre—dhe mbi këtë bazë të kalojmë në operimin me koncepte më të larta.
Në përfundim, lëmë një regjistrim të fjalës së ftuar: Bengio është një nga shumë shkencëtarët që përpiqen të zgjasin fushën e ML përtej problemeve të optimizimit, SOTA dhe arkitekturave të reja.
Pyetja mbetet e hapur se sa e lidhur është zgjidhja e problemeve të vetëdijes, ndikimit të gjuhës në mendim, neurobiologjisë dhe algoritmeve—kjo mund të jetë ajo që na pret në të ardhmen dhe të na çojë në makina që "mendojnë" si njerëzit.
Faleminderit!
Burimi: habr.com
