NeuroIPS () é a conferencia máis grande do mundo sobre aprendizaxe automática e intelixencia artificial e o principal evento no mundo da aprendizaxe profunda.
Nós, enxeñeiros de DS, tamén dominaremos a bioloxía, a lingüística e a psicoloxía na nova década? Contámoschelo na nosa revisión.
Este ano a conferencia reuniu a máis de 13500 persoas de 80 países en Vancouver, Canadá. Este non é o primeiro ano que Sberbank representa a Rusia na conferencia: o equipo de DS falou sobre a implementación de ML nos procesos bancarios, sobre a competencia de ML e sobre as capacidades da plataforma Sberbank DS. Cales foron as principais tendencias de 2019 na comunidade de ML? Os participantes da conferencia din: и .
Este ano, NeurIPS aceptou máis de 1400 traballos: algoritmos, novos modelos e novas aplicacións a novos datos.
Contido:
- Tendencias
-
- Interpretabilidade do modelo
- Multidisciplinariedade
- Razoamento
- RL
- GAN
- Charlas básicas invitadas
-
- “Social Intelligence”, Blaise Aguera y Arcas (Google)
- "Ciencia de datos verídicos", Bin Yu (Berkeley)
- "Modelado do comportamento humano con aprendizaxe automática: oportunidades e desafíos", Nuria M Oliver, Albert Ali Salah
- "Do Sistema 1 ao Sistema 2 Deep Learning", Yoshua Bengio
Tendencias 2019
1. Interpretabilidade do modelo e nova metodoloxía de ML
O tema principal da conferencia é a interpretación e a evidencia de por que obtemos certos resultados. Pódese falar durante moito tempo da importancia filosófica da interpretación da "caixa negra", pero houbo máis métodos reais e desenvolvementos técnicos nesta área.
A metodoloxía para replicar modelos e extraer coñecemento deles é unha nova ferramenta para a ciencia. Os modelos poden servir como ferramenta para obter novos coñecementos e probalos, e cada etapa de preprocesamento, formación e aplicación do modelo debe ser reproducible.
Unha parte importante das publicacións dedícanse non á construción de modelos e ferramentas, senón aos problemas de garantir a seguridade, a transparencia e a verificabilidade dos resultados. En particular, apareceu un fluxo separado sobre ataques ao modelo (ataques adversarios) e considéranse opcións tanto para ataques ao adestramento como para ataques á aplicación.
Artigos:
- — un artigo programático sobre a metodoloxía de verificación de modelos. Inclúe unha visión xeral das ferramentas modernas para interpretar modelos, en particular, o uso da atención e a obtención da importancia das características mediante a "destilación" da rede neuronal con modelos lineais.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net mostra modelos de interpretación para tarefas de procesamento de texto
2. Multidisciplinariedade
Para garantir unha verificación fiable e desenvolver mecanismos de verificación e ampliación do coñecemento, precisamos de especialistas en áreas afines que teñan simultaneamente competencias en ML e na área temática (medicina, lingüística, neurobioloxía, educación, etc.). Cabe destacar especialmente a presenza máis significativa de traballos e discursos en neurociencias e ciencias cognitivas: hai un achegamento de especialistas e o préstamo de ideas.
Ademais deste achegamento, está a xurdir a multidisciplinariedade no tratamento conxunto da información de diversas fontes: texto e fotos, texto e xogos, bases de datos gráficas + texto e fotos.
Artigos:
- Neurociencia + ML -
- VisualQA -
- RL + PNL -
Dous modelos - estratega e executivo - baseados en RL e NLP xogan a estratexia en liña
3. Razoamento
Fortalecer a intelixencia artificial é un movemento cara a sistemas de autoaprendizaxe, “conscientes”, de razoamento e razoamento. En particular, están a desenvolverse a inferencia causal e o razoamento de sentido común. Algúns dos informes están dedicados ao meta-aprendizaxe (sobre como aprender a aprender) e á combinación de tecnoloxías de DL con lóxica de 1ª e 2ª orde: o termo Intelixencia Xeral Artificial (AGI) estase a converter nun termo habitual nos discursos dos falantes.
Artigos:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Aprendizaxe de reforzo
A maior parte do traballo segue desenvolvendo áreas tradicionais de RL - DOTA2, Starcraft, combinando arquitecturas con visión por ordenador, PNL, bases de datos gráficas.
Un día aparte da conferencia dedicouse a un obradoiro de RL, no que se presentou a arquitectura Optimistic Actor Critic Model, superior a todas as anteriores, en particular Soft Actor Critic.
Artigos:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Redes preferidas); Takahiro Ishikawa (Universidade de Tokio) [link pdf externo].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universidade de Toronto); Mohammad Norouzi (Google Brain)
Os xogadores de StarCraft loitan contra o modelo Alphastar (DeepMind)
5.GAN
As redes xerativas seguen no foco de atención: moitos traballos usan GAN de vainilla para probas matemáticas, e tamén as aplican de formas novas e pouco habituais (modelos xerativos de gráficos, traballo con series, aplicación de relacións causa-efecto nos datos, etc.).
Artigos:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Xa que se aceptou máis traballo A continuación falaremos dos discursos máis importantes.
Charlas invitadas
“Social Intelligence”, Blaise Aguera y Arcas (Google)
A charla céntrase na metodoloxía xeral da aprendizaxe automática e as perspectivas que están cambiando a industria agora mesmo: a que encrucillada nos atopamos? Como funcionan o cerebro e a evolución, e por que facemos tan pouco uso do que xa sabemos sobre o desenvolvemento dos sistemas naturais?
O desenvolvemento industrial do ML coincide en gran medida cos fitos do desenvolvemento de Google, que publica ano tras ano a súa investigación sobre NeurIPS:
- 1997: lanzamento das instalacións de busca, primeiros servidores, pequena potencia informática
- 2010 - Jeff Dean lanza o proxecto Google Brain, o boom das redes neuronais ao comezo
- 2015: implementación industrial de redes neuronais, recoñecemento facial rápido directamente nun dispositivo local, procesadores de baixo nivel adaptados para a computación tensor - TPU. Google lanza Coral ai, un análogo de raspberry pi, un mini-ordenador para introducir redes neuronais en instalacións experimentais
- 2017: Google comeza a desenvolver adestramento descentralizado e a combinar os resultados do adestramento de redes neuronais de diferentes dispositivos nun só modelo: en Android
Hoxe, toda unha industria dedícase á seguridade dos datos, á agregación e á replicación dos resultados da aprendizaxe en dispositivos locais.
– unha dirección de ML na que os modelos individuais aprenden de forma independente uns dos outros e despois se combinan nun único modelo (sen centralizar os datos de orixe), axustado para eventos raros, anomalías, personalización, etc. Todos os dispositivos Android son esencialmente un único superordenador informático para Google.
Os modelos xerativos baseados na aprendizaxe federada son unha dirección futura prometedora segundo Google, que está "nas primeiras etapas de crecemento exponencial". Os GAN, segundo o profesor, son capaces de aprender a reproducir o comportamento masivo de poboacións de organismos vivos e algoritmos de pensamento.
Usando o exemplo de dúas arquitecturas GAN sinxelas, móstrase que nelas a busca dun camiño de optimización deambula en círculo, o que significa que a optimización como tal non se produce. Ao mesmo tempo, estes modelos teñen moito éxito á hora de simular os experimentos que os biólogos realizan sobre poboacións bacterianas, o que lles obriga a aprender novas estratexias de comportamento na procura de alimento. Podemos concluír que a vida funciona de forma diferente á función de optimización.
Walking GAN Optimization
Todo o que facemos agora no marco da aprendizaxe automática son tarefas estreitas e sumamente formalizadas, mentres que estes formalismos non se xeneralizan ben e non se corresponden co coñecemento da nosa materia en áreas como a neurofisioloxía e a bioloxía.
O que realmente paga a pena tomar prestado do campo da neurofisioloxía nun futuro próximo son novas arquitecturas de neuronas e unha lixeira revisión dos mecanismos de retropropagación dos erros.
O propio cerebro humano non aprende como unha rede neuronal:
- Non ten entradas primarias aleatorias, incluídas as establecidas a través dos sentidos e na infancia
- Ten direccións inherentes de desenvolvemento instintivo (o desexo de aprender a linguaxe dun bebé, camiñar erguido)
Adestrar un cerebro individual é unha tarefa de baixo nivel; quizais deberíamos considerar "colonias" de individuos que cambian rapidamente que se transmiten coñecementos entre si para reproducir os mecanismos da evolución do grupo.
O que podemos adoptar agora nos algoritmos de ML:
- Aplicar modelos de liñaxe celular que aseguren a aprendizaxe da poboación, pero a curta vida do individuo (“cerebro individual”)
- Aprendizaxe de poucos tiros utilizando un pequeno número de exemplos
- Estruturas neuronales máis complexas, funcións de activación lixeiramente diferentes
- Transferencia do "xenoma" ás próximas xeracións - algoritmo de retropropagación
- Unha vez que conectemos a neurofisioloxía e as redes neuronais, aprenderemos a construír un cerebro multifuncional a partir de moitos compoñentes.
Desde este punto de vista, a práctica das solucións SOTA é prexudicial e debería ser revisada en aras de desenvolver tarefas comúns (benchmarks).
"Ciencia de datos verídicos", Bin Yu (Berkeley)
O informe está dedicado ao problema da interpretación dos modelos de aprendizaxe automática e á metodoloxía para a súa proba e verificación directa. Calquera modelo de ML adestrado pode ser percibido como unha fonte de coñecemento que hai que extraer del.
En moitas áreas, especialmente na medicina, o uso dun modelo é imposible sen extraer este coñecemento oculto e interpretar os resultados do modelo; se non, non estaremos seguros de que os resultados serán estables, non aleatorios, fiables e non matarán o paciente. Toda unha dirección de metodoloxía de traballo está a desenvolverse dentro do paradigma de aprendizaxe profunda e vai máis aló dos seus límites: a ciencia de datos verídica. Que é?
Мы хотим достичь такого качества научных публикаций и воспроизводимости моделей, чтобы они были:
- previsible
- вычислимыми
- estable
Estes tres principios constitúen a base da nova metodoloxía. Como se poden comprobar os modelos de ML con estes criterios? O xeito máis sinxelo é construír modelos inmediatamente interpretables (regresións, árbores de decisión). Non obstante, tamén queremos obter os beneficios inmediatos da aprendizaxe profunda.
Varias formas existentes de traballar co problema:
- interpretar o modelo;
- utilizar métodos baseados na atención;
- utilizar conxuntos de algoritmos cando se adestra, e asegurarse de que os modelos lineais interpretables aprendan a predicir as mesmas respostas que a rede neuronal, interpretando as características do modelo lineal;
- cambiar e aumentar os datos de formación. Isto inclúe engadir ruído, interferencias e aumento de datos;
- calquera método que axude a garantir que os resultados do modelo non sexan aleatorios e non dependan de interferencias non desexadas menores (ataques adversarios);
- interpretar o modelo despois do feito, despois do adestramento;
- estudar os pesos das características de varias maneiras;
- estudar as probabilidades de todas as hipóteses, distribución de clases.
Ataque adversario
Os erros de modelado son custosos para todos: un exemplo excelente é o traballo de Reinhart e Rogov"."influíu nas políticas económicas de moitos países europeos e obrigounos a aplicar políticas de austeridade, pero unha revisión coidadosa dos datos e o seu procesamento anos despois mostrou o resultado contrario!
Calquera tecnoloxía de ML ten o seu propio ciclo de vida dende a implementación ata a implementación. O obxectivo da nova metodoloxía é comprobar tres principios básicos en cada etapa da vida do modelo.
Os resultados:
- Están a desenvolverse varios proxectos que axudarán a que o modelo de ML sexa máis fiable. Este é, por exemplo, deeptune (ligazón a: );
- Para un posterior desenvolvemento da metodoloxía, é necesario mellorar significativamente a calidade das publicacións no ámbito do ML;
- A aprendizaxe automática necesita líderes con formación e experiencia multidisciplinar tanto en campos técnicos como de humanidades.
"Modelado do comportamento humano con aprendizaxe automática: oportunidades e desafíos" Nuria M Oliver, Albert Ali Salah
Charla dedicada á modelización do comportamento humano, os seus fundamentos tecnolóxicos e perspectivas de aplicación.
O modelado do comportamento humano pódese dividir en:
- comportamento individual
- comportamento dun pequeno grupo de persoas
- comportamento de masas
Cada un destes tipos pódese modelar usando ML, pero con información e funcións de entrada completamente diferentes. Cada tipo tamén ten os seus propios problemas éticos polos que pasa cada proxecto:
- comportamento individual: roubo de identidade, deepfake;
- comportamento de grupos de persoas -desanonimización, obtención de información sobre movementos, chamadas telefónicas, etc.;
comportamento individual
Principalmente relacionado co tema da Visión por Computador - recoñecemento das emocións e reaccións humanas. Quizais só no contexto, no tempo ou coa escala relativa da súa propia variabilidade das emocións. A diapositiva mostra o recoñecemento das emocións de Mona Lisa utilizando o contexto do espectro emocional das mulleres mediterráneas. Resultado: un sorriso de alegría, pero con desprezo e noxo. A razón está moi probablemente na forma técnica de definir unha emoción "neutra".
Comportamento dun pequeno grupo de persoas
Ata agora o peor modelo débese á información insuficiente. Como exemplo, mostráronse obras de 2018 a 2019. en decenas de persoas X decenas de vídeos (cf. conxuntos de datos de imaxes de 100k++). Para modelar mellor esta tarefa é necesaria información multimodal, preferentemente de sensores dun altímetro corporal, termómetro, gravación de micrófono, etc.
Comportamento de masas
A zona máis desenvolvida, xa que o cliente é a ONU e moitos estados. Cámaras de vixilancia ao aire libre, datos das torres telefónicas -facturación, SMS, chamadas, datos sobre o movemento entre as fronteiras estatais- todo isto dá unha imaxe moi fiable do movemento de persoas e das inestabilidades sociais. Aplicacións potenciais da tecnoloxía: optimización das operacións de salvamento, asistencia e evacuación oportuna da poboación durante as emerxencias. Os modelos utilizados aínda están mal interpretados: son varios LSTM e redes convolucionais. Houbo unha breve observación de que a ONU estaba a facer lobby para unha nova lei que obrigase ás empresas europeas a compartir datos anónimos necesarios para calquera investigación.
"Do Sistema 1 ao Sistema 2 Deep Learning", Yoshua Bengio
Na conferencia de Joshua Bengio, a aprendizaxe profunda atopa a neurociencia no nivel de fixación de obxectivos.
Bengio identifica dous tipos principais de problemas segundo a metodoloxía do premio Nobel Daniel Kahneman (libro “")
tipo 1 - Sistema 1, accións inconscientes que facemos “automáticamente” (cerebro antigo): conducir un coche en lugares coñecidos, camiñar, recoñecer rostros.
tipo 2 - Sistema 2, accións conscientes (córtex cerebral), definición de obxectivos, análise, pensamento, tarefas compostas.
A IA acadou ata agora cotas suficientes só en tarefas do primeiro tipo, mentres que a nosa tarefa é levala ao segundo, ensinándolle a realizar operacións multidisciplinares e a operar con lóxica e habilidades cognitivas de alto nivel.
Para acadar este obxectivo proponse:
- nas tarefas de PNL, utilizar a atención como mecanismo clave para modelar o pensamento
- utilizar o metaaprendizaxe e a aprendizaxe da representación para modelar mellor as características que inflúen na conciencia e na súa localización e, en base a eles, pasar a operar con conceptos de nivel superior.
En lugar dunha conclusión, aquí tes unha charla convidada: Bengio é un dos moitos científicos que intentan ampliar o campo do ML máis aló dos problemas de optimización, SOTA e novas arquitecturas.
A pregunta segue aberta ata que punto a combinación de problemas de conciencia, a influencia da linguaxe no pensamento, a neurobioloxía e os algoritmos é o que nos agarda no futuro e nos permitirá pasar a máquinas que “pensan” como as persoas.
Grazas!
Fonte: www.habr.com