NeuroIPS () é a maior conferência mundial sobre aprendizado de máquina e inteligência artificial e o principal evento do mundo de aprendizado profundo.
Será que nós, engenheiros da DS, também dominaremos a biologia, a linguística e a psicologia na nova década? Nós contaremos a você em nossa análise.
Este ano a conferência reuniu mais de 13500 pessoas de 80 países em Vancouver, Canadá. Este não é o primeiro ano que o Sberbank representa a Rússia na conferência - a equipe do DS falou sobre a implementação do ML nos processos bancários, sobre a competição de ML e sobre as capacidades da plataforma Sberbank DS. Quais foram as principais tendências de 2019 na comunidade ML? Os participantes da conferência dizem: и .
Este ano, o NeurIPS aceitou mais de 1400 artigos – algoritmos, novos modelos e novas aplicações para novos dados.
Conteúdo:
- Tendências
-
- Interpretabilidade do modelo
- Multidisciplinaridade
- Raciocínio
- RL
- GAN
- Palestras Básicas Convidadas
-
- “Inteligência Social”, Blaise Aguera y Arcas (Google)
- “Ciência de Dados Verídicos”, Bin Yu (Berkeley)
- “Modelagem de comportamento humano com aprendizado de máquina: oportunidades e desafios”, Nuria M Oliver, Albert Ali Salah
- “Do Sistema 1 ao Sistema 2 de Aprendizado Profundo”, Yoshua Bengio
Tendências 2019 do ano
1. Interpretabilidade do modelo e nova metodologia de ML
O tema principal da conferência é a interpretação e a evidência do motivo pelo qual obtemos determinados resultados. Pode-se falar por muito tempo sobre a importância filosófica da interpretação da “caixa preta”, mas houve métodos e desenvolvimentos técnicos mais reais nesta área.
A metodologia para replicar modelos e extrair conhecimento deles é um novo kit de ferramentas para a ciência. Os modelos podem servir como ferramenta para obtenção de novos conhecimentos e testá-los, sendo que cada etapa de pré-processamento, treinamento e aplicação do modelo deve ser reproduzível.
Uma proporção significativa das publicações não se dedica à construção de modelos e ferramentas, mas aos problemas de garantia de segurança, transparência e verificabilidade dos resultados. Em particular, apareceu um fluxo separado sobre ataques ao modelo (ataques adversários), e são consideradas opções para ataques ao treinamento e ataques ao aplicativo.
Artigo:
- — um artigo programático sobre a metodologia de verificação de modelos. Inclui uma visão geral das ferramentas modernas para interpretação de modelos, em particular, o uso da atenção e a obtenção da importância dos recursos ao “destilar” a rede neural com modelos lineares.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jiménez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Eduardo Raff
ExBert.net mostra interpretação de modelo para tarefas de processamento de texto
2. Multidisciplinaridade
Para garantir uma verificação confiável e desenvolver mecanismos de verificação e expansão do conhecimento, precisamos de especialistas em áreas afins que tenham simultaneamente competências em AM e na área disciplinar (medicina, linguística, neurobiologia, educação, etc.). Destaca-se especialmente a presença mais significativa de trabalhos e discursos em neurociências e ciências cognitivas – há uma aproximação de especialistas e um empréstimo de ideias.
Além desta aproximação, surge a multidisciplinaridade no processamento conjunto de informações de diversas fontes: texto e fotos, texto e jogos, bases de dados gráficas + texto e fotos.
Artigo:
- Neurociência + ML -
- Controle de qualidade visual -
- RL + PNL -
Dois modelos - estrategista e executivo - baseados em RL e PNL jogam estratégia online
3. Raciocínio
O fortalecimento da inteligência artificial é um movimento em direção a sistemas de autoaprendizagem, “consciente”, raciocínio e raciocínio. Em particular, a inferência causal e o raciocínio de senso comum estão a desenvolver-se. Alguns dos relatórios são dedicados à meta-aprendizagem (sobre como aprender a aprender) e à combinação de tecnologias DL com lógica de 1ª e 2ª ordem - o termo Inteligência Geral Artificial (AGI) está a tornar-se um termo comum nos discursos dos oradores.
Artigo:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Aprendizagem por Reforço
A maior parte do trabalho continua no desenvolvimento de áreas tradicionais de RL - DOTA2, Starcraft, combinando arquiteturas com visão computacional, PNL, bancos de dados gráficos.
Um dia separado da conferência foi dedicado a um workshop de RL, no qual foi apresentada a arquitetura do Optimistic Actor Critic Model, superior a todas as anteriores, em particular Soft Actor Critic.
Artigo:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (redes preferenciais); Takahiro Ishikawa (Universidade de Tóquio) [link externo em pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universidade de Toronto); Mohammad Norouzi (Google Cérebro)
Jogadores de StarCraft lutam contra o modelo Alphastar (DeepMind)
5.GAN
As redes generativas ainda estão em destaque: muitos trabalhos usam GANs vanilla para provas matemáticas, e também as aplicam de maneiras novas e incomuns (modelos geradores de gráficos, trabalho com séries, aplicação a relações de causa e efeito em dados, etc.).
Artigo:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Como mais trabalhos foram aceitos A seguir falaremos sobre os discursos mais importantes.
Palestras convidadas
“Inteligência Social”, Blaise Aguera y Arcas (Google)
A palestra centra-se na metodologia geral do aprendizado de máquina e nas perspectivas de mudança da indústria neste momento – que encruzilhada estamos enfrentando? Como funcionam o cérebro e a evolução, e por que utilizamos tão pouco o que já sabemos sobre o desenvolvimento dos sistemas naturais?
O desenvolvimento industrial do ML coincide em grande parte com os marcos de desenvolvimento do Google, que publica suas pesquisas sobre NeurIPS ano após ano:
- 1997 – lançamento de recursos de pesquisa, primeiros servidores, pequeno poder de computação
- 2010 – Jeff Dean lança o projeto Google Brain, o boom das redes neurais no início
- 2015 – implementação industrial de redes neurais, reconhecimento facial rápido diretamente em um dispositivo local, processadores de baixo nível adaptados para computação tensorial - TPU. Google lança Coral ai - um análogo do Raspberry Pi, um minicomputador para introduzir redes neurais em instalações experimentais
- 2017 – O Google começa a desenvolver treinamento descentralizado e a combinar os resultados do treinamento de redes neurais de diferentes dispositivos em um modelo – no Android
Hoje, toda uma indústria se dedica à segurança de dados, agregação e replicação de resultados de aprendizagem em dispositivos locais.
– uma direção de ML em que modelos individuais aprendem independentemente uns dos outros e são então combinados em um único modelo (sem centralizar os dados de origem), ajustados para eventos raros, anomalias, personalização, etc. Todos os dispositivos Android são essencialmente um único supercomputador de computação para o Google.
Os modelos generativos baseados na aprendizagem federada são uma direção futura promissora, de acordo com o Google, que está “nos estágios iniciais de crescimento exponencial”. Os GANs, segundo o palestrante, são capazes de aprender a reproduzir o comportamento em massa de populações de organismos vivos e algoritmos de pensamento.
Usando o exemplo de duas arquiteturas GAN simples, mostra-se que nelas a busca por um caminho de otimização anda em círculo, o que significa que a otimização como tal não ocorre. Ao mesmo tempo, estes modelos têm muito sucesso na simulação das experiências que os biólogos realizam com populações bacterianas, obrigando-as a aprender novas estratégias comportamentais em busca de alimento. Podemos concluir que a vida funciona de forma diferente da função de otimização.
Otimização de GAN ambulante
Tudo o que fazemos agora no âmbito da aprendizagem automática são tarefas estreitas e extremamente formalizadas, embora estes formalismos não sejam bem generalizados e não correspondam ao nosso conhecimento em áreas como a neurofisiologia e a biologia.
O que realmente vale a pena pegar emprestado do campo da neurofisiologia num futuro próximo são novas arquiteturas de neurônios e uma ligeira revisão dos mecanismos de retropropagação de erros.
O próprio cérebro humano não aprende como uma rede neural:
- Ele não tem informações primárias aleatórias, incluindo aquelas estabelecidas através dos sentidos e na infância
- Ele tem direções inerentes de desenvolvimento instintivo (o desejo de aprender a linguagem desde uma criança, andar ereto)
Treinar um cérebro individual é uma tarefa de baixo nível; talvez devêssemos considerar “colónias” de indivíduos em rápida mudança, transmitindo conhecimento uns aos outros para reproduzir os mecanismos de evolução do grupo.
O que podemos adotar em algoritmos de ML agora:
- Aplicar modelos de linhagem celular que garantam o aprendizado da população, mas a curta vida do indivíduo (“cérebro individual”)
- Aprendizagem rápida usando um pequeno número de exemplos
- Estruturas neuronais mais complexas, funções de ativação ligeiramente diferentes
- Transferindo o “genoma” para as próximas gerações – algoritmo de retropropagação
- Assim que conectarmos a neurofisiologia e as redes neurais, aprenderemos a construir um cérebro multifuncional a partir de muitos componentes.
Deste ponto de vista, a prática de soluções SOTA é prejudicial e deve ser revista em prol do desenvolvimento de tarefas comuns (benchmarks).
“Ciência de Dados Verídicos”, Bin Yu (Berkeley)
O relatório é dedicado ao problema de interpretação de modelos de aprendizado de máquina e à metodologia para seu teste e verificação direta. Qualquer modelo de ML treinado pode ser percebido como uma fonte de conhecimento que precisa ser extraído dele.
Em muitas áreas, especialmente na medicina, a utilização de um modelo é impossível sem extrair esse conhecimento oculto e interpretar os resultados do modelo - caso contrário, não teremos certeza de que os resultados serão estáveis, não aleatórios, confiáveis e não matarão o paciente. Toda uma direção de metodologia de trabalho está se desenvolvendo dentro do paradigma de aprendizagem profunda e vai além de suas fronteiras - ciência de dados verídica. O que é isso?
Queremos alcançar tal qualidade de publicações científicas e reprodutibilidade de modelos que sejam:
- previsível
- computável
- estábulo
Estes três princípios constituem a base da nova metodologia. Como os modelos de ML podem ser verificados em relação a esses critérios? A maneira mais fácil é construir modelos imediatamente interpretáveis (regressões, árvores de decisão). No entanto, também queremos obter os benefícios imediatos do aprendizado profundo.
Várias maneiras existentes de trabalhar com o problema:
- interpretar o modelo;
- utilizar métodos baseados na atenção;
- usar conjuntos de algoritmos durante o treinamento e garantir que os modelos lineares interpretáveis aprendam a prever as mesmas respostas que a rede neural, interpretando recursos do modelo linear;
- alterar e aumentar os dados de treinamento. Isso inclui adição de ruído, interferência e aumento de dados;
- quaisquer métodos que ajudem a garantir que os resultados do modelo não sejam aleatórios e não dependam de pequenas interferências indesejadas (ataques adversários);
- interpretar o modelo após o fato, após o treinamento;
- estudar pesos de recursos de várias maneiras;
- estudar as probabilidades de todas as hipóteses, distribuição de classes.
Ataque adversário
Erros de modelagem custam caro para todos: um excelente exemplo é o trabalho de Reinhart e Rogov."" influenciou as políticas económicas de muitos países europeus e forçou-os a seguir políticas de austeridade, mas uma cuidadosa verificação dos dados e do seu processamento anos mais tarde mostrou o resultado oposto!
Qualquer tecnologia de ML tem seu próprio ciclo de vida, de implementação em implementação. O objetivo da nova metodologia é verificar três princípios básicos em cada fase da vida do modelo.
Resultados:
- Vários projetos estão sendo desenvolvidos que ajudarão o modelo de ML a ser mais confiável. Este é, por exemplo, deeptune (link para: );
- Para um maior desenvolvimento da metodologia, é necessário melhorar significativamente a qualidade das publicações na área de ML;
- O aprendizado de máquina precisa de líderes com treinamento multidisciplinar e experiência nas áreas técnicas e humanas.
“Modelagem de comportamento humano com aprendizado de máquina: oportunidades e desafios” Nuria M Oliver, Albert Ali Salah
Palestra dedicada à modelagem do comportamento humano, seus fundamentos tecnológicos e perspectivas de aplicação.
A modelagem do comportamento humano pode ser dividida em:
- comportamento individual
- comportamento de um pequeno grupo de pessoas
- comportamento em massa
Cada um desses tipos pode ser modelado usando ML, mas com informações de entrada e recursos completamente diferentes. Cada tipo também tem suas próprias questões éticas pelas quais cada projeto passa:
- comportamento individual – roubo de identidade, deepfake;
- comportamento de grupos de pessoas - desanonimização, obtenção de informações sobre movimentos, ligações telefônicas, etc.;
comportamento individual
Principalmente relacionado ao tema Visão Computacional - reconhecimento de emoções e reações humanas. Talvez apenas no contexto, no tempo ou na escala relativa da sua própria variabilidade de emoções. O slide mostra o reconhecimento das emoções de Mona Lisa usando o contexto do espectro emocional das mulheres mediterrâneas. Resultado: um sorriso de alegria, mas de desprezo e nojo. A razão provavelmente está na forma técnica de definir uma emoção “neutra”.
Comportamento de um pequeno grupo de pessoas
Até agora, o pior modelo se deve à insuficiência de informações. Como exemplo, foram apresentados trabalhos de 2018 a 2019. em dezenas de pessoas X dezenas de vídeos (cf. conjuntos de dados de imagens de 100k ++). Para melhor modelar esta tarefa, são necessárias informações multimodais, preferencialmente provenientes de sensores em um altímetro corporal, termômetro, gravação de microfone, etc.
Comportamento em massa
A área mais desenvolvida, já que o cliente é a ONU e vários estados. Câmeras de vigilância externas, dados de torres telefônicas - faturamento, SMS, ligações, dados de movimentação entre fronteiras estaduais - tudo isso dá uma imagem muito confiável da movimentação de pessoas e da instabilidade social. Potenciais aplicações da tecnologia: otimização das operações de resgate, assistência e evacuação oportuna da população em situações de emergência. Os modelos utilizados ainda são mal interpretados - são vários LSTMs e redes convolucionais. Houve uma breve observação de que a ONU estava a fazer lobby para uma nova lei que obrigasse as empresas europeias a partilhar dados anonimizados necessários para qualquer investigação.
“Do Sistema 1 ao Sistema 2 de Aprendizado Profundo”, Yoshua Bengio
Na palestra de Joshua Bengio, a aprendizagem profunda encontra a neurociência no nível do estabelecimento de metas.
Bengio identifica dois tipos principais de problemas de acordo com a metodologia do ganhador do Nobel Daniel Kahneman (livro “»)
tipo 1 - Sistema 1, ações inconscientes que fazemos “automaticamente” (cérebro antigo): dirigir carro em lugares familiares, caminhar, reconhecer rostos.
tipo 2 - Sistema 2, ações conscientes (córtex cerebral), estabelecimento de metas, análise, pensamento, tarefas compostas.
Até agora, a IA atingiu níveis suficientes apenas em tarefas do primeiro tipo, enquanto nossa tarefa é trazê-la para o segundo, ensinando-a a realizar operações multidisciplinares e a operar com lógica e habilidades cognitivas de alto nível.
Para atingir este objetivo propõe-se:
- em tarefas de PNL, use a atenção como um mecanismo chave para modelar o pensamento
- usar meta-aprendizado e aprendizado de representação para modelar melhor os recursos que influenciam a consciência e sua localização - e, com base nisso, passar a operar com conceitos de nível superior.
Em vez de uma conclusão, aqui está uma palestra convidada: Bengio é um dos muitos cientistas que estão tentando expandir o campo do ML além de problemas de otimização, SOTA e novas arquiteturas.
A questão permanece em aberto até que ponto a combinação de problemas de consciência, a influência da linguagem no pensamento, a neurobiologia e os algoritmos é o que nos espera no futuro e nos permitirá passar para máquinas que “pensam” como pessoas.
Obrigado!
Fonte: habr.com