NeurIPS 2019: 향후 XNUMX년간 우리와 함께할 ML 트렌드

뉴로IPS(신경 정보 처리 시스템)은 머신러닝과 인공지능에 관한 세계 최대 규모의 컨퍼런스이자 딥러닝 세계의 주요 행사입니다.

새로운 XNUMX년에는 우리 DS 엔지니어들도 생물학, 언어학, 심리학을 마스터할 수 있을까요? 리뷰를 통해 알려드리겠습니다.

올해 컨퍼런스에는 캐나다 밴쿠버에서 13500개국에서 80명이 넘는 사람들이 모였습니다. Sberbank가 컨퍼런스에서 러시아를 대표한 것은 올해가 처음이 아닙니다. DS 팀은 뱅킹 프로세스에서의 ML 구현, ML 경쟁 및 Sberbank DS 플랫폼의 기능에 대해 이야기했습니다. 2019년 ML 커뮤니티의 주요 트렌드는 무엇이었나요? 회의 참가자들은 다음과 같이 말합니다. 안드레이 체르톡 и 타티아나 샤브리나.

올해 NeurIPS는 알고리즘, 새 모델, 새 데이터에 대한 새 응용 프로그램 등 1400개 이상의 논문을 승인했습니다. 모든 자료에 대한 링크

Содержание :

• 트렌드
• • 모델 해석 가능성
  • 다분야성
  • 추리
  • RL
  • GAN
• 기본 초청 강연
• • “사회 지능”, Blaise Aguera y Arcas (Google)
  • “Veridical Data Science”, Bin Yu (버클리)
  • “기계 학습을 통한 인간 행동 모델링: 기회와 과제”, Nuria M Oliver, Albert Ali Salah
  • “시스템 1에서 시스템 2 딥러닝으로”, 요슈아 벤지오

올해 트렌드 2019

1. 모델 해석 가능성 및 새로운 ML 방법론

컨퍼런스의 주요 주제는 우리가 특정 결과를 얻는 이유에 대한 해석과 증거입니다. "블랙박스" 해석의 철학적 중요성에 대해 오랫동안 이야기할 수 있지만 이 분야에는 더 실제적인 방법과 기술 발전이 있었습니다.

모델을 복제하고 그로부터 지식을 추출하는 방법론은 과학을 위한 새로운 툴킷입니다. 모델은 새로운 지식을 얻고 이를 테스트하기 위한 도구 역할을 할 수 있으며 모델의 전처리, 훈련 및 적용의 각 단계는 재현 가능해야 합니다.
출판물의 상당 부분이 모델과 도구의 구축이 아니라 결과의 보안, 투명성 및 검증 가능성을 보장하는 문제에 전념하고 있습니다. 특히, 모델에 대한 공격(적대적 공격)에 대해서는 별도의 스트림이 등장했으며, 훈련에 대한 공격과 애플리케이션에 대한 공격 모두에 대한 옵션이 고려됩니다.

기사 :

• 검증 데이터 과학 — 모델 검증 방법론에 관한 프로그래밍 방식의 기사입니다. 모델을 해석하기 위한 최신 도구, 특히 주의를 사용하고 선형 모델을 사용하여 신경망을 "정제"하여 기능 중요도를 얻는 방법에 대한 개요가 포함되어 있습니다.
• 이것은 다음과 같습니다: 해석 가능한 이미지 인식을 위한 딥러닝 Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
• 심층 신경망의 해석 가능성 방법에 대한 벤치마크 사라 후커, 두미트루 에르한, 피터 얀 킨더만스, 빈 킴
• 주의력 증강 에이전트를 사용한 해석 가능한 강화 학습을 향하여 알렉산더 모트, 다니엘 조란, 마이크 Chrzanowski, 단 Wierstra, Danilo Jimenez Rezende
• 랜덤 포레스트에 대한 편향되지 않은 MDI 기능 중요도 측정 Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, 빈 유
• 관찰 가능한 데이터가 없는 지식 추출 유재민, 조민용, 김태범, 강유
• 독립적으로 재현 가능한 기계 학습 연구를 정량화하기 위한 단계 에드워드 라프

ExBert.net은 텍스트 처리 작업에 대한 모델 해석을 보여줍니다.

2. 다학문성

신뢰할 수 있는 검증을 보장하고 지식 검증 및 확장을 위한 메커니즘을 개발하려면 ML과 주제 영역(의학, 언어학, 신경생물학, 교육 등)에 대한 역량을 동시에 갖춘 관련 분야의 전문가가 필요합니다. 특히 신경과학과 인지과학에서 작품과 연설이 더 중요하게 존재한다는 점은 주목할 가치가 있습니다. 전문가의 화해와 아이디어 차용이 있습니다.

이러한 화해 외에도 텍스트와 사진, 텍스트와 게임, 그래프 데이터베이스 + 텍스트와 사진 등 다양한 소스의 정보를 공동 처리하는 데 다학제성이 나타나고 있습니다.

기사 :

• 신경과학 + ML — 자연어 처리(뇌)를 통해 자연어 처리(기계)를 해석하고 개선합니다.
• 비주얼QA - 추상화를 통한 학습: 신경 상태 머신
• RL + NLP - 자연어 명령을 생성하고 따르는 계층적 의사결정

두 가지 모델 - 전략가와 경영진 - RL 및 NLP 플레이 온라인 전략을 기반으로 함

3. 추론

인공 지능을 강화하는 것은 "의식적", 추론 및 추론을 통한 자가 학습 시스템을 향한 움직임입니다. 특히 인과추론과 상식적 추론이 발달하고 있다. 일부 보고서는 메타 학습(학습 방법에 관한)과 DL 기술과 1차 및 2차 논리의 결합에 전념하고 있습니다. AGI(인공 일반 지능)라는 용어는 연사의 연설에서 일반적인 용어가 되고 있습니다.

기사 :

• 시각적 상식 추론을 위한 이종 그래프 학습 유웨이장, 저우징원, 유웨이하오, 량샤오단, 농샤오
• 귀추 학습을 통한 기계 학습과 논리적 추론 연결 Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
• XNUMX차 논리로 추론하는 방법을 암묵적으로 학습 바이샤크 벨, 브렌든 주바
• PHYRE: 물리적 추론을 위한 새로운 벤치마크 안톤 바흐틴, 로렌스 반 데르 마텐, 저스틴 존슨, 로라 구스타프슨, 로스 거식
• 추론을 위한 지식의 양자 임베딩 Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam

4.강화학습

대부분의 작업은 아키텍처와 컴퓨터 비전, NLP, 그래프 데이터베이스를 결합하여 RL(DOTA2, Starcraft)의 전통적인 영역을 계속 개발하고 있습니다.

컨퍼런스의 다른 날은 이전의 모든 것, 특히 Soft Actor Critic보다 우수한 낙관적 배우 비평가 모델 아키텍처가 발표된 RL 워크숍에 전념했습니다.

기사 :

• 낙관적인 배우 평론가와 함께하는 더 나은 탐구; Kamil Ciosek, Quan Vuong, 로버트 로프틴, Katja Hofmann
• ChainerRL: 심층 강화 학습 라이브러리; 후지타 야스히로(Preferred Networks, Inc.)*; 카타오카 토시키(Preferred Networks, Inc.); Prabhat Nagarajan(선호 네트워크); 이시카와 타카히로(도쿄대학교) [외부 PDF 링크].
• 통제하는 꿈: 잠재된 상상력을 통한 학습 행동; 다니자르 하프너(구글)*; 티모시 릴리크랩(DeepMind); 지미 바(토론토 대학교); 모하마드 노루지(구글 브레인)
• 워크숍 자료

StarCraft 플레이어는 Alphastar 모델(DeepMind)과 전투를 벌입니다.

5. 간

생성 네트워크는 여전히 주목을 받고 있습니다. 많은 작업에서 수학적 증명을 위해 바닐라 GAN을 사용하고 이를 새롭고 특이한 방식(그래프 생성 모델, 시리즈 작업, 데이터의 인과 관계에 적용 등)으로 적용합니다.

기사 :

• 조건부 GAN을 위한 GOLD 샘플 채굴 모상우, 김치헌, 김성웅, 조민수, 신진우
• GAN의 점진적인 확장 단 장, 안나 코레바
• 조건부 GAN을 사용하여 테이블 형식 데이터 모델링 레이 쉬, 마리아 스코울라리두, 알프레도 쿠에스타-인판테, 칼얀 비라마차네니
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

더 많은 작품이 받아들여졌기 때문에 1400 아래에서는 가장 중요한 연설에 대해 이야기하겠습니다.

초청 강연

“사회 지능”, Blaise Aguera y Arcas (Google)

링크
슬라이드 및 비디오
이 강연에서는 머신러닝의 일반적인 방법론과 현재 업계를 변화시킬 전망에 초점을 맞췄습니다. 우리가 직면한 갈림길은 무엇인가요? 뇌와 진화는 어떻게 작동하며, 우리는 왜 자연계의 발달에 대해 이미 알고 있는 지식을 거의 활용하지 않습니까?

ML의 산업적 발전은 해마다 NeurIPS에 대한 연구를 발표하는 Google 개발의 이정표와 크게 일치합니다.

• 1997 – 검색 기능 출시, 최초의 서버, 소규모 컴퓨팅 성능
• 2010 – Jeff Dean이 처음에 신경망 붐을 일으켰던 Google Brain 프로젝트를 시작했습니다.
• 2015 – 신경망의 산업적 구현, 로컬 장치에서 직접 빠른 얼굴 인식, 텐서 컴퓨팅에 맞춰진 저수준 프로세서 - TPU. Google은 실험 설치에 신경망을 도입하기 위한 미니 컴퓨터인 라즈베리 파이와 유사한 Coral ai를 출시했습니다.
• 2017 – Google은 분산형 훈련을 개발하고 다양한 장치의 신경망 훈련 결과를 Android에서 하나의 모델로 결합하기 시작했습니다.

오늘날 전체 산업은 데이터 보안, 집계 및 로컬 장치에서의 학습 결과 복제에 전념하고 있습니다.

연합 학습 – 개별 모델이 서로 독립적으로 학습한 다음 소스 데이터를 중앙 집중화하지 않고 단일 모델로 결합하고 희귀 이벤트, 이상 현상, 개인화 등에 맞게 조정되는 ML의 방향입니다. 모든 Android 기기는 본질적으로 Google의 단일 컴퓨팅 슈퍼컴퓨터입니다.

연합 학습을 기반으로 한 생성 모델은 Google에 따르면 "기하급수적 성장의 초기 단계"에 있는 유망한 미래 방향입니다. 강사에 따르면 GAN은 살아있는 유기체 집단의 대량 행동과 사고 알고리즘을 재현하는 방법을 학습할 수 있습니다.

두 가지 간단한 GAN 아키텍처의 예를 사용하면 최적화 경로 검색이 원을 그리며 돌아다니는 것으로 나타났습니다. 이는 최적화 자체가 발생하지 않음을 의미합니다. 동시에, 이러한 모델은 생물학자가 박테리아 개체군에 대해 수행하는 실험을 시뮬레이션하는 데 매우 성공적이며, 먹이를 찾는 새로운 행동 전략을 배우도록 합니다. 우리는 인생이 최적화 기능과 다르게 작동한다는 결론을 내릴 수 있습니다.

워킹 GAN 최적화

현재 머신러닝 프레임워크에서 우리가 하는 모든 작업은 좁고 극도로 형식화된 작업입니다. 반면 이러한 형식주의는 잘 일반화되지 않으며 신경 생리학 및 생물학과 같은 분야의 주제 지식과 일치하지 않습니다.

가까운 미래에 신경생리학 분야에서 실제로 빌릴 가치가 있는 것은 새로운 뉴런 구조와 오류 역전파 메커니즘의 약간의 수정입니다.

인간의 뇌 자체는 신경망처럼 학습하지 않습니다.

• 그는 감각을 통해 그리고 어린 시절에 입력된 입력을 포함하여 무작위적인 기본 입력을 갖지 않습니다.
• 그는 본능적 발달(유아로부터 언어를 배우려는 욕구, 직립보행)의 고유한 방향을 가지고 있습니다.

개인의 두뇌를 훈련하는 것은 낮은 수준의 작업입니다. 아마도 우리는 그룹 진화의 메커니즘을 재현하기 위해 서로에게 지식을 전달하는 빠르게 변화하는 개인의 "군집"을 고려해야 합니다.

이제 ML 알고리즘에 채택할 수 있는 사항은 다음과 같습니다.

• 집단의 학습을 보장하지만 개인(“개별 뇌”)의 수명이 짧은 세포 계통 모델을 적용합니다.
• 소수의 예시를 이용한 퓨샷 학습
• 더 복잡한 뉴런 구조, 약간 다른 활성화 기능
• "게놈"을 다음 세대로 전달 - 역전파 알고리즘
• 신경 생리학과 신경 네트워크를 연결하면 다양한 구성 요소로 다기능 두뇌를 구축하는 방법을 배울 수 있습니다.

이러한 관점에서 볼 때 SOTA 솔루션의 실행은 해로우며 공통 작업(벤치마크) 개발을 위해 수정되어야 합니다.

“Veridical Data Science”, Bin Yu (버클리)

비디오 및 슬라이드
이 보고서는 기계 학습 모델을 해석하는 문제와 직접적인 테스트 및 검증을 위한 방법론을 다루고 있습니다. 훈련된 ML 모델은 추출해야 하는 지식의 소스로 인식될 수 있습니다.

많은 분야, 특히 의학에서는 숨겨진 지식을 추출하고 모델의 결과를 해석하지 않고는 모델을 사용하는 것이 불가능합니다. 그렇지 않으면 결과가 안정적이고, 무작위적이지 않으며, 신뢰할 수 있고, 사람들을 죽이지 않을 것이라고 확신할 수 없습니다. 인내심 있는. 작업 방법론의 전체 방향은 딥 러닝 패러다임 내에서 발전하고 있으며 그 경계를 넘어서는 진정한 데이터 과학입니다. 그것은 무엇입니까?

우리는 다음과 같은 수준의 과학 출판물과 모델의 재현성을 달성하고자 합니다.

1. 예측 가능한
2. 계산할 수 있는
3. 안정적인

이 세 가지 원칙은 새로운 방법론의 기초를 형성합니다. 이러한 기준에 따라 ML 모델을 어떻게 확인할 수 있나요? 가장 쉬운 방법은 즉시 해석 가능한 모델(회귀, 의사결정 트리)을 구축하는 것입니다. 그러나 우리는 딥러닝의 즉각적인 이점도 얻고 싶습니다.

문제를 해결하는 몇 가지 기존 방법:

1. 모델을 해석하고;
2. 주의력에 기반한 방법을 사용하십시오.
3. 훈련할 때 알고리즘 앙상블을 사용하고, 선형 해석 가능한 모델이 신경망과 동일한 답을 예측하는 방법을 학습하여 선형 모델의 특징을 해석하도록 합니다.
4. 훈련 데이터를 변경하고 강화합니다. 여기에는 잡음, 간섭 및 데이터 증대 추가가 포함됩니다.
5. 모델의 결과가 무작위가 아니며 사소한 원치 않는 간섭(적대적 공격)에 의존하지 않도록 하는 데 도움이 되는 모든 방법
6. 훈련 후 사실 이후에 모델을 해석합니다.
7. 다양한 방법으로 특징 가중치를 연구합니다.
8. 모든 가설의 확률, 클래스 분포를 연구합니다.

적대적 공격 돼지를 위해

모델링 오류는 모든 사람에게 비용이 많이 듭니다. 대표적인 예가 Reinhart와 Rogov의 작업입니다."부채 시대의 성장"는 많은 유럽 국가의 경제 정책에 영향을 미치고 긴축 정책을 추구하도록 강요했지만 몇 년 후 데이터와 처리를 주의 깊게 재검토한 결과 정반대의 결과가 나타났습니다!

모든 ML 기술에는 구현부터 구현까지 자체 수명 주기가 있습니다. 새로운 방법론의 목표는 모델 수명의 각 단계에서 세 가지 기본 원칙을 확인하는 것입니다.

결과 :

• ML 모델의 안정성을 높이는 데 도움이 되는 여러 프로젝트가 개발 중입니다. 예를 들어 deeptune이 있습니다(링크: github.com/ChrisCummins/paper-end2end-dl);
• 방법론을 더욱 발전시키려면 ML 분야 출판물의 품질을 크게 향상시킬 필요가 있습니다.
• 머신 러닝에는 기술 및 인문학 분야 모두에서 다학제적 교육과 전문 지식을 갖춘 리더가 필요합니다.

“기계 학습을 통한 인간 행동 모델링: 기회와 과제” Nuria M Oliver, Albert Ali Salah

인간 행동 모델링, 기술 기반 및 응용 전망에 관한 강의입니다.

인간 행동 모델링은 다음과 같이 나눌 수 있습니다.

• 개인의 행동
• 소수의 사람들의 행동
• 대중 행동

이러한 각 유형은 ML을 사용하여 모델링할 수 있지만 입력 정보와 기능은 완전히 다릅니다. 각 유형에는 각 프로젝트가 겪는 고유한 윤리적 문제도 있습니다.

• 개인 행동 – 신원 도용, 딥페이크;
• 사람들 집단의 행동 - 익명화 해제, 움직임에 관한 정보 획득, 전화 통화 등

개인적인 행동

주로 인간의 감정과 반응을 인식하는 컴퓨터 비전 주제와 관련이 있습니다. 아마도 상황, 시간, 또는 자신의 감정 가변성의 상대적 규모에 따라서만 그럴 것입니다. 슬라이드는 지중해 여성의 감정 스펙트럼의 맥락을 사용하여 모나리자의 감정에 대한 인식을 보여줍니다. 결과: 기쁨의 미소지만 경멸과 혐오감이 담겨 있습니다. 그 이유는 '중립' 감정을 정의하는 기술적인 방식에 있을 가능성이 높습니다.

소수의 사람들의 행동

지금까지 최악의 모델은 정보가 부족하기 때문입니다. 대표적으로 2018~2019년 작품이 전시됐다. 수십 명의 사람 X 수십 개의 비디오(100++ 이미지 데이터 세트 참조). 이 작업을 가장 잘 모델링하려면 신체 고도계, 온도계, 마이크 녹음 등의 센서로부터 다중 모드 정보가 필요합니다.

대중 행동

고객이 UN과 여러 주이기 때문에 가장 발전된 지역입니다. 실외 감시 카메라, 전화 타워의 데이터(청구, SMS, 통화, 주 경계 간 이동 데이터) 등 이 모든 것이 사람의 이동과 사회적 불안정에 대한 매우 신뢰할 수 있는 그림을 제공합니다. 기술의 잠재적인 적용: 구조 작업 최적화, 긴급 상황 시 주민의 적시 대피 및 지원. 사용된 모델은 주로 아직 제대로 해석되지 않았습니다. 이는 다양한 LSTM 및 컨볼루션 네트워크입니다. UN이 유럽 기업들이 모든 연구에 필요한 익명화된 데이터를 공유하도록 의무화하는 새로운 법률을 위해 로비를 하고 있다는 간략한 언급이 있었습니다.

“시스템 1에서 시스템 2 딥러닝으로”, 요슈아 벤지오

슬라이드
조슈아 벤지오(Joshua Bengio)의 강의에서 딥러닝은 목표 설정 수준에서 신경과학을 만납니다.
Bengio는 노벨상 수상자인 Daniel Kahneman의 방법론에 따라 두 가지 주요 유형의 문제를 식별합니다(저서 “천천히 생각하고, 빨리 결정하세요")
유형 1 - 시스템 1, 우리가 "자동으로" 수행하는 무의식적 행동(고대 뇌): 익숙한 장소에서 자동차 운전, 걷기, 얼굴 인식.
유형 2 - 시스템 2, 의식적 행동(대뇌 피질), 목표 설정, 분석, 사고, 복합 작업.

AI는 지금까지 첫 번째 유형의 작업에서만 충분한 수준에 도달했지만 우리의 임무는 AI를 두 번째 유형으로 가져와 다학제적 작업을 수행하고 논리 및 높은 수준의 인지 기술을 사용하여 작동하도록 가르치는 것입니다.

이 목표를 달성하기 위해 다음이 제안됩니다.

1. NLP 작업에서는 사고 모델링을 위한 핵심 메커니즘으로 주의를 사용합니다.
2. 의식과 그 위치에 영향을 미치는 기능을 더 잘 모델링하기 위해 메타 학습과 표현 학습을 사용하고 이를 기반으로 더 높은 수준의 개념을 사용하여 작동합니다.

결론 대신 초대 강연을 소개합니다. Bengio는 최적화 문제, SOTA 및 새로운 아키텍처를 넘어 ML 분야를 확장하려고 노력하는 많은 과학자 중 한 명입니다.
의식의 문제, 사고에 대한 언어의 영향, 신경 생물학 및 알고리즘의 조합이 미래에 우리를 기다리고 있으며 사람처럼 "생각"하는 기계로 이동할 수 있게 해주는 문제는 여전히 열려 있습니다.

감사합니다!

출처 : habr.com