神經IPS（）是全球最大的機器學習和人工智慧會議，也是深度學習領域的主要活動。
在新的十年裡，我們 DS 工程師是否也能掌握生物學、語言學和心理學？ 我們會在評論中告訴您。
今年的會議在加拿大溫哥華匯聚了來自 13500 個國家的 80 多人。 這並不是 Sberbank 第一次代表俄羅斯參加會議 - DS 團隊談到了機器學習在銀行流程中的實施、ML 競爭以及 Sberbank DS 平台的功能。 2019 年 ML 社群的主要趨勢是什麼？ 會議參與者表示： и .
今年，NeurIPS 接受了 1400 多篇論文，包括演算法、新模型以及新數據的新應用。
內容：
- 趨勢
-
- 模型可解釋性
- 多學科性
- 推理
- RL
- 甘
- 基礎邀請報告
-
- “社會智能”，Blaise Aguera y Arcas（Google）
- “驗證數據科學”，Bin Yu（伯克利）
- “利用機器學習進行人類行為建模：機會與挑戰”，Nuria M Oliver、Albert Ali Salah
- “從系統 1 到系統 2 深度學習”，Yoshua Bengio
2019年度趨勢
1. 模型可解釋性和新的機器學習方法
會議的主題是解釋和證明為什麼我們會得到某些結果。 「黑盒子」解釋的哲學重要性可以談論很長時間，但這一領域還有更多真實的方法和技術發展。
複製模型並從中提取知識的方法是一個新的科學工具包。 模型可以作為獲取新知識和測試新知識的工具，模型的預處理、訓練和應用的每個階段都必須是可重複的。
很大一部分出版物不是致力於模型和工具的構建，而是致力於確保結果的安全性、透明度和可驗證性問題。 特別是，出現了關於對模型的攻擊（對抗性攻擊）的單獨流，並且考慮了對訓練的攻擊和對應用程式的攻擊的選項。
文章：
- ——一篇關於模型驗證方法的綱領性文章。 包括用於解釋模型的現代工具的概述，特別是透過使用線性模型「提煉」神經網路來使用注意力和獲取特徵重要性。
- 陳超凡、李奧斯卡、陶丹尼爾、Alina Barnett、Cynthia Rudin、Jonathan K. Su
- 莎拉·胡克、杜米特魯·埃爾汗、彼得·簡·金德曼斯、貝恩·金
- 亞歷山大·莫特、丹尼爾·佐蘭、麥克·切爾扎諾夫斯基、達安·維爾斯特拉、達尼洛·希門尼斯·雷森德
- 小李、王宇、Sumanta Basu、Karl Kumbier、於斌
- Jaemin Yoo、Minyong Cho、Taebum Kim、U Kang
- 愛德華·拉夫
ExBert.net 顯示文字處理任務的模型解釋
2. 多學科性
為了確保可靠的驗證並開發驗證和擴展知識的機制，我們需要相關領域的專家，他們同時具備機器學習和學科領域（醫學、語言學、神經生物學、教育等）的能力。 尤其值得注意的是，神經科學和認知科學領域的著作和演講更加重要——專家之間的關係和思想的借鑒。
除了這種和解之外，多學科性還出現在對各種來源的資訊的聯合處理中：文字和照片、文字和遊戲、圖形資料庫+文字和照片。
文章：
- 神經科學 + 機器學習 —
- 視覺品質保證 -
- 強化學習 + 自然語言處理 -
兩種模型——策略師和執行官——基於RL和NLP玩線上策略
3. 推理
強化人工智慧是走向自學習系統、「有意識」、推理和推理的運動。 特別是，因果推理和常識推理正在發展。 其中一些報告專門討論元學習（關於如何學會學習）以及深度學習技術與一階和二階邏輯的結合——通用人工智慧 (AGI) 一詞正在成為演講者演講中的常用術語。
文章：
- 餘偉江、週靜文、餘偉豪、梁曉丹、蕭農
- 戴旺週、徐秋玲、於陽、週志華
- 維沙克貝勒、布倫丹朱巴
- 安東·巴赫金、勞倫斯·范德馬滕、賈斯汀·約翰遜、勞拉·古斯塔夫森、羅斯·吉爾希克
- Dinesh Garg、Shajith Ikbal、Santosh K. Srivastava、Harit Vishwakarma、Hima Karanam、L Venkata Subramaniam
4.強化學習
大部分工作繼續開發 RL 的傳統領域 - DOTA2、星海爭霸，將架構與電腦視覺、NLP、圖資料庫結合。
會議的另一天專門舉辦了 RL 研討會，會上介紹了 Optimistic Actor Critic 模型架構，該架構優於之前的所有架構，特別是 Soft Actor Critic。
文章：
- ; 卡米爾·喬塞克、Quan Vuong、羅伯特·洛夫廷、卡佳·霍夫曼
- ; Yasuhiro Fujita（Preferred Networks, Inc.）*； Toshiki Kataoka（Preferred Networks, Inc.）； Prabhat Nagarajan（首選網路）； Takahiro Ishikawa（東京大學）[外部 pdf 連結]。
- ; 丹尼爾·哈夫納（Google）*； 蒂莫西·利利克拉普（DeepMind）； 吉米·巴（多倫多大學）； 穆罕默德·諾魯齊（Google大腦）
星海爭霸玩家與 Alphastar 模型對戰（DeepMind）
5.GAN
生成網絡仍然受到關注：許多作品使用普通的 GAN 進行數學證明，並以新的、不尋常的方式應用它們（圖生成模型、使用序列、應用於數據中的因果關係等）。
文章：
- Sangwoo Mo、Chiheon Kim、Sungwoong Kim、Minsu Cho、Jinwoo Shin
- 張丹，安娜‧霍列娃
- 徐雷、Maria Skoularidou、Alfredo Cuesta-Infante、Kalyan Veeramachaneni
由於接受了更多的工作 下面我們就來談談最重要的演講。
特邀報告
“社會智能”，Blaise Aguera y Arcas（Google）
演講重點討論機器學習的一般方法論以及當前改變行業的前景——我們面臨著什麼十字路口？ 大腦和演化是如何運作的？為什麼我們很少利用我們已經了解的自然系統發展知識？
ML的產業發展很大程度上與Google發展的里程碑相吻合，Google年復一年地發布了NeurIPS的研究成果：
- 1997 – 推出搜尋設施、第一台伺服器、小型運算能力
- 2010年－Jeff Dean啟動Google Brain項目，神經網路繁榮揭開序幕
- 2015 年 – 神經網路的工業實施、直接在本地設備上快速進行人臉辨識、為張量計算量身定制的低階處理器 - TPU。 谷歌推出 Coral ai——樹莓派的類似物，一種用於將神經網路引入實驗裝置的微型計算機
- 2017 年 – Google 開始開發去中心化訓練，並將不同裝置的神經網路訓練結果合併到一個模型中 – 在 Android 上
如今，整個產業都致力於本地設備上的資料安全、聚合和學習成果複製。
– 機器學習的一個方向，其中各個模型彼此獨立學習，然後組合成單一模型（不集中來源資料），針對罕見事件、異常、個人化等進行調整。 所有 Android 裝置本質上都是 Google 的一台計算超級電腦。
谷歌表示，基於聯邦學習的生成模型是一個有前途的未來方向，「處於指數增長的早期階段」。 根據講師介紹，GAN 能夠學習重現生物體群體的集體行為和思維演算法。
以兩個簡單的 GAN 架構為例，結果表明，在它們中，最佳化路徑的搜尋在一個圓圈中徘徊，這意味著最佳化本身不會發生。 同時，這些模型非常成功地模擬了生物學家對細菌族群進行的實驗，迫使它們學習新的尋找食物的行為策略。 我們可以得出結論，生命的運作方式與最佳化函數不同。
行走 GAN 最佳化
我們現在在機器學習框架內所做的一切都是狹隘且極其形式化的任務，而這些形式主義並不能很好地概括，並且與我們在神經生理學和生物學等領域的學科知識不相符。
在不久的將來，真正值得從神經生理學領域借鑒的是新的神經元架構和對誤差反向傳播機制的輕微修改。
人腦本身並不像神經網路那樣學習：
- 他沒有隨機的主要輸入，包括透過感官和童年所設定的輸入
- 他有著固有的本能發展方向（從嬰兒學習語言、直立行走的慾望）
訓練個體大腦是一項低階任務；也許我們應該考慮快速變化的個體的“群體”，相互傳遞知識以重現群體進化的機制。
我們現在可以採用的 ML 演算法有：
- 應用細胞譜系模型，確保群體的學習，但個體的壽命短暫（「個體腦」）
- 使用少量範例進行少樣本學習
- 神經元結構更複雜，激活函數略有不同
- 將「基因組」傳遞給下一代—反向傳播演算法
- 一旦我們將神經生理學和神經網路聯繫起來，我們將學習如何從許多組件建立多功能大腦。
從這個角度來看，SOTA 解決方案的實踐是有害的，應該為了開發通用任務（基準）而進行修改。
“驗證數據科學”，Bin Yu（伯克利）
該報告致力於解釋機器學習模型及其直接測試和驗證的方法的問題。 任何經過訓練的機器學習模型都可以被視為需要從中提取的知識來源。
在許多領域，特別是在醫學領域，如果不提取這些隱藏的知識並解釋模型的結果，就不可能使用模型——否則我們將無法確定結果是穩定的、非隨機的、可靠的，並且不會殺死模型。病人。 工作方法論的整個方向正在深度學習範式中發展，並超越了它的界限——真實的數據科學。 這是什麼？
我們希望獲得這樣的科學出版物品質和模型的可重複性：
- 可預測
- 可計算的
- 穩定的
這三個原則構成了新方法的基礎。 如何根據這些標準檢視機器學習模型？ 最簡單的方法是建立可立即解釋的模型（迴歸、決策樹）。 然而，我們也希望獲得深度學習的直接好處。
解決該問題的幾種現有方法：
- 解釋模型；
- 使用基於注意力的方法；
- 在訓練時使用演算法集合，並確保線性可解釋模型學會預測與神經網路相同的答案，解釋線性模型的特徵；
- 更改和增強訓練資料。 這包括添加雜訊、幹擾和資料增強；
- 任何有助於確保模型結果不是隨機的並且不依賴輕微不必要的干擾（對抗性攻擊）的方法；
- 訓練後，事後解釋模型；
- 以各種方式研究特徵權重；
- 研究所有假設的機率、類別分佈。
對抗性攻擊
建模錯誤對每個人來說都是代價高昂的：萊因哈特和羅戈夫的工作就是一個典型的例子。”「影響了許多歐洲國家的經濟政策，迫使他們奉行緊縮政策，但多年後仔細重新檢查數據及其處理卻發現了相反的結果！
任何機器學習技術都有自己的從實施到實施的生命週期。 新方法的目標是檢查模型生命週期每個階段的三個基本原則。
結果：
- 多個項目正在開發中，以幫助機器學習模型變得更加可靠。 例如，這是 Deeptune（連結到： );
- 為了進一步發展此方法，需要顯著提高機器學習領域的出版品質；
- 機器學習需要在技術和人文領域接受過多學科培訓和專業知識的領導者。
「利用機器學習進行人類行為建模：機會與挑戰」Nuria M Oliver、Albert Ali Salah
講座致力於人類行為建模、其技術基礎和應用前景。
人類行為建模可以分為：
- 個人行為
- 一小群人的行為
- 大眾行為
這些類型中的每一種都可以使用機器學習進行建模，但具有完全不同的輸入資訊和特徵。 每種類型還有每個項目都會經歷的道德問題：
- 個人行為－身分盜竊、深度造假；
- 人群的行為 - 去匿名化、獲取有關活動、電話等的資訊；
個人行為
主要與電腦視覺主題相關 - 識別人類情緒和反應。 也許只是在上下文、時間或他自己情緒變化的相對範圍。 這張幻燈片顯示了利用地中海女性情緒譜系的背景對蒙娜麗莎情緒的識別。 結果：喜悅的微笑，但又帶著輕蔑和厭惡。 原因很可能在於定義「中性」情緒的技術方式。
一小群人的行為
到目前為止，最糟糕的模型是由於資訊不足造成的。 以2018年至2019年的作品為例。 幾十個人 X 數十個影片（參見 100k++ 影像資料集）。 為了最好地模擬這項任務，需要多模態訊息，最好是來自人體高度計、溫度計、麥克風錄音等感測器。
群眾行為
最發達的地區，因為客戶是聯合國和許多國家。 室外監視器、電話塔的數據（計費、簡訊、通話、國界之間的流動數據）所有這些都提供了有關人員流動和社會不穩定的非常可靠的畫面。 該技術的潛在應用：在緊急情況下優化救援行動、援助和及時疏散人群。 使用的模型主要仍然沒有很好的解釋——這些模型是各種 LSTM 和卷積網路。 有一個簡短的評論說，聯合國正在遊說一項新法律，該法律將迫使歐洲企業共享任何研究所需的匿名數據。
“從系統 1 到系統 2 深度學習”，Yoshua Bengio
在 Joshua Bengio 的演講中，深度學習在目標設定層面與神經科學相遇。
Bengio 根據諾貝爾獎得主 Daniel Kahneman 的方法論（書《»）
類型 1 - 系統 1，我們「自動」執行的無意識行為（古代大腦）：在熟悉的地方開車、行走、辨識臉孔。
類型 2 - 系統 2，有意識的行動（大腦皮質），目標設定，分析，思考，複合任務。
迄今為止，人工智慧僅在第一類任務中達到了足夠的高度，而我們的任務是將其帶到第二類任務，教導它執行多學科操作並以邏輯和高級認知技能進行操作。
為實現這一目標，建議：
- 在 NLP 任務中，使用注意力作為建模思維的關鍵機制
- 使用後設學習和表徵學習來更好地對影響意識及其定位的特徵進行建模，並在此基礎上繼續操作更高層次的概念。
這裡不是一個結論，而是一個受邀演講：Bengio 是眾多試圖將 ML 領域擴展到優化問題、SOTA 和新架構之外的科學家之一。
這個問題仍然懸而未決，意識問題、語言對思考的影響、神經生物學和演算法的結合在多大程度上在未來等待著我們，並使我們能夠轉向像人一樣「思考」的機器。
謝謝！
來源： www.habr.com