NöroIPS () makine öğrenimi ve yapay zeka üzerine dünyanın en büyük konferansı ve derin öğrenme dünyasının ana etkinliğidir.
Biz DS mühendisleri de yeni on yılda biyoloji, dilbilim ve psikoloji alanlarında uzmanlaşacak mıyız? İncelememizde size anlatacağız.
Konferans bu yıl Kanada'nın Vancouver kentinde 13500 ülkeden 80'den fazla kişiyi bir araya getirdi. Bu, Sberbank'ın konferansta Rusya'yı temsil ettiği ilk yıl değil; DS ekibi, ML'nin bankacılık süreçlerinde uygulanması, ML rekabeti ve Sberbank DS platformunun yetenekleri hakkında konuştu. Makine öğrenimi topluluğunda 2019'un ana eğilimleri nelerdi? Konferans katılımcıları şunları söylüyor: и .
Bu yıl NeurIPS, algoritmalar, yeni modeller ve yeni verilere yeni uygulamalar içeren 1400'den fazla makaleyi kabul etti.
İçindekiler:
- Eğilimler
-
- Modelin yorumlanabilirliği
- Multidisiplinerlik
- muhakeme
- RL
- GAN
- Temel Davetli Konuşmalar
-
- “Sosyal Zeka”, Blaise Aguera y Arcas (Google)
- “Veridik Veri Bilimi”, Bin Yu (Berkeley)
- “Makine Öğrenimiyle İnsan Davranışı Modellemesi: Fırsatlar ve Zorluklar”, Nuria M Oliver, Albert Ali Salah
- “Sistem 1'den Sistem 2'ye Derin Öğrenme”, Yoshua Bengio
Yılın Trendleri 2019
1. Model yorumlanabilirliği ve yeni makine öğrenimi metodolojisi
Konferansın ana konusu, neden belirli sonuçlara ulaştığımızın yorumlanması ve kanıtlanmasıdır. “Kara kutu” yorumunun felsefi öneminden uzun süre bahsedilebilir, ancak bu alanda daha gerçek yöntemler ve teknik gelişmeler vardı.
Modelleri çoğaltmaya ve onlardan bilgi çıkarmaya yönelik metodoloji, bilim için yeni bir araç setidir. Modeller yeni bilgi elde etmek ve onu test etmek için bir araç görevi görebilir ve modelin ön işleme, eğitim ve uygulamasının her aşaması tekrarlanabilir olmalıdır.
Yayınların önemli bir kısmı model ve araçların oluşturulmasına değil, sonuçların güvenliğinin, şeffaflığının ve doğrulanabilirliğinin sağlanması sorunlarına ayrılmıştır. Özellikle modele yönelik saldırılar (düşmanca saldırılar) hakkında ayrı bir akış ortaya çıktı ve hem eğitime hem de uygulamaya yönelik saldırılara yönelik seçenekler değerlendiriliyor.
Makaleler:
- - model doğrulama metodolojisine ilişkin programlı bir makale. Modellerin yorumlanmasına yönelik modern araçlara genel bir bakış içerir; özellikle dikkat kullanımı ve sinir ağını doğrusal modellerle "damıtarak" özellik öneminin elde edilmesi.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net, metin işleme görevleri için model yorumlamasını gösteriyor
2. Çok Disiplinlilik
Güvenilir doğrulamayı sağlamak ve bilgiyi doğrulamak ve genişletmek için mekanizmalar geliştirmek için, ilgili alanlarda hem makine öğrenimi hem de konu alanında (tıp, dil bilimi, nörobiyoloji, eğitim vb.) aynı anda yeterliliğe sahip uzmanlara ihtiyacımız var. Sinir bilimleri ve bilişsel bilimlerdeki eserlerin ve konuşmaların daha önemli varlığına özellikle dikkat etmek önemlidir - uzmanların yakınlaşması ve fikirlerin ödünç alınması söz konusudur.
Bu yakınlaşmaya ek olarak, çeşitli kaynaklardan gelen bilgilerin ortak işlenmesinde çok disiplinlilik ortaya çıkıyor: metin ve fotoğraflar, metin ve oyunlar, grafik veritabanları + metin ve fotoğraflar.
Makaleler:
- Sinirbilim + ML —
- VisualQA -
- RL + NLP -
RL ve NLP'ye dayalı iki model - strateji uzmanı ve yönetici - çevrimiçi strateji oyunu
3. Akıl yürütme
Yapay zekanın güçlendirilmesi, kendi kendine öğrenen, “bilinçli”, akıl yürütme ve akıl yürütme sistemlerine yönelik bir harekettir. Özellikle nedensel çıkarım ve sağduyulu akıl yürütme gelişiyor. Raporlardan bazıları meta-öğrenmeye (öğrenmeyi nasıl öğreneceğine ilişkin) ve DL teknolojilerinin 1. ve 2. derece mantıkla birleşimine ayrılmıştır - Yapay Genel Zeka (AGI) terimi, konuşmacıların konuşmalarında yaygın bir terim haline gelmektedir.
Makaleler:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Takviyeli Öğrenme
Çalışmaların çoğu, mimarileri bilgisayarlı görme, NLP, grafik veritabanlarıyla birleştirerek RL - DOTA2, Starcraft'ın geleneksel alanlarını geliştirmeye devam ediyor.
Konferansın ayrı bir günü, başta Soft Actor Critic olmak üzere önceki mimarilerin hepsinden üstün olan İyimser Aktör Eleştirmen Modeli mimarisinin sunulduğu RL çalıştayına ayrıldı.
Makaleler:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Tercih Edilen Ağlar, Inc.)*; Toshiki Kataoka (Tercih Edilen Ağlar, Inc.); Prabhat Nagarajan (Tercih Edilen Ağlar); Takahiro Ishikawa (Tokyo Üniversitesi) [harici pdf bağlantısı].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Üniversitesi); Muhammed Norouzi (Google Brain)
StarCraft oyuncuları Alphastar modeliyle savaşıyor (DeepMind)
5.GAN
Üretken ağlar hâlâ ilgi odağında: Pek çok çalışma matematiksel kanıtlar için sıradan GAN'ları kullanıyor ve bunları yeni, alışılmadık yollarla da uyguluyor (grafik oluşturucu modeller, serilerle çalışma, verilerdeki neden-sonuç ilişkilerine uygulama vb.).
Makaleler:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Daha fazla çalışma kabul edildiğinden beri Aşağıda en önemli konuşmalardan bahsedeceğiz.
Davetli Konuşmalar
“Sosyal Zeka”, Blaise Aguera y Arcas (Google)
Konuşma, makine öğreniminin genel metodolojisine ve şu anda sektörü değiştirecek beklentilere odaklanıyor; hangi kavşaklarla karşı karşıyayız? Beyin ve evrim nasıl çalışıyor ve doğal sistemlerin gelişimi hakkında zaten bildiklerimizden neden bu kadar az yararlanıyoruz?
ML'nin endüstriyel gelişimi, büyük ölçüde NeurIPS hakkındaki araştırmasını her yıl yayınlayan Google'ın gelişimindeki kilometre taşlarıyla örtüşmektedir:
- 1997 – arama tesislerinin başlatılması, ilk sunucular, küçük bilgi işlem gücü
- 2010 – Jeff Dean, başlangıçta sinir ağlarının patlaması olan Google Brain projesini başlattı
- 2015 – sinir ağlarının endüstriyel uygulaması, doğrudan yerel bir cihazda hızlı yüz tanıma, tensör hesaplaması için özel olarak tasarlanmış düşük seviyeli işlemciler - TPU. Google, sinir ağlarını deneysel kurulumlara dahil etmek için kullanılan bir mini bilgisayar olan Raspberry Pi'nin bir benzeri olan Coral ai'yi piyasaya sürdü
- 2017 – Google, merkezi olmayan eğitim geliştirmeye ve farklı cihazlardan alınan sinir ağı eğitiminin sonuçlarını Android'de tek bir modelde birleştirmeye başladı
Bugün, tüm bir sektör veri güvenliğine, toplamaya ve öğrenme sonuçlarının yerel cihazlarda çoğaltılmasına adanmıştır.
– bireysel modellerin birbirinden bağımsız olarak öğrendiği ve daha sonra tek bir modelde birleştirildiği (kaynak verileri merkezileştirmeden), nadir olaylar, anormallikler, kişiselleştirme vb. için ayarlandığı bir makine öğrenimi yönü. Tüm Android cihazlar aslında Google için tek bir bilgi işlem süper bilgisayarıdır.
Birleşik öğrenmeye dayalı üretken modeller, "üstel büyümenin ilk aşamalarında" olan Google'a göre gelecek vaat eden bir yöndür. Öğretim görevlisine göre GAN'lar, canlı organizma popülasyonlarının kitlesel davranışlarını ve düşünme algoritmalarını yeniden üretmeyi öğrenme yeteneğine sahip.
İki basit GAN mimarisi örneğini kullanarak, içlerinde bir optimizasyon yolu arayışının bir daire içinde dolaştığı, yani optimizasyonun bu şekilde gerçekleşmediği gösterilmiştir. Aynı zamanda bu modeller, biyologların bakteri popülasyonları üzerinde yaptığı deneyleri simüle etmede de oldukça başarılı olup, onları yiyecek arama konusunda yeni davranışsal stratejiler öğrenmeye zorlamaktadır. Hayatın optimizasyon fonksiyonundan farklı çalıştığı sonucuna varabiliriz.
Yürüyen GAN Optimizasyonu
Artık makine öğrenimi çerçevesinde yaptığımız her şey dar ve son derece resmileştirilmiş görevler iken, bu formalizmler iyi genellenmiyor ve nörofizyoloji ve biyoloji gibi alanlardaki konu bilgimizle örtüşmüyor.
Yakın gelecekte nörofizyoloji alanından gerçekten ödünç alınmaya değer olan şey, yeni nöron mimarileri ve hataların geriye yayılma mekanizmalarının hafif bir revizyonudur.
İnsan beyni bir sinir ağı gibi öğrenmez:
- Duyularla ve çocuklukta ortaya konanlar da dahil olmak üzere rastgele birincil girdilere sahip değildir.
- İçgüdüsel gelişimin doğal yönlerine sahiptir (bir bebekten dili öğrenme arzusu, dik yürüme)
Bireysel bir beyni eğitmek düşük seviyeli bir iştir; belki de grup evrimi mekanizmalarını yeniden üretmek için bilgiyi birbirlerine aktaran hızla değişen bireylerin oluşturduğu "kolonileri" düşünmeliyiz.
Şimdi makine öğrenimi algoritmalarına neler uygulayabiliriz:
- Popülasyonun öğrenmesini sağlayan ancak bireyin ömrünün kısa olmasını sağlayan hücre soyu modellerini uygulayın (“bireysel beyin”)
- Az sayıda örnek kullanarak birkaç adımda öğrenme
- Daha karmaşık nöron yapıları, biraz farklı aktivasyon fonksiyonları
- “Genomun” gelecek nesillere aktarılması - geri yayılım algoritması
- Nörofizyoloji ve sinir ağlarını birbirine bağladığımızda birçok bileşenden oluşan çok işlevli bir beyin oluşturmayı öğreneceğiz.
Bu açıdan SOTA çözümlerinin uygulanması zararlıdır ve ortak görevlerin (kıyaslamaların) geliştirilmesi adına revize edilmesi gerekmektedir.
“Veridik Veri Bilimi”, Bin Yu (Berkeley)
Rapor, makine öğrenimi modellerinin yorumlanması sorununa ve bunların doğrudan test edilmesi ve doğrulanmasına yönelik metodolojiye ayrılmıştır. Eğitilmiş herhangi bir makine öğrenimi modeli, kendisinden çıkarılması gereken bir bilgi kaynağı olarak algılanabilir.
Pek çok alanda, özellikle tıpta, bu gizli bilgiyi çıkarmadan ve modelin sonuçlarını yorumlamadan bir modelin kullanılması imkansızdır - aksi takdirde sonuçların istikrarlı, rastgele olmayan, güvenilir olacağından ve insanları öldürmeyeceğinden emin olamayız. hasta. Derin öğrenme paradigması içerisinde bütün bir çalışma metodolojisi yönü gelişiyor ve sınırlarının ötesine geçiyor - doğrulayıcı veri bilimi. Ne olduğunu?
Bilimsel yayınların kalitesini ve modellerin tekrarlanabilirliğini şu şekilde elde etmek istiyoruz:
- tahmin edilebilir
- hesaplanabilir
- stabil
Bu üç prensip yeni metodolojinin temelini oluşturmaktadır. ML modelleri bu kriterlere göre nasıl kontrol edilebilir? En kolay yol, anında yorumlanabilir modeller (regresyonlar, karar ağaçları) oluşturmaktır. Ancak aynı zamanda derin öğrenmenin avantajlarından da anında yararlanmak istiyoruz.
Sorunla çalışmanın birkaç mevcut yolu:
- modeli yorumlamak;
- dikkat temelli yöntemler kullanın;
- eğitim sırasında algoritma toplulukları kullanın ve doğrusal modelden özellikleri yorumlayarak doğrusal yorumlanabilir modellerin sinir ağıyla aynı yanıtları tahmin etmeyi öğrenmesini sağlayın;
- Eğitim verilerini değiştirin ve artırın. Buna gürültü, parazit ekleme ve veri artırma da dahildir;
- modelin sonuçlarının rastgele olmamasını ve küçük istenmeyen müdahalelere (düşmanca saldırılar) bağlı olmamasını sağlamaya yardımcı olan herhangi bir yöntem;
- modeli olaydan sonra, eğitimden sonra yorumlayın;
- özellik ağırlıklarını çeşitli yollarla inceleyin;
- Tüm hipotezlerin olasılıklarını, sınıf dağılımını inceleyin.
Düşmanca saldırı
Modelleme hataları herkes için maliyetlidir; bunun başlıca örneği Reinhart ve Rogov'un çalışmalarıdır.""Birçok Avrupa ülkesinin ekonomi politikalarını etkiledi ve onları kemer sıkma politikaları izlemeye zorladı, ancak yıllar sonra verilerin dikkatli bir şekilde yeniden kontrol edilmesi ve işlenmesi tam tersi sonucu gösterdi!
Herhangi bir ML teknolojisinin uygulamadan uygulamaya kadar kendi yaşam döngüsü vardır. Yeni metodolojinin amacı, modelin ömrünün her aşamasında üç temel prensibi kontrol etmektir.
Sonuçlar:
- ML modelinin daha güvenilir olmasına yardımcı olacak çeşitli projeler geliştirilmektedir. Bu, örneğin deeptune'dur (bağlantı: );
- Metodolojinin daha da geliştirilmesi için, makine öğrenimi alanındaki yayınların kalitesinin önemli ölçüde iyileştirilmesi gerekmektedir;
- Makine öğreniminin hem teknik hem de beşeri bilimler alanlarında çok disiplinli eğitime ve uzmanlığa sahip liderlere ihtiyacı var.
“Makine Öğrenimiyle İnsan Davranışı Modellemesi: Fırsatlar ve Zorluklar” Nuria M Oliver, Albert Ali Salah
İnsan davranışını modellemeye, teknolojik temellerine ve uygulama olasılıklarına adanmış ders.
İnsan davranış modellemesi şu şekilde ayrılabilir:
- bireysel davranış
- küçük bir grup insanın davranışı
- kitle davranışı
Bu türlerin her biri ML kullanılarak modellenebilir ancak tamamen farklı giriş bilgileri ve özellikleriyle. Her türün ayrıca her projenin yaşadığı kendi etik sorunları vardır:
- bireysel davranış – kimlik hırsızlığı, deepfake;
- insan gruplarının davranışları - anonimleştirme, hareketler hakkında bilgi edinme, telefon görüşmeleri vb.;
bireysel davranış
Çoğunlukla Bilgisayarla Görme konusuyla ilgilidir - insan duygularının ve tepkilerinin tanınması. Belki sadece bağlam içinde, zaman içinde ya da kendi duygu değişkenliğinin göreceli ölçeğine göre. Slayt, Mona Lisa'nın duygularının, Akdenizli kadınların duygusal spektrumundan bağlamı kullanarak tanınmasını gösteriyor. Sonuç: Sevinçle ama küçümseme ve tiksinti içeren bir gülümseme. Bunun nedeni büyük olasılıkla “nötr” bir duyguyu tanımlamanın teknik yöntemindedir.
Küçük bir grup insanın davranışı
Şu ana kadarki en kötü model yetersiz bilgiden kaynaklanmaktadır. Örnek olarak 2018 – 2019 yılları arasındaki çalışmalar gösterildi. düzinelerce kişide X düzinelerce video (bkz. 100k++ görüntü veri kümeleri). Bu görevi en iyi şekilde modellemek için, tercihen vücut altimetresi, termometre, mikrofon kaydı vb. sensörlerden gelen çok modlu bilgilere ihtiyaç vardır.
Kütle davranışı
Müşterisi BM ve birçok eyalet olduğu için en gelişmiş alan. Dış mekan gözetleme kameraları, telefon kulelerinden gelen veriler - faturalandırma, SMS, çağrılar, eyalet sınırları arasındaki hareket verileri - bunların hepsi insanların hareketi ve sosyal istikrarsızlıklar hakkında çok güvenilir bir resim veriyor. Teknolojinin potansiyel uygulamaları: kurtarma operasyonlarının optimizasyonu, acil durumlarda yardım ve halkın zamanında tahliyesi. Kullanılan modeller çoğunlukla hala kötü yorumlanmıştır; bunlar çeşitli LSTM'ler ve evrişimli ağlardır. BM'nin, Avrupalı işletmeleri herhangi bir araştırma için gerekli anonimleştirilmiş verileri paylaşmaya zorlayacak yeni bir yasa için lobi faaliyetleri yürüttüğüne dair kısa bir açıklama yapıldı.
“Sistem 1'den Sistem 2'ye Derin Öğrenme”, Yoshua Bengio
Joshua Bengio'nun dersinde derin öğrenme, hedef belirleme düzeyinde sinir bilimiyle buluşuyor.
Bengio, Nobel ödüllü Daniel Kahneman'ın metodolojisine göre iki ana sorun türünü tanımlıyor (kitap "")
tip 1 - Sistem 1, "otomatik" olarak yaptığımız bilinçsiz eylemler (eski beyin): tanıdık yerlerde araba kullanmak, yürümek, yüzleri tanımak.
tip 2 - Sistem 2, bilinçli eylemler (serebral korteks), hedef belirleme, analiz, düşünme, bileşik görevler.
Yapay zeka şu ana kadar yalnızca birinci tür görevlerde yeterli yüksekliğe ulaştı, bizim görevimiz onu ikinciye getirmek, ona çok disiplinli işlemleri gerçekleştirmeyi, mantık ve üst düzey bilişsel becerilerle çalışmayı öğretmek.
Bu hedefe ulaşmak için şu öneride bulunulmuştur:
- NLP görevlerinde düşünceyi modellemek için dikkati temel bir mekanizma olarak kullanın
- Bilinci ve bunların yerelleşmesini etkileyen özellikleri daha iyi modellemek için meta-öğrenmeyi ve temsili öğrenmeyi kullanın ve bunlara dayanarak daha üst düzey kavramlarla çalışmaya geçin.
Sonuç yerine davetli bir konuşma sunuyoruz: Bengio, makine öğrenimi alanını optimizasyon sorunlarının, SOTA'nın ve yeni mimarilerin ötesine genişletmeye çalışan birçok bilim adamından biridir.
Bilinç sorunları, dilin düşünce üzerindeki etkisi, nörobiyoloji ve algoritmaların birleşiminin gelecekte bizi bekleyen ve insanlar gibi “düşünen” makinelere geçmemizi ne ölçüde sağlayacağı sorusu hala açık.
Teşekkürler!
Kaynak: habr.com