NeurIPS () – dünya üzrə maşın öyrənməsi və süni intellekt üzrə ən böyük konfrans və deep learning dünyasında əsas hadisədir.
Biz, DS mühəndisləri, yeni on illikdə biologiya, dilçilik, psixologiya kimi sahələri öyrənəcəyikmi? Bunu bizim icmalımızda müzakirə edəcəyik.
Bu il konfrans 80 ölkədən 13500-dən çox iştirakçını Vankuverə (Kanada) topladı. Sberbank bir neçə ildir ki, Rusiyanı konfransda təmsil edir — DS komandası ML-in bank proseslərinə tətbiqi, ML yarışması və Sberbank DS platformasının imkanları haqqında məlumat verdi. 2019-cu ilin ML icmasında əsas tendensiyalar nələr idi? Konfrans iştirakçıları danışır: və .
Bu il NeurIPS-də 1400-dən çox məqalə qəbul edilib — alqoritmlər, yeni modellər və yeni məlumatlara yeni tətbiqlər.
Məzmun:
- Tendensiyalar
- Modellərin izah edilə bilməsi
- İnterdisiplinarlıq
- Reasoning
- RL
- GAN
- Əsas Dəvət Olunan Danışıq
- “Sosial İntellekt”, Blaise Aguera y Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- “İnsan Davranışının Modelləşdirilməsi: İmkanlar və Çağırışlar”, Nuria M Oliver, Albert Ali Salah
- “Sistem 1-dən Sistem 2-yə Dərin Öyrənmə”, Yoshua Bengio
2019-cu ilin tendensiyaları
1. Modellərin izah edilə bilməsi və yeni ML metodologiyası
Konfransın baş mövzusu – izah və niyə bu və ya digər nəticələri əldə etdiyimizin sübutları. “Qara qutu”nun izahı üzrə fəlsəfi əhəmiyyəti haqqında uzun müddət müzakirə edə bilərik, lakin bu sahədə daha çox real metod və texniki inkişaflar var idi.
Modellərin təkrarlanması və onlardan bilik çıxarma metodologiyası – elmin yeni alətidir. Modellər yeni bilik əldə etmə və onu təsdiqləmək üçün alət kimi xidmət edə bilər, hər bir addımın, ön işlənmə, öyrənmə və modelin tətbiqi dövründə təkrarlanması vacibdir.
Nəşriyyatların əhəmiyyətli hissəsi modelləri və alətləri qurmaqdan çox, nəticələrin təhlükəsizliyi, şəffaflığı və yoxluluğu məsələlərinə həsr olunub. Xüsusilə, modelə hücumlar (adversarial attacks) mövzusunda ayrıca bir axın yarandı, burada həm öyrənməyə, həm də tətbiqə hücum variantları müzakirə edilir.
Məqalələr:
- — modellərin təsdiqlənməsi metodologiyası ilə bağlı proqram məqaləsi. Modellərin izahı üçün müasir alətlərin nəzərdən keçirilməsini əhatə edir; xüsusilə – diqqət istifadəsi və xətlərin mühümdür.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net, mətni emal etmə tapşırqları üçün modellərin interpretasiyasını göstərir
2. Çoxdisiplinlilik
Etibarlı təsdiqləri təmin etmək və biliklərin yoxlanması və yenilənməsi üçün, ML və müvafiq sahələrdə (tibb, dilçilik, neyrobiologiya, təhsil və s.) eyni anda ixtisaslaşmış mütəxəssislərə ehtiyac var. Neyroelm və koqnitiv elmlər üzrə iş və çıxışların daha əhəmiyyətli olması xüsusi qeyd edilməlidir – mütəxəssislərin bir araya gəlməsi və fikirlərin mübadiləsi baş verir.
Bundan əlavə, müxtəlif mənbələrdən məlumatların birgə emalı sahəsində çoxlu disiplinlilik gözlənilir: mətn və foto, mətn və oyun, qrafik verilənlər bazaları + mətn və foto.
Məqalələr:
- Neyrobiologiya + ML —
- VisualQA —
- RL + NLP —
İki model — RL və NLP əsaslı strategiya və icraçı — onlayn strategiya oyununda oynayır
3. Reasoning
Süni intellekti gücləndirmək – öz-özünə öyrənən, “şüurlu”, düşünən və mübahisə edən (reasoning) sistemlərin inkişafına doğru bir hərəkətdir. Xüsusilə, səbəb çıxarma və ümumi məntiq (commonsense reasoning) inkişaf edir. Bəzi təqdimatlar meta-öyrənməyə (öyrənməyi öyrənmək haqqında) və DL texnologiyalarını 1-ci və 2-ci dərəcəli məntiq ilə birləşdirmək mövzusuna həsr olunmuşdur — Süni Ümumi İntellekt (AGI) termini mühazirələrdə adi bir termin halına gəlir.
Məqalələr:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Gücləndirmə Öyrənməsi
İşlərin əksəriyyəti ənənəvi RL sahələrini inkişaf etdirməyə davam edir — DOTA2, Starcraft, arxitekturaları kompüter görmə, NLP, qraf verilənlər bazası ilə birləşdirmək.
Konfransın bir günü RL workshopuna həsr olunmuşdu, burada əvvəlki bütün arxitekturadan üstən olan Optimistic Actor Critic Model təqdim olundu, xüsusilə Soft Actor Critic.
Məqalələr:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Tokio Universiteti) [xarici pdf link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Universiteti); Mohammad Norouzi (Google Brain)
StarCraft oyunçuları Alphastar (DeepMind) modeli ilə mübarizə aparırlar
5. GAN
Generativ şəbəkələr hələ də diqqət mərkəzindədir: bir çox işlər vanilla GAN-lardan riyazi sübutlar üçün istifadə edir, həmçinin yeni, qeyri-adi variantlarda tətbiq olunurlar (qraf generativ modelləri, sətirlərlə işləmək, verilənlərdə səbəb-nəticə əlaqələrinin tətbiqi və s.).
Məqalələr:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
İşlərin sayı artdıqca aşağıda ən əhəmiyyətli təqdimatlardan bəhs edəcəyik.
Dəvət Edilən Məruzələr
“Sosial İntellekt”, Blaise Aguera y Arcas (Google)
Məruzənin mövzusu ümumi maşın öyrənmə metodologiyasıdır və hazırda sənayeni dəyişdirən perspektivlər – hansı yolların qarşısında dayanırıq? Beyin necə işləyir və evrim, və niyə artıq yaxşı bildiyimiz təbii sistemlərin inkişafı ilə bağlı çox az istifadə edirik?
ML-in sənaye inkişafı, Google şirkətinin inkişaf mərhələləri ilə böyük ölçüdə üst-üstə düşür; hər il NeurIPS-də tədqiqatlarını dərc edir:
- 1997 – axtarış imkanlarının başladılması, ilk serverlər, kiçik hesablanma gücü
- 2010 – Jeff Dean Google Brain layihəsini başladır, nevroşəbəkələrinin böyük partlayışı
- 2015 – nevroşəbəkələrin sənaye tətbiqi, yerli cihazda sürətli üz tanıma, tensor hesablamaları üçün optimallaşdırılmış aşağı səviyyəli prosessorlar – TPU. Google Coral ai-ni başladır – nevroşəbəkələrin eksperimental qurğulara tətbiqi üçün mini-kompüter.
- 2017 – Google, fərqli cihazlardan nevroşəbəkələrin öyrənməsinin nəticələrinin bir modeldə birləşməsini və mərkəzləşdirilmədən öyrənməyi inkişaf edir – Android-da.
Bu gün bütün bir sənaye məlumatların təhlükəsizliyi, nəticələrin yerli cihazlarda birləşdirilməsi və yenidən istehsalı ilə məşğuldur.
– ML-nin bir istiqaməti, burada fərdi modellər müstəqil öyrənir, sonra isə mərkəzləşdirmədən bir modeldə birləşirlər (mərkəzləşdirilmiş məlumatlar olmadan), nadir hadisələrə, anomaliyalar, fərdiləşdirməyə və s. düzəlişlərlə. Bütün Android qurğuları əslində Google üçün tək hesablamalı superkompüterdir.
Federated learning əsasında generativ modellər – Google-a görə perspektivli bir istiqamətdir, hələ “eksponensial artımın erkən mərhələlərindədir”. Lektorun fikrincə, GAN-lar canlı orqanizm populyasiyalarının kütləvi davranışını təkrarlamağı öyrənə bilərlər, düşüncə alqoritmləri.
İki sadə GAN arxitekturasına əsaslanaraq, optimizasiya yolu axtarışının dövrü bir şəkildə gəzdiyini göstərir, bu da optimizasiyanın heç bir halda baş vermədiyi deməkdir. Bu modellər, bioloqların bakteriya populyasiyaları üzərində apardığı eksperimentləri uğurla modelləşdirir, onlara qida axtarışında yeni davranış strategiyaları öyrədir. Həyatın optimizasiya funksiyasından fərqli işlədiyini demək mümkündür.
Bluzda optimizasiya GAN
Hazırda maşın öyrənməsi sahəsində etdiyimiz bütün işlər - dar və son dərəcə formalizasiya olunmuş tapşırıqlardır, lakin bu formalizmlər yaxşı ümumiləşdirilmir və neyrofiziologiya və biologiya kimi sahələrdə predmet biliklərimizlə uyğun gəlmir.
Neyrofiziologiya sahəsindən yaxın perspektivdə öyrənməyə dəyər olan şey – yeni neyron arxitekturaları gətirmək və geri yayılma mexanizmlərinə bir az yenidən baxmaq.
İnsan beyninin öyrənməsi neyron şəbəkəsi kimi deyil:
- İlk girişləri təsadüfi deyil, o cümlədən hiss orqanları vasitəsilə və uşaqlıqda yeridilmişdir.
- İnsanın inkişafına yönəlmiş instinktiv inkişaf istiqamətləri var (uşağın dili öyrənmək istəyi, dik durma).
Bireyin öyrənməsi aşağı səviyyəli bir tapşırıqdıq, bəlkə də, bir-birini bilgiləndirən “koloniyaları” tez dəyişən bireyleri düşünməliyik ki, qrup evolyusiyasının mexanizmlərini təkrar reproduksiya edə bilək.
Hal-hazırda ML alqoritmlərinə nələr köçürə bilərik:
- Qısa ömürlü bireyin (“bireysel beynin”) öyrənilməsini təmin edən hüceyrə mənşəyi modellərini tətbiq etmək.
- Az sayda nümunələrdə few-shot öyrənmə.
- Daha mürəkkəb neyron strukturları, bir az fərqli aktivləşdirmə funksiyaları.
- Növbəti nəsillərə “genomu” keçirmək – geri yayılma alqoritmi.
- Neyrofiziologiyanı və neyron şəbəkələrini birləşdirdiyimiz anda, bir çox tərkib hissələrindən ibarət çox funksiyalı bir beyin qurmağı öyrənəcəyik.
Bu baxımdan SOTA həllərinin praktikası – zərərli və ümumi tapşırıqların inkişafına üstünlük vermək üçün yenidən baxılmalıdır.
“Veridical Data Science”, Bin Yu (Berkeley)
Hesabat, maşın öyrənməsi modellərinin şərh problemi və onların birbaşa yoxlanılması və təsdiqlənməsi metodologiyasına aiddir. Hər hansı bir öyrədilmiş ML modeli, ondan çıxarılması lazım olan biliklərin mənbəyi kimi qəbul edilə bilər.
Bir çox sahələrdə, xüsusən də tibbdə, modelin tətbiqi, bu gizli biliklərin çıxarılması və model nəticələrinin şərh edilmədən mümkün deyil – əks halda nəticələrin sabit olacağından, təsadüfi olmadığına, etibarlı olduğuna, pasiyenti öldürməyəcəyinə əmin olmayacağıq. Dərin öyrənmə paradigması daxilində və onun sərhədlərini aşan bir metodologiya sahəsi – veridikal məlumat elmi inkişaf edir. Bu nədir?
Biz, elmi nəşrlərin və model nəticələrinin keyfiyyətini belə bir səviyyəyə çatdırmaq istəyirik ki, onlar:
- proqnozlaşdırıla bilən
- hesablamaları mümkün olan
- sabith olsun.
Bu üç prinsip yeni metodologiyanın əsasını təşkil edir. ML modellərini bu meyarlara uyğunluğu ilə necə yoxlamaq olar? Ən sadə üsul, dərhal şərh edilə bilən modellər (reqressiyalar, qərar ağacları) yaratmaqdır. Lakin, biz həm də dərin öyrənmənin birbaşa faydalarını əldə etmək istəyirik.
Mövcud olan bir neçə üsul:
- modeli şərh etmək;
- attention metodlarından istifadə etmək;
- öyrənmə zamanı alqoritm ensambllarını istifadə etmək və belə etməkdir ki, xətalı modelləşdirilən lineer modellər eyni nəticələri proqnozlaşdırmağı öyrənsinlər;
- məlumatları dəyişdirmək və artırmaq. Buraya səs, çətinliklər yaratmaq və data augmentation daxildir;
- modelin nəticələrinin təsadüfi olmadığından və kiçik arzuolunmaz çətinliklərdən (adversarial attacks) asılı olmadığını təsdiqləməyə imkan verən hər cür metod;
- öyrənmədən sonra modelin post-faktum şərhini aparmaq;
- xüsusiyyətlərin çəkilərini müxtəlif yollarla öyrənmək;
- bütün hipotezlərin ehtimallarını, siniflərin yayılmasını öyrənmək.
Adversarial attack
Modelin səhvləri qiymətlidir: diqqətli bir nümunə -- Reynhart və Rogoffun "" bir çox Avropa ölkələrinin iqtisadi siyasətinə təsir etdi və onları sıxılma siyasətini yürütməyə məcbur etdi, lakin illər sonra məlumatların və onların emalının diqqətli yenidən yoxlanması tam əks nəticəni göstərdi!
Hər bir ML texnologiyasının tətbiqdən tətbiqə keçmək dövrü vardır. Yeni metodologiyanın məqsədi modelin həyat dövrü boyunca hər mərhələdə üç əsas prinsip üzrə yoxlama aparmaqdır.
Nəticələr:
- ML modellərini daha etibarlı etmək üçün bir neçə layihə inkişaf edir. Məsələn, deeptune (link to: );
- Metodologiyanın daha da inkişaf etdirilməsi üçün ML sahəsində nəşrlərin keyfiyyətini əhəmiyyətli dərəcədə artırmaq lazımdır;
- Müxtəlif sahələrdə texniki və humanitar sahələrdə mütəxəssis olan liderlərə ehtiyac var.
“Machine Learning ilə İnsan Davranışı Modelləşdirməsi: İmkanlar və Çətinliklər” Nuria M Oliver, Albert Ali Salah
İnsan davranışının modelləşdirilməsi, onun texnoloji əsasları və tətbiq perspektivləri üçün həsr olunmuş mühazirə.
İnsan davranışının modelləşdirilməsini aşağıdakı üç ətrafda təsnif etmək olar:
- şəxsi davranış
- kiçik qrupların davranışı
- kütləvi davranış
Bu davranış tiplərinin hər biri ML vasitəsilə modelləşdirilə bilər, amma tamam fərqli giriş məlumatları və xüsusiyyətlərlə. Hər bir tipin də öz etik məsələləri var ki, hər bir layihə ilə üzləşir:
- şəxsi davranış – şəxsiyyət oğurluğu, deepfake;
- insan qruplarının davranışı – deanonimləşmə, hərəkətlər, telefon danışıqları və s. haqqında məlumat əldə edilməsi;
Fərdi davranış
Daha çox Computer Vision mövzusuna aiddir – insanın emosiyalarının, reaksiyalarının tanınması. Yalnız kontekstdə, zamanla və ya onun öz emosiyaları arasındakı nisbət ilə mümkündür. Slaydda – Mona Lizanın emosiyalarının tanınması Aralıq dənizi qadınlarının emosional spektrindən kontekst vasitəsilə. Nəticə: sevinc gülümsəməsi, amma tükənmə və iyrənmə hissi ilə. Səbəb, ehtimal ki, "neytral" emosiyanın müəyyənləşdirilməsi üçün texniki üsuldandır.
Kiçik bir qrupun davranışı
Tam məlumatın olmaması səbəbindən hazırda ən pis modelləşdirilmiş davranışdır. 2018 – 2019-cu illərdə onlarla insanın onlarla videoda nümayiş etdirilməsinə aiddir (məs. şəkil dataseti 100k++). Bu işin kontekstində ən yaxşı model üçün mütləq multimodal məlumatlara ehtiyac var, tercihen bədənin sensorlarındakı altimetr, termometr, mikrofon qeydləri və s. ilə.
Kütləvi davranış
Ən inkişaf etmiş sahədir, çünki müştəri olaraq BMT və bir çox dövlətlər çıxış edir. Xarici müşahidə kameraları, telefon baza stansiyalarının məlumatları – billing, sms, telefon zəngləri, dövlət sərhədləri arasında hərəkət məlumatları – bunların hamısı insanların hərəkət axını, sosial qeyri-sabitliklər haqqında çox etibarlı məlumat verir. Texnologiyanın potensial tətbiqləri: xilasetmə əməliyyatlarının optimallaşdırılması, fövqəladə hallar zamanı əhalinin köməyi və vaxtında təxliyəsi. İstifadə olunan modellər əsasən hələ ki pis şərh edilir – bunlar müxtəlif LSTM və konvolyusiya şəbəkələridir. BMT-nin avropalı biznesin istənilən araşdırma üçün anonimləşdirilmiş məlumatları paylaşmasını tələb etmək üçün yeni qanun lobbiediyi haqqında qısa bir qeyddir.
“Sistem 1-dən Sistem 2-yə Dərin Öyrənmə”, Yoshua Bengio
Yoshua Bengio-nun dərin öyrənmə dərsində, dərin öyrənmə neyroelmi ilə məqsəd qoyma səviyyəsində qarşılaşır.
Bengio, Nobel mükafatı laureatı Daniel Kahneman metodologiyası üzrə iki əsas tip tapşırığı ayırır (kitab "» )
tip 1 — Sistem 1, biz "avtomatik olaraq" etdiyimiz şüursuz hərəkətlər (köhnə beyin): tanış yerlərdə maşın sürmək, gəzmək, üzləri tanımaq.
tip 2 — Sistem 2, şüurlu hərəkətlər (beş qabığı), məqsəd qoyma, analiz, düşüncə, birləşdirilmiş tapşırıqlar.
İndi AI yalnız birinci tip tapşırıqlarda kifayət qədər irəliləyiş əldə edir — halbu ki, bizim məqsədimiz onu ikinciyə gətirmək, çoxdissiplinli əməliyyatları yerinə yetirmək və məntiqi, yüksək səviyyəli kognitiv bacarıqlarla işləməkdir.
Bu məqsədə nail olmaq üçün təklif olunur:
- NLP tapşırıqlarında düşüncə modelləşdirməsinə açar mexanizm olaraq diqqət istifadə etmək.
- mətn öyrənmə və təsvir öyrənmədən istifadə edərək şüurun təsirinə və onun yerini daha yaxşı modelləşdirmək – və bunlara əsaslanaraq daha yüksək səviyyəli konseptlərlə işləməyə keçmək.
Nəticə olaraq, dəvət olunmuş mühazirə qeydi: Benjiu – optimal problem, SOTA və yeni arxitekturalardan kənara çıxmağa çalışan çoxsaylı alimlərdən biridir.
Şüur problemləri, dilin düşüncə üzərində təsiri, neyrobiologiya və alqoritmlərin əlaqəsi gələcəkdə bizi nələrin gözlədiyi və insanların 'düşünən' maşınlara keçməyə imkan verəcəyi sualı açıq qalır.
Təşəkkürlər!
Mənbə: habr.com
