NeuroIPS () maşın öyrənməsi və süni intellekt üzrə dünyanın ən böyük konfransı və dərin öyrənmə dünyasında əsas hadisədir.
Biz, DS mühəndisləri, yeni onillikdə biologiya, dilçilik və psixologiyanı da mənimsəyəcəyikmi? İcmalımızda sizə xəbər verəcəyik.
Bu il konfrans Kanadanın Vankuver şəhərində 13500 ölkədən 80-dən çox insanı bir araya gətirdi. Bu, Sberbankın Rusiyanı konfransda təmsil etdiyi ilk il deyil - DS komandası bank proseslərində ML-nin tətbiqi, ML rəqabəti və Sberbank DS platformasının imkanları haqqında danışıb. ML icmasında 2019-cu ilin əsas tendensiyaları hansılar idi? Konfrans iştirakçıları deyirlər: и .
Bu il NeurIPS 1400-dən çox sənəd qəbul etdi - alqoritmlər, yeni modellər və yeni məlumatlara yeni tətbiqlər.
İçindekiler:
- Trends
-
- Modelin təfsiri
- Multidisiplinarlıq
- Əsaslandırır
- RL
- GAN
- Əsas Dəvət Edilən Danışıqlar
-
- “Sosial İntellekt”, Blez Aguera və Arkas (Google)
- "Veridikal Məlumat Elmi", Bin Yu (Berkeley)
- “Maşın Öyrənməsi ilə İnsan Davranışının Modelləşdirilməsi: İmkanlar və Çətinliklər”, Nuria M Oliver, Albert Ali Salah
- “Sistem 1-dən Sistem 2-yə Dərin Öyrənmə”, Yoshua Bengio
İlin 2019 istiqamətləri
1. Modelin interpretasiyası və yeni ML metodologiyası
Konfransın əsas mövzusu müəyyən nəticələr əldə etməyimizin izahı və sübutudur. “Qara qutu”nun təfsirinin fəlsəfi əhəmiyyətindən uzun müddət danışmaq olar, lakin bu sahədə daha real metodlar və texniki inkişaflar var idi.
Modellərin təkrarlanması və onlardan biliklərin çıxarılması metodologiyası elm üçün yeni alətlər dəstidir. Modellər yeni biliklərin əldə edilməsi və onların sınaqdan keçirilməsi üçün alət rolunu oynaya bilər və modelin ilkin işlənməsi, öyrədilməsi və tətbiqinin hər bir mərhələsi təkrarlanmalıdır.
Nəşrlərin əhəmiyyətli bir hissəsi modellərin və alətlərin qurulmasına deyil, təhlükəsizliyin, şəffaflığın və nəticələrin yoxlanılmasının təmin edilməsi problemlərinə həsr edilmişdir. Xüsusilə, modelə hücumlar (rəqib hücumlar) haqqında ayrıca bir axın meydana çıxdı və həm təlimə hücumlar, həm də tətbiqə hücumlar üçün seçimlər nəzərdən keçirilir.
Məqalələr:
- — modelin yoxlanılması metodologiyasına dair proqram məqaləsi. Modelləri şərh etmək üçün müasir vasitələrin icmalı, xüsusən də neyron şəbəkəni xətti modellərlə “distillə etməklə” diqqətdən istifadə və xüsusiyyət əhəmiyyətinin əldə edilməsi daxildir.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mayk Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Vanq, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edvard Raff
ExBert.net mətn emalı tapşırıqları üçün model şərhini göstərir
2. Multidissiplinarlıq
Etibarlı yoxlamanı təmin etmək və biliyin yoxlanılması və genişləndirilməsi mexanizmlərini inkişaf etdirmək üçün bizə eyni zamanda ML və mövzu sahəsində (tibb, dilçilik, neyrobiologiya, təhsil və s.) səriştələrə malik olan əlaqəli sahələrdə mütəxəssislər lazımdır. Neyrologiya və koqnitiv elmlərdə əsərlərin və çıxışların daha əhəmiyyətli olmasını xüsusilə qeyd etmək lazımdır - mütəxəssislərin yaxınlaşması və ideyaların alınması var.
Bu yaxınlaşmaya əlavə olaraq, müxtəlif mənbələrdən: mətn və fotoşəkillərdən, mətn və oyunlardan, qrafik məlumat bazalarından + mətn və fotoşəkillərdən alınan məlumatların birgə işlənməsi zamanı multidissiplinarlıq yaranır.
Məqalələr:
- Neuroscience + ML —
- VisualQA -
- RL + NLP -
İki model - strateq və icraçı - RL və NLP əsasında onlayn strategiya oynayır
3. Mülahizə
Süni intellektin gücləndirilməsi öz-özünə öyrənmə sistemlərinə, “şüurlu”, düşünməyə və düşünməyə doğru bir hərəkətdir. Xüsusilə, səbəb-nəticə çıxarma və ümumi mənada əsaslandırma inkişaf edir. Hesabatların bəziləri meta-öyrənməyə (öyrənməyi necə öyrənmək haqqında) və DL texnologiyalarının 1-ci və 2-ci dərəcəli məntiqlə birləşməsinə həsr olunub - Süni Ümumi İntellekt (AGI) termini natiqlərin çıxışlarında ümumi terminə çevrilir.
Məqalələr:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Baxtin, Laurens van der Maaten, Castin Conson, Laura Qustafson, Ross Qirşik
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Gücləndirici Öyrənmə
İşin çox hissəsi RL-nin ənənəvi sahələrini - DOTA2, Starcraft, arxitekturaları kompüter görmə, NLP, qrafik verilənlər bazaları ilə birləşdirərək inkişaf etdirməyə davam edir.
Konfransın ayrıca günü RL seminarına həsr olunmuşdu, burada bütün əvvəlkilərdən, xüsusən də Yumşaq Aktyor Tənqidçisindən üstün olan Optimist Aktyor Tənqidçi Modeli arxitekturası təqdim edildi.
Məqalələr:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Tercih Edilən Şəbəkələr); Takahiro Ishikawa (Tokio Universiteti) [xarici pdf linki].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Universiteti); Məhəmməd Noruzi (Google Brain)
StarCraft oyunçuları Alphastar modeli ilə döyüşür (DeepMind)
5.QAN
Generativ şəbəkələr hələ də diqqət mərkəzindədir: bir çox əsərlərdə riyazi sübutlar üçün vanil GAN-lardan istifadə olunur, həmçinin onları yeni, qeyri-adi üsullarla tətbiq edir (qrafik generativ modellər, seriyalarla işləmə, verilənlərdə səbəb-nəticə əlaqələrinə tətbiq və s.).
Məqalələr:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Çünki daha çox iş qəbul edildi Aşağıda ən vacib çıxışlar haqqında danışacağıq.
Dəvət Edilmiş Danışıqlar
“Sosial İntellekt”, Blez Aguera və Arkas (Google)
Söhbət maşın öyrənməsinin ümumi metodologiyasına və hazırda sənayeni dəyişən perspektivlərə yönəlib - hansı kəsişmələrlə qarşılaşırıq? Beyin və təkamül necə işləyir və təbii sistemlərin inkişafı haqqında bildiklərimizdən niyə bu qədər az istifadə edirik?
ML-nin sənaye inkişafı əsasən ildən-ilə NeurIPS-də araşdırmalarını dərc edən Google-un inkişafının mərhələləri ilə üst-üstə düşür:
- 1997 – axtarış vasitələrinin işə salınması, ilk serverlər, kiçik hesablama gücü
- 2010 - Jeff Dean Google Brain layihəsini işə saldı, neyron şəbəkələrinin başlanğıcında bumu
- 2015 – neyroşəbəkələrin sənaye tətbiqi, bilavasitə yerli cihazda sifətin sürətli tanınması, tenzor hesablamaları üçün uyğunlaşdırılmış aşağı səviyyəli prosessorlar - TPU. Google, neyron şəbəkələri eksperimental qurğulara daxil etmək üçün moruq pi-nin analoqu olan Coral ai-ni təqdim etdi.
- 2017 – Google qeyri-mərkəzləşdirilmiş təlimi inkişaf etdirməyə və neyron şəbəkə təliminin nəticələrini müxtəlif cihazlardan bir modeldə birləşdirməyə başlayır – Android-də
Bu gün bütün sənaye məlumatların təhlükəsizliyinə, toplanmasına və öyrənmə nəticələrinin yerli cihazlarda təkrarlanmasına həsr olunub.
– fərdi modellərin bir-birindən asılı olmayaraq öyrəndiyi və daha sonra nadir hadisələrə, anomaliyalara, fərdiləşdirməyə və s. üçün uyğunlaşdırılaraq vahid modeldə birləşdirildiyi (mənbə məlumatlarını mərkəzləşdirmədən) ML istiqaməti. Bütün Android cihazları əslində Google üçün vahid hesablama superkompüteridir.
Federativ öyrənməyə əsaslanan generativ modellər “eksponensial inkişafın ilkin mərhələlərində” olan Google-a görə perspektivli gələcək istiqamətdir. GAN-lar, mühazirəçinin fikrincə, canlı orqanizmlərin populyasiyalarının kütləvi davranışını və düşünmə alqoritmlərini çoxaltmağı öyrənməyə qadirdir.
İki sadə GAN arxitekturasının nümunəsindən istifadə edərək, onlarda optimallaşdırma yolunun axtarışının bir dairədə gəzdiyi göstərilir, yəni optimallaşdırma belə baş vermir. Eyni zamanda, bu modellər bioloqların bakteriya populyasiyaları üzərində apardıqları təcrübələri təqlid etməkdə çox uğurludur və onları qida axtarışında yeni davranış strategiyaları öyrənməyə məcbur edir. Həyatın optimallaşdırma funksiyasından fərqli şəkildə işlədiyi qənaətinə gələ bilərik.
Piyada GAN Optimizasiyası
İndi maşın öyrənməsi çərçivəsində gördüyümüz işlərin hamısı dar və son dərəcə rəsmiləşdirilmiş tapşırıqlardır, halbuki bu formalizmlər yaxşı ümumiləşdirilmir və neyrofiziologiya və biologiya kimi sahələrdə fənn biliklərimizə uyğun gəlmir.
Yaxın gələcəkdə neyrofiziologiya sahəsindən həqiqətən borc almağa dəyər olan şey yeni neyron arxitekturaları və səhvlərin geri yayılması mexanizmlərinin bir qədər yenidən nəzərdən keçirilməsidir.
İnsan beyni özü neyron şəbəkəsi kimi öyrənmir:
- Hisslər vasitəsilə və uşaqlıqda qoyulanlar da daxil olmaqla, onun təsadüfi ilkin girişləri yoxdur
- O, instinktiv inkişafın xas istiqamətlərinə malikdir (körpədən dil öyrənmək istəyi, dik yerimək)
Fərdi beyin yetişdirmək aşağı səviyyəli bir işdir; bəlkə də qrup təkamül mexanizmlərini təkrar istehsal etmək üçün bir-birlərinə bilik ötürən sürətlə dəyişən fərdlərin “koloniyalarını” nəzərdən keçirməliyik.
İndi ML alqoritmlərinə nəyi qəbul edə bilərik:
- Əhalinin öyrənilməsini təmin edən, lakin fərdin qısa ömrünü (“fərdi beyin”) təmin edən hüceyrə xətti modellərini tətbiq edin.
- Az sayda nümunədən istifadə edərək bir neçə dəfə öyrənmə
- Daha mürəkkəb neyron strukturları, bir az fərqli aktivasiya funksiyaları
- "Genomun" gələcək nəsillərə ötürülməsi - geri yayılma alqoritmi
- Neyrofiziologiya və neyron şəbəkələri birləşdirdikdən sonra bir çox komponentdən çoxfunksiyalı beyin qurmağı öyrənəcəyik.
Bu nöqteyi-nəzərdən, SOTA həlləri təcrübəsi zərərlidir və ümumi tapşırıqların (benchmarks) işlənib hazırlanması naminə yenidən nəzərdən keçirilməlidir.
"Veridikal Məlumat Elmi", Bin Yu (Berkeley)
Hesabat maşın öyrənmə modellərinin şərhi probleminə və onların birbaşa sınaqdan keçirilməsi və yoxlanılması metodologiyasına həsr olunub. İstənilən təlim keçmiş ML modeli ondan çıxarılmalı olan bilik mənbəyi kimi qəbul edilə bilər.
Bir çox sahələrdə, xüsusən də tibbdə, bu gizli bilikləri çıxarmadan və modelin nəticələrini şərh etmədən bir modeldən istifadə etmək mümkün deyil - əks halda nəticələrin sabit, qeyri-təsadüfi, etibarlı olacağına və insanı öldürməyəcəyinə əmin olmayacağıq. xəstə. Dərin öyrənmə paradiqması çərçivəsində iş metodologiyasının bütöv bir istiqaməti inkişaf edir və onun hüdudlarından kənara çıxır - doğrusal məlumat elmi. Bu nədir?
Biz elmi nəşrlərin elə keyfiyyətinə və modellərin təkrar istehsal oluna bilməsinə nail olmaq istəyirik ki, bunlar:
- proqnozlaşdırıla bilən
- hesablana bilən
- sabit
Bu üç prinsip yeni metodologiyanın əsasını təşkil edir. ML modelləri bu meyarlara uyğun olaraq necə yoxlana bilər? Ən asan yol dərhal şərh edilə bilən modelləri (reqressiyalar, qərar ağacları) qurmaqdır. Bununla belə, biz həm də dərin öyrənmənin dərhal faydalarını əldə etmək istəyirik.
Problemlə işləməyin bir neçə mövcud yolu:
- modeli şərh etmək;
- diqqətə əsaslanan üsullardan istifadə etmək;
- məşq zamanı alqoritmlərin ansambllarından istifadə edin və xətti şərh edilə bilən modellərin xətti modelin xüsusiyyətlərini şərh edərək neyron şəbəkəsi ilə eyni cavabları proqnozlaşdırmağı öyrənməsini təmin edin;
- təlim məlumatlarını dəyişdirin və artırın. Buraya səs-küy, müdaxilə və məlumatların artırılması daxildir;
- modelin nəticələrinin təsadüfi olmadığını və kiçik arzuolunmaz müdaxilələrdən (düşmən hücumları) asılı olmamasını təmin edən hər hansı üsullar;
- faktdan sonra, təlimdən sonra modeli şərh etmək;
- xüsusiyyət çəkilərini müxtəlif yollarla öyrənmək;
- bütün fərziyyələrin ehtimallarını öyrənmək, sinif paylanması.
Düşmən hücumu
Modelləşdirmə səhvləri hər kəs üçün baha başa gəlir: buna ən yaxşı nümunə Reinhart və Rogovun işidir."" bir çox Avropa ölkələrinin iqtisadi siyasətlərinə təsir etdi və onları qənaət siyasəti yürütməyə məcbur etdi, lakin məlumatların diqqətlə yenidən yoxlanılması və illər sonra onların işlənməsi əks nəticə göstərdi!
İstənilən ML texnologiyasının həyata keçirilməsindən tətbiqinə qədər öz həyat dövrü var. Yeni metodologiyanın məqsədi modelin həyatının hər mərhələsində üç əsas prinsipi yoxlamaqdır.
Nəticələr:
- ML modelinin daha etibarlı olmasına kömək edəcək bir neçə layihə hazırlanır. Bu, məsələn, deeptune (link: );
- Metodologiyanın daha da inkişafı üçün ML sahəsində nəşrlərin keyfiyyətini əhəmiyyətli dərəcədə yaxşılaşdırmaq lazımdır;
- Maşın öyrənməsi həm texniki, həm də humanitar sahələrdə multidissiplinar təlim və təcrübəyə malik liderlərə ehtiyac duyur.
“Maşın Öyrənməsi ilə İnsan Davranışının Modelləşdirilməsi: İmkanlar və Çətinliklər” Nuria M Oliver, Albert Ali Salah
İnsan davranışının modelləşdirilməsinə, onun texnoloji əsaslarına və tətbiqi perspektivlərinə həsr olunmuş mühazirə.
İnsan davranışının modelləşdirilməsi aşağıdakılara bölünə bilər:
- fərdi davranış
- kiçik bir qrup insanın davranışı
- kütləvi davranış
Bu növlərin hər biri ML istifadə edərək modelləşdirilə bilər, lakin tamamilə fərqli giriş məlumatı və xüsusiyyətləri ilə. Hər bir növün hər bir layihənin keçdiyi öz etik problemləri var:
- fərdi davranış – şəxsiyyət oğurluğu, dərin saxtakarlıq;
- insan qruplarının davranışı - anonimləşdirmə, hərəkətlər, telefon danışıqları və s.
fərdi davranış
Əsasən Computer Vision mövzusu ilə bağlıdır - insan emosiyalarının və reaksiyalarının tanınması. Ola bilsin ki, yalnız kontekstdə, zamanla və ya öz emosiyalarının dəyişkənliyinin nisbi miqyası ilə. Slayd Aralıq dənizi qadınlarının emosional spektrindən kontekstdən istifadə edərək Mona Lizanın duyğularının tanınmasını göstərir. Nəticə: sevinc təbəssümü, lakin nifrət və ikrahla. Səbəb çox güman ki, “neytral” emosiyanı təyin etməyin texniki üsulundadır.
Kiçik bir qrup insanın davranışı
İndiyə qədər ən pis model kifayət qədər məlumat olmaması ilə bağlıdır. Nümunə olaraq 2018-2019-cu illər üzrə işlər göstərilib. onlarla insan haqqında X onlarla video (müq. 100k++ şəkil verilənlər toplusu). Bu tapşırığı ən yaxşı modelləşdirmək üçün multimodal məlumat lazımdır, tercihen bədən hündürlükölçənindəki sensorlardan, termometrdən, mikrofon qeydindən və s.
Kütləvi davranış
Ən inkişaf etmiş sahə, çünki müştəri BMT və bir çox dövlətlərdir. Xarici müşahidə kameraları, telefon qüllələrindən alınan məlumatlar - hesablaşma, SMS, zənglər, dövlət sərhədləri arasında hərəkət haqqında məlumatlar - bütün bunlar insanların hərəkəti və sosial qeyri-sabitlik haqqında çox etibarlı mənzərə yaradır. Texnologiyanın potensial tətbiqləri: xilasetmə əməliyyatlarının optimallaşdırılması, fövqəladə hallar zamanı yardım və əhalinin vaxtında evakuasiyası. İstifadə olunan modellər əsasən hələ də zəif şərh olunur - bunlar müxtəlif LSTM-lər və konvolyusiya şəbəkələridir. BMT-nin Avropa bizneslərini hər hansı bir araşdırma üçün lazım olan anonim məlumatları paylaşmağa məcbur edən yeni qanun üçün lobbiçilik etdiyinə dair qısa bir qeyd var.
“Sistem 1-dən Sistem 2-yə Dərin Öyrənmə”, Yoshua Bengio
Joshua Bengionun mühazirəsində dərin öyrənmə hədəf təyini səviyyəsində nevrologiya ilə görüşür.
Bengio Nobel mükafatı laureatı Daniel Kahnemanın metodologiyasına əsasən iki əsas problem növünü müəyyən edir (“kitab”")
tip 1 - Sistem 1, "avtomatik" etdiyimiz şüursuz hərəkətlər (qədim beyin): tanış yerlərdə avtomobil sürmək, gəzmək, üzləri tanımaq.
tip 2 - Sistem 2, şüurlu hərəkətlər (beyin qabığı), məqsəd qoyma, təhlil, düşünmə, mürəkkəb vəzifələr.
Süni intellekt indiyədək yalnız birinci növ tapşırıqlarda kifayət qədər yüksəkliklərə çatmışdır, bizim vəzifəmiz isə onu ikinci növə çatdırmaq, ona multidissiplinar əməliyyatları yerinə yetirməyi və məntiq və yüksək səviyyəli idrak bacarıqları ilə işləməyi öyrətməkdir.
Bu məqsədə nail olmaq üçün təklif olunur:
- NLP tapşırıqlarında diqqəti düşüncənin modelləşdirilməsi üçün əsas mexanizm kimi istifadə edin
- şüura və onların lokallaşdırılmasına təsir edən xüsusiyyətləri daha yaxşı modelləşdirmək üçün meta-öyrənmə və təmsilçilik öyrənməsindən istifadə edin və onların əsasında daha yüksək səviyyəli konsepsiyalarla işləməyə keçin.
Nəticə əvəzinə dəvət olunmuş çıxış: Bengio ML sahəsini optimallaşdırma problemlərindən, SOTA və yeni arxitekturalardan kənara çıxarmağa çalışan bir çox alimlərdən biridir.
Şüur problemlərinin birləşməsi, dilin təfəkkürə, neyrobiologiyaya və alqoritmlərə təsiri gələcəkdə bizi nə dərəcədə gözləyən və insanlar kimi “düşünən” maşınlara keçməyə imkan verəcək sual açıq qalır.
Təşəkkür edirik!
Mənbə: www.habr.com