NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС

NeurIPS (Neural Information Processing Systems) – самая большая конфСрСнция Π² ΠΌΠΈΡ€Π΅ ΠΏΠΎ ΠΌΠ°ΡˆΠΈΠ½Π½ΠΎΠΌΡƒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ ΠΈ искусствСнному ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Ρƒ ΠΈ Π³Π»Π°Π²Π½ΠΎΠ΅ событиС Π² ΠΌΠΈΡ€Π΅ deep learning.

Π‘ΡƒΠ΄Π΅ΠΌ Π»ΠΈ ΠΌΡ‹, DS-ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€Ρ‹, Π² Π½ΠΎΠ²ΠΎΠΌ дСсятилСтии ΠΎΡΠ²Π°ΠΈΠ²Π°Ρ‚ΡŒ Π΅Ρ‰Π΅ ΠΈ биологию, лингвистику, ΠΏΡΠΈΡ…ΠΎΠ»ΠΎΠ³ΠΈΡŽ? РасскаТСм Π² нашСм ΠΎΠ±Π·ΠΎΡ€Π΅.

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС

Π’ этом Π³ΠΎΠ΄Ρƒ конфСрСнция собрала Π±ΠΎΠ»Π΅Π΅ 13500 Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊ ΠΈΠ· 80 стран Π² Π’Π°Π½ΠΊΡƒΠ²Π΅Ρ€Π΅ (Канада). Π‘Π±Π΅Ρ€Π±Π°Π½ΠΊ Π½Π΅ ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ Π³ΠΎΠ΄ прСдставляСт Россию Π½Π° ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ β€” ΠΊΠΎΠΌΠ°Π½Π΄Π° DS рассказала ΠΎ Π²Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠΈ ML Π² банковскиС процСссы, ΠΎ ML-сорСвновании ΠΈ ΠΎ возмоТностях ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ Sberbank DS. Какими ΠΆΠ΅ Π±Ρ‹Π»ΠΈ основныС Ρ‚Ρ€Π΅Π½Π΄Ρ‹ 2019 Π³ΠΎΠ΄Π° Π² ML-ΠΊΠΎΠΌΠΌΡŒΡŽΠ½ΠΈΡ‚ΠΈ? Π Π°ΡΡΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ участники ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ: АндрСй Π§Π΅Ρ€Ρ‚ΠΎΠΊ ΠΈ Π’Π°Ρ‚ΡŒΡΠ½Π° Π¨Π°Π²Ρ€ΠΈΠ½Π°.

Π’ этом Π³ΠΎΠ΄Ρƒ Π½Π° NeurIPS Π±Ρ‹Π»ΠΎ принято Π±ΠΎΠ»Π΅Π΅ 1400 статСй β€” Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹, Π½ΠΎΠ²Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π½ΠΎΠ²Ρ‹Π΅ примСнСния ΠΊ Π½ΠΎΠ²Ρ‹ΠΌ Π΄Π°Π½Π½Ρ‹ΠΌ. Бсылка Π½Π° всС ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅:

  • Π’Ρ€Π΅Π½Π΄Ρ‹
    • Π˜Π½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ
    • ΠœΡƒΠ»ΡŒΡ‚ΠΈΠ΄ΠΈΡΡ†ΠΈΠΏΠ»ΠΈΠ½Π°Ρ€Π½ΠΎΡΡ‚ΡŒ
    • Reasoning
    • RL
    • GAN
  • ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ Invited Talks
    • β€œSocial Intelligence”, Blaise Aguera y Arcas (Google)
    • β€œVeridical Data Science”, Bin Yu (Berkeley)
    • β€œHuman Behavior Modeling with Machine Learning: Opportunities and Challenges”, Nuria M Oliver, Albert Ali Salah
    • β€œFrom System 1 to System 2 Deep Learning”, Yoshua Bengio

Π’Ρ€Π΅Π½Π΄Ρ‹ 2019 Π³ΠΎΠ΄Π°

1. Π˜Π½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ новая мСтодология ML

Заглавная Ρ‚Π΅ΠΌΠ° ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ β€” интСрпрСтация ΠΈ Π΄ΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒΡΡ‚Π²Π°, ΠΏΠΎΡ‡Π΅ΠΌΡƒ ΠΌΡ‹ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ Ρ‚Π΅ ΠΈΠ»ΠΈ ΠΈΠ½Ρ‹Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹. МоТно Π΄ΠΎΠ»Π³ΠΎ Ρ€Π°ΡΡΡƒΠΆΠ΄Π°Ρ‚ΡŒ ΠΎ философской ваТности ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΠΈ β€œΡ‡Π΅Ρ€Π½ΠΎΠ³ΠΎ ящика”, Π½ΠΎ большС Π±Ρ‹Π»ΠΎ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΈΠΊ ΠΈ тСхничСских Π½Π°Ρ€Π°Π±ΠΎΡ‚ΠΎΠΊ Π² этой сфСрС.

ΠœΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΡ воспроизводимости ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ извлСчСния Π·Π½Π°Π½ΠΈΠΉ ΠΈΠ· Π½ΠΈΡ… β€” Π½ΠΎΠ²Ρ‹ΠΉ инструмСнтарий Π½Π°ΡƒΠΊΠΈ. МодСли ΠΌΠΎΠ³ΡƒΡ‚ ΡΠ»ΡƒΠΆΠΈΡ‚ΡŒ инструмСнтом получСния Π½ΠΎΠ²ΠΎΠ³ΠΎ знания ΠΈ Π΅Π³ΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ, ΠΈ воспроизводимым Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ этап прСпроцСссинга, обучСния ΠΈ примСнСния ΠΌΠΎΠ΄Π΅Π»ΠΈ.
БущСствСнная доля ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΉ посвящСна Π½Π΅ ΠΏΠΎΡΡ‚Ρ€ΠΎΠ΅Π½ΠΈΡŽ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ инструмСнтов, Π° ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°ΠΌ обСспСчСния бСзопасности, прозрачности ΠΈ провСряСмости Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ². Π’ частности, появился ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹ΠΉ стрим ΠΎΠ± Π°Ρ‚Π°ΠΊΠ°Ρ… Π½Π° модСль (adversarial attacks), ΠΏΡ€ΠΈΡ‡Π΅ΠΌ Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹ ΠΊΠ°ΠΊ Π°Ρ‚Π°ΠΊΠΈ Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, Ρ‚Π°ΠΊ ΠΈ Π°Ρ‚Π°ΠΊΠΈ Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅.

Π‘Ρ‚Π°Ρ‚ΡŒΠΈ:

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС
ExBert.net ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΡŽ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для Π·Π°Π΄Π°Ρ‡ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ тСкста

2. ΠœΡƒΠ»ΡŒΡ‚ΠΈΠ΄ΠΈΡΡ†ΠΈΠΏΠ»ΠΈΠ½Π°Ρ€Π½ΠΎΡΡ‚ΡŒ

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΡ‚ΡŒ Π½Π°Π΄Π΅ΠΆΠ½ΡƒΡŽ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ ΠΈ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ ΠΈ пополнСния Π·Π½Π°Π½ΠΈΠΉ, Π½ΡƒΠΆΠ½Ρ‹ спСциалисты смСТных областСй, ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ ΠΎΠ±Π»Π°Π΄Π°ΡŽΡ‰ΠΈΠ΅ компСтСнциями Π² ML ΠΈ Π² ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚Π½ΠΎΠΉ области (ΠΌΠ΅Π΄ΠΈΡ†ΠΈΠ½Π΅, лингвистикС, Π½Π΅ΠΉΡ€ΠΎΠ±ΠΈΠΎΠ»ΠΎΠ³ΠΈΠΈ, ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠΈ ΠΈ Ρ‚.Π΄.). Особо стоит ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ Π·Π½Π°Ρ‡ΠΈΠΌΠΎΠ΅ присутствиС Ρ€Π°Π±ΠΎΡ‚ ΠΈ выступлСний ΠΏΠΎ Π½Π΅ΠΉΡ€ΠΎΠ½Π°ΡƒΠΊΠ°ΠΌ ΠΈ ΠΊΠΎΠ³Π½ΠΈΡ‚ΠΈΠ²Π½Ρ‹ΠΌ Π½Π°ΡƒΠΊΠ°ΠΌ – происходит сблиТСниС спСциалистов ΠΈ заимствованиС ΠΈΠ΄Π΅ΠΉ.

Помимо этого сблиТСния, намСчаСтся ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠ΄ΠΈΡΡ†ΠΈΠΏΠ»ΠΈΠ½Π°Ρ€Π½ΠΎΡΡ‚ΡŒ Π² совмСстной ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈΠ· Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… источников: тСкст ΠΈ Ρ„ΠΎΡ‚ΠΎ, тСкст ΠΈ ΠΈΠ³Ρ€Ρ‹, Π³Ρ€Π°Ρ„ΠΎΠ²Ρ‹Π΅ Π±Π΄ + тСкст ΠΈ Ρ„ΠΎΡ‚ΠΎ.

Π‘Ρ‚Π°Ρ‚ΡŒΠΈ:

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС
Π”Π²Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ β€” стратСг ΠΈ ΠΈΡΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒ β€” Π½Π° основС RL ΠΈ NLP ΠΈΠ³Ρ€Π°ΡŽΡ‚ Π² ΠΎΠ½Π»Π°ΠΉΠ½-ΡΡ‚Ρ€Π°Ρ‚Π΅Π³ΠΈΡŽ

3. Reasoning

УсилСниС искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π° – Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΠ΅ Π² сторону ΡΠ°ΠΌΠΎΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ…ΡΡ систСм, β€œΠΎΡΠΎΠ·Π½Π°Π½Π½Ρ‹Ρ…β€, Ρ€Π°ΡΡΡƒΠΆΠ΄Π°ΡŽΡ‰ΠΈΡ… ΠΈ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… (reasoning). Π’ частности, развиваСтся causal inference ΠΈ commonsense reasoning. Π§Π°ΡΡ‚ΡŒ Π΄ΠΎΠΊΠ»Π°Π΄ΠΎΠ² посвящСна ΠΌΠ΅Ρ‚Π°-ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ (ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ) ΠΈ соСдинСнию DL-Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ с Π»ΠΎΠ³ΠΈΠΊΠΎΠΉ 1 ΠΈ 2 порядка β€” Ρ‚Π΅Ρ€ΠΌΠΈΠ½ Artificial General Intelligence (AGI) становится ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΌ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ΠΎΠΌ Π² выступлСниях спикСров.

Π‘Ρ‚Π°Ρ‚ΡŒΠΈ:

4.Reinforcement Learning

Π‘ΠΎΠ»ΡŒΡˆΠ°Ρ Ρ‡Π°ΡΡ‚ΡŒ Ρ€Π°Π±ΠΎΡ‚ ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°Π΅Ρ‚ Ρ€Π°Π·Π²ΠΈΠ²Π°Ρ‚ΡŒ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ направлСния RL β€” DOTA2, Starcraft, соСдинСниС Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€ с ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½Ρ‹ΠΌ Π·Ρ€Π΅Π½ΠΈΠ΅ΠΌ, NLP, Π³Ρ€Π°Ρ„ΠΎΠ²Ρ‹ΠΌΠΈ Π‘Π”.

ΠžΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹ΠΉ дСнь ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ Π±Ρ‹Π» посвящСн RL-Π²ΠΎΡ€ΠΊΡˆΠΎΠΏΡƒ, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π±Ρ‹Π»Π° прСдставлСна Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° Optimistic Actor Critic Model, прСвосходящая всС ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΠ΅, Π² частности Soft Actor Critic.

Π‘Ρ‚Π°Ρ‚ΡŒΠΈ:

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС
Π˜Π³Ρ€ΠΎΠΊΠΈ Π² StarCraft ΡΡ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ с модСлью Alphastar (DeepMind)

5. GAN

Π“Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Π΅ сСти всС Π΅Ρ‰Π΅ Π² фокусС внимания: ΠΌΠ½ΠΎΠ³ΠΎ Ρ€Π°Π±ΠΎΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ vanilla GANΡ‹ для матСматичСских Π΄ΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒΡΡ‚Π², Π° Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ ΠΈΡ… Π² Π½ΠΎΠ²Ρ‹Ρ…, Π½Π΅ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π°Ρ… (Π³Ρ€Π°Ρ„ΠΎΠ²Ρ‹Π΅ Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ, Ρ€Π°Π±ΠΎΡ‚Π° с рядами, ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΊ ΠΏΡ€ΠΈΡ‡ΠΈΠ½Π½ΠΎ-слСдствСнным связям Π² Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ Ρ‚.Π΄.).

Π‘Ρ‚Π°Ρ‚ΡŒΠΈ:

ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Ρ€Π°Π±ΠΎΡ‚ Π±Ρ‹Π»ΠΎ принято Π±ΠΎΠ»Π΅Π΅ 1400 Π½ΠΈΠΆΠ΅ ΠΌΡ‹ расскаТСм ΠΎ самых Π²Π°ΠΆΠ½Ρ‹Ρ… выступлСниях.

Invited Talks

β€œSocial Intelligence”, Blaise Aguera y Arcas (Google)

Бсылка
Π‘Π»Π°ΠΉΠ΄Ρ‹ ΠΈ Π²ΠΈΠ΄Π΅ΠΎ
Π”ΠΎΠΊΠ»Π°Π΄ посвящСн ΠΎΠ±Ρ‰Π΅ΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ машинного обучСния ΠΈ пСрспСктивам, ΠΌΠ΅Π½ΡΡŽΡ‰ΠΈΠΌ ΠΈΠ½Π΄ΡƒΡΡ‚Ρ€ΠΈΡŽ прямо сСйчас – ΠΏΠ΅Ρ€Π΅Π΄ ΠΊΠ°ΠΊΠΈΠΌ Ρ€Π°ΡΠΏΡƒΡ‚ΡŒΠ΅ΠΌ ΠΌΡ‹ стоим? Как Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ ΠΌΠΎΠ·Π³ ΠΈ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΡ, ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ ΠΌΡ‹ Ρ‚Π°ΠΊ ΠΌΠ°Π»ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΡƒΠΆΠ΅ Ρ…ΠΎΡ€ΠΎΡˆΠΎ Π·Π½Π°Π΅ΠΌ ΠΎ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠΈ СстСствСнных систСм?

Π˜Π½Π΄ΡƒΡΡ‚Ρ€ΠΈΠ°Π»ΡŒΠ½ΠΎΠ΅ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠ΅ ML Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΎΠΌ совпадаСт с Π²Π΅Ρ…Π°ΠΌΠΈ развития ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Google, ΠΈΠ· Π³ΠΎΠ΄Π° Π² Π³ΠΎΠ΄ ΠΏΡƒΠ±Π»ΠΈΠΊΡƒΡŽΡ‰Π΅ΠΉ свои исслСдования Π½Π° NeurIPS:

  • 1997 – запуск поисковых мощностСй, ΠΏΠ΅Ρ€Π²Ρ‹Π΅ сСрвСра, нСбольшая Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ ΠΌΠΎΡ‰Π½ΠΎΡΡ‚ΡŒ
  • 2010 – Π”ΠΆΠ΅Ρ„Ρ„ Π”ΠΈΠ½ запускаСт ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ Google Brain, Π±ΡƒΠΌ нСйросСтСй Π² самом Π½Π°Ρ‡Π°Π»Π΅
  • 2015 – ΠΈΠ½Π΄ΡƒΡΡ‚Ρ€ΠΈΠ°Π»ΡŒΠ½ΠΎΠ΅ Π²Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠ΅ нСйросСтСй, быстроС распознаваниС Π»ΠΈΡ† прямо Π½Π° локальном устройствС, Π½ΠΈΠ·ΠΊΠΎΡƒΡ€ΠΎΠ²Π½Π΅Π²Ρ‹Π΅ процСссоры, Π·Π°Ρ‚ΠΎΡ‡Π΅Π½Π½Ρ‹Π΅ ΠΏΠΎΠ΄ Ρ‚Π΅Π½Π·ΠΎΡ€Π½Ρ‹Π΅ вычислСния – TPU. Google запускаСт Coral ai – Π°Π½Π°Π»ΠΎΠ³ raspberry pi, ΠΌΠΈΠ½ΠΈ-ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ для внСдрСния нСйросСтСй Π² ΡΠΊΡΠΏΠ΅Ρ€ΠΈΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Π΅ установки
  • 2017 – Google Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ Π΄Π΅Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½ΠΎΠ³ΠΎ обучСния ΠΈ объСдинСния Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² обучСния нСйросСтСй с Ρ€Π°Π·Π½Ρ‹Ρ… устройств Π² ΠΎΠ΄Π½Ρƒ модСль – Π½Π° android

БСгодня цСлая индустрия занимаСтся вопросами бСзопасности Π΄Π°Π½Π½Ρ‹Ρ…, объСдинСния ΠΈ воспроизвСдСния Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² обучСния Π½Π° Π»ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… устройствах.

Federated learning – Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ ML, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ учатся нСзависимо Π΄Ρ€ΡƒΠ³ ΠΎΡ‚ Π΄Ρ€ΡƒΠ³Π°, Π° Π·Π°Ρ‚Π΅ΠΌ ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ΡΡ Π² Π΅Π΄ΠΈΠ½ΡƒΡŽ модСль (Π±Π΅Π· Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ исходных Π΄Π°Π½Π½Ρ‹Ρ…), с ΠΏΠΎΠΏΡ€Π°Π²ΠΊΠ°ΠΌΠΈ Π½Π° Ρ€Π΅Π΄ΠΊΠΈΠ΅ события, Π°Π½ΠΎΠΌΠ°Π»ΠΈΠΈ, ΠΏΠ΅Ρ€ΡΠΎΠ½Π°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ ΠΈ Ρ‚.Π΄. ВсС устройства с Android ΠΏΠΎ сути – Π΅Π΄ΠΈΠ½Ρ‹ΠΉ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ для Google.

Π“Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π° основании federated learning – Π±ΡƒΠ΄ΡƒΡ‰Π΅Π΅ пСрспСктивноС Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΏΠΎ мнСнию Google, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ находится β€œΠ² Ρ€Π°Π½Π½ΠΈΡ… стадиях ΡΠΊΡΠΏΠΎΠ½Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ роста”. GANΡ‹, ΠΏΠΎ мнСнию Π»Π΅ΠΊΡ‚ΠΎΡ€Π°, способны Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π²ΠΎΡΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ массовоС ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ популяций ΠΆΠΈΠ²Ρ‹Ρ… ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΌΠΎΠ², Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡ.

На ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π΄Π²ΡƒΡ… простых Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€ GAN показываСтся, Ρ‡Ρ‚ΠΎ Π² Π½ΠΈΡ… поиск ΠΏΡƒΡ‚ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π±Π»ΡƒΠΆΠ΄Π°Π΅Ρ‚ ΠΏΠΎ ΠΊΡ€ΡƒΠ³Ρƒ, Π° Π·Π½Π°Ρ‡ΠΈΡ‚, ΠΊΠ°ΠΊ таковая оптимизация Π½Π΅ происходит. ΠŸΡ€ΠΈ этом эти ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ‡Π΅Π½ΡŒ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΡƒΡŽΡ‚ экспСримСнты, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΠΈΠΎΠ»ΠΎΠ³ΠΈ ставят Π½Π°Π΄ популяциями Π±Π°ΠΊΡ‚Π΅Ρ€ΠΈΠΉ, заставляя ΠΈΡ… ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π½ΠΎΠ²Ρ‹ΠΌ стратСгиям повСдСния Π² поисках ΠΏΠΈΡ‰ΠΈ. МоТно ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Π²Ρ‹Π²ΠΎΠ΄ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Тизнь Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ ΠΈΠ½Π°Ρ‡Π΅, Ρ‡Π΅ΠΌ функция ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ.

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС
Π‘Π»ΡƒΠΆΠ΄Π°ΡŽΡ‰Π°Ρ оптимизация GAN

ВсС Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π΄Π΅Π»Π°Π΅ΠΌ Π² Ρ€Π°ΠΌΠΊΠ°Ρ… машинного обучСния сСйчас – это ΡƒΠ·ΠΊΠΈΠ΅ ΠΈ ΠΊΡ€Π°ΠΉΠ½Π΅ Ρ„ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Π·Π°Π΄Π°Ρ‡ΠΈ, Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ эти Ρ„ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·ΠΌΡ‹ ΠΏΠ»ΠΎΡ…ΠΎ ΠΎΠ±ΠΎΠ±Ρ‰Π°ΡŽΡ‚ΡΡ ΠΈ Π½Π΅ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‚ Π½Π°ΡˆΠ΅ΠΌΡƒ ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚Π½ΠΎΠΌΡƒ знанию Π² Ρ‚Π°ΠΊΠΈΡ… областях, ΠΊΠ°ΠΊ нСйрофизиология ΠΈ биология.

Π§Ρ‚ΠΎ Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ стоит ΠΏΠΎΠ·Π°ΠΈΠΌΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΠ· области Π½Π΅ΠΉΡ€ΠΎΡ„ΠΈΠ·ΠΈΠΎΠ»ΠΎΠ³ΠΈΠΈ Π² блиТайшСй пСрспСктивС – это Π½ΠΎΠ²Ρ‹Π΅ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ² ΠΈ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠ΅Ρ€Π΅ΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ распространСния ошибки.

Π‘Π°ΠΌ чСловСчСский ΠΌΠΎΠ·Π³ учится Π½Π΅ ΠΊΠ°ΠΊ Π½Π΅ΠΉΡ€ΠΎΡΠ΅Ρ‚ΡŒ:

  • Π£ Π½Π΅Π³ΠΎ Π½Π΅ случайныС ΠΏΠ΅Ρ€Π²ΠΈΡ‡Π½Ρ‹Π΅ Π²Π²ΠΎΠ΄Π½Ρ‹Π΅, Π² Ρ‚ΠΎΠΌ числС Π·Π°Π»ΠΎΠΆΠ΅Π½Π½Ρ‹Π΅ Ρ‡Π΅Ρ€Π΅Π· ΠΎΡ€Π³Π°Π½Ρ‹ чувств ΠΈ Π² дСтствС
  • Π£ Π½Π΅Π³ΠΎ Π΅ΡΡ‚ΡŒ Π·Π°Π»ΠΎΠΆΠ΅Π½Π½Ρ‹Π΅ направлСния инстинктивного развития (стрСмлСниС Π²Ρ‹ΡƒΡ‡ΠΈΡ‚ΡŒ язык Ρƒ ΠΌΠ»Π°Π΄Π΅Π½Ρ†Π°, прямохоТдСниС)

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΌΠΎΠ·Π³Π° – низкоуровнСвая Π·Π°Π΄Π°Ρ‡Π°, Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, Π½Π°ΠΌ стоит Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ β€œΠΊΠΎΠ»ΠΎΠ½ΠΈΠΈβ€ быстро ΡΠΌΠ΅Π½ΡΡŽΡ‰ΠΈΡ…ΡΡ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΡƒΠΌΠΎΠ², ΠΏΠ΅Ρ€Π΅Π΄Π°ΡŽΡ‰ΠΈΡ… Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Ρƒ знания, Ρ‡Ρ‚ΠΎΠ±Ρ‹ воспроизвСсти ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π³Ρ€ΡƒΠΏΠΏΠΎΠ²ΠΎΠΉ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΈ.

Π§Ρ‚ΠΎ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠ΅Ρ€Π΅Π½ΡΡ‚ΡŒ Π² Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ML ΡƒΠΆΠ΅ сСйчас:

  • ΠŸΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ cell lineage ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ популяции, Π½ΠΎ ΠΊΠΎΡ€ΠΎΡ‚ΠΊΡƒΡŽ Тизнь ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΡƒΠΌΠ° (β€œΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ мозга”)
  • Few-shot learning Π½Π° нСбольшом количСствС ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ²
  • Π‘ΠΎΠ»Π΅Π΅ слоТныС структуры Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ², Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ
  • ΠŸΠ΅Ρ€Π΅Π΄Π°Ρ‡Π° β€œΠ³Π΅Π½ΠΎΠΌΠ°β€ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ поколСниям – Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ распространСния ошибки
  • Как Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΌΡ‹ соСдиним Π½Π΅ΠΉΡ€ΠΎΡ„ΠΈΠ·ΠΈΠΎΠ»ΠΎΠ³ΠΈΡŽ ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Π΅ сСти, ΠΌΡ‹ научимся ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΎΡ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΌΠΎΠ·Π³ ΠΈΠ· мноТСства ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΡ….

Π‘ этой Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ° SOTA Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ β€” пагубная ΠΈ Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ пСрСсмотрСна Π² ΡƒΠ³ΠΎΠ΄Ρƒ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΡŽ ΠΎΠ±Ρ‰ΠΈΡ… Π·Π°Π΄Π°Ρ‡ (benchmarks).

β€œVeridical Data Science”, Bin Yu (Berkeley)

Π’ΠΈΠ΄Π΅ΠΎ ΠΈ слайды
Π”ΠΎΠΊΠ»Π°Π΄ посвящСн ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ΅ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ машинного обучСния ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΈΡ… нСпосрСдствСнной ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ ΠΈ Π²Π΅Ρ€ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ. Π›ΡŽΠ±Π°Ρ обучСнная ML-модСль ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ воспринята ΠΊΠ°ΠΊ источник Π·Π½Π°Π½ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠ· Π½Π΅Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ.

Π’ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… областях, особСнно Π² ΠΌΠ΅Π΄ΠΈΡ†ΠΈΠ½Π΅, ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π±Π΅Π· извлСчСния этих скрытых Π·Π½Π°Π½ΠΈΠΉ ΠΈ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΠΈ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² ΠΌΠΎΠ΄Π΅Π»ΠΈ – ΠΈΠ½Π°Ρ‡Π΅ ΠΌΡ‹ Π½Π΅ Π±ΡƒΠ΄Π΅ΠΌ ΡƒΠ²Π΅Ρ€Π΅Π½Ρ‹, Ρ‡Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π±ΡƒΠ΄ΡƒΡ‚ ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½Ρ‹, нСслучайны, Π½Π°Π΄Π΅ΠΆΠ½Ρ‹, Π½Π΅ ΡƒΠ±ΡŒΡŽΡ‚ ΠΏΠ°Ρ†ΠΈΠ΅Π½Ρ‚Π°. Π¦Π΅Π»ΠΎΠ΅ Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ Ρ€Π°Π±ΠΎΡ‚Ρ‹ развиваСтся Π²Π½ΡƒΡ‚Ρ€ΠΈ ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΡ‹ deep learning ΠΈ Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ Π·Π° Π΅Π΅ ΠΏΡ€Π΅Π΄Π΅Π»Ρ‹ – veridical data science. Π§Ρ‚ΠΎ это Ρ‚Π°ΠΊΠΎΠ΅?

ΠœΡ‹ Ρ…ΠΎΡ‚ΠΈΠΌ Π΄ΠΎΡΡ‚ΠΈΡ‡ΡŒ Ρ‚Π°ΠΊΠΎΠ³ΠΎ качСства Π½Π°ΡƒΡ‡Π½Ρ‹Ρ… ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΉ ΠΈ воспроизводимости ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½ΠΈ Π±Ρ‹Π»ΠΈ:

  1. прСдсказуСмыми
  2. вычислимыми
  3. ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½Ρ‹ΠΌΠΈ

Π­Ρ‚ΠΈ Ρ‚Ρ€ΠΈ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ° ΠΎΠ±Ρ€Π°Π·ΡƒΡŽΡ‚ основу Π½ΠΎΠ²ΠΎΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ. Как ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ML Π½Π° соотвСтствиС этим критСриям? Π‘Π°ΠΌΡ‹ΠΉ простой способ – ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ сразу ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (рСгрСссии, Π΄Π΅Ρ€Π΅Π²ΡŒΡ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ). Однако, ΠΌΡ‹ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΈ нСпосрСдствСнныС ΠΏΠ»ΡŽΡΡ‹ deep learning.

НСсколько ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΡ… способов Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ с ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΎΠΉ:

  1. ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ модСль;
  2. ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, основанныС Π½Π° attention;
  3. ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ ансамбли Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ², ΠΈ Π΄ΠΎΠ±ΠΈΠ²Π°Ρ‚ΡŒΡΡ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹Π΅ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡƒΡ‡ΠΈΠ»ΠΈΡΡŒ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Ρ‚Π΅ ΠΆΠ΅ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹, Ρ‡Ρ‚ΠΎ ΠΈ Π½Π΅ΠΉΡ€ΠΎΡΠ΅Ρ‚ΡŒ, интСрпрСтируя ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ· Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ;
  4. ΠΌΠ΅Π½ΡΡ‚ΡŒ ΠΈ Π°ΡƒΠ³ΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ для обучСния. Бюда входят ΠΈ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ ΡˆΡƒΠΌΠΎΠ², ΠΏΠΎΠΌΠ΅Ρ…, ΠΈ data augmentation;
  5. Π»ΡŽΠ±Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π΅ случайны ΠΈ Π½Π΅ зависят ΠΎΡ‚ ΠΌΠ΅Π»ΠΊΠΈΡ… Π½Π΅ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠΎΠΌΠ΅Ρ… (adversarial attacks);
  6. ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ модСль пост-Ρ„Π°ΠΊΡ‚ΡƒΠΌ, послС обучСния;
  7. ΠΈΠ·ΡƒΡ‡Π°Ρ‚ΡŒ вСсов ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ² Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ способами;
  8. ΠΈΠ·ΡƒΡ‡Π°Ρ‚ΡŒ вСроятности всСх Π³ΠΈΠΏΠΎΡ‚Π΅Π·, распрСдСлСниС классов.

NeurIPS 2019: Ρ‚Ρ€Π΅Π½Π΄Ρ‹ ML, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ с Π½Π°ΠΌΠΈ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ дСсятилСтиС
Adversarial attack на свинью

Ошибки модСлирования Π΄ΠΎΡ€ΠΎΠ³ΠΎ стоят всСм: яркий ΠΏΡ€ΠΈΠΌΠ΅Ρ€ β€” Ρ€Π°Π±ΠΎΡ‚Π° Π Π΅ΠΉΠ½Ρ…Π°Ρ€Ρ‚Π° ΠΈ Π ΠΎΠ³ΠΎΠ²Π° "Growth in a time of debt" повлияла Π½Π° ΡΠΊΠΎΠ½ΠΎΠΌΠΈΡ‡Π΅ΡΠΊΡƒΡŽ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΡƒ ΠΌΠ½ΠΎΠ³ΠΈΡ… СвропСйских стран ΠΈ Π²Ρ‹Π½ΡƒΠ΄ΠΈΠ»Π° ΠΈΡ… вСсти ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΡƒ экономии, Π½ΠΎ Π²Π½ΠΈΠΌΠ°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ ΠΏΠ΅Ρ€Π΅ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΈΡ… ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π³ΠΎΠ΄Ρ‹ спустя ΠΏΠΎΠΊΠ°Π·Π°Π»Π° ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΠΏΠΎΠ»ΠΎΠΆΠ½Ρ‹ΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚!

Π£ любой ML-Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ Π΅ΡΡ‚ΡŒ свой ΠΆΠΈΠ·Π½Π΅Π½Π½Ρ‹ΠΉ Ρ†ΠΈΠΊΠ» ΠΎΡ‚ внСдрСния Π΄ΠΎ внСдрСния. Π—Π°Π΄Π°Ρ‡Π° Π½ΠΎΠ²ΠΎΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ – ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ Π½Π° Ρ‚Ρ€Π΅Ρ… основных ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°Ρ… Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ этапС ΠΆΠΈΠ·Π½ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ.

Π˜Ρ‚ΠΎΠ³ΠΈ:

  • РазвиваСтся нСсколько ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠ² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ ML-ΠΌΠΎΠ΄Π΅Π»ΠΈ Π±Ρ‹Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ Π½Π°Π΄Ρ‘ΠΆΠ½Ρ‹ΠΌΠΈ. Π­Ρ‚ΠΎ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, deeptune (link to: github.com/ChrisCummins/paper-end2end-dl);
  • Для дальнСйшСго развития ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ сущСствСнно ΠΏΠΎΠ΄Π½ΡΡ‚ΡŒ качСство ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΉ Π² сфСрС ML;
  • ΠœΠ°ΡˆΠΈΠ½Π½ΠΎΠΌΡƒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ Π½ΡƒΠΆΠ½Ρ‹ Π»ΠΈΠ΄Π΅Ρ€Ρ‹ с ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠ΄ΠΈΡΡ†ΠΈΠΏΠ»ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΎΠΉ ΠΈ экспСртизой ΠΊΠ°ΠΊ Π² тСхничСских, Ρ‚Π°ΠΊ ΠΈ Π³ΡƒΠΌΠ°Π½ΠΈΡ‚Π°Ρ€Π½Ρ‹Ρ… областях.

β€œHuman Behavior Modeling with Machine Learning: Opportunities and Challenges” Nuria M Oliver, Albert Ali Salah

ЛСкция, посвящСнная ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ повСдСния Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°, Π΅Π³ΠΎ тСхнологичСским основам ΠΈ пСрспСктивам ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΉ.

ΠœΠΎΠ΄Π΅Π»ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ повСдСния Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°Π·Π΄Π΅Π»ΠΈΡ‚ΡŒ Π½Π°:

  • ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅
  • ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ нСбольшой Π³Ρ€ΡƒΠΏΠΏΡ‹ Π»ΠΈΡ†
  • массовоС ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅

КаТдоС ΠΈΠ· этих Ρ‚ΠΈΠΏΠΎΠ² поддаСтся ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ ML, Π½ΠΎ с Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½ΠΎ Ρ€Π°Π·Π½ΠΎΠΉ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠ΅ΠΉ ΠΈ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ°ΠΌΠΈ. Π£ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Ρ‚ΠΈΠΏΠ° Ρ‚Π°ΠΊΠΆΠ΅ ΠΈΠΌΠ΅ΡŽΡ‚ΡΡ свои этичСскиС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΡ€ΠΎΡ…ΠΎΠ΄ΠΈΡ‚ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚:

  • ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ – ΠΏΠΎΡ…ΠΈΡ‰Π΅Π½ΠΈΠ΅ идСнтичности, deepfake;
  • ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π³Ρ€ΡƒΠΏΠΏ людСй – дСанонимизация, ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΎ пСрСдвиТСниях, Ρ‚Π΅Π»Π΅Ρ„ΠΎΠ½Π½Ρ‹Ρ… Π·Π²ΠΎΠ½ΠΊΠ°Ρ… ΠΈ Ρ‚.Π΄.;

Π˜Π½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅

Π’ большСй стСпСни касаСтся Ρ‚Π΅ΠΌΡ‹ Computer Vision – распознаваниС эмоций Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°, Π΅Π³ΠΎ Ρ€Π΅Π°ΠΊΡ†ΠΈΠΉ. Π’ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² контСкстС, Π²ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ Π»ΠΈΠ±ΠΎ с ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ шкалой Π΅Π³ΠΎ собствСнной вариативности эмоций. На слайдС – распознаваниС эмоций ΠœΠΎΠ½Ρ‹ Π›ΠΈΠ·Ρ‹ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ контСкста ΠΈΠ· ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ спСктра срСдизСмноморских ΠΆΠ΅Π½Ρ‰ΠΈΠ½. Π Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚: ΡƒΠ»Ρ‹Π±ΠΊΠ° радости, Π½ΠΎ с ΠΏΡ€Π΅Π·Ρ€Π΅Π½ΠΈΠ΅ΠΌ ΠΈ ΠΎΡ‚Π²Ρ€Π°Ρ‰Π΅Π½ΠΈΠ΅ΠΌ. ΠŸΡ€ΠΈΡ‡ΠΈΠ½Π° скорСС всСго Π² тСхничСском способС опрСдСлСния β€œΠ½Π΅ΠΉΡ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠΉβ€ эмоции.

ПовСдСниС нСбольшой Π³Ρ€ΡƒΠΏΠΏΡ‹ Π»ΠΈΡ†

Пока Ρ…ΡƒΠΆΠ΅ всСго модСлируСтся ΠΈΠ·-Π·Π° нСдостаточности ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π’ качСствС ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π»ΠΈΡΡŒ Ρ€Π°Π±ΠΎΡ‚Ρ‹ 2018 – 2019 Π³Π³. Π½Π° дСсятках людСй X дСсятках Ρ€ΠΎΠ»ΠΈΠΊΠΎΠ² (ср. датасСты ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ 100ΠΊ++). Для Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ модСлирования Π² Ρ€Π°ΠΌΠΊΠ°Ρ… этой Π·Π°Π΄Π°Ρ‡ΠΈ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠ° ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Π°Ρ информация, ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ с Π΄Π°Ρ‚Ρ‡ΠΈΠΊΠΎΠ² Π½Π° Ρ‚Π΅Π»Π΅-Π°Π»ΡŒΡ‚ΠΈΠΌΠ΅Ρ‚Ρ€, Ρ‚Π΅Ρ€ΠΌΠΎΠΌΠ΅Ρ‚Ρ€, запись с ΠΌΠΈΠΊΡ€ΠΎΡ„ΠΎΠ½Π° ΠΈ Ρ‚.Π΄.

МассовоС повСдСниС

Π‘Π°ΠΌΠΎΠ΅ Ρ€Π°Π·Π²ΠΈΡ‚ΠΎΠ΅ Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π·Π°ΠΊΠ°Π·Ρ‡ΠΈΠΊΠΎΠΌ Π²Ρ‹ΡΡ‚ΡƒΠΏΠ°ΡŽΡ‚ ООН ΠΈ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ государства. ΠšΠ°ΠΌΠ΅Ρ€Ρ‹ Π½Π°Ρ€ΡƒΠΆΠ½ΠΎΠ³ΠΎ наблюдСния, Π΄Π°Π½Π½Ρ‹Π΅ Ρ‚Π΅Π»Π΅Ρ„ΠΎΠ½Π½Ρ‹Ρ… Π²Ρ‹ΡˆΠ΅ΠΊ – Π±ΠΈΠ»Π»ΠΈΠ½Π³, смс, Π·Π²ΠΎΠ½ΠΊΠΈ, Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ Π³Ρ€Π°Π½ΠΈΡ†Π°ΠΌΠΈ государств – всС это Π΄Π°Π΅Ρ‚ ΠΎΡ‡Π΅Π½ΡŒ Π½Π°Π΄Π΅ΠΆΠ½ΠΎΠ΅ прСдставлСниС ΠΎ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠΈ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ² людСй, ΠΎ ΡΠΎΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… Π½Π΅ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡΡ…. ΠŸΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ примСнСния Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ: оптимизация ΡΠΏΠ°ΡΠ°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ, ΠΎΠΊΠ°Π·Π°Π½ΠΈΠ΅ ΠΏΠΎΠΌΠΎΡ‰ΠΈ ΠΈ своСврСмСнная эвакуация насСлСния ΠΏΡ€ΠΈ Π§Π‘. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² основном ΠΏΠΎΠΊΠ° ΠΏΠ»ΠΎΡ…ΠΎ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ – это Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ LSTM ΠΈ свСрточныС сСти. Π‘Ρ‹Π»Π° краткая Ρ€Π΅ΠΌΠ°Ρ€ΠΊΠ°, Ρ‡Ρ‚ΠΎ ООН Π»ΠΎΠ±Π±ΠΈΡ€ΡƒΠ΅Ρ‚ Π½ΠΎΠ²Ρ‹ΠΉ Π·Π°ΠΊΠΎΠ½, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ обяТСт СвропСйский бизнСс Π΄Π΅Π»ΠΈΡ‚ΡŒΡΡ ΠΎΠ±Π΅Π·Π»ΠΈΡ‡Π΅Π½Π½Ρ‹ΠΌΠΈ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹ΠΌΠΈ для Π»ΡŽΠ±Ρ‹Ρ… исслСдований.

β€œFrom System 1 to System 2 Deep Learning”, Yoshua Bengio

Π‘Π»Π°ΠΉΠ΄Ρ‹
Π’ Π»Π΅ΠΊΡ†ΠΈΠΈ Π˜ΠΎΡˆΡƒΠ° Π‘Π΅Π½ΠΆΠΈΠΎ deep learning встрСчаСтся с Π½Π΅ΠΉΡ€ΠΎΠ½Π°ΡƒΠΊΠΎΠΉ Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ цСлСполагания.
Π‘Π΅Π½Π΄ΠΆΠΈΠΎ выдСляСт Π΄Π²Π° основных Ρ‚ΠΈΠΏΠ° Π·Π°Π΄Π°Ρ‡ ΠΏΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ»ΠΎΠ³ΠΈΠΈ нобСлСвского Π»Π°ΡƒΡ€Π΅Π°Ρ‚Π° Дэниэла КанСмана (ΠΊΠ½ΠΈΠ³Π° Β«Π”ΡƒΠΌΠ°ΠΉ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎ, Ρ€Π΅ΡˆΠ°ΠΉ быстро» )
Ρ‚ΠΈΠΏ 1 β€” БистСма 1, нСосознанныС дСйствия, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΡ‹ Π΄Π΅Π»Π°Π΅ΠΌ Β«Π½Π° Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Π΅Β» (Π΄Ρ€Π΅Π²Π½ΠΈΠΉ ΠΌΠΎΠ·Π³): Π²ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ ΠΌΠ°ΡˆΠΈΠ½Ρ‹ ΠΏΠΎ Π·Π½Π°ΠΊΠΎΠΌΡ‹ΠΌ мСстам, Ρ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅, распознаваниС Π»ΠΈΡ†.
Ρ‚ΠΈΠΏ 2 β€” БистСма 2, осознанныС дСйствия (ΠΊΠΎΡ€Π° Π³ΠΎΠ»ΠΎΠ²Π½ΠΎΠ³ΠΎ ΠΌΠΎΠ·Π³Π°), Ρ†Π΅Π»Π΅ΠΏΠΎΠ»Π°Π³Π°Π½ΠΈΠ΅, Π°Π½Π°Π»ΠΈΠ·, ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΠ΅, составныС Π·Π°Π΄Π°Ρ‡ΠΈ.

ИИ ΠΏΠΎΠΊΠ° Ρ‡Ρ‚ΠΎ достигаСт достаточных высот лишь Π² Π·Π°Π΄Π°Ρ‡Π°Ρ… ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ Ρ‚ΠΈΠΏΠ° β€” Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ наша Π·Π°Π΄Π°Ρ‡Π° привСсти Π΅Π³ΠΎ ΠΊΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΌΡƒ, Π½Π°ΡƒΡ‡ΠΈΠ² Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠ΄ΠΈΡΡ†ΠΈΠΏΠ»ΠΈΠ½Π°Ρ€Π½Ρ‹Π΅ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ ΠΎΠΏΠ΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π»ΠΎΠ³ΠΈΠΊΠΎΠΉ, высокоуровнСвыми ΠΊΠΎΠ³Π½ΠΈΡ‚ΠΈΠ²Π½Ρ‹ΠΌΠΈ Π½Π°Π²Ρ‹ΠΊΠ°ΠΌΠΈ.

Для достиТСния этой Ρ†Π΅Π»ΠΈ прСдлагаСтся:

  1. Π² Π·Π°Π΄Π°Ρ‡Π°Ρ… NLP ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ attention ΠΊΠ°ΠΊ ΠΊΠ»ΡŽΡ‡Π΅Π²ΠΎΠΉ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ модСлирования ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡ
  2. ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ meta-learning ΠΈ representation learning для Π»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ модСлирования ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ², Π²Π»ΠΈΡΡŽΡ‰ΠΈΡ… Π½Π° сознаниС, ΠΈ ΠΈΡ… Π»ΠΎΠΊΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ – ΠΈ Π½Π° ΠΈΡ… основС ΠΏΠ΅Ρ€Π΅ΠΉΡ‚ΠΈ ΠΊ ΠΎΠΏΠ΅Ρ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ Π±ΠΎΠ»Π΅Π΅ высокоуровнСвыми ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ‚Π°ΠΌΠΈ.

ВмСсто Π·Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ оставляСм запись invited talk: Π‘Π΅Π½ΠΆΠΈΠΎ β€” ΠΎΠ΄ΠΈΠ½ ΠΈΠ· ΠΌΠ½ΠΎΠ³ΠΈΡ… ΡƒΡ‡Π΅Π½Ρ‹Ρ…, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΡ‹Ρ‚Π°ΡŽΡ‚ΡΡ Ρ€Π°ΡΡˆΠΈΡ€ΠΈΡ‚ΡŒ ΠΎΠ±Π»Π°ΡΡ‚ΡŒ ML Π·Π° ΠΏΡ€Π΅Π΄Π΅Π»Ρ‹ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, SOTA ΠΈ Π½ΠΎΠ²Ρ‹Ρ… Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€.
ΠžΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ остаСтся вопрос, насколько соСдинСниС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ сознания, влияния языка Π½Π° ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΠ΅, Π½Π΅ΠΉΡ€ΠΎΠ±ΠΈΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² β€” это Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ нас ΠΎΠΆΠΈΠ΄Π°Π΅Ρ‚ Π² Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ ΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ ΠΏΠ΅Ρ€Π΅ΠΉΡ‚ΠΈ ΠΊ машинам, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Β«Π΄ΡƒΠΌΠ°ΡŽΡ‚Β» ΠΊΠ°ΠΊ люди.

Бпасибо!



Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ