ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈΠ»ΠΈ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии? β€” И Ρ‚ΠΎ, ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠ΅

ΠŸΡ€ΠΈΠ²Π΅Ρ‚, Π₯Π°Π±Ρ€!

ΠœΡ‹ нСчасто Ρ€Π΅ΡˆΠ°Π΅ΠΌΡΡ Ρ€Π°Π·ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ здСсь ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄Ρ‹ тСкстов Π΄Π²ΡƒΡ…Π»Π΅Ρ‚Π½Π΅ΠΉ давности, Π±Π΅Π· ΠΊΠΎΠ΄Π° ΠΈ явно акадСмичСской направлСнности β€” Π½ΠΎ сСгодня сдСлаСм ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅. НадССмся, Ρ‡Ρ‚ΠΎ Π΄ΠΈΠ»Π΅ΠΌΠΌΠ°, вынСсСнная Π² Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΎΠΊ ΡΡ‚Π°Ρ‚ΡŒΠΈ, Π²ΠΎΠ»Π½ΡƒΠ΅Ρ‚ ΠΌΠ½ΠΎΠ³ΠΈΡ… Π½Π°ΡˆΠΈΡ… Ρ‡ΠΈΡ‚Π°Ρ‚Π΅Π»Π΅ΠΉ, Π° Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΡƒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρƒ ΠΎΠ± ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Ρ… стратСгиях, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΏΠΎΠ»Π΅ΠΌΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ этот пост, Π²Ρ‹ ΡƒΠΆΠ΅ Ρ‡ΠΈΡ‚Π°Π»ΠΈ Π² ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»Π΅ ΠΈΠ»ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Π΅Ρ‚Π΅ сСйчас. Π”ΠΎΠ±Ρ€ΠΎ ΠΏΠΎΠΆΠ°Π»ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠ΄ ΠΊΠ°Ρ‚!

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈΠ»ΠΈ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии? — И Ρ‚ΠΎ, ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠ΅

Π’ ΠΌΠ°Ρ€Ρ‚Π΅ 2017 Π³ΠΎΠ΄Π° компания OpenAI Π½Π°Π΄Π΅Π»Π°Π»Π° ΡˆΡƒΠΌΠ° Π² сообщСствС спСциалистов ΠΏΠΎ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠΌΡƒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ, ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π² ΡΡ‚Π°Ρ‚ΡŒΡŽ β€œEvolution Strategies as a Scalable Alternative to Reinforcement Learning.” Π’ этой Ρ€Π°Π±ΠΎΡ‚Π΅ Π±Ρ‹Π»ΠΈ описаны Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‰ΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π² ΠΏΠΎΠ»ΡŒΠ·Ρƒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) свСт ΠΊΠ»ΠΈΠ½ΠΎΠΌ Π½Π΅ сошСлся, ΠΈ ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ слоТных Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй цСлСсообразно ΠΏΠΎΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹. Π’ΠΎΠ³Π΄Π° Ρ€Π°Π·Π³ΠΎΡ€Π΅Π»Π°ΡΡŒ дискуссия ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ваТности обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈ ΠΎ Ρ‚ΠΎΠΌ, насколько ΠΎΠ½ΠΎ заслуТиваСт статуса Β«ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉΒ» Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ Π·Π°Π΄Π°Ρ‡. Π—Π΄Π΅ΡΡŒ я Ρ…ΠΎΡ‡Ρƒ Π²Ρ‹ΡΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ ΠΎ Ρ‚ΠΎΠΌ, Ρ‚ΠΎ Π½Π΅ стоит Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ Π΄Π²Π΅ эти Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ ΠΊΠ°ΠΊ ΠΊΠΎΠ½ΠΊΡƒΡ€ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠ΅, ΠΎΠ΄Π½Π° ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΎΠ΄Π½ΠΎΠ·Π½Π°Ρ‡Π½ΠΎ Π»ΡƒΡ‡ΡˆΠ΅ Π΄Ρ€ΡƒΠ³ΠΎΠΉ; Π½Π°ΠΏΡ€ΠΎΡ‚ΠΈΠ², Π² ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠΌ ΠΈΡ‚ΠΎΠ³Π΅ ΠΎΠ½ΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΡΡŽΡ‚ Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Π°. Π”Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ, Ссли Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ Π·Π°Π΄ΡƒΠΌΠ°Ρ‚ΡŒΡΡ ΠΎ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ трСбуСтся для создания ΠΎΠ±Ρ‰Π΅Π³ΠΎ ИИ ΠΈ Ρ‚Π°ΠΊΠΈΡ… систСм, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π° протяТСнии всСго сущСствования Π±Ρ‹Π»ΠΈ Π±Ρ‹ способны ΠΊ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ, ΡΡƒΠΆΠ΄Π΅Π½ΠΈΡŽ ΠΈ ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡŽ, Ρ‚ΠΎ практичСски навСрняка ΠΌΡ‹ ΠΏΡ€ΠΈΠ΄Π΅ΠΌ ΠΊ Π²Ρ‹Π²ΠΎΠ΄Ρƒ, Ρ‡Ρ‚ΠΎ для этого потрСбуСтся Ρ‚ΠΎ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠ΅ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠ΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅. ΠšΡΡ‚Π°Ρ‚ΠΈ, ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΊ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠΌΡƒ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ ΠΏΡ€ΠΈΡˆΠ»Π° ΠΏΡ€ΠΈΡ€ΠΎΠ΄Π°, надСлившая Π² Ρ…ΠΎΠ΄Π΅ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΈ слоТным ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΠΎΠΌ ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰ΠΈΡ… ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… Π²Ρ‹ΡΡˆΠΈΡ… ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ….

Π­Π²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии

Основной тСзис ΡΡ‚Π°Ρ‚ΡŒΠΈ OpenAI Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π»ΡΡ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ вмСсто использования обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ Π² сочСтании с Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹ΠΌ ΠΎΠ±Ρ€Π°Ρ‚Π½Ρ‹ΠΌ распространСниСм ΠΎΠ½ΠΈ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΠΎΠ±ΡƒΡ‡ΠΈΠ»ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΡƒΡŽ ΡΠ΅Ρ‚ΡŒ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ слоТных Π·Π°Π΄Π°Ρ‡ с ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ΠΌ Ρ‚Π°ΠΊ Π½Π°Π·Ρ‹Π²Π°Π΅ΠΌΠΎΠΉ Β«ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½ΠΎΠΉ стратСгии» (Π­Π‘). Π’Π°ΠΊΠΎΠΉ Π­Π‘-ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠΈ распрСдСлСния вСсовых Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π² ΠΌΠ°ΡΡˆΡ‚Π°Π±Π°Ρ… сСти, ΠΏΡ€ΠΈΡ‡Π΅ΠΌ задСйствуСтся мноТСство Π°Π³Π΅Π½Ρ‚ΠΎΠ², Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‰ΠΈΡ… ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΡ… ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, Π²Ρ‹Π±Ρ€Π°Π½Π½Ρ‹Π΅ ΠΈΠ· этого распрСдСлСния. ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ Π°Π³Π΅Π½Ρ‚ дСйствуСт Π² собствСнной срСдС ΠΈ ΠΏΠΎ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΠΈ Π·Π°Π΄Π°Π½Π½ΠΎΠ³ΠΎ количСства эпизодов ΠΈΠ»ΠΈ этапов эпизода Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡƒ возвращаСтся совокупноС Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅, Π²Ρ‹Ρ€Π°ΠΆΠ°Π΅ΠΌΠΎΠ΅ ΠΊΠ°ΠΊ ΠΎΡ†Π΅Π½ΠΊΠ° годности (fitness score). Π‘ ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ этого значСния распрСдСлСниС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ ΡΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ Π² сторону Π±ΠΎΠ»Π΅Π΅ ΡƒΡΠΏΠ΅ΡˆΠ½Ρ‹Ρ… Π°Π³Π΅Π½Ρ‚ΠΎΠ², обдСляя ΠΌΠ΅Π½Π΅Π΅ ΡƒΡΠΏΠ΅ΡˆΠ½Ρ‹Ρ…. ΠœΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ Ρ€Π°Π· ΠΏΠΎΠ²Ρ‚ΠΎΡ€ΠΈΠ² Ρ‚Π°ΠΊΡƒΡŽ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΡŽ с участиСм сотСн Π°Π³Π΅Π½Ρ‚ΠΎΠ², ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ распрСдСлСниС вСсов Π² Ρ‚Π°ΠΊΠΎΠ΅ пространство, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ ΡΡ„ΠΎΡ€ΠΌΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ для Π°Π³Π΅Π½Ρ‚ΠΎΠ² ΠΊΠ°Ρ‡Π΅ΡΡ‚Π²Π΅Π½Π½ΡƒΡŽ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΡƒ для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ поставлСнной ΠΏΠ΅Ρ€Π΅Π΄ Π½ΠΈΠΌΠΈ Π·Π°Π΄Π°Ρ‡ΠΈ. Π”Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ, Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹, ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅Π½Π½Ρ‹Π΅ Π² ΡΡ‚Π°Ρ‚ΡŒΠ΅, Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‚: ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, Ρ‡Ρ‚ΠΎ, Ссли ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ Π·Π°ΠΏΡƒΡΡ‚ΠΈΡ‚ΡŒ тысячу Π°Π³Π΅Π½Ρ‚ΠΎΠ², Ρ‚ΠΎ Π°Π½Ρ‚Ρ€ΠΎΠΏΠΎΠΌΠΎΡ€Ρ„Π½ΠΎΠ΅ ΠΏΠ΅Ρ€Π΅Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΠ΅ Π½Π° Π΄Π²ΡƒΡ… Π½ΠΎΠ³Π°Ρ… ΠΌΠΎΠΆΠ½ΠΎ ΠΈΠ·ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΌΠ΅Π½Π΅Π΅ Ρ‡Π΅ΠΌ Π·Π° полчаса (Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ Π΄Π°ΠΆΠ΅ самыС ΠΏΡ€ΠΎΠ΄Π²ΠΈΠ½ΡƒΡ‚Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ RL Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ ΠΏΠΎΡ‚Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ Π½Π° это Π½Π΅ ΠΎΠ΄ΠΈΠ½ час). Для Π±ΠΎΠ»Π΅Π΅ ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎΠ³ΠΎ ознакомлСния Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽ ΠΏΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΎΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΉ пост ΠΎΡ‚ Π°Π²Ρ‚ΠΎΡ€ΠΎΠ² экспСримСнта, Π° Ρ‚Π°ΠΊΠΆΠ΅ саму Π½Π°ΡƒΡ‡Π½ΡƒΡŽ ΡΡ‚Π°Ρ‚ΡŒΡŽ.

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈΠ»ΠΈ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии? — И Ρ‚ΠΎ, ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠ΅

Π Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ стратСгии обучСния Π°Π½Ρ‚Ρ€ΠΎΠΏΠΎΠΌΠΎΡ€Ρ„Π½ΠΎΠΌΡƒ ΠΏΡ€ΡΠΌΠΎΡ…ΠΎΠΆΠ΄Π΅Π½ΠΈΡŽ, ΠΈΠ·ΡƒΡ‡Π΅Π½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π­Π‘ ΠΎΡ‚ OpenAI.

Π§Π΅Ρ€Π½Ρ‹ΠΉ ящик

ΠžΠ³Ρ€ΠΎΠΌΠ½Π°Ρ польза этого ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ Π»Π΅Π³ΠΊΠΎ распараллСливаСтся. Π’ Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ RL, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, A3C, Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ ΠΎΠ±ΠΌΠ΅Π½ΠΈΠ²Π°Ρ‚ΡŒΡΡ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠ΅ΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π±ΠΎΡ‡ΠΈΠΌΠΈ ΠΏΠΎΡ‚ΠΎΠΊΠ°ΠΌΠΈ ΠΈ сСрвСром ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², Π­Π‘ нуТдаСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² ΠΎΡ†Π΅Π½ΠΊΠ°Ρ… годности ΠΈ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΎ распрСдСлСнии ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². ИмСнно благодаря Ρ‚Π°ΠΊΠΎΠΉ простотС Π΄Π°Π½Π½Ρ‹ΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π΄Π°Π»Π΅ΠΊΠΎ ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΡ‚ ΠΏΠΎ возмоТностям ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡ соврСмСнныС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ RL. Однако, всС это достаСтся Π½Π΅ Π΄Π°Ρ€ΠΎΠΌ: приходится ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡΠ΅Ρ‚ΡŒ ΠΏΠΎ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΡƒ Ρ‡Π΅Ρ€Π½ΠΎΠ³ΠΎ ящика. Π’ Π΄Π°Π½Π½ΠΎΠΌ случаС ΠΏΠΎΠ΄ Β«Ρ‡Π΅Ρ€Π½Ρ‹ΠΌ ящиком» понимаСтся, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½Π΅Π΅ устройство сСти ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ игнорируСтся, Π° Π² Ρ…ΠΎΠ΄ ΠΈΠ΄Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ±Ρ‰ΠΈΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ (Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ Π·Π° эпизод), ΠΈ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΎΡ‚ Π½Π΅Π³ΠΎ зависит, Π±ΡƒΠ΄ΡƒΡ‚ Π»ΠΈ Ρ€Π°ΡΠΏΡ€ΠΎΡΡ‚Ρ€Π°Π½ΡΡ‚ΡŒΡΡ вСса ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠΉ сСти Π² наслСдство ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ поколСниям. Π’ ситуациях, ΠΊΠΎΠ³Π΄Π° ΠΌΡ‹ Π½Π΅ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½Π½ΠΎΠΉ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΉ связи ΠΎΡ‚ ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅ΠΉ срСды, β€” Π° ΠΏΡ€ΠΈ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΈ ΠΌΠ½ΠΎΠ³ΠΈΡ… Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡, связанных с RL, ΠΏΠΎΡ‚ΠΎΠΊ Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠΉ вСсьма Ρ€Π°Π·Ρ€Π΅ΠΆΠ΅Π½Π½Ρ‹ΠΉ – ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° прСвращаСтся ΠΈΠ· «отчасти Ρ‡Π΅Ρ€Π½ΠΎΠ³ΠΎ ящика» Π² Β«ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Ρ‡Π΅Ρ€Π½Ρ‹ΠΉ ящик». Π’ Ρ‚Π°ΠΊΠΎΠΌ случаС удаСтся ΡΠ΅Ρ€ΡŒΠ΅Π·Π½ΠΎ ΠΏΠΎΠ²Ρ‹ΡΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ, Ρ‚Π°ΠΊ Ρ‡Ρ‚ΠΎ, бСзусловно, Ρ‚Π°ΠΊΠΎΠΉ компромисс ΠΎΠΏΡ€Π°Π²Π΄Π°Π½. Β«ΠšΠΎΠΌΡƒ Π½ΡƒΠΆΠ½Ρ‹ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹, Ссли ΠΎΠ½ΠΈ всС Ρ€Π°Π²Π½ΠΎ Π±Π΅Π·Π½Π°Π΄Π΅ΠΆΠ½ΠΎ Π·Π°ΡˆΡƒΠΌΠ»Π΅Π½Ρ‹?Β» β€” Ρ‚Π°ΠΊΠΎΠ²ΠΎ ΠΎΠ±Ρ‰Π΅Π΅ ΠΌΠ½Π΅Π½ΠΈΠ΅.

Однако, Π² ситуациях, ΠΊΠΎΠ³Π΄Π° обратная связь Π±ΠΎΠ»Π΅Π΅ активная, Π΄Π΅Π»Π° Ρƒ Π­Π‘ Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‚ Ρ€Π°Π·Π»Π°ΠΆΠΈΠ²Π°Ρ‚ΡŒΡΡ. Команда OpenAI описываСт, ΠΊΠ°ΠΊ ΠΏΡ€ΠΈ ΠΏΠΎΠΌΠΎΡ‰ΠΈ Π­Π‘ Π±Ρ‹Π»Π° ΠΎΠ±ΡƒΡ‡Π΅Π½Π° простая классификационная ΡΠ΅Ρ‚ΡŒ MNIST, ΠΈ Π½Π° этот Ρ€Π°Π· ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΎΡˆΠ»ΠΎ Π² 1000 Ρ€Π°Π· ΠΌΠ΅Π΄Π»Π΅Π½Π½Π΅Π΅. Π”Π΅Π»ΠΎ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ сигнал ΠΏΡ€ΠΈ классификации ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΠ²Π΅Π½ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒ ΡΠ΅Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ качСствСнной классификации. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° связана Π½Π΅ ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ с ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΈΠΊΠΎΠΉ RL, сколько с Ρ€Π°Π·Ρ€Π΅ΠΆΠ΅Π½Π½Ρ‹ΠΌΠΈ вознаграТдСниями Π² окруТСниях, Π΄Π°ΡŽΡ‰ΠΈΡ… Π·Π°ΡˆΡƒΠΌΠ»Π΅Π½Π½Ρ‹Π΅ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹.

РСшСниС, Π½Π°ΠΉΠ΄Π΅Π½Π½ΠΎΠ΅ ΠΏΡ€ΠΈΡ€ΠΎΠ΄ΠΎΠΉ

Если ΠΏΡ‹Ρ‚Π°Ρ‚ΡŒΡΡ ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΏΡ€ΠΈΡ€ΠΎΠ΄Ρ‹, продумывая способы Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ИИ, Ρ‚ΠΎ Π² Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… случаях ИИ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΠΊΠ°ΠΊ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ½ΠΎ-ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄. Π’ ΠΊΠΎΠ½Ρ†Π΅ ΠΊΠΎΠ½Ρ†ΠΎΠ², ΠΏΡ€ΠΈΡ€ΠΎΠ΄Π° дСйствуСт Π² Ρ€Π°ΠΌΠΊΠ°Ρ… Ρ‚Π°ΠΊΠΈΡ… ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ просто Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ ΡƒΡ‡Π΅Π½Ρ‹Π΅-ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΠΊΠΈ. БущСствуСт ΠΌΠ½Π΅Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ чисто тСорСтичСский ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΊ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ Ρ‚ΠΎΠΉ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠΉ Π·Π°Π΄Π°Ρ‡ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ Π΄Π°Π²Π°Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ эффСктивныС Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ, Ρ‡Π΅ΠΌ эмпиричСскиС Π°Π»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Ρ‹. Π’Π΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅, я всС-Ρ‚Π°ΠΊΠΈ ΡΡ‡ΠΈΡ‚Π°ΡŽ, Ρ‡Ρ‚ΠΎ Π±Ρ‹Π»ΠΎ Π±Ρ‹ цСлСсообразно ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊ динамичСская систСма, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‰Π°Ρ Π² условиях ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ (ЗСмля) сформировала Π°Π³Π΅Π½Ρ‚ΠΎΠ² (ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ…, Π² частности, ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰ΠΈΡ…), способных ΠΊ Π³ΠΈΠ±ΠΊΠΎΠΌΡƒ ΠΈ слоТному повСдСнию. Π’ Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠ· этих ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ Π½Π΅ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌΡ‹ Π² смодСлированных ΠΌΠΈΡ€Π°Ρ… Π½Π°ΡƒΠΊΠΈ ΠΎ Π΄Π°Π½Π½Ρ‹Ρ…, Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΊΠ°ΠΊ Ρ€Π°Π· ΠΎΡ‡Π΅Π½ΡŒ Ρ…ΠΎΡ€ΠΎΡˆΠΈ.

РассмотрСв ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰ΠΈΡ…, ΠΌΡ‹ Π²ΠΈΠ΄ΠΈΠΌ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ΠΎ формируСтся Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅ слоТного взаимовлияния Π΄Π²ΡƒΡ… тСсно взаимосвязанных процСссов: обучСния Π½Π° Ρ‡ΡƒΠΆΠΎΠΌ ΠΎΠΏΡ‹Ρ‚Π΅ ΠΈ обучСния Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅. ΠŸΠ΅Ρ€Π²ΠΎΠ΅ часто отоТдСствляСтся с ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠ΅ΠΉ, обусловлСнной СстСствСнным ΠΎΡ‚Π±ΠΎΡ€ΠΎΠΌ, Π½ΠΎ здСсь я ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽ Π±ΠΎΠ»Π΅Π΅ ΡˆΠΈΡ€ΠΎΠΊΠΈΠΉ Ρ‚Π΅Ρ€ΠΌΠΈΠ½, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΡ‡Π΅ΡΡ‚ΡŒ эпигСнСтику, ΠΌΠΈΠΊΡ€ΠΎΠ±ΠΈΠΎΠΌΡ‹ ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΠ΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹, ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ ΠΎΠ±ΠΌΠ΅Π½ ΠΎΠΏΡ‹Ρ‚ΠΎΠΌ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΌΠ°ΠΌΠΈ, Π½Π΅ родствСнными Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Ρƒ с гСнСтичСской Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния. Π’Ρ‚ΠΎΡ€ΠΎΠΉ процСсс, ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅ – это вся информация, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ΅ успСваСт ΡƒΡΠ²ΠΎΠΈΡ‚ΡŒ Π½Π° протяТСнии ΠΆΠΈΠ·Π½ΠΈ, ΠΈ данная информация нСпосрСдствСнно обусловлСна взаимодСйствиСм этого ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ³ΠΎ с ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰ΠΈΠΌ ΠΌΠΈΡ€ΠΎΠΌ. К Π΄Π°Π½Π½ΠΎΠΉ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ относится всС ΠΎΡ‚ обучСния Ρ€Π°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡŽ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² Π΄ΠΎ осваивания ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΈ, присущСй ΡƒΡ‡Π΅Π±Π½ΠΎΠΌΡƒ процСссу.

Π“Ρ€ΡƒΠ±ΠΎ говоря, Π΄Π²Π° этих процСсса, происходящих Π² ΠΏΡ€ΠΈΡ€ΠΎΠ΄Π΅, ΠΌΠΎΠΆΠ½ΠΎ ΡΡ€Π°Π²Π½ΠΈΡ‚ΡŒ с двумя Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π°ΠΌΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй. Π­Π²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии, Π³Π΄Π΅ информация ΠΎ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°Ρ… ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для обновлСния ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΎΠ± ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΌΠ΅, ΡΠ±Π»ΠΈΠΆΠ°ΡŽΡ‚ΡΡ с ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ΠΌ Π½Π° Ρ‡ΡƒΠΆΠΎΠΌ ΠΎΠΏΡ‹Ρ‚Π΅. Аналогично, Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, Π³Π΄Π΅ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ Ρ‚ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ ΠΈΠ½ΠΎΠ³ΠΎ ΠΎΠΏΡ‹Ρ‚Π° ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ Ρ‚Π΅ΠΌ ΠΈΠ»ΠΈ ΠΈΠ½Ρ‹ΠΌ измСнСниям Π² ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠΈ Π°Π³Π΅Π½Ρ‚Π°, сравнимы с ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ΠΌ Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅. Если Π·Π°Π΄ΡƒΠΌΠ°Ρ‚ΡŒΡΡ ΠΎ разновидностях ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ повСдСния ΠΈΠ»ΠΈ ΠΎ способностях, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ€Π°Π·Π²ΠΈΠ²Π°Π΅Ρ‚ Ρƒ ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ… ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· Π΄Π²ΡƒΡ… этих ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠ², Ρ‚Π°ΠΊΠΎΠ΅ сравнСниС получаСтся Π±ΠΎΠ»Π΅Π΅ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½Π½Ρ‹ΠΌ. Π’ ΠΎΠ±ΠΎΠΈΡ… случаях Β«ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹Β» ΡΠΏΠΎΡΠΎΠ±ΡΡ‚Π²ΡƒΡŽΡ‚ ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΡŽ Ρ€Π΅Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ΠΎΠ² повСдСния, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΡ… Ρ€Π°Π·Π²ΠΈΡ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½ΡƒΡŽ ΠΏΡ€ΠΈΡΠΏΠΎΡΠΎΠ±Π»Π΅Π½Π½ΠΎΡΡ‚ΡŒ (Π΄ΠΎΡΡ‚Π°Ρ‚ΠΎΡ‡Π½ΡƒΡŽ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΡΡ‚Π°Ρ‚ΡŒΡΡ Π² ΠΆΠΈΠ²Ρ‹Ρ…). ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Ρ…ΠΎΠ΄ΡŒΠ±Π΅ ΠΈΠ»ΠΈ бСгству ΠΈΠ· ΠΏΠ»Π΅Π½Π° Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… случаях эквивалСнтно Π±ΠΎΠ»Π΅Π΅ «инстинктивным» Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π°ΠΌ повСдСния, «ТСстко ΠΏΡ€ΠΎΡˆΠΈΡ‚Ρ‹ΠΌΒ» Ρƒ ΠΌΠ½ΠΎΠ³ΠΈΡ… ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ… Π½Π° гСнСтичСском ΡƒΡ€ΠΎΠ²Π½Π΅. ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, Π΄Π°Π½Π½Ρ‹ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€ΠΆΠ΄Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌΡ‹ Π² случаях, ΠΊΠΎΠ³Π΄Π° сигнал-Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ поступаСт ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π΅Π΄ΠΊΠΎ (Ρ‚Π°ΠΊΠΎΠ², Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Ρ„Π°ΠΊΡ‚ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎΠ³ΠΎ воспитания Π΄Π΅Ρ‚Π΅Π½Ρ‹ΡˆΠ°). Π’ ΠΏΠΎΠ΄ΠΎΠ±Π½ΠΎΠΌ случаС Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ соотнСсти Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ с ΠΊΠ°ΠΊΠΈΠΌ-Ρ‚ΠΎ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌ Π½Π°Π±ΠΎΡ€ΠΎΠΌ дСйствий, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅, Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΡΠΎΠ²Π΅Ρ€ΡˆΠ°Π»ΠΈΡΡŒ Π·Π° ΠΌΠ½ΠΎΠ³ΠΎ Π»Π΅Ρ‚ Π΄ΠΎ наступлСния этого Ρ„Π°ΠΊΡ‚Π°. Π‘ Π΄Ρ€ΡƒΠ³ΠΎΠΉ стороны, Ссли Ρ€Π°ΡΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ случай, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π­Π‘ ΠΎΡ‚ΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚, Π° ΠΈΠΌΠ΅Π½Π½ΠΎ – ΠΊΠ»Π°ΡΡΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡŽ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ, Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π±ΡƒΠ΄ΡƒΡ‚ Π·Π°ΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ сопоставимы с ΠΈΡ‚ΠΎΠ³Π°ΠΌΠΈ обучСния ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ…, достигнутыми Π² Ρ…ΠΎΠ΄Π΅ бСсчислСнных бихСвиористских психологичСских экспСримСнтах, ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½Π½Ρ‹Ρ… Π·Π° 100 с лишним Π»Π΅Ρ‚.

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Ρƒ ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ…

ΠœΠ΅Ρ‚ΠΎΠ΄Ρ‹, примСняСмыС ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… случаях взяты нСпосрСдствСнно ΠΈΠ· психологичСской Π»ΠΈΡ‚Π΅Ρ€Π°Ρ‚ΡƒΡ€Ρ‹ ΠΎΠ± ΠΎΠΏΠ΅Ρ€Π°Π½Ρ‚Π½ΠΎΠΌ обусловливании, Π° ΠΎΠΏΠ΅Ρ€Π°Π½Ρ‚Π½ΠΎΠ΅ обусловливаниС исслСдовалось Π½Π° ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ психологии ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ…. ΠšΡΡ‚Π°Ρ‚ΠΈ, Π ΠΈΡ‡Π°Ρ€Π΄ Π‘Π°Ρ‚Ρ‚ΠΎΠ½, ΠΎΠ΄ΠΈΠ½ ΠΈΠ· Π΄Π²ΡƒΡ… основатСлСй обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, ΠΈΠΌΠ΅Π΅Ρ‚ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ Π±Π°ΠΊΠ°Π»Π°Π²Ρ€Π° ΠΏΠΎ психологии. Π’ контСкстС ΠΎΠΏΠ΅Ρ€Π°Π½Ρ‚Π½ΠΎΠ³ΠΎ обусловливания ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Π΅ учатся Π°ΡΡΠΎΡ†ΠΈΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ ΠΈΠ»ΠΈ Π½Π°ΠΊΠ°Π·Π°Π½ΠΈΠ΅ с ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌΠΈ повСдСнчСскими ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Π°ΠΌΠΈ. ДрСссировщики ΠΈ исслСдоватСли ΠΌΠΎΠ³ΡƒΡ‚ Ρ‚Π΅ΠΌ ΠΈΠ»ΠΈ ΠΈΠ½Ρ‹ΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΌΠ°Π½ΠΈΠΏΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΎΠΉ ассоциациСй с Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ, провоцируя ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ… Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡΠΎΠΎΠ±Ρ€Π°Π·ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ ΠΈΠ»ΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Π΅ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹ повСдСния. Однако, ΠΎΠΏΠ΅Ρ€Π°Π½Ρ‚Π½ΠΎΠ΅ обусловливаниС, примСняСмоС ΠΏΡ€ΠΈ исслСдовании ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ… – Π½ΠΈ Ρ‡Ρ‚ΠΎ ΠΈΠ½ΠΎΠ΅, ΠΊΠ°ΠΊ Π±ΠΎΠ»Π΅Π΅ выраТСнная Ρ„ΠΎΡ€ΠΌΠ° Ρ‚ΠΎΠ³ΠΎ самого обусловливания, Π½Π° Π±Π°Π·Π΅ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Π΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‚ΡΡ Π² Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠ΅ всСй ΠΆΠΈΠ·Π½ΠΈ. ΠœΡ‹ постоянно ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ ΠΎΡ‚ ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅ΠΉ срСды сигналы ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ подкрСплСния ΠΈ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΡƒΠ΅ΠΌ нашС ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅. Π’ самом Π΄Π΅Π»Π΅, ΠΌΠ½ΠΎΠ³ΠΈΠ΅ Π½Π΅ΠΉΡ€ΠΎΡ„ΠΈΠ·ΠΈΠΎΠ»ΠΎΠ³ΠΈ ΠΈ когнитивисты ΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚, Ρ‡Ρ‚ΠΎ Π½Π° самом Π΄Π΅Π»Π΅ люди ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Π΅ Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ Π΄Π°ΠΆΠ΅ Π½Π° ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ Π²Ρ‹ΡˆΠ΅ ΠΈ постоянно учатся ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ своСго повСдСния Π² Π±ΡƒΠ΄ΡƒΡ‰ΠΈΡ… ситуациях, рассчитывая Π½Π° ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠ΅ Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ Ρ€ΠΎΠ»ΡŒ прогнозирования ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅ самым сущСствСнным ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ мСняСт Π²Ρ‹ΡˆΠ΅ΠΎΠΏΠΈΡΠ°Π½Π½ΡƒΡŽ Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΡƒ. Π’ΠΎΡ‚ сигнал, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Ρ€Π°Π½Π΅Π΅ считался вСсьма Ρ€Π°Π·Ρ€Π΅ΠΆΠ΅Π½Π½Ρ‹ΠΌ (эпизодичСскоС Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅) оказываСтся ΠΎΡ‡Π΅Π½ΡŒ ΠΏΠ»ΠΎΡ‚Π½Ρ‹ΠΌ. ВСорСтичСски ситуация ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ Ρ‚Π°ΠΊΠΎΠ²Π°: Π² ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ ΠΌΠΎΠ·Π³ ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰Π΅Π³ΠΎ просчитываСт Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π½Π° основании слоТного ΠΏΠΎΡ‚ΠΎΠΊΠ° сСнсорных стимулов ΠΈ дСйствий, Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ΅ просто ΠΏΠΎΠ³Ρ€ΡƒΠΆΠ΅Π½ΠΎ Π² этот ΠΏΠΎΡ‚ΠΎΠΊ. Π’ Ρ‚Π°ΠΊΠΎΠΌ случаС ΠΈΡ‚ΠΎΠ³ΠΎΠ²ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ³ΠΎ Π΄Π°Π΅Ρ‚ ΠΏΠ»ΠΎΡ‚Π½Ρ‹ΠΉ сигнал, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ приходится Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒΡΡ ΠΏΡ€ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΎΠ² ΠΈ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠΈ повСдСния. ВсС эти сигналы ΠΌΠΎΠ·Π³ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·Ρ‹ (ΠΈ, соотвСтствСнно, качСство ΡΠΎΠ²Π΅Ρ€ΡˆΠ°Π΅ΠΌΡ‹Ρ… дСйствий) Π² дальнСйшСм. ΠžΠ±Π·ΠΎΡ€ этого ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° даСтся Π² ΠΎΡ‚Π»ΠΈΡ‡Π½ΠΎΠΉ ΠΊΠ½ΠΈΠ³Π΅ β€œSurfing Uncertainty” когнитивиста ΠΈ философа Π­Π½Π΄ΠΈ ΠšΠ»Π°Ρ€ΠΊΠ°. Если ΡΠΊΡΡ‚Ρ€Π°ΠΏΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΈΠ΅ рассуТдСния Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ искусствСнных Π°Π³Π΅Π½Ρ‚ΠΎΠ², Ρ‚ΠΎ Π² ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ обнаруТиваСтся Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹ΠΉ нСдостаток: ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹ΠΉ Π² этой ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΠ΅ сигнал оказываСтся Π±Π΅Π·Π½Π°Π΄Π΅ΠΆΠ½ΠΎ слаб ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Ρ‚Π΅ΠΌ, ΠΊΠ°ΠΊΠΎΠ² ΠΎΠ½ ΠΌΠΎΠ³ Π±Ρ‹ Π±Ρ‹Ρ‚ΡŒ (ΠΈΠ»ΠΈ Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ). Π’ случаях, ΠΊΠΎΠ³Π΄Π° ΠΏΠΎΠ²Ρ‹ΡΠΈΡ‚ΡŒ Π½Π°ΡΡ‹Ρ‰Π΅Π½Π½ΠΎΡΡ‚ΡŒ сигнала Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ (Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΎΠ½ ΠΏΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΡŽ слаб, Π»ΠΈΠ±ΠΎ связан с Π½ΠΈΠ·ΠΊΠΎΡƒΡ€ΠΎΠ²Π½Π΅Π²ΠΎΠΉ Ρ€Π΅Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ) – вСроятно, Π»ΡƒΡ‡ΡˆΠ΅ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡Π΅ΡΡ‚ΡŒ Ρ‚Π°ΠΊΠΎΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ обучСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Ρ…ΠΎΡ€ΠΎΡˆΠΎ распараллСливаСтся, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π­Π‘.

Π‘ΠΎΠ»Π΅Π΅ насыщСнноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй

На основС ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΎΠ² Π²Ρ‹ΡΡˆΠ΅ΠΉ Π½Π΅Ρ€Π²Π½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, присущих ΠΌΠΎΠ·Π³Ρƒ ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰ΠΈΡ…, постоянно занятому ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ, Π² послСднСС врСмя ΡƒΠ΄Π°Π»ΠΎΡΡŒ Π΄ΠΎΠ±ΠΈΡ‚ΡŒΡΡ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… успСхов Π² ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Π΅Ρ‚ Π²Π°ΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ‚Π°ΠΊΠΈΡ… ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΎΠ². Π‘ Ρ…ΠΎΠ΄Ρƒ ΠΌΠΎΠ³Ρƒ ΠΏΠΎΡ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Ρ‚ΡŒ Π²Π°ΠΌ Π΄Π²Π΅ ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Π΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹:

Π’ ΠΎΠ±Π΅ΠΈΡ… этих ΡΡ‚Π°Ρ‚ΡŒΡΡ… Π°Π²Ρ‚ΠΎΡ€Ρ‹ Π΄ΠΎΠΏΠΎΠ»Π½ΡΡŽΡ‚ Ρ‚ΠΈΠΏΠΈΡ‡Π½ΡƒΡŽ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΡƒ своих Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‰ΡƒΡŽ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ, Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°ΠΌΠΈ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΎΠ², ΠΊΠ°ΡΠ°ΡŽΡ‰ΠΈΠΌΠΈΡΡ состояния ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅ΠΉ срСды Π² Π±ΡƒΠ΄ΡƒΡ‰Π΅ΠΌ. Π’ ΠΏΠ΅Ρ€Π²ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ примСняСтся ΠΊ мноТСству ΠΈΠ·ΠΌΠ΅Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…, Π° Π²ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΉ – ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ Π² ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠΈ Π°Π³Π΅Π½Ρ‚Π° ΠΊΠ°ΠΊ Ρ‚Π°ΠΊΠΎΠ²ΠΎΠ³ΠΎ. Π’ ΠΎΠ±ΠΎΠΈΡ… случаях Ρ€Π°Π·Ρ€Π΅ΠΆΠ΅Π½Π½Ρ‹ΠΉ сигнал, связанный с ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, становится Π³ΠΎΡ€Π°Π·Π΄ΠΎ Π±ΠΎΠ»Π΅Π΅ насыщСнным ΠΈ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΈΠ²Π½Ρ‹ΠΌ, обСспСчивая ΠΊΠ°ΠΊ ускорСнноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, Ρ‚Π°ΠΊ ΠΈ усвоСниС Π±ΠΎΠ»Π΅Π΅ слоТных повСдСнчСских ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. ΠŸΠΎΠ΄ΠΎΠ±Π½Ρ‹Π΅ ΡƒΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½ΡΡ‚Π²ΠΎΠ²Π°Π½ΠΈΡ доступны Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΡ€ΠΈ Ρ€Π°Π±ΠΎΡ‚Π΅ с ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠΌΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ сигнал, Π½ΠΎ Π½Π΅ с ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ, Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ ΠΏΠΎ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΡƒ Β«Ρ‡Π΅Ρ€Π½ΠΎΠ³ΠΎ ящика», ΠΊΠ°ΠΊ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π­Π‘.

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅ ΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ – Π³ΠΎΡ€Π°Π·Π΄ΠΎ эффСктивнСС. Π”Π°ΠΆΠ΅ Π² Ρ‚Π΅Ρ… случаях, ΠΊΠΎΠ³Π΄Π° ΠΈΠ·ΡƒΡ‡ΠΈΡ‚ΡŒ Ρ‚Ρƒ ΠΈΠ»ΠΈ ΠΈΠ½ΡƒΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π­Π‘ ΡƒΠ΄Π°Π²Π°Π»ΠΎΡΡŒ быстрСС, Π½Π΅ΠΆΠ΅Π»ΠΈ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ обучСния с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Ρˆ достигался Π·Π° счСт Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ Π² Π­Π‘-стратСгии Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Π»ΠΎΡΡŒ Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΎ Ρ€Π°Π· большС Π΄Π°Π½Π½Ρ‹Ρ…, Ρ‡Π΅ΠΌ ΠΏΡ€ΠΈ RL. Π Π°Π·ΠΌΡ‹ΡˆΠ»ΡΡ Π² Π΄Π°Π½Π½ΠΎΠΌ случаС ΠΎ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°Ρ… обучСния Ρƒ ΠΆΠΈΠ²ΠΎΡ‚Π½Ρ‹Ρ…, ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΠΌ, Ρ‡Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ обучСния Π½Π° Ρ‡ΡƒΠΆΠΎΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ проявляСтся спустя мноТСство ΠΏΠΎΠΊΠΎΠ»Π΅Π½ΠΈΠΉ, Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ ΠΏΠΎΡ€ΠΎΠΉ достаточно СдинствСнного события, ΠΏΠ΅Ρ€Π΅ΠΆΠΈΡ‚ΠΎΠ³ΠΎ Π½Π° собствСнном ΠΎΠΏΡ‹Ρ‚Π΅, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ΅ навсСгда усвоило ΡƒΡ€ΠΎΠΊ. Π’ Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ ΠΏΠΎΠ΄ΠΎΠ±Π½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² ΠΏΠΎΠΊΠ° Π½Π΅ Π²ΠΏΠΎΠ»Π½Π΅ вписываСтся Π² Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, ΠΎΠ½ΠΎ Π³ΠΎΡ€Π°Π·Π΄ΠΎ Π΄ΠΎΡ…ΠΎΠ΄Ρ‡ΠΈΠ²Π΅Π΅, Ρ‡Π΅ΠΌ Π­Π‘. Π•ΡΡ‚ΡŒ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Ρ‚Π°ΠΊΠΈΠ΅ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹, ΠΊΠ°ΠΊ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹ΠΉ эпизодичСский ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ, Π³Π΄Π΅ Q-значСния ΡΠΎΡ…Ρ€Π°Π½ΡΡŽΡ‚ΡΡ Π² процСссС обучСния, послС Ρ‡Π΅Π³ΠΎ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ° свСряСтся с Π½ΠΈΠΌΠΈ ΠΏΠ΅Ρ€Π΅Π΄ Ρ‚Π΅ΠΌ, ΠΊΠ°ΠΊ ΡΠΎΠ²Π΅Ρ€ΡˆΠ°Ρ‚ΡŒ дСйствия. ΠŸΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ΡΡ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ Π·Π°Π΄Π°Ρ‡ Π³ΠΎΡ€Π°Π·Π΄ΠΎ быстрСС, Ρ‡Π΅ΠΌ Ρ€Π°Π½Π΅Π΅. Π’ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΎ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΌ эпизодичСском ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π΅ Π°Π²Ρ‚ΠΎΡ€Ρ‹ ΡƒΠΏΠΎΠΌΠΈΠ½Π°ΡŽΡ‚ чСловСчСский Π³ΠΈΠΏΠΏΠΎΠΊΠ°ΠΌΠΏ, способный ΡΠΎΡ…Ρ€Π°Π½ΡΡ‚ΡŒ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΎ событии Π΄Π°ΠΆΠ΅ послС Π΅Π΄ΠΈΠ½ΠΎΠΆΠ΄Ρ‹ ΠΏΠ΅Ρ€Π΅ΠΆΠΈΡ‚ΠΎΠ³ΠΎ ΠΎΠΏΡ‹Ρ‚Π° ΠΈ, ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, ΠΈΠ³Ρ€Π°Π΅Ρ‚ критичСски Π²Π°ΠΆΠ½ΡƒΡŽ Ρ€ΠΎΠ»ΡŒ Π² процСссС вспоминания. Π’Π°ΠΊΠΈΠ΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ доступа ΠΊ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½Π΅ΠΉ ΠΎΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°Π³Π΅Π½Ρ‚Π°, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΡŽ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Π² ΠΏΠ°Ρ€Π°Π΄ΠΈΠ³ΠΌΠ΅ Π­Π‘.

Π˜Ρ‚Π°ΠΊ, ΠΏΠΎΡ‡Π΅ΠΌΡƒ Π±Ρ‹ ΠΈΡ… Π½Π΅ ΡΠΎΠ²ΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ?

ВСроятно, большая Ρ‡Π°ΡΡ‚ΡŒ этой ΡΡ‚Π°Ρ‚ΡŒΠΈ ΠΌΠΎΠ³Π»Π° ΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ Ρ‚Π°ΠΊΠΎΠ΅ Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»Π΅Π½ΠΈΠ΅, ΠΊΠ°ΠΊ Π±ΡƒΠ΄Ρ‚ΠΎ Π² Π½Π΅ΠΉ я ΠΎΡ‚ΡΡ‚Π°ΠΈΠ²Π°ΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ RL. Однако, Π½Π° самом Π΄Π΅Π»Π΅ я ΡΡ‡ΠΈΡ‚Π°ΡŽ, Ρ‡Ρ‚ΠΎ Π² долгосрочной пСрспСктивС Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠΈΠΌ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ Π±ΡƒΠ΄Π΅Ρ‚ комбинация ΠΎΠ±ΠΎΠΈΡ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ², Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ использовался Π² Ρ‚Π΅Ρ… ситуациях, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΎΠ½ Π»ΡƒΡ‡ΡˆΠ΅ всСго ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΈΡ‚. ΠžΡ‡Π΅Π²ΠΈΠ΄Π½ΠΎ, Ρ‡Ρ‚ΠΎ Π² случаС ΠΌΠ½ΠΎΠ³ΠΈΡ… Ρ€Π΅Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊ ΠΈΠ»ΠΈ Π² ситуациях с ΠΎΡ‡Π΅Π½ΡŒ Ρ€Π°Π·Ρ€Π΅ΠΆΠ΅Π½Π½Ρ‹ΠΌΠΈ сигналами ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ подкрСплСния Π­Π‘ Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Π²Π°Π΅Ρ‚, Ρ‚Π΅ΠΌ Π±ΠΎΠ»Π΅Π΅, Ссли Ρƒ вас Π² распоряТСнии Π΅ΡΡ‚ΡŒ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ мощности, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ массово-ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ Π΄Ρ€ΡƒΠ³ΠΎΠΉ стороны, Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈΠ»ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΡƒΡ‡ΠΈΡ‚Π΅Π»Π΅ΠΌ Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹, ΠΊΠΎΠ³Π΄Π° Π½Π°ΠΌ доступна ΠΎΠ±ΡˆΠΈΡ€Π½Π°Ρ обратная связь, Π° Ρ€Π΅ΡˆΠ΅Π½ΠΈΡŽ Π·Π°Π΄Π°Ρ‡ΠΈ трСбуСтся Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ быстро ΠΈ Π½Π° мСньшСм количСствС Π΄Π°Π½Π½Ρ‹Ρ….

ΠžΠ±Ρ€Π°Ρ‚ΠΈΠ²ΡˆΠΈΡΡŒ ΠΊ ΠΏΡ€ΠΈΡ€ΠΎΠ΄Π΅, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠΌ, Ρ‡Ρ‚ΠΎ ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄, Π² сущности, Π·Π°ΠΊΠ»Π°Π΄Ρ‹Π²Π°Π΅Ρ‚ основу для Π²Ρ‚ΠΎΡ€ΠΎΠ³ΠΎ. ИмСнно поэтому Π² Ρ…ΠΎΠ΄Π΅ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΈ ΠΌΠ»Π΅ΠΊΠΎΠΏΠΈΡ‚Π°ΡŽΡ‰ΠΈΠ΅ Ρ€Π°Π·Π²ΠΈΠ»ΠΈ ΠΌΠΎΠ·Π³, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ эффСктивно ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Π½Π° ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ слоТных сигналов, ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰ΠΈΡ… ΠΈΠ· ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅ΠΉ срСды. Π’Π°ΠΊ Ρ‡Ρ‚ΠΎ, вопрос остаСтся ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ. Π’ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ стратСгии ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ Π½Π°ΠΌ изобрСсти эффСктивныС Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ обучСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ ΠΈ для Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² обучСния. Π’Π΅Π΄ΡŒ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅, Π½Π°ΠΉΠ΄Π΅Π½Π½ΠΎΠ΅ ΠΏΡ€ΠΈΡ€ΠΎΠ΄ΠΎΠΉ, Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ вСсьма ΡƒΠ΄Π°Ρ‡Π½ΠΎΠ΅.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com