Π Π°Π±ΠΎΡ‚Π°Π΅ΠΌ с нСйросСтями: Ρ‡Π΅ΠΊ-лист для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ

Π Π°Π±ΠΎΡ‚Π°Π΅ΠΌ с нСйросСтями: Ρ‡Π΅ΠΊ-лист для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ

Код ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹Ρ… ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ² для машинного обучСния часто Π±Ρ‹Π²Π°Π΅Ρ‚ слоТным ΠΈ довольно Π·Π°ΠΏΡƒΡ‚Π°Π½Π½Ρ‹ΠΌ. ΠžΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΈ ликвидация Π±Π°Π³ΠΎΠ² Π² Π½Π΅ΠΌ β€” рСсурсоСмкая Π·Π°Π΄Π°Ρ‡Π°. Π”Π°ΠΆΠ΅ ΠΏΡ€ΠΎΡΡ‚Π΅ΠΉΡˆΠΈΠ΅ нСйросСти с прямой связью Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ ΡΠ΅Ρ€ΡŒΠ΅Π·Π½ΠΎΠ³ΠΎ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° ΠΊ сСтСвой Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅, ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ вСсов, ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ сСти. НСбольшая ошибка ΠΌΠΎΠΆΠ΅Ρ‚ привСсти ΠΊ появлСнию нСприятных ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ.

Π­Ρ‚Π° ΡΡ‚Π°Ρ‚ΡŒΡ посвящСна Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡƒ ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ Π²Π°ΡˆΠΈΡ… Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй.

Skillbox Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅Ρ‚: ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠΉ курс Python-Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊ с нуля.

НапоминаСм: для всСх Ρ‡ΠΈΡ‚Π°Ρ‚Π΅Π»Π΅ΠΉ Β«Π₯Π°Π±Ρ€Π°Β» β€” скидка 10 000 Ρ€ΡƒΠ±Π»Π΅ΠΉ ΠΏΡ€ΠΈ записи Π½Π° любой курс Skillbox ΠΏΠΎ ΠΏΡ€ΠΎΠΌΠΎΠΊΠΎΠ΄Ρƒ Β«Π₯Π°Π±Ρ€Β».

Алгоритм состоит ΠΈΠ· пяти этапов:

  • простой старт;
  • ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€ΠΆΠ΄Π΅Π½ΠΈΠ΅ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ;
  • ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Ρ… Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ² ΠΈ соСдинСний;
  • диагностика ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ²;
  • ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹.

Если Π²Π°ΠΌ Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ каТСтся Π±ΠΎΠ»Π΅Π΅ интСрСсным, Ρ‡Π΅ΠΌ ΠΎΡΡ‚Π°Π»ΡŒΠ½ΠΎΠ΅, ΠΌΠΎΠΆΠ΅Ρ‚Π΅ сразу ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΊ этим Ρ€Π°Π·Π΄Π΅Π»Π°ΠΌ.

ΠŸΡ€ΠΎΡΡ‚ΠΎΠΉ старт

ΠΠ΅ΠΉΡ€ΠΎΠ½Π½ΡƒΡŽ ΡΠ΅Ρ‚ΡŒ со слоТной Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€ΠΎΠΉ, рСгуляризациСй ΠΈ ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠΎΠΌ скорости обучСния Π΄Π΅Π±Π°ΠΆΠΈΡ‚ΡŒ слоТнСС, Ρ‡Π΅ΠΌ ΠΎΠ±Ρ‹Ρ‡Π½ΡƒΡŽ. ΠœΡ‹ Ρ‚ΡƒΡ‚ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ Ρ…ΠΈΡ‚Ρ€ΠΈΠΌ, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ сам ΠΏΡƒΠ½ΠΊΡ‚ ΠΊ ΠΎΡ‚Π»Π°Π΄ΠΊΠ΅ ΠΈΠΌΠ΅Π΅Ρ‚ опосрСдованноС ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠ΅, Π½ΠΎ это всС ΠΆΠ΅ ваТная рСкомСндация.

ΠŸΡ€ΠΎΡΡ‚ΠΎΠΉ старт Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² создании ΡƒΠΏΡ€ΠΎΡ‰Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ Π΅Π΅ Π½Π° ΠΎΠ΄Π½ΠΎΠΌ Π½Π°Π±ΠΎΡ€Π΅ (Ρ‚ΠΎΡ‡ΠΊΠ΅) Π΄Π°Π½Π½Ρ‹Ρ….

Π‘Π½Π°Ρ‡Π°Π»Π° создаСм ΡƒΠΏΡ€ΠΎΡ‰Π΅Π½Π½ΡƒΡŽ модСль

Для быстрого старта создаСм Π½Π΅Π±ΠΎΠ»ΡŒΡˆΡƒΡŽ ΡΠ΅Ρ‚ΡŒ с СдинствСнным скрытым слоСм ΠΈ провСряСм, Ρ‡Ρ‚ΠΎΠ±Ρ‹ всС Ρ€Π°Π±ΠΎΡ‚Π°Π»ΠΎ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ. Π—Π°Ρ‚Π΅ΠΌ постСпСнно услоТняСм модСль, провСряя ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π½ΠΎΠ²Ρ‹ΠΉ аспСкт Π΅Π΅ структуры (Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ слоя, ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π° ΠΈ Ρ‚.ΠΏ.), ΠΈ двигаСмся дальшС.

ΠžΠ±ΡƒΡ‡Π°Π΅ΠΌ модСль Π½Π° СдинствСнном Π½Π°Π±ΠΎΡ€Π΅ (Ρ‚ΠΎΡ‡ΠΊΠ΅) Π΄Π°Π½Π½Ρ‹Ρ…

Π’ качСствС быстрой ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ работоспособности вашСго ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для обучСния ΠΎΠ΄Π½Ρƒ ΠΈΠ»ΠΈ Π΄Π²Π΅ Ρ‚ΠΎΡ‡ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ…, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€Π΄ΠΈΡ‚ΡŒ, ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ Π»ΠΈ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ систСма. НСйронная ΡΠ΅Ρ‚ΡŒ Π΄ΠΎΠ»ΠΆΠ½Π° ΠΏΠΎΠΊΠ°Π·Π°Ρ‚ΡŒ 100% точности обучСния ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ. Если это Π½Π΅ Ρ‚Π°ΠΊ, Ρ‚ΠΎ Π»ΠΈΠ±ΠΎ модСль слишком ΠΌΠ°Π»Π°, Π»ΠΈΠ±ΠΎ Ρƒ вас ΡƒΠΆΠ΅ Π΅ΡΡ‚ΡŒ Π±Π°Π³.

Π”Π°ΠΆΠ΅ Ссли всС Ρ…ΠΎΡ€ΠΎΡˆΠΎ, ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΡŒΡ‚Π΅ модСль ΠΊ ΠΏΡ€ΠΎΡ…ΠΎΠ΄Ρƒ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… эпох ΠΏΡ€Π΅ΠΆΠ΄Π΅, Ρ‡Π΅ΠΌ ΠΈΠ΄Ρ‚ΠΈ дальшС.

ΠžΡ†Π΅Π½ΠΊΠ° ΠΏΠΎΡ‚Π΅Ρ€ΡŒ

ΠžΡ†Π΅Π½ΠΊΠ° ΠΏΠΎΡ‚Π΅Ρ€ΡŒ β€” основной способ ΡƒΡ‚ΠΎΡ‡Π½ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π’Π°ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ потСря соотвСтствуСт Π·Π°Π΄Π°Ρ‡Π΅, Π° Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΎΡ†Π΅Π½ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΠΏΠΎ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠΉ шкалС. Если Π²Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ большС ΠΎΠ΄Π½ΠΎΠ³ΠΎ Ρ‚ΠΈΠΏΠ° ΠΏΠΎΡ‚Π΅Ρ€ΡŒ, Ρ‚ΠΎ ΡƒΠ±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ всС ΠΎΠ½ΠΈ ΠΎΠ΄Π½ΠΎΠ³ΠΎ порядка ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½Ρ‹.

Π’Π°ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ Π²Π½ΠΈΠΌΠ°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ ΠΊ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹ΠΌ потСрям. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡŒΡ‚Π΅, насколько Π±Π»ΠΈΠ·ΠΎΠΊ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ ΠΊ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌΠΎΠΌΡƒ, Ссли модСль стартовала со случайного прСдполоТСния. Π’ Ρ€Π°Π±ΠΎΡ‚Π΅ АндрСя ΠšΠ°Ρ€ΠΏΠ°Ρ‚ΠΈ прСдлагаСтся ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅: Β«Π£Π±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ, Ρ‡Ρ‚ΠΎ Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚, ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌΡ‹ΠΉ ΠΏΡ€ΠΈ Π½Π°Ρ‡Π°Π»Π΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с нСбольшим числом ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Π›ΡƒΡ‡ΡˆΠ΅ сразу ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ ΠΏΠΎΡ‚Π΅Ρ€ΡŽ Π΄Π°Π½Π½Ρ‹Ρ… (с установкой стСпСни рСгуляризации Π½Π° ноль). К ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρƒ, для CIFAR-10 с классификатором Softmax ΠΌΡ‹ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌ, Ρ‡Ρ‚ΠΎ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΏΠΎΡ‚Π΅Ρ€ΠΈ Π±ΡƒΠ΄ΡƒΡ‚ 2.302, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ оТидаСмая диффузная Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ составляСт 0,1 для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ класса (Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ сущСствуСт 10 классов), Π° потСря Softmax являСтся ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ логарифмичСской Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠ³ΠΎ класса ΠΊΠ°ΠΊ –ln (0.1) = 2.302Β».

Для Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° просто дСлаСтся Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹ΠΉ расчСт для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· классов. Π’ΠΎΡ‚, ΠΊ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρƒ, Π΄Π°Π½Π½Ρ‹Π΅: 20% 0’s ΠΈ 80% 1’s. ОТидаСмая Π½Π°Ρ‡Π°Π»ΡŒΠ½Π°Ρ потСря составит Π΄ΠΎ –0,2ln (0,5) –0,8ln (0,5) = 0,693147. Если Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ большС 1, это ΠΌΠΎΠΆΠ΅Ρ‚ ΡƒΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ вСса нСйросСти Π½Π΅ сбалансированы Π΄ΠΎΠ»ΠΆΠ½Ρ‹ΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΈΠ»ΠΈ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π½Ρ‹.

ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡΠ΅ΠΌ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΈ соСдинСния

Для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ нСйросСти Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΡƒ процСссов Π²Π½ΡƒΡ‚Ρ€ΠΈ сСти ΠΈ Ρ€ΠΎΠ»ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Ρ… слоСв, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΎΠ½ΠΈ связаны. Π’ΠΎΡ‚ Ρ‚ΠΈΠΏΠΈΡ‡Π½Ρ‹Π΅ ошибки, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΡ‚ΠΎΠ»ΠΊΠ½ΡƒΡ‚ΡŒΡΡ:

  • Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Π΅ выраТСния для ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°;
  • Π½Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ обновлСния вСса;
  • ΠΈΡΡ‡Π΅Π·Π°ΡŽΡ‰ΠΈΠ΅ ΠΈΠ»ΠΈ Π²Π·Ρ€Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ΡΡ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹ (exploding gradients).

Если значСния Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π° Π½ΡƒΠ»Π΅Π²Ρ‹Π΅, это ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ обучСния Π² ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ‚ΠΎΡ€Π΅ слишком ΠΌΠ°Π»Π°, Π»ΠΈΠ±ΠΎ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ Π²Ρ‹ ΡΡ‚ΠΎΠ»ΠΊΠ½ΡƒΠ»ΠΈΡΡŒ с Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½Ρ‹ΠΌ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ΠΌ для обновлСния Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°.

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠ»Π΅Π΄ΠΈΡ‚ΡŒ Π·Π° значСниями Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΉ, вСсов ΠΈ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· слоСв. К ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρƒ, Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² (вСсов ΠΈ смСщСний) Π΄ΠΎΠ»ΠΆΠ½Π° ΡΠΎΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ 1-e3.

БущСствуСт явлСниС, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΎ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ β€œDying ReLU” ΠΈΠ»ΠΈ Β«ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° ΠΈΡΡ‡Π΅Π·Π°ΡŽΡ‰Π΅Π³ΠΎ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°Β», ΠΊΠΎΠ³Π΄Π° Π½Π΅ΠΉΡ€ΠΎΠ½Ρ‹ ReLU Π±ΡƒΠ΄ΡƒΡ‚ Π²Ρ‹Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ноль послС изучСния большого ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ значСния (bias) смСщСния для Π΅Π³ΠΎ вСсов. Π­Ρ‚ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Ρ‹ большС Π½ΠΈΠΊΠΎΠ³Π΄Π° Π½Π΅ Π°ΠΊΡ‚ΠΈΠ²ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½ΠΈ Π² ΠΎΠ΄Π½ΠΎΠΌ мСстС Π΄Π°Π½Π½Ρ‹Ρ….

Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π° для выявлСния этих ошибок ΠΏΡƒΡ‚Π΅ΠΌ аппроксимации Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π° с использованиСм числСнного ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π°. Если ΠΎΠ½ Π±Π»ΠΈΠ·ΠΎΠΊ ΠΊ рассчитанным Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°ΠΌ, Ρ‚ΠΎ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ΅ распространСниС Π±Ρ‹Π»ΠΎ Ρ€Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ. Π§Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°, ΠΎΠ·Π½Π°ΠΊΠΎΠΌΡŒΡ‚Π΅ΡΡŒ с этими Π·Π°ΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ рСсурсами ΠΈΠ· CS231 здСсь ΠΈ здСсь, Π° Ρ‚Π°ΠΊΠΆΠ΅ с ΡƒΡ€ΠΎΠΊΠΎΠΌ Π­Π½Π΄Ρ€ΡŽ Π«Π½Π° (Andrew Nga) ΠΏΠΎ этой Ρ‚Π΅ΠΌΠ΅.

Π€Π°ΠΉΠ·Π°Π½ Π¨Π΅ΠΉΡ… ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Ρ‚Ρ€ΠΈ Π³Π»Π°Π²Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ нСйросСти:

  • ΠŸΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ β€” простыС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ Π½Π°ΠΌ ΠΎΠ±Ρ‰ΡƒΡŽ структуру ΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ. Они Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Π²Ρ‹Π²ΠΎΠ΄ Ρ„ΠΎΡ€ΠΌ ΠΈΠ»ΠΈ Ρ„ΠΈΠ»ΡŒΡ‚Ρ€ΠΎΠ² ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… слоСв Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти ΠΈ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΌ слоС.
  • ΠžΡΠ½ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Π½Π° Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ. Π’ Π½ΠΈΡ… ΠΌΡ‹ Ρ€Π°ΡΡˆΠΈΡ„Ρ€ΠΎΠ²Ρ‹Π²Π°Π΅ΠΌ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ² ΠΈΠ»ΠΈ Π³Ρ€ΡƒΠΏΠΏΡ‹ Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ², Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ½ΡΡ‚ΡŒ ΠΈΡ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ.
  • ΠžΡΠ½ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Π½Π° Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°Ρ…. Π­Ρ‚ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΈΠΌΠ΅ΡŽΡ‚ Ρ‚Π΅Π½Π΄Π΅Π½Ρ†ΠΈΡŽ ΠΌΠ°Π½ΠΈΠΏΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°ΠΌΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΈΠ· ΠΏΡ€ΠΎΡ…ΠΎΠ΄Π° Π²ΠΏΠ΅Ρ€Π΅Π΄ ΠΈ Π½Π°Π·Π°Π΄ ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Π²ΠΊΠ»ΡŽΡ‡Π°Ρ ΠΊΠ°Ρ€Ρ‚Ρ‹ значимости ΠΈ ΠΊΠ°Ρ€Ρ‚Ρ‹ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ класса).

Π•ΡΡ‚ΡŒ нСсколько ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Ρ… инструмСнтов для Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΉ ΠΈ соСдинСний ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… слоСв, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ConX ΠΈ Tensorboard.

Π Π°Π±ΠΎΡ‚Π°Π΅ΠΌ с нСйросСтями: Ρ‡Π΅ΠΊ-лист для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ

Диагностика ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ²

Π£ нСйросСтСй масса ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Π·Π°ΠΈΠΌΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ Π΄Ρ€ΡƒΠ³ с Π΄Ρ€ΡƒΠ³ΠΎΠΌ, Ρ‡Ρ‚ΠΎ услоТняСт ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ. БобствСнно, этот Ρ€Π°Π·Π΄Π΅Π» β€” ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚ Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… исслСдований спСциалистов, поэтому прСдлоТСния Π½ΠΈΠΆΠ΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒΡΡ лишь ΠΊΠ°ΠΊ совСты, Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ‚ΠΎΡ‡ΠΊΠΈ, ΠΎΡ‚ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΌΠΎΠΆΠ½ΠΎ ΠΎΡ‚Ρ‚Π°Π»ΠΊΠΈΠ²Π°Ρ‚ΡŒΡΡ.

Π Π°Π·ΠΌΠ΅Ρ€ ΠΏΠ°ΠΊΠ΅Ρ‚Π° (batch size) β€” Ссли Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ€Π°Π·ΠΌΠ΅Ρ€ ΠΏΠ°ΠΊΠ΅Ρ‚Π° Π±Ρ‹Π» достаточно большим для получСния Ρ‚ΠΎΡ‡Π½Ρ‹Ρ… ΠΎΡ†Π΅Π½ΠΎΠΊ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π° ошибки, Π½ΠΎ достаточно ΠΌΠ°Π»Ρ‹ΠΌ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ стохастичСский Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ спуск (SGD) ΠΌΠΎΠ³ ΡƒΠΏΠΎΡ€ΡΠ΄ΠΎΡ‡ΠΈΡ‚ΡŒ Π²Π°ΡˆΡƒ ΡΠ΅Ρ‚ΡŒ. НСбольшиС Ρ€Π°Π·ΠΌΠ΅Ρ€Ρ‹ ΠΏΠ°ΠΊΠ΅Ρ‚ΠΎΠ² ΠΏΡ€ΠΈΠ²Π΅Π΄ΡƒΡ‚ ΠΊ быстрому ΡΡ…ΠΎΠΆΠ΄Π΅Π½ΠΈΡŽ Π·Π° счСт ΡˆΡƒΠΌΠ° Π² процСссС обучСния ΠΈ Π² дальнСйшСм β€” ΠΊ трудностям ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ это описано здСсь.

Π‘ΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ обучСния β€” слишком низкая ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅Ρ‚ ΠΊ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎΠΉ ΠΊΠΎΠ½Π²Π΅Ρ€Π³Π΅Π½Ρ†ΠΈΠΈ ΠΈΠ»ΠΈ риску Π·Π°ΡΡ‚Ρ€ΡΡ‚ΡŒ Π² Π»ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌΠ°Ρ…. Π’ Ρ‚ΠΎ ΠΆΠ΅ врСмя высокая ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ обучСния Π²Ρ‹Π·ΠΎΠ²Π΅Ρ‚ расхоТдСниС ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Π²Ρ‹ рискуСтС Β«ΠΏΡ€Ρ‹Π³Π½ΡƒΡ‚ΡŒΒ» Ρ‡Π΅Ρ€Π΅Π· Π³Π»ΡƒΠ±ΠΎΠΊΡƒΡŽ, Π½ΠΎ ΠΏΡ€ΠΈ этом ΡƒΠ·ΠΊΡƒΡŽ Ρ‡Π°ΡΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΠΈ. ΠŸΠΎΠΏΡ€ΠΎΠ±ΡƒΠΉΡ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ скорости, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ Π΅Π΅ Π² процСссС обучСния нСйросСти. Π’ курсС CS231n Π΅ΡΡ‚ΡŒ большой Ρ€Π°Π·Π΄Π΅Π», посвящСнный этой ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ΅.

Gradient clippingβ€Š β€” ΠΎΠ±Ρ€Π΅Π·ΠΊΠ° Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ΠΎΠ² ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² Π²ΠΎ врСмя ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ распространСния ΠΏΠΎ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ ΠΈΠ»ΠΈ ΠΏΡ€Π΅Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ Π½ΠΎΡ€ΠΌΠ΅. ПолСзно для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с Π»ΡŽΠ±Ρ‹ΠΌΠΈ Π²Π·Ρ€Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΌΠΈΡΡ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°ΠΌΠΈ, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΡ‚ΠΎΠ»ΠΊΠ½ΡƒΡ‚ΡŒΡΡ Π² Ρ‚Ρ€Π΅Ρ‚ΡŒΠ΅ΠΌ ΠΏΡƒΠ½ΠΊΡ‚Π΅.

ΠŸΠ°ΠΊΠ΅Ρ‚Π½Π°Ρ нормализация β€” ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слоя, Ρ‡Ρ‚ΠΎ позволяСт Ρ€Π΅ΡˆΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½Π΅Π³ΠΎ ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ‚Π½ΠΎΠ³ΠΎ сдвига. Если Π²Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ Dropout ΠΈ Batch Norma вмСстС, ΠΎΠ·Π½Π°ΠΊΠΎΠΌΡŒΡ‚Π΅ΡΡŒ с этой ΡΡ‚Π°Ρ‚ΡŒΠ΅ΠΉ.

БтохастичСский Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ спуск (SGD) β€” сущСствуСт нСсколько разновидностСй SGD, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΈΠΌΠΏΡƒΠ»ΡŒΡ, Π°Π΄Π°ΠΏΡ‚ΠΈΠ²Π½Ρ‹Π΅ скорости обучСния ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄ НСстСрова. ΠŸΡ€ΠΈ этом Π½ΠΈ Ρƒ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· Π½ΠΈΡ… Π½Π΅Ρ‚ явного прСимущСства ΠΊΠ°ΠΊ ΠΏΠΎ эффСктивности обучСния, Ρ‚Π°ΠΊ ΠΈ ΠΏΠΎ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΡŽ (подробности здСсь).

РСгуляризация β€” ΠΈΠΌΠ΅Π΅Ρ‚ Ρ€Π΅ΡˆΠ°ΡŽΡ‰Π΅Π΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ для построСния ΠΎΠ±ΠΎΠ±Ρ‰Π°Π΅ΠΌΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ добавляСт ΡˆΡ‚Ρ€Π°Ρ„ Π·Π° ΡΠ»ΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠ»ΠΈ ΡΠΊΡΡ‚Ρ€Π΅ΠΌΠ°Π»ΡŒΠ½Ρ‹Π΅ значСния ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Π­Ρ‚ΠΎ способ ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π±Π΅Π· сущСствСнного увСличСния Π΅Π΅ смСщСния. Π‘ΠΎΠ»Π΅Π΅ подробная информация β€” здСсь.

Π§Ρ‚ΠΎΠ±Ρ‹ самому всС ΠΎΡ†Π΅Π½ΠΈΡ‚ΡŒ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΎΡ‚ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ Ρ€Π΅Π³ΡƒΠ»ΡΡ€ΠΈΠ·Π°Ρ†ΠΈΡŽ ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ ΠΏΠΎΡ‚Π΅Ρ€ΠΈ Π΄Π°Π½Π½Ρ‹Ρ… ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ.

Π’Ρ‹ΠΏΠ°Π΄Π΅Π½ΠΈΠ΅ β€” Π΅Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ ΠΌΠ΅Ρ‚ΠΎΠ΄ упорядочСния вашСй сСти для прСдотвращСния ΠΏΠ΅Ρ€Π΅Π³Ρ€ΡƒΠ·ΠΊΠΈ. Π’ΠΎ врСмя обучСния Π²Ρ‹ΠΏΠ°Π΄Π΅Π½ΠΈΠ΅ осущСствляСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅ΠΌ активности Π½Π΅ΠΉΡ€ΠΎΠ½Π° с Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ p (Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€) ΠΈΠ»ΠΈ установкой Π΅Π³ΠΎ Π½Π° ноль Π² ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΌ случаС. Π’ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅ ΡΠ΅Ρ‚ΡŒ Π΄ΠΎΠ»ΠΆΠ½Π° ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π΄Ρ€ΡƒΠ³ΠΎΠ΅ подмноТСство ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅ΠΉ ΠΏΠ°Ρ€Ρ‚ΠΈΠΈ, Ρ‡Ρ‚ΠΎ ΡƒΠΌΠ΅Π½ΡŒΡˆΠ°Π΅Ρ‚ измСнСния ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ становятся Π΄ΠΎΠΌΠΈΠ½ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠΌΠΈ.

Π’Π°ΠΆΠ½ΠΎ: Ссли Π²Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ ΠΊΠ°ΠΊ Π²Ρ‹ΠΏΠ°Π΄Π΅Π½ΠΈΠ΅, Ρ‚Π°ΠΊ ΠΈ ΠΏΠ°ΠΊΠ΅Ρ‚Π½ΡƒΡŽ Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ, Π±ΡƒΠ΄ΡŒΡ‚Π΅ остороТны с порядком этих ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ с ΠΈΡ… совмСстным использованиСм. ВсС это Π΅Ρ‰Π΅ Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎ обсуТдаСтся ΠΈ дополняСтся. Π’ΠΎΡ‚ Π΄Π²Π΅ Π²Π°ΠΆΠ½Ρ‹Ρ… дискуссии ΠΏΠΎ этой Ρ‚Π΅ΠΌΠ΅ Π½Π° Stackoverflow ΠΈ Arxiv.

ΠšΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ Ρ€Π°Π±ΠΎΡ‚Ρ‹

Π Π΅Ρ‡ΡŒ ΠΈΠ΄Π΅Ρ‚ ΠΎ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΡ… процСссов ΠΈ экспСримСнтов. Если Π½ΠΈΡ‡Π΅Π³ΠΎ Π½Π΅ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, ΠΌΠΎΠΆΠ½ΠΎ Π·Π°Π±Ρ‹Ρ‚ΡŒ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, какая ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ обучСния ΠΈΠ»ΠΈ вСс классов. Благодаря ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŽ ΠΌΠΎΠΆΠ½ΠΎ Π±Π΅Π· ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ ΠΏΡ€ΠΎΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ ΠΈ Π²ΠΎΡΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΠ΅ экспСримСнты. Π­Ρ‚ΠΎ позволяСт ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ количСство Π΄ΡƒΠ±Π»ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ…ΡΡ экспСримСнтов.

ΠŸΡ€Π°Π²Π΄Π°, Ρ€ΡƒΡ‡Π½ΠΎΠ΅ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΡΡ‚Π°Ρ‚ΡŒ слоТной Π·Π°Π΄Π°Ρ‡Π΅ΠΉ Π² случаС большого объСма Ρ€Π°Π±ΠΎΡ‚. Π—Π΄Π΅ΡΡŒ приходят Π½Π° ΠΏΠΎΠΌΠΎΡ‰ΡŒ Ρ‚Π°ΠΊΠΈΠ΅ инструмСнты, ΠΊΠ°ΠΊ Comet.ml, ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‰ΠΈΠ΅ автоматичСски Π»ΠΎΠ³ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π°Π±ΠΎΡ€Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ…, измСнСния ΠΊΠΎΠ΄Π°, ΠΈΡΡ‚ΠΎΡ€ΠΈΡŽ экспСримСнтов ΠΈ производствСнныС ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π²ΠΊΠ»ΡŽΡ‡Π°Ρ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ свСдСния ΠΎ вашСй ΠΌΠΎΠ΄Π΅Π»ΠΈ (Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ свСдСния ΠΎΠ± ΠΎΠΊΡ€ΡƒΠΆΠ΅Π½ΠΈΠΈ).

НСйронная ΡΠ΅Ρ‚ΡŒ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ вСсьма Ρ‡ΡƒΠ²ΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΊ нСбольшим измСнСниям, Π° это ΠΏΡ€ΠΈΠ²Π΅Π΄Π΅Ρ‚ ΠΊ падСнию ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠžΡ‚ΡΠ»Π΅ΠΆΠΈΠ²Π°Π½ΠΈΠ΅ ΠΈ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹ β€” ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ шаг, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ стоит ΠΏΡ€Π΅Π΄ΠΏΡ€ΠΈΠ½ΡΡ‚ΡŒ для стандартизации срСды ΠΈ модСлирования.

Π Π°Π±ΠΎΡ‚Π°Π΅ΠΌ с нСйросСтями: Ρ‡Π΅ΠΊ-лист для ΠΎΡ‚Π»Π°Π΄ΠΊΠΈ

НадСюсь, Ρ‡Ρ‚ΠΎ этот пост смоТСт ΡΡ‚Π°Ρ‚ΡŒ ΠΎΡ‚ΠΏΡ€Π°Π²Π½ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΎΠΉ, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Ρ‹ Π½Π°Ρ‡Π½Π΅Ρ‚Π΅ ΠΎΡ‚Π»Π°Π΄ΠΊΡƒ вашСй нСйросСти.

Skillbox Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅Ρ‚:

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com