МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

НСт, Π½Ρƒ я, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ, Π½Π΅ Π²ΡΠ΅Ρ€ΡŒΠ΅Π·. Π”ΠΎΠ»ΠΆΠ΅Π½ ΠΆΠ΅ Π±Ρ‹Ρ‚ΡŒ ΠΏΡ€Π΅Π΄Π΅Π», Π΄ΠΎ ΠΊΠ°ΠΊΠΎΠΉ стСпСни Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ ΡƒΠΏΡ€ΠΎΡ‰Π°Ρ‚ΡŒ ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚. Но для ΠΏΠ΅Ρ€Π²Ρ‹Ρ… этапов, понимания Π±Π°Π·ΠΎΠ²Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈ быстрого «въСзТания» Π² Ρ‚Π΅ΠΌΡƒ, ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ, ΠΈ допустимо. А ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΏΠΎΠΈΠΌΠ΅Π½ΠΎΠ²Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹ΠΉ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π» (Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹: «МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ для Ρ‡Π°ΠΉΠ½ΠΈΠΊΠΎΠ²Β», «Анализ Π΄Π°Π½Π½Ρ‹Ρ… с ΠΏΠ΅Π»Π΅Π½ΠΎΠΊΒ», «Алгоритмы для самых ΠΌΠ°Π»Π΅Π½ΡŒΠΊΠΈΡ…Β»), обсудим Π² ΠΊΠΎΠ½Ρ†Π΅.

К Π΄Π΅Π»Ρƒ. Написал нСсколько ΠΏΡ€ΠΈΠΊΠ»Π°Π΄Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌ Π½Π° MS Excel для Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈ наглядного прСдставлСния процСссов, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ происходят Π² Ρ€Π°Π·Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄Π°Ρ… машинного обучСния ΠΏΡ€ΠΈ Π°Π½Π°Π»ΠΈΠ·Π΅ Π΄Π°Π½Π½Ρ‹Ρ…. Seeing is believing, Π² ΠΊΠΎΠ½Ρ†Π΅ ΠΊΠΎΠ½Ρ†ΠΎΠ², ΠΊΠ°ΠΊ говорят носитСли ΠΊΡƒΠ»ΡŒΡ‚ΡƒΡ€Ρ‹, которая ΠΈ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π»Π° Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ этих ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² (кстати, Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ всС. ΠœΠΎΡ‰Π½Π΅ΠΉΡˆΠΈΠΉ Β«ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΎΠΏΠΎΡ€Π½Ρ‹Ρ… Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠ²Β», ΠΈΠ»ΠΈ SVM, support vector machine – ΠΈΠ·ΠΎΠ±Ρ€Π΅Ρ‚Π΅Π½ΠΈΠ΅ нашСго соотСчСствСнника Π’Π»Π°Π΄ΠΈΠΌΠΈΡ€Π° Π’Π°ΠΏΠ½ΠΈΠΊΠ°, Московский Π˜Π½ΡΡ‚ΠΈΡ‚ΡƒΡ‚ управлСния. 1963 Π³ΠΎΠ΄, ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΏΡ€ΠΎΡ‡ΠΈΠΌ! БСйчас ΠΎΠ½, ΠΏΡ€Π°Π²Π΄Π°, ΠΏΡ€Π΅ΠΏΠΎΠ΄Π°Π΅Ρ‚ ΠΈ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Π² БША).

Π’Ρ€ΠΈ Ρ„Π°ΠΉΠ»Π° Π½Π° ΠΎΠ±ΠΎΠ·Ρ€Π΅Π½ΠΈΠ΅

1. ΠšΠ»Π°ΡΡ‚Π΅Ρ€ΠΈΠ·Π°Ρ†ΠΈΡ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ k-срСдних

Π—Π°Π΄Π°Ρ‡ΠΈ этого Π²ΠΈΠ΄Π° относятся ΠΊ Β«ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ Π±Π΅Π· учитСля», ΠΊΠΎΠ³Π΄Π° Π½Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ Ρ€Π°Π·Π±ΠΈΡ‚ΡŒ исходныС Π΄Π°Π½Π½Ρ‹Π΅ Π½Π° Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ Π·Π°Ρ€Π°Π½Π΅Π΅ извСстноС число ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΉ, Π½ΠΎ ΠΏΡ€ΠΈ этом Ρƒ нас Π½Π΅Ρ‚ Π½ΠΈΠΊΠ°ΠΊΠΎΠ³ΠΎ количСства Β«ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Ρ… ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠ²Β», ΠΈΡ… ΠΌΡ‹ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ ΠΈΠ· самих Π΄Π°Π½Π½Ρ‹Ρ…. Π€ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Π°Ρ классичСская Π·Π°Π΄Π°Ρ‡Π° нахоТдСния ΠΏΠΎΠ΄Π²ΠΈΠ΄ΠΎΠ² Ρ†Π²Π΅Ρ‚ΠΊΠΎΠ² ириса (Рональд Π€ΠΈΡˆΠ΅Ρ€, 1936 Π³ΠΎΠ΄!), которая считаСтся ΠΏΠ΅Ρ€Π²ΠΎΠΉ ласточкой этой области знания – ΠΊΠ°ΠΊ Ρ€Π°Π· Ρ‚Π°ΠΊΠΎΠΉ ΠΏΡ€ΠΈΡ€ΠΎΠ΄Ρ‹.

ΠœΠ΅Ρ‚ΠΎΠ΄ достаточно прост. Π£ нас Π΅ΡΡ‚ΡŒ Π½Π°Π±ΠΎΡ€ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ², прСдставлСнных Π² Π²ΠΈΠ΄Π΅ Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠ² (Π½Π°Π±ΠΎΡ€ΠΎΠ² N чисСл). Π£ ирисов это – Π½Π°Π±ΠΎΡ€Ρ‹ 4 чисСл, Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ΠΈΠ·ΡƒΡŽΡ‰ΠΈΠ΅ Ρ†Π²Π΅Ρ‚ΠΎΠΊ: Π΄Π»ΠΈΠ½Π° ΠΈ ΡˆΠΈΡ€ΠΈΠ½Π° Π½Π°Ρ€ΡƒΠΆΠ½ΠΎΠΉ ΠΈ Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½Π΅ΠΉ Π΄ΠΎΠ»ΠΈ ΠΎΠΊΠΎΠ»ΠΎΡ†Π²Π΅Ρ‚Π½ΠΈΠΊΠ°, соотвСтствСнно (Π˜Ρ€ΠΈΡΡ‹ Π€ΠΈΡˆΠ΅Ρ€Π° β€” ВикипСдия). Π’ качСствС расстояния, ΠΈΠ»ΠΈ ΠΌΠ΅Ρ€Ρ‹ близости ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°ΠΌΠΈ, выбираСтся обычная Π΄Π΅ΠΊΠ°Ρ€Ρ‚ΠΎΠ²Π° ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°.

Π”Π°Π»Π΅Π΅, ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹ΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ (ΠΈΠ»ΠΈ Π½Π΅ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹ΠΌ, смотритС дальшС) Π²Ρ‹Π±ΠΈΡ€Π°ΡŽΡ‚ΡΡ Ρ†Π΅Π½Ρ‚Ρ€Ρ‹ кластСров, ΠΈ ΠΏΠΎΠ΄ΡΡ‡ΠΈΡ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ расстояния ΠΎΡ‚ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π° Π΄ΠΎ Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² кластСров. ΠšΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ Π½Π° Π΄Π°Π½Π½ΠΎΠΌ шагС ΠΈΡ‚Π΅Ρ€Π°Ρ†ΠΈΠΈ помСчаСтся ΠΊΠ°ΠΊ ΠΏΡ€ΠΈΠ½Π°Π΄Π»Π΅ΠΆΠ°Ρ‰ΠΈΠΉ ΠΊ самому Π±Π»ΠΈΠ·ΠΊΠΎΠΌΡƒ Ρ†Π΅Π½Ρ‚Ρ€Ρƒ. Π—Π°Ρ‚Π΅ΠΌ Ρ†Π΅Π½Ρ‚Ρ€ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ кластСра пСрСносится Π² срСднСС арифмСтичСскоС ΠΊΠΎΠΎΡ€Π΄ΠΈΠ½Π°Ρ‚ своих Ρ‡Π»Π΅Π½ΠΎΠ² (ΠΏΠΎ Π°Π½Π°Π»ΠΎΠ³ΠΈΠΈ с Ρ„ΠΈΠ·ΠΈΠΊΠΎΠΉ Π΅Π³ΠΎ Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ Π΅Ρ‰Π΅ Β«Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠΌ масс»), ΠΈ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Π° повторяСтся.

ΠŸΡ€ΠΎΡ†Π΅ΡΡ достаточно быстро сходится. На ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°Ρ… Π² Π΄Π²ΡƒΠΌΠ΅Ρ€ΠΈΠΈ это выглядит Ρ‚Π°ΠΊ:

1. ΠŸΠ΅Ρ€Π²ΠΎΠ½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎΠ΅ случайноС распрСдСлСниС Ρ‚ΠΎΡ‡Π΅ΠΊ Π½Π° плоскости ΠΈ число кластСров

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

2. Π—Π°Π΄Π°Π½ΠΈΠ΅ Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² кластСров ΠΈ отнСсСниС Ρ‚ΠΎΡ‡Π΅ΠΊ ΠΊ своим кластСрам

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

3. ΠŸΠ΅Ρ€Π΅Π½Π΅ΡΠ΅Π½ΠΈΠ΅ ΠΊΠΎΠΎΡ€Π΄ΠΈΠ½Π°Ρ‚ Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² кластСров, пСрСрасчСт принадлСТности Ρ‚ΠΎΡ‡Π΅ΠΊ, ΠΏΠΎΠΊΠ° Ρ†Π΅Π½Ρ‚Ρ€Ρ‹ Π½Π΅ ΡΡ‚Π°Π±ΠΈΠ»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ΡΡ. Π’ΠΈΠ΄Π½Π° траСктория двиТСния Ρ†Π΅Π½Ρ‚Ρ€Π° кластСра Π² ΠΎΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠ΅ ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅.

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

Π’ любой ΠΌΠΎΠΌΠ΅Π½Ρ‚ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°Π΄Π°Ρ‚ΡŒ Π½ΠΎΠ²Ρ‹Π΅ Ρ†Π΅Π½Ρ‚Ρ€Ρ‹ кластСров (Π½Π΅ гСнСрируя Π½ΠΎΠ²ΠΎΠ΅ распрСдСлСниС Ρ‚ΠΎΡ‡Π΅ΠΊ!) ΠΈ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎ процСсс разбиСния Π½Π΅ всСгда являСтся ΠΎΠ΄Π½ΠΎΠ·Π½Π°Ρ‡Π½Ρ‹ΠΌ. ΠœΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΈ это ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Ρƒ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ (суммС ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ² расстояний ΠΎΡ‚ Ρ‚ΠΎΡ‡Π΅ΠΊ Π΄ΠΎ Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² своих кластСров) ΠΌΡ‹ Π½Π°Ρ…ΠΎΠ΄ΠΈΠΌ Π½Π΅ Π³Π»ΠΎΠ±Π°Π»ΡŒΠ½Ρ‹ΠΉ, Π° Π»ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌ. ΠŸΠΎΠ±Π΅Π΄ΠΈΡ‚ΡŒ эту ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ ΠΌΠΎΠΆΠ½ΠΎ Π»ΠΈΠ±ΠΎ нСслучайным Π²Ρ‹Π±ΠΎΡ€ΠΎΠΌ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Ρ… Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² кластСров, Π»ΠΈΠ±ΠΎ ΠΏΠ΅Ρ€Π΅Π±ΠΎΡ€ΠΎΠΌ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹Ρ… Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² (ΠΈΠ½ΠΎΠ³Π΄Π° ΠΈΡ… Π²Ρ‹Π³ΠΎΠ΄Π½ΠΎ ΠΏΠΎΠΌΠ΅ΡΡ‚ΠΈΡ‚ΡŒ Ρ‚ΠΎΡ‡Π½ΠΎ Π² ΠΊΠ°ΠΊΡƒΡŽ-Π½ΠΈΠ±ΡƒΠ΄ΡŒ ΠΈΠ· Ρ‚ΠΎΡ‡Π΅ΠΊ, Ρ‚ΠΎΠ³Π΄Π° хотя Π±Ρ‹ Π΅ΡΡ‚ΡŒ гарантия, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π½Π΅ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ пустых кластСров). Π’ любом случаС, Ρƒ ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠ³ΠΎ мноТСства всСгда Π΅ΡΡ‚ΡŒ точная ниТняя Π³Ρ€Π°Π½ΡŒ.

ΠŸΠΎΠΈΠ³Ρ€Π°Ρ‚ΡŒΡΡ с этим Ρ„Π°ΠΉΠ»ΠΎΠΌ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎ этой ссылкС (Π½Π΅ Π·Π°Π±ΡƒΠ΄ΡŒΡ‚Π΅ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ макросов. На вирусы Ρ„Π°ΠΉΠ»Ρ‹ ΠΏΡ€ΠΎΠ²Π΅Ρ€Π΅Π½Ρ‹)

ОписаниС ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π² Π’ΠΈΠΊΠΈΠΏΠ΅Π΄ΠΈΠΈ β€” ΠœΠ΅Ρ‚ΠΎΠ΄ k-срСдних

2. Аппроксимация ΠΌΠ½ΠΎΠ³ΠΎΡ‡Π»Π΅Π½Π°ΠΌΠΈ ΠΈ Ρ€Π°Π·Π±ΠΈΠ²ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ…. ΠŸΠ΅Ρ€Π΅ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π—Π°ΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΡƒΡ‡Π΅Π½Ρ‹ΠΉ ΠΈ популяризатор Π½Π°ΡƒΠΊΠΈ ΠΎ Π΄Π°Π½Π½Ρ‹Ρ… К.Π’. Π’ΠΎΡ€ΠΎΠ½Ρ†ΠΎΠ² ΠΊΠΎΡ€ΠΎΡ‚ΠΊΠΎ Π³ΠΎΠ²ΠΎΡ€ΠΈΡ‚ ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Π°Ρ… машинного обучСния ΠΊΠ°ΠΊ ΠΎ Β«Π½Π°ΡƒΠΊΠ΅ ΠΎ ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠΈ ΠΊΡ€ΠΈΠ²Ρ‹Ρ… Ρ‡Π΅Ρ€Π΅Π· Ρ‚ΠΎΡ‡ΠΊΠΈΒ». Π’ этом ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π±ΡƒΠ΄Π΅ΠΌ Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ Π·Π°ΠΊΠΎΠ½ΠΎΠΌΠ΅Ρ€Π½ΠΎΡΡ‚ΡŒ Π² Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π½Π°ΠΈΠΌΠ΅Π½ΡŒΡˆΠΈΡ… ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ².

Показана Ρ‚Π΅Ρ…Π½ΠΈΠΊΠ° разбиСния исходных Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° Β«ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅Β» ΠΈ Β«ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Π΅Β», Π° Ρ‚Π°ΠΊΠΆΠ΅ Ρ‚Π°ΠΊΠΎΠΉ Ρ„Π΅Π½ΠΎΠΌΠ΅Π½, ΠΊΠ°ΠΊ ΠΏΠ΅Ρ€Π΅ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, ΠΈΠ»ΠΈ «пСрСподстройка» ΠΏΠΎΠ΄ Π΄Π°Π½Π½Ρ‹Π΅. ΠŸΡ€ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ аппроксимации ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΠΌΠ΅Ρ‚ΡŒ Π½Π΅ΠΊΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ Π½Π° ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ нСсколько Π±Γ³Π»ΡŒΡˆΡƒΡŽ – Π½Π° ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Ρ…. ΠŸΡ€ΠΈ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ – Ρ‚ΠΎΡ‡Π½ΡƒΡŽ подстройку ΠΏΠΎΠ΄ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ ΠΈ ΠΎΠ³Ρ€ΠΎΠΌΠ½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ Π½Π° ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Ρ….

(Π˜Π·Π²Π΅ΡΡ‚Π½Ρ‹ΠΉ Ρ„Π°ΠΊΡ‚, Ρ‡Ρ‚ΠΎ Ρ‡Π΅Ρ€Π΅Π· N Ρ‚ΠΎΡ‡Π΅ΠΊ ΠΌΠΎΠΆΠ½ΠΎ провСсти Π΅Π΄ΠΈΠ½ΡΡ‚Π²Π΅Π½Π½ΡƒΡŽ ΠΊΡ€ΠΈΠ²ΡƒΡŽ N-1 ΠΉ стСпСни, ΠΈ этот способ Π² ΠΎΠ±Ρ‰Π΅ΠΌ случаС Π½Π΅ Π΄Π°Π΅Ρ‚ Π½ΡƒΠΆΠ½ΠΎΠ³ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°. Π˜Π½Ρ‚Π΅Ρ€ΠΏΠΎΠ»ΡΡ†ΠΈΠΎΠ½Π½Ρ‹ΠΉ ΠΌΠ½ΠΎΠ³ΠΎΡ‡Π»Π΅Π½ Π›Π°Π³Ρ€Π°Π½ΠΆΠ° Π² Π’ΠΈΠΊΠΈΠΏΠ΅Π΄ΠΈΠΈ)

1. Π—Π°Π΄Π°Π΅ΠΌ ΠΈΠ·Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

2. Π”Π΅Π»ΠΈΠΌ Ρ‚ΠΎΡ‡ΠΊΠΈ Π½Π° Β«ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅Β» ΠΈ Β«ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Π΅Β» Π² ΡΠΎΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΈ 70 Π½Π° 30.

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

3. ΠŸΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠΌ Π°ΠΏΠΏΡ€ΠΎΠΊΡΠΈΠΌΠΈΡ€ΡƒΡŽΡ‰ΡƒΡŽ ΠΊΡ€ΠΈΠ²ΡƒΡŽ ΠΏΠΎ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠΌ Ρ‚ΠΎΡ‡ΠΊΠ°ΠΌ, Π²ΠΈΠ΄ΠΈΠΌ ΠΎΡˆΠΈΠ±ΠΊΡƒ, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΎΠ½Π° Π΄Π°Π΅Ρ‚ Π½Π° ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

4. ΠŸΡ€ΠΎΠ²ΠΎΠ΄ΠΈΠΌ Ρ‚ΠΎΡ‡Π½ΡƒΡŽ ΠΊΡ€ΠΈΠ²ΡƒΡŽ Ρ‡Π΅Ρ€Π΅Π· ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ Ρ‚ΠΎΡ‡ΠΊΠΈ, ΠΈ Π²ΠΈΠ΄ΠΈΠΌ Ρ‡ΡƒΠ΄ΠΎΠ²ΠΈΡ‰Π½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ Π½Π° ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… (ΠΈ Π½ΡƒΠ»Π΅Π²ΡƒΡŽ Π½Π° ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ…, Π½ΠΎ Ρ‡Ρ‚ΠΎ Ρ‚ΠΎΠ»ΠΊΡƒ?).

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

Показан, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ, ΠΏΡ€ΠΎΡΡ‚Π΅ΠΉΡˆΠΈΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ с СдинствСнным Ρ€Π°Π·Π±ΠΈΠ΅Π½ΠΈΠ΅ΠΌ Π½Π° Β«ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅Β» ΠΈ Β«ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Π΅Β» подмноТСства, Π² ΠΎΠ±Ρ‰Π΅ΠΌ случаС это дСлаСтся ΠΌΠ½ΠΎΠ³ΠΎΠΊΡ€Π°Ρ‚Π½ΠΎ для Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠ΅ΠΉ подстройки коэффициСнтов.

Π€Π°ΠΉΠ» доступСн Ρ‚ΡƒΡ‚, антивирусом ΠΏΡ€ΠΎΠ²Π΅Ρ€Π΅Π½. Π’ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅ макросы для ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹

3. Π“Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ спуск ΠΈ Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΠ° измСнСния ошибки

Π—Π΄Π΅ΡΡŒ Π±ΡƒΠ΄Π΅Ρ‚ 4-ΠΌΠ΅Ρ€Π½Ρ‹ΠΉ случай ΠΈ линСйная рСгрСссия. ΠšΠΎΡΡ„Ρ„ΠΈΡ†ΠΈΠ΅Π½Ρ‚Ρ‹ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ рСгрСссии Π±ΡƒΠ΄ΡƒΡ‚ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒΡΡ ΠΏΠΎ шагам ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска, ΠΈΠ·Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎ всС коэффициСнты – Π½ΡƒΠ»ΠΈ. На ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΌ Π³Ρ€Π°Ρ„ΠΈΠΊΠ΅ Π²ΠΈΠ΄Π½Π° Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΠ° ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΡ ошибки ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ всС Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½ΠΎΠΉ подстройки коэффициСнтов. Π•ΡΡ‚ΡŒ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ всС Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅ 2-ΠΌΠ΅Ρ€Π½Ρ‹Π΅ ΠΏΡ€ΠΎΠ΅ΠΊΡ†ΠΈΠΈ.

Если Π·Π°Π΄Π°Ρ‚ΡŒ слишком большой шаг Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска, Ρ‚ΠΎ Π²ΠΈΠ΄Π½ΠΎ, Ρ‡Ρ‚ΠΎ всякий Ρ€Π°Π· ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΠΏΡ€ΠΎΡΠΊΠ°ΠΊΠΈΠ²Π°Ρ‚ΡŒ ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌ ΠΈ ΠΊ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρƒ ΠΏΡ€ΠΈΠ΄Π΅ΠΌ Π·Π° большСС число шагов, хотя, Π² ΠΊΠΎΠ½Ρ†Π΅ ΠΊΠΎΠ½Ρ†ΠΎΠ², всС Ρ€Π°Π²Π½ΠΎ ΠΏΡ€ΠΈΠ΄Π΅ΠΌ (Ссли Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π΅ слишком сильно Π·Π°Π΄Π΅Ρ€Π΅ΠΌ шаг спуска β€” Ρ‚ΠΎΠ³Π΄Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ ΠΏΠΎΠΉΠ΄Π΅Ρ‚ Β«Π² разнос»). И Π³Ρ€Π°Ρ„ΠΈΠΊ зависимости ошибки ΠΎΡ‚ шага ΠΈΡ‚Π΅Ρ€Π°Ρ†ΠΈΠΈ Π±ΡƒΠ΄Π΅Ρ‚ Π½Π΅ ΠΏΠ»Π°Π²Π½Ρ‹ΠΌ, Π° Β«Π΄Π΅Ρ€Π³Π°Π½Π½Ρ‹ΠΌΒ».

1. Π“Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅ΠΌ Π΄Π°Π½Π½Ρ‹Π΅, Π·Π°Π΄Π°Π΅ΠΌ шаг Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

2. ΠŸΡ€ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΌ ΠΏΠΎΠ΄Π±ΠΎΡ€Π΅ шага Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска ΠΏΠ»Π°Π²Π½ΠΎ ΠΈ достаточно быстро ΠΏΡ€ΠΈΡ…ΠΎΠ΄ΠΈΠΌ ΠΊ ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌΡƒ

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

3. ΠŸΡ€ΠΈ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΌ ΠΏΠΎΠ΄Π±ΠΎΡ€Π΅ шага Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска проскакиваСм максимум, Π³Ρ€Π°Ρ„ΠΈΠΊ ошибки – Β«Π΄Π΅Ρ€Π³Π°Π½Π½Ρ‹ΠΉΒ», ΡΡ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ большСС число шагов

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ
ΠΈ

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

4. ΠŸΡ€ΠΈ совсСм Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΌ ΠΏΠΎΠ΄Π±ΠΎΡ€Π΅ шага Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска удаляСмся ΠΎΡ‚ ΠΌΠΈΠ½ΠΈΠΌΡƒΠΌΠ°

МашинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π±Π΅Π· Python, Anaconda ΠΈ ΠΏΡ€ΠΎΡ‡ΠΈΡ… ΠΏΡ€Π΅ΡΠΌΡ‹ΠΊΠ°ΡŽΡ‰ΠΈΡ…ΡΡ

(Π§Ρ‚ΠΎΠ±Ρ‹ воспроизвСсти процСсс ΠΏΡ€ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π½Π½Ρ‹Ρ… Π½Π° ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ°Ρ… значСниях шага Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска, ΠΏΠΎΡΡ‚Π°Π²ΡŒΡ‚Π΅ Π³Π°Π»ΠΎΡ‡ΠΊΡƒ «эталонныС Π΄Π°Π½Π½Ρ‹Π΅Β»).

Π€Π°ΠΉΠ» – ΠΏΠΎ этой ссылкС, Π½ΡƒΠΆΠ½ΠΎ Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚ΡŒ макросы, вирусов Π½Π΅Ρ‚.

Как считаСт ΡƒΠ²Π°ΠΆΠ°Π΅ΠΌΠΎΠ΅ сообщСство, допустимо Π»ΠΈ Ρ‚Π°ΠΊΠΎΠ΅ ΡƒΠΏΡ€ΠΎΡ‰Π΅Π½ΠΈΠ΅ ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΏΠΎΠ΄Π°Ρ‡ΠΈ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°? Π‘Ρ‚ΠΎΠΈΡ‚ Π»ΠΈ пСрСвСсти ΡΡ‚Π°Ρ‚ΡŒΡŽ Π½Π° английский?

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com