Π’Π΅Ρ…Π½ΠΈΠΊΠ° опрСдСлСния PIN-ΠΊΠΎΠ΄Π° ΠΏΠΎ видСозаписи Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ Ρ€ΡƒΠΊΠΎΠΉ Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π΅

Π“Ρ€ΡƒΠΏΠΏΠ° исслСдоватСлСй ΠΈΠ· ΠŸΠ°Π΄ΡƒΠ°Π½ΡΠΊΠΎΠ³ΠΎ (Π˜Ρ‚Π°Π»ΠΈΡ) ΠΈ ДСлфтского (НидСрланды) унивСрситСтов ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»Π° ΠΌΠ΅Ρ‚ΠΎΠ΄ использования машинного обучСния для воссоздания Π²Π²Π΅Π΄Ρ‘Π½Π½ΠΎΠ³ΠΎ PIN-ΠΊΠΎΠ΄Π° ΠΏΠΎ видСозаписи ΠΏΡ€ΠΈΠΊΡ€Ρ‹Ρ‚ΠΎΠΉ Ρ€ΡƒΠΊΠΎΠΉ области Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π΅. ΠŸΡ€ΠΈ Π²Π²ΠΎΠ΄Π΅ PIN-ΠΊΠΎΠ΄Π° ΠΈΠ· 4 Ρ†ΠΈΡ„Ρ€ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ прСдсказания ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠ³ΠΎ ΠΊΠΎΠ΄Π° ΠΎΡ†Π΅Π½Π΅Π½Π° Π² 41%, учитывая Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ Ρ‚Ρ€Ρ‘Ρ… ΠΏΠΎΠΏΡ‹Ρ‚ΠΎΠΊ Π΄ΠΎ Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ. Для PIN-ΠΊΠΎΠ΄ΠΎΠ² ΠΈΠ· 5 Ρ†ΠΈΡ„Ρ€ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ прСдсказания составила 30%. ΠžΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ Π±Ρ‹Π» ΠΏΡ€ΠΎΠ²Π΅Π΄Ρ‘Π½ экспСримСнт, Π² Ρ…ΠΎΠ΄Π΅ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ 78 Π΄ΠΎΠ±Ρ€ΠΎΠ²ΠΎΠ»ΡŒΡ†Π΅Π² ΠΏΠΎΠΏΡ‹Ρ‚Π°Π»ΠΈΡΡŒ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Π°Ρ‚ΡŒ PIN-ΠΊΠΎΠ΄ ΠΏΠΎ Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹ΠΌ записанным Π²ΠΈΠ΄Π΅ΠΎ. Π’ этом случаС Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎΠ³ΠΎ прСдсказания составила 7.92% ΠΏΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ Ρ‚Ρ€Ρ‘Ρ… ΠΏΠΎΠΏΡ‹Ρ‚ΠΎΠΊ.

ΠŸΡ€ΠΈ ΠΏΡ€ΠΈΠΊΡ€Ρ‹Ρ‚ΠΈΠΈ Ρ†ΠΈΡ„Ρ€ΠΎΠ²ΠΎΠΉ ΠΏΠ°Π½Π΅Π»ΠΈ Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π° ладонью, Ρ‡Π°ΡΡ‚ΡŒ кисти Ρ€ΡƒΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ осущСствляСтся Π²Π²ΠΎΠ΄, остаётся Π½Π΅Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎΠΉ, Ρ‡Π΅Π³ΠΎ достаточно для прогнозирования Π½Π°ΠΆΠ°Ρ‚ΠΈΠΉ ΠΏΠΎ измСнСнию полоТСния кисти ΠΈ ΡΠΌΠ΅Ρ‰Π΅Π½ΠΈΡŽ Π½Π΅ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΏΡ€ΠΈΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… ΠΏΠ°Π»ΡŒΡ†Π΅Π². ΠŸΡ€ΠΈ Π°Π½Π°Π»ΠΈΠ·Π΅ Π²Π²ΠΎΠ΄Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΉ Ρ†ΠΈΡ„Ρ€Ρ‹ систСма ΠΈΡΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ клавиши, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Π½Π°ΠΆΠ°Ρ‚Ρ‹ с ΡƒΡ‡Ρ‘Ρ‚ΠΎΠΌ полоТСния ΠΏΡ€ΠΈΠΊΡ€Ρ‹Π²Π°ΡŽΡ‰Π΅ΠΉ Ρ€ΡƒΠΊΠΈ, Π° Ρ‚Π°ΠΊΠΆΠ΅ рассчитываСт Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ вСроятныС Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹ Π½Π°ΠΆΠ°Ρ‚ΠΈΠΉ Π½Π° основании полоТСния Π½Π°ΠΆΠΈΠΌΠ°ΡŽΡ‰Π΅ΠΉ Ρ€ΡƒΠΊΠΈ, ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ располоТСния клавиш. Для ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ вСроятности опрСдСлСния Π²Π²ΠΎΠ΄Π° Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ осущСствлСна запись Π·Π²ΡƒΠΊΠ° Π½Π°ΠΆΠ°Ρ‚ΠΈΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ отличаСтся для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ клавиши.

Π’Π΅Ρ…Π½ΠΈΠΊΠ° опрСдСлСния PIN-ΠΊΠΎΠ΄Π° ΠΏΠΎ видСозаписи Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ Ρ€ΡƒΠΊΠΎΠΉ Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π΅

Π’ экспСримСнтС использовалась систСма машинного обучСния, основанная Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ свёрточной Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти (CNN) ΠΈ Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½ΠΎΠΉ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти Π½Π° Π±Π°Π·Π΅ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ LSTM (Long Short Term Memory). Π‘Π΅Ρ‚ΡŒ CNN ΠΎΡ‚Π²Π΅Ρ‡Π°Π»Π° Π·Π° ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ пространствСнных Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΊΠ°Π΄Ρ€Π°, Π° ΡΠ΅Ρ‚ΡŒ LSTM использовала эти Π΄Π°Π½Π½Ρ‹Π΅ для извлСчСния ΠΌΠ΅Π½ΡΡŽΡ‰ΠΈΡ…ΡΡ Π²ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ шаблонов. МодСль Π±Ρ‹Π»Π° ΠΎΠ±ΡƒΡ‡Π΅Π½Π° Π½Π° видСозаписях Π²Π²ΠΎΠ΄Π° PIN-ΠΊΠΎΠ΄Π° 58 Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ людьми с использованиСм Π²Ρ‹Π±Ρ€Π°Π½Π½Ρ‹Ρ… участниками ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² прикрытия Π²Π²ΠΎΠ΄Π° (ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ участник Π²Π²ΠΎΠ΄ΠΈΠ» 100 Ρ€Π°Π·Π½Ρ‹Ρ… ΠΊΠΎΠ΄ΠΎΠ², Ρ‚.Π΅. для обучСния использовалось 5800 ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² Π²Π²ΠΎΠ΄Π°). Π’ Ρ…ΠΎΠ΄Π΅ провСдСния обучСния Π±Ρ‹Π»ΠΎ выявлСно, Ρ‡Ρ‚ΠΎ Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ ΠΎΠ΄ΠΈΠ½ ΠΈΠ· Ρ‚Ρ€Ρ‘Ρ… основных способов прикрытия Π²Π²ΠΎΠ΄Π°.

Π’Π΅Ρ…Π½ΠΈΠΊΠ° опрСдСлСния PIN-ΠΊΠΎΠ΄Π° ΠΏΠΎ видСозаписи Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ Ρ€ΡƒΠΊΠΎΠΉ Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π΅

Для Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ машинного обучСния Π±Ρ‹Π» задСйствован сСрвСр Π½Π° Π±Π°Π·Π΅ процСссора Xeon E5-2670 с 128 GB ΠžΠ—Π£ ΠΈ трСмя ΠΊΠ°Ρ€Ρ‚Π°ΠΌΠΈ Tesla K20m с 5GB памяти Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΉ. ΠŸΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Π°Ρ Ρ‡Π°ΡΡ‚ΡŒ написана Π½Π° языкС Python с использованиСм Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ Keras ΠΈ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ Tensorflow. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΠΏΠ°Π½Π΅Π»ΠΈ Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π°Ρ… ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‚ΡΡ, Π° Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ прогнозирования зависит ΠΎΡ‚ Ρ‚Π°ΠΊΠΈΡ… характСристик, ΠΊΠ°ΠΊ Ρ€Π°Π·ΠΌΠ΅Ρ€ ΠΈ топология размСщСния клавиш, для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Ρ‚ΠΈΠΏΠ° ΠΏΠ°Π½Π΅Π»Π΅ΠΉ трСбуСтся ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Π°Ρ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠ°.

Π’Π΅Ρ…Π½ΠΈΠΊΠ° опрСдСлСния PIN-ΠΊΠΎΠ΄Π° ΠΏΠΎ видСозаписи Π·Π°ΠΊΡ€Ρ‹Ρ‚ΠΎΠ³ΠΎ Ρ€ΡƒΠΊΠΎΠΉ Π²Π²ΠΎΠ΄Π° Π² Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚Π΅

Π’ качСствС ΠΌΠ΅Ρ€ для Π·Π°Ρ‰ΠΈΡ‚Ρ‹ ΠΎΡ‚ ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½Π½ΠΎΠ³ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π°Ρ‚Π°ΠΊΠΈ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½ΠΎ ΠΏΠΎ возмоТности ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ PIN-ΠΊΠΎΠ΄Ρ‹ ΠΈΠ· 5 Ρ†ΠΈΡ„Ρ€ вмСсто 4, Π° Ρ‚Π°ΠΊΠΆΠ΅ ΡΡ‚Π°Ρ€Π°Ρ‚ΡŒΡΡ ΠΏΡ€ΠΈΠΊΡ€Ρ‹Π²Π°Ρ‚ΡŒ Ρ€ΡƒΠΊΠΎΠΉ ΠΊΠ°ΠΊ ΠΌΠΎΠΆΠ½ΠΎ большСС пространство Π²Π²ΠΎΠ΄Π° (ΠΌΠ΅Ρ‚ΠΎΠ΄ остаётся эффСктивСн Ссли Ρ€ΡƒΠΊΠΎΠΉ прикрываСтся ΠΎΠΊΠΎΠ»ΠΎ 75% области Π²Π²ΠΎΠ΄Π°). ΠŸΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡΠΌ Π±Π°Π½ΠΊΠΎΠΌΠ°Ρ‚ΠΎΠ² Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π·Π°Ρ‰ΠΈΡ‚Π½Ρ‹Π΅ экраны, ΡΠΊΡ€Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ Π²Π²ΠΎΠ΄, Π° Ρ‚Π°ΠΊΠΆΠ΅ Π½Π΅ мСханичСскиС, Π° сСнсорныС ΠΏΠ°Π½Π΅Π»ΠΈ Π²Π²ΠΎΠ΄Π°, ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ Ρ†ΠΈΡ„Ρ€ Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… мСняСтся случайным ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru