Mašīnmācības izmantošana, lai noteiktu emocijas un kontrolētu sejas izteiksmes

Andrejs Savčenko no Ekonomikas augstskolas Ņižņijnovgorodas filiāles publicēja sava pētījuma rezultātus mašīnmācības jomā saistībā ar emociju atpazīšanu fotogrāfijās un videoklipos redzamo cilvēku sejās. Kods ir rakstīts Python, izmantojot PyTorch, un ir licencēts saskaņā ar Apache 2.0 licenci. Ir pieejami vairāki gatavi modeļi, tostarp tādi, kas piemēroti lietošanai mobilajās ierīcēs.

Pamatojoties uz bibliotēku, cits izstrādātājs izveidoja programmu sevimon, kas ļauj ar videokameru izsekot emociju izmaiņām un palīdz kontrolēt sejas muskuļu sasprindzinājumu, piemēram, novērst pārslodzi, netieši ietekmēt garastāvokli un, ilgstoši lietojot, novērst mīmikas grumbu parādīšanos. CenterFace bibliotēka tiek izmantota, lai noteiktu sejas pozīciju videoklipā. Sevimon kods ir rakstīts Python un ir licencēts saskaņā ar AGPLv3. Pirmo reizi palaižot to, modeļi tiek ielādēti, pēc tam programmai nav nepieciešams interneta savienojums un tā darbojas pilnīgi autonomi. Ir sagatavotas instrukcijas palaišanai operētājsistēmās Linux/UNIX un Windows, kā arī docker attēls priekš Linux.

Sevimon darbojas šādi: vispirms kameras attēlā tiek identificēta seja, pēc tam seja tiek salīdzināta ar katru no astoņām emocijām (dusmas, nicinājums, riebums, bailes, prieks, emociju trūkums, skumjas, pārsteigums), pēc tam katrai emocijai tiek piešķirts līdzības vērtējums. Iegūtās vērtības tiek saglabātas žurnālā teksta formātā turpmākai analīzei ar sevistat programmu. Katrai emocijai iestatījumu failā var iestatīt vērtību augšējo un apakšējo robežu, kuru šķērsojot, uzreiz tiek izdots atgādinājums.

Avots: opennet.ru

Pievieno komentāru