Masinõppe kasutamine emotsioonide tuvastamiseks ja oma näoilme kontrollimiseks

Andrei Savchenko ning Nizhni Novgorodi kõrghariduse õppemeti juurest avaldas oma uurimistulemused masinõppe valdkonnas, mis on seotud emotsioonide tuvastamisega inimeste nägudel, kes on fotodel ja videotest. Kood on kirjutatud Pythonis kasutades PyTorch'i ning levitatakse Apache 2.0 litsentsi alusel. Saadaval on mitmeid valmis mudeleid, sealhulgas ka mobiilseadmetes kasutamiseks sobilikud.

Teise arendaja loodud programm sevimon põhineb raamatukogul ja võimaldab jälgida emotsioonide muutumist videokaamera abil ning aidata kontrollida näolihaste pinget, näiteks ülepinget vähendades, kaudselt mõjutades meeleolu ja pikaajalise kasutamise korral ennetades näomimikate kortsude teket. Näo asukoha määramiseks videos kasutatakse raamatukogu CenterFace. Sevimoni kood on kirjutatud Pythonis ja levitatakse AGPLv3 litsentsi alusel. Esimese käivitamise ajal laaditakse mudelid, pärast mida ei ole programm internetiühendust vajav ja töötab täielikult iseseisvalt. On koostatud juhised käivitamiseks Linuxi/UNIX-i ja Windowsi jaoks, samuti docker-pilt Linuxi jaoks.

Sevimon töötab järgmiselt: esmalt määratakse kaameraga tehtud pildil nägu, seejärel võrreldakse nägu iga kaheksa emotsiooniga (viha, põlgus, jälestus, hirm, rõõm, emotsioonide puudumine, kurbus, üllatus), pärast mida antakse iga emotsiooni jaoks mingi analoogne väärtus. Saadud väärtused salvestatakse ajakavale tekstivormingus hilisemaks analüüsiks programmiga sevistat. Iga emotsiooni jaoks saab seadistamisfailis määrata väärtuste ülemised ja alumised piirid, mille ületamisel antakse kohe meeldetuletus.

Allikas: opennet.ru