Andrey Savchenko fra Nizhny Novgorod-afdelingen af Higher School of Economics offentliggjorde resultatet af sin forskning inden for maskinlæring relateret til genkendelsen af følelser i ansigtet på mennesker til stede i fotografier og videoer. Koden er skrevet i Python ved hjælp af PyTorch og distribueret under Apache 2.0-licensen. Flere færdige modeller er tilgængelige, inklusive dem, der er egnede til brug på mobile enheder.
Baseret på biblioteket skabte en anden udvikler programmet sevimon, som giver dig mulighed for at spore ændringer i følelser ved hjælp af et videokamera og hjælpe med at kontrollere ansigtsmuskelspændinger, for eksempel for at eliminere overanstrengelse, en indirekte effekt på humøret, og ved længere tids brug, for at forhindre fremkomsten af udtrykslinjer. CenterFace-biblioteket bruges til at bestemme placeringen af et ansigt i en video. Sevimon-koden er skrevet i Python og distribueret under AGPLv3-licensen. Ved første start indlæses modeller, hvorefter programmet ikke kræver internetforbindelse og fungerer helt offline. Der er udarbejdet instruktioner til at køre på Linux/UNIX og Windows, samt et docker-image til Linux.
Sevimon fungerer som følger: først bestemmes et ansigt på kamerabilledet, derefter sammenlignes ansigtet med hver af de otte følelser (vrede, foragt, afsky, frygt, glæde, mangel på følelser, tristhed, overraskelse), hvorefter en lighedsscore gives for hver følelse. De opnåede værdier gemmes i loggen i tekstformat til yderligere analyse af sevistat-programmet. For hver følelse i indstillingsfilen kan du indstille de øvre og nedre grænser for værdier, hvor der straks udsendes en påmindelse ved krydsning.
Kilde: opennet.ru