Andrey Savchenko från Nizhny Novgorod-grenen av Higher School of Economics publicerade resultatet av sin forskning inom området maskininlärning relaterat till att känna igen känslor i ansiktena på människor som är närvarande i fotografier och videor. Koden är skriven i Python med PyTorch och är licensierad under Apache 2.0-licensen. Flera färdiga modeller finns tillgängliga, inklusive de som är lämpliga för användning på mobila enheter.
Baserat på biblioteket skapade en annan utvecklare sevimon-programmet, som låter dig spåra förändringar i känslor med hjälp av en videokamera och hjälpa till att kontrollera ansiktsmuskelspänningar, till exempel för att eliminera överbelastning, indirekt påverka humöret och, med långvarig användning, förhindra uppkomsten av rynkor i ansiktet. CenterFace-biblioteket används för att bestämma positionen för ett ansikte i en video. Sevimon-koden är skriven i Python och är licensierad under AGPLv3. När du startar den för första gången laddas modellerna, varefter programmet inte kräver någon internetanslutning och fungerar helt autonomt. Instruktioner för lansering på Linux/UNIX och Windows har utarbetats, samt en docker-bild för Linux.
Sevimon fungerar enligt följande: först identifieras ett ansikte i en kamerabild, sedan jämförs ansiktet med var och en av åtta känslor (ilska, förakt, avsky, rädsla, glädje, brist på känslor, sorg, överraskning), varefter en viss likhetspoäng ges för varje känsla. De erhållna värdena lagras i en logg i textformat för efterföljande analys av sevistat-programmet. För varje känsla i inställningsfilen kan du ställa in övre och nedre gränser för värden, när du passerar den skickas en påminnelse omedelbart.
Källa: opennet.ru