Andrej Sawtschenko von der Nischni Nowgoroder Filiale der Hohen Schule für Wirtschaft hat die Ergebnisse seiner Forschungen im Bereich des maschinellen Lernens veröffentlicht, die mit der Emotionserkennung in Gesichtern von Personen zusammenhängen, die auf Fotos und Videos zu sehen sind. Der Code ist in Python geschrieben und nutzt PyTorch und wird unter der Lizenz Apache 2.0 verbreitet. Es sind mehrere fertige Modelle verfügbar, einschließlich solcher, die für mobile Geräte geeignet sind.
Auf Basis der Bibliothek hat ein anderer Entwickler das Programm sevimon erstellt, das es ermöglicht, die Veränderung von Emotionen mittels einer Kamera zu verfolgen und dabei zu helfen, die Verspannung der Gesichtsmuskeln zu kontrollieren, beispielsweise um Überanstrengung zu beseitigen, indirekt das Gemüt zu beeinflussen und bei längerer Anwendung die Bildung von mimischen Falten zu verhindern. Zur Bestimmung der Position des Gesichts im Video wird die Bibliothek CenterFace verwendet. Der Code von sevimon ist in Python geschrieben und wird unter der Lizenz AGPLv3 verbreitet. Bei der ersten Ausführung werden Modelle heruntergeladen, danach benötigt das Programm keine Internetverbindung und funktioniert völlig autonom. Es sind Anleitungen für die Ausführung unter Linux/UNIX und Windows sowie ein Docker-Image für Linux vorbereitet.
Sevimon funktioniert folgendermaßen: Zuerst wird im Bild von der Kamera das Gesicht erkannt, dann wird das Gesicht mit jeder der acht Emotionen (Wut, Verachtung, Ekel, Angst, Freude, keine Emotionen, Traurigkeit, Überraschung) verglichen, woraufhin für jede Emotion eine Bewertung der Ähnlichkeit ausgegeben wird. Die erhaltenen Werte werden in einem Protokoll im Textformat gespeichert, um später von dem Programm sevistat analysiert zu werden. Für jede Emotion können in der Konfigurationsdatei obere und untere Grenzwerte festgelegt werden, bei deren Überschreitung sofort eine Erinnerung ausgegeben wird.
Quelle: opennet.ru
