Andrej Sawtschenko von der Нижегородский филиал der НИУ ВШЭ hat die Ergebnisse seiner Forschungen im Bereich des maschinellen Lernens zur Emotionserkennung in Gesichtern von Personen, die auf Fotos und Videos zu sehen sind, veröffentlicht. Der Code ist in Python geschrieben und verwendet PyTorch, und wird unter der Apache 2.0 Lizenz verbreitet. Es sind mehrere vorgefertigte Modelle verfügbar, die auch für die Verwendung auf mobilen Geräten geeignet sind.
Auf der Grundlage einer Bibliothek hat ein anderer Entwickler das Programm sevimon erstellt, das es ermöglicht, emotionale Veränderungen mithilfe einer Kamera zu verfolgen und dabei zu helfen, die Muskelverspannung im Gesicht zu kontrollieren, beispielsweise um Überanspannung zu reduzieren, indirekten Einfluss auf die Stimmung auszuüben und bei langfristiger Anwendung das Entstehen von Falten im Gesicht zu verhindern. Zur Bestimmung der Gesichtsposition im Video wird die Bibliothek CenterFace verwendet. Der Code von sevimon ist in Python geschrieben und steht unter der Lizenz AGPLv3. Bei der ersten Ausführung werden Modelle heruntergeladen, danach benötigt das Programm keine Internetverbindung und funktioniert vollständig autonom. Es liegen Anleitungen für den Betrieb unter Linux/UNIX und Windows sowie ein Docker-Image für Linux vor.
Sevimon funktioniert folgendermaßen: Zunächst wird im Kamerabild ein Gesicht erkannt, dann wird das Gesicht mit jeder der acht Emotionen (Wut, Verachtung, Ekel, Angst, Freude, Neutralität, Traurigkeit, Überraschung) verglichen, woraufhin für jede Emotion ein Ähnlichkeitswert vergeben wird. Die erhaltenen Werte werden im Protokoll im Textformat für eine spätere Analyse durch das Programm sevistat gespeichert. Für jede Emotion können in der Einstellungsdatei obere und untere Grenzwerte festgelegt werden, deren Überschreitung sofort eine Benachrichtigung auslöst.
Quelle: opennet.ru
