Использование машинного обучения для определения эмоций и контроля над своей мимикой

Андрей Савченко из нижегородского филиала Высшей школы экономики опубликовал результат своих исследований в области машинного обучения, связанных с распознаванием эмоций на лицах людей, присутствующих на фотографиях и видео. Код написан на языке Python с использованием PyTorch и распространяется под лицензией Apache 2.0. Доступно несколько готовых моделей, в том числе пригодных для использования на мобильных устройствах.

На базе библиотеки другим разработчиком создана программа sevimon, позволяющая отслеживать изменение эмоций с использованием видеокамеры и помогать в контроле напряжения мышц лица, например, для устранения перенапряжения, косвенного воздействия на настроение и, при длительном применении, предотвращения появления мимических морщин. Для определения позиции лица на видео задействована библиотека CenterFace. Код sevimon написан на Python распространяется под лицензией AGPLv3. При первом запуске загружаются модели, после чего программа не требует подключения к интернету и работает полностью автономно. Подготовлены инструкции для запуска в Linux/UNIX и Windows, а также docker-образ для Linux.

Sevimon работает следующим образом: сначала на изображении с камеры определяется лицо, затем лицо сопоставляется с каждой из восьми эмоций (злость, презрение, отвращение, страх, радость, отсутствие эмоций, грусть, удивление), после чего для каждой эмоции даётся некая оценка похожести. Полученные значения сохраняются в журнале в текстовом формате для последующего анализа программой sevistat. Для каждой эмоции в файле настроек можно задать верхние и нижние границы значений, при пересечении которых тут же выдаётся напоминание.

Источник: opennet.ru