Използване на машинно обучение за определяне на емоции и контрол над собствената мимика

Андрей Савченко от Нижегородския клон на Висшето училище по икономика публикува резултата от своите изследвания в областта на машинното обучение, свързани с разпознаването на емоции по лицата на хората, присъстващи на снимки и видеа. Кодът е написан на Python, използвайки PyTorch и е с лиценз Apache 2.0. Налично е няколко готови модела, включително и за употреба на мобилни устройства.

На базата на библиотеката друг разработчик е създал програмата sevimon, която позволява проследяване на измененията в емоциите с помощта на видеокамера и подпомагане в контрола на мускулното напрежение в лицето, например, за предотвратяване на пренапрежение, косвено влияние върху настроението и в дългосрочен план, предотвратяване на появата на мимически бръчки. За определяне на позицията на лицето на видеото е използвана библиотеката CenterFace. Кодът на sevimon е написан на Python и е с лиценз AGPLv3. При първоначалното стартиране се зареждат моделите, след което програмата не изисква връзка с интернет и работи напълно автономно. Подготовени са инструкции за стартиране в Linux/UNIX и Windows, както и Docker образ за Linux.

Sevimon работи по следния начин: първо на изображението от камерата се определя лицето, след това лицето се сопоставя с всяка от осемте емоции (гняв, презрение, отвращение, страх, радост, липса на емоции, тъга, изненада), след което за всяка емоция се дава оценка на сходството. Получените стойности се съхраняват в журнал в текстов формат за последващ анализ от програмата sevistat. За всяка емоция в конфигурационния файл могат да се зададат горни и долни граници на стойностите, при пресечението на които веднага се дава напомняне.

Източник: opennet.ru