Андрей Савченко от Нижегородския филиал на Висшата школа по икономика публикува резултата от своите изследвания в областта на машинното обучение, свързани с разпознаването на емоции по лицата на хора, присъстващи на снимки и видео. Кодът е написан на Python, използвайки PyTorch и се разпространява под лицензия Apache 2.0. Налични са няколко готови модела, включително подходящи за използване на мобилни устройства.
На базата на библиотеката друг разработчик е създал програма sevimon, която позволява да се проследи промяната на емоциите с помощта на видеокамера и да помогне за контрол на напрежението в лицевите мускули, например, за премахване на натоварването, косвено повлияващо настроението и, при дългосрочна употреба, предотвратяване появата на мимически бръчки. За определяне на позицията на лицето на видеото е използвана библиотеката CenterFace. Кодът на sevimon е написан на Python и се разпространява под лицензия AGPLv3. При първото стартиране се зареждат моделите, след което програмата не изисква интернет свързаност и работи напълно автономно. Подготвени са инструкции за стартиране в Linux/UNIX и Windows, както и docker образ за Linux.
Sevimon работи по следния начин: първо, на изображението от камерата се определя лицето, след това лицето се сопоставя с всяка от осемте емоции (гняв, презрение, отвращение, страх, радост, липса на емоции, тъга, изненада), след което за всяка емоция се дава известна оценка на сходството. Получените стойности се съхраняват в журнал в текстов формат за последващ анализ от програмата sevistat. За всяка емоция във файла с настройки може да се зададат горни и долни граници на стойностите, при пресичането на които веднага се дава напомняне.
Източник: opennet.ru
