Andrey Savchenko z Nižněnovgorodské pobočky Vyšší ekonomické školy zveřejnil výsledek svého výzkumu v oblasti strojového učení souvisejícího s rozpoznáváním emocí na tvářích lidí přítomných na fotografiích a videích. Kód je napsán v Pythonu pomocí PyTorch a distribuován pod licencí Apache 2.0. K dispozici je několik hotových modelů, včetně těch, které jsou vhodné pro použití na mobilních zařízeních.
Na základě knihovny vytvořil jiný vývojář program sevimon, který umožňuje sledovat změny emocí pomocí videokamery a pomáhá kontrolovat napětí obličejových svalů, například eliminovat přepětí, nepřímý vliv na náladu a při dlouhodobém používání. aby se zabránilo výskytu výrazových linií. Knihovna CenterFace se používá k určení polohy tváře ve videu. Kód sevimon je napsán v Pythonu a distribuován pod licencí AGPLv3. Při prvním spuštění se načtou modely, po kterých program nevyžaduje připojení k internetu a funguje zcela offline. Byly připraveny pokyny pro běh na Linuxu/UNIXu a Windows a také docker image pro Linux.
Sevimon funguje následovně: nejprve se na snímku z kamery určí obličej, poté se obličej porovná s každou z osmi emocí (hněv, pohrdání, znechucení, strach, radost, nedostatek emocí, smutek, překvapení). skóre podobnosti je uvedeno pro každou emoci. Získané hodnoty se ukládají do protokolu v textovém formátu pro další analýzu programem sevistat. Pro každou emoci v souboru nastavení můžete nastavit horní a dolní hranici hodnot, při jejichž překročení je okamžitě vypsána připomínka.
Zdroj: opennet.ru