Wykorzystanie uczenia maszynowego do wykrywania emocji i kontrolowania mimiki twarzy

Andrey Savchenko z filii Wyższej Szkoły Ekonomicznej w Niżnym Nowogrodzie opublikował wyniki swoich badań z zakresu uczenia maszynowego związanego z rozpoznawaniem emocji na twarzach osób obecnych na zdjęciach i filmach. Kod napisany jest w Pythonie przy użyciu PyTorch i rozpowszechniany na licencji Apache 2.0. Dostępnych jest kilka gotowych modeli, w tym przystosowanych do użytku na urządzeniach mobilnych.

Na podstawie biblioteki inny programista stworzył program sevimon, który pozwala śledzić zmiany emocji za pomocą kamery wideo i pomaga kontrolować napięcie mięśni twarzy, np. eliminując nadmierny wysiłek, pośredni wpływ na nastrój, a przy długotrwałym użytkowaniu aby zapobiec pojawianiu się zmarszczek mimicznych. Biblioteka CenterFace służy do określania położenia twarzy w filmie. Kod sevimon jest napisany w Pythonie i rozpowszechniany na licencji AGPLv3. Przy pierwszym uruchomieniu ładowane są modele, po czym program nie wymaga połączenia z Internetem i działa całkowicie offline. Przygotowano instrukcję obsługi w systemach Linux/UNIX i Windows oraz obraz okna dokowanego dla systemu Linux.

Sevimon działa w następujący sposób: najpierw na obrazie kamery określana jest twarz, następnie porównywana jest ona z każdą z ośmiu emocji (gniew, pogarda, wstręt, strach, radość, brak emocji, smutek, zaskoczenie), po czym Dla każdej emocji podana jest ocena podobieństwa. Uzyskane wartości zapisywane są w formacie tekstowym logu w celu dalszej analizy przez program sevist. Dla każdej emocji w pliku ustawień możesz ustawić górną i dolną granicę wartości, po przekroczeniu której natychmiast pojawia się przypomnienie.

Źródło: opennet.ru

Dodaj komentarz