نشر أندريه سافتشينكو من فرع نيجني نوفغورود بالمدرسة العليا للاقتصاد نتيجة بحثه في مجال التعلم الآلي المتعلق بالتعرف على المشاعر على وجوه الأشخاص الموجودين في الصور ومقاطع الفيديو. تمت كتابة الكود بلغة Python باستخدام PyTorch وهو مرخص بموجب ترخيص Apache 2.0. تتوفر العديد من النماذج الجاهزة، بما في ذلك تلك المناسبة للاستخدام على الأجهزة المحمولة.
بناءً على المكتبة، قام مطور آخر بإنشاء برنامج sevimon، والذي يسمح لك بتتبع التغيرات في العواطف باستخدام كاميرا فيديو والمساعدة في التحكم في توتر عضلات الوجه، على سبيل المثال، للتخلص من الإجهاد الزائد، والتأثير بشكل غير مباشر على الحالة المزاجية، ومع الاستخدام طويل الأمد، منع ظهور تجاعيد الوجه. تُستخدم مكتبة CenterFace لتحديد موضع الوجه في الفيديو. كود sevimon مكتوب بلغة Python ومرخص بموجب AGPLv3. عند تشغيله لأول مرة، يتم تحميل النماذج، وبعد ذلك لا يحتاج البرنامج إلى اتصال بالإنترنت ويعمل بشكل مستقل تمامًا. تم إعداد تعليمات التشغيل على Linux/UNIX وWindows، بالإضافة إلى صورة عامل إرساء لنظام التشغيل Linux.
يعمل سيفيمون على النحو التالي: أولاً، يتم التعرف على الوجه في صورة الكاميرا، ثم تتم مقارنة الوجه بكل من المشاعر الثمانية (الغضب، الازدراء، الاشمئزاز، الخوف، الفرح، عدم الانفعال، الحزن، المفاجأة)، وبعد ذلك يتم تسجيل درجة التشابه. يتم تقديمه لكل عاطفة. يتم تخزين القيم التي تم الحصول عليها في سجل بتنسيق نصي لتحليلها لاحقًا بواسطة برنامج sevisstat. لكل عاطفة في ملف الإعدادات، يمكنك تعيين الحدود العليا والدنيا للقيم، عند تجاوزها، يتم إصدار تذكير على الفور.
المصدر: opennet.ru