🥇9 أساليب للكشف عن الحالات الشاذة

В المادة السابقة تحدثنا عن التنبؤ بالسلاسل الزمنية. سيكون الاستمرار المنطقي عبارة عن مقال حول تحديد الحالات الشاذة.

تطبيق

يتم استخدام الكشف عن الشذوذ في مجالات مثل:

1) التنبؤ بأعطال المعدات

وهكذا، في عام 2010، تعرضت أجهزة الطرد المركزي الإيرانية لهجوم بفيروس ستوكسنت، مما أدى إلى ضبط المعدات على التشغيل غير الأمثل وتعطيل بعض المعدات بسبب التآكل المتسارع.

إذا تم استخدام خوارزميات الكشف عن الحالات الشاذة على المعدات، كان من الممكن تجنب حالة الفشل.

يتم استخدام البحث عن الحالات الشاذة في تشغيل المعدات ليس فقط في الصناعة النووية، ولكن أيضًا في علم المعادن وتشغيل توربينات الطائرات. وفي المجالات الأخرى حيث يكون استخدام التشخيص التنبئي أرخص من الخسائر المحتملة بسبب الأعطال غير المتوقعة.

2) التنبؤ بالاحتيال

إذا تم سحب الأموال من البطاقة التي تستخدمها في بودولسك في ألبانيا، فقد تحتاج المعاملات إلى مزيد من التدقيق.

3) التعرف على الأنماط الاستهلاكية غير الطبيعية

إذا أظهر بعض العملاء سلوكًا غير طبيعي، فقد تكون هناك مشكلة لست على علم بها.

4) تحديد الطلب والحمل غير الطبيعي

إذا انخفضت المبيعات في متجر سلع استهلاكية إلى أقل من فترة الثقة للتوقعات، فمن المفيد العثور على سبب ما يحدث.

طرق تحديد الحالات الشاذة

1) دعم آلة المتجهات مع SVM من فئة واحدة

مناسب عندما تتبع البيانات الموجودة في مجموعة التدريب التوزيع الطبيعي، ولكن مجموعة الاختبار تحتوي على حالات شاذة.

تقوم آلة ناقل الدعم ذات الفئة الواحدة ببناء سطح غير خطي حول الأصل. من الممكن تعيين حد قطع تعتبر البيانات فيه شاذة.

استنادًا إلى خبرة فريق DATA4 لدينا، تعد One-Class SVM هي الخوارزمية الأكثر استخدامًا لحل مشكلة العثور على الحالات الشاذة.

2) طريقة عزل الغابات

ومع الطريقة “العشوائية” في بناء الأشجار، فإن الانبعاثات ستدخل إلى الأوراق في مراحل مبكرة (على عمق ضحل من الشجرة)، أي. من الأسهل "عزل" الانبعاثات. يحدث عزل القيم الشاذة في التكرارات الأولى للخوارزمية.

3) المظروف الإهليلجي والأساليب الإحصائية

يستخدم عندما يتم توزيع البيانات بشكل طبيعي. كلما اقترب القياس من ذيل خليط التوزيعات، كلما كانت القيمة أكثر شذوذًا.

يمكن أيضًا تضمين طرق إحصائية أخرى في هذا الفصل.

الصورة من dyakonov.org

4) الطرق المترية

تتضمن الأساليب خوارزميات مثل أقرب جيران k، وأقرب جار k، وABOD (اكتشاف القيم الخارجية المستندة إلى الزاوية) أو LOF (عامل القيم الخارجية المحلية).

مناسب إذا كانت المسافة بين القيم في الخصائص متكافئة أو طبيعية (حتى لا يتم قياس أفعى البواء في الببغاوات).

تفترض خوارزمية الجيران الأقرب k أن القيم العادية موجودة في منطقة معينة من الفضاء متعدد الأبعاد، وستكون المسافة إلى الحالات الشاذة أكبر من المسافة إلى المستوى الفائق المنفصل.

5) الأساليب العنقودية

جوهر أساليب المجموعة هو أنه إذا كانت القيمة بعيدة عن مراكز المجموعة بأكثر من مقدار معين، فيمكن اعتبار القيمة شاذة.

الشيء الرئيسي هو استخدام خوارزمية تجمع البيانات بشكل صحيح، والتي تعتمد على المهمة المحددة.

6) طريقة المكون الرئيسي

مناسبة حيث يتم تسليط الضوء على اتجاهات التغيير الأكبر في التشتت.

7) الخوارزميات المبنية على التنبؤ بالسلاسل الزمنية

والفكرة هي أنه إذا كانت القيمة تقع خارج نطاق ثقة التنبؤ، فإن القيمة تعتبر شاذة. للتنبؤ بسلسلة زمنية، يتم استخدام خوارزميات مثل التجانس الثلاثي، S(ARIMA)، التعزيز، وما إلى ذلك.

تمت مناقشة خوارزميات التنبؤ بالسلاسل الزمنية في المقالة السابقة.

8) التعلم تحت الإشراف (الانحدار، التصنيف)

إذا سمحت البيانات بذلك، نستخدم خوارزميات تتراوح من الانحدار الخطي إلى الشبكات المتكررة. دعونا نقيس الفرق بين القيمة المتوقعة والقيمة الفعلية، ونستنتج إلى أي مدى تنحرف البيانات عن القاعدة. من المهم أن تتمتع الخوارزمية بقدرة تعميمية كافية وأن مجموعة التدريب لا تحتوي على قيم شاذة.

9) الاختبارات النموذجية

دعونا نتعامل مع مشكلة البحث عن الحالات الشاذة كمشكلة بحث عن التوصيات. دعونا نحلل مصفوفة الميزات الخاصة بنا باستخدام SVD أو آلات التحليل، ونأخذ القيم الموجودة في المصفوفة الجديدة والتي تختلف بشكل كبير عن القيم الأصلية على أنها قيم شاذة.