🥇9 גישות לאיתור חריגות

В מאמר קודם דיברנו על חיזוי סדרות זמן. המשך הגיוני יהיה מאמר על זיהוי חריגות.

בקשה

זיהוי חריגות משמש בתחומים כגון:

1) חיזוי של תקלות ציוד

כך, בשנת 2010 הותקפו צנטריפוגות איראניות על ידי נגיף ה-Stuxnet, שהעמיד את הציוד לפעולה לא מיטבית והשבית חלק מהציוד עקב בלאי מואץ.

אם היו משתמשים באלגוריתמים לזיהוי חריגות בציוד, ניתן היה למנוע את מצב הכשל.

החיפוש אחר חריגות בהפעלת ציוד משמש לא רק בתעשייה הגרעינית, אלא גם במטלורגיה ובהפעלת טורבינות מטוסים. ובתחומים אחרים שבהם השימוש באבחון מנבא זול יותר מהפסדים אפשריים עקב התמוטטות בלתי צפויה.

2) חיזוי הונאה

אם נמשך כסף מהכרטיס שבו אתה משתמש בפודולסק באלבניה, ייתכן שיהיה צורך לבדוק את העסקאות נוספות.

3) זיהוי דפוסי צרכנים חריגים

אם חלק מהלקוחות מפגינים התנהגות חריגה, ייתכן שיש בעיה שאינך מודע לה.

4) זיהוי ביקוש ועומס חריגים

אם המכירות בחנות FMCG ירדו מתחת לרווח הסמך של התחזית, כדאי למצוא את הסיבה למה שקורה.

גישות לזיהוי חריגות

1) תמכו במכונת וקטור עם SVM מחלקה אחת

מתאים כאשר הנתונים במערך האימונים עוקבים אחר התפלגות נורמלית, אך מערך המבחנים מכיל חריגות.

מכונת וקטור התמיכה החד-מחלקה בונה משטח לא ליניארי סביב המקור. אפשר להגדיר מגבלת חיתוך שעבורה הנתונים נחשבים לאנומליים.

בהתבסס על הניסיון של צוות DATA4 שלנו, One-Class SVM הוא האלגוריתם הנפוץ ביותר לפתרון הבעיה של מציאת חריגות.

2) שיטת בידוד יער

בשיטה ה"אקראית" של בניית עצים, פליטות ייכנסו לעלים בשלבים מוקדמים (בעומק רדוד של העץ), כלומר. קל יותר "לבודד" פליטות. בידוד של ערכים חריגים מתרחש באיטרציות הראשונות של האלגוריתם.

3) מעטפת אליפטית ושיטות סטטיסטיות

משמש כאשר הנתונים מחולקים באופן נורמלי. ככל שהמדידה קרובה יותר לזנב תערובת ההתפלגויות, כך הערך חריג יותר.

ניתן לכלול גם שיטות סטטיסטיות אחרות במחלקה זו.

תמונה מ-dyakonov.org

4) שיטות מטריות

השיטות כוללות אלגוריתמים כמו k-nearest neighbors, k-nearest neighbor, ABOD (זיהוי חריג מבוסס זווית) או LOF (גורם חריג מקומי).

מתאים אם המרחק בין הערכים במאפיינים שווה ערך או מנורמל (כדי לא למדוד מכווץ בואה בתוכים).

אלגוריתם השכנים ה-k הקרובים מניח שערכים נורמליים ממוקמים באזור מסוים של מרחב רב-ממדי, והמרחק לאנומליות יהיה גדול יותר מאשר למישור המפריד.

5) שיטות אשכול

המהות של שיטות האשכולות היא שאם ערך נמצא במרחק של יותר מכמות מסוימת ממרכזי האשכולות, הערך יכול להיחשב לאנומלי.

העיקר הוא להשתמש באלגוריתם שמקבץ נכון את הנתונים, שתלוי במשימה הספציפית.

6) שיטת הרכיב העיקרי

מתאים היכן שהכיוונים של השינוי הגדול ביותר בפיזור מודגשים.

7) אלגוריתמים המבוססים על חיזוי סדרות זמן

הרעיון הוא שאם ערך נופל מחוץ לרווח הסמך של החיזוי, הערך נחשב לאנומלי. כדי לחזות סדרת זמן, נעשה שימוש באלגוריתמים כגון החלקה משולשת, S(ARIMA), חיזוק וכו'.

אלגוריתמים לחיזוי סדרות זמן נדונו במאמר הקודם.

8) למידה מפוקחת (רגרסיה, סיווג)

אם הנתונים מאפשרים, אנו משתמשים באלגוריתמים החל מרגרסיה ליניארית ועד לרשתות חוזרות. בואו נמדוד את ההבדל בין החיזוי לערך בפועל, ונסיק מסקנה עד כמה הנתונים חורגים מהנורמה. חשוב שלאלגוריתם תהיה יכולת הכללה מספקת ושמערך האימון לא יכיל ערכים חריגים.

9) בדיקות מודל

בואו ניגש לבעיה של חיפוש חריגות כבעיה של חיפוש המלצות. בואו נפרק את מטריצת התכונות שלנו באמצעות SVD או מכונות פירוק לגורמים, וניקח את הערכים במטריצה החדשה ששונים באופן משמעותי מהמקוריים כחריגים.