🥇9 วิธีตรวจจับความผิดปกติ

В บทความก่อนหน้านี้ เราคุยกันเรื่องการพยากรณ์อนุกรมเวลา ความต่อเนื่องเชิงตรรกะจะเป็นบทความเกี่ยวกับการระบุความผิดปกติ

ใบสมัคร

การตรวจจับความผิดปกติใช้ในพื้นที่ต่างๆ เช่น:

1) การทำนายความเสียหายของอุปกรณ์

ดังนั้นในปี 2010 เครื่องหมุนเหวี่ยงของอิหร่านจึงถูกโจมตีโดยไวรัส Stuxnet ซึ่งทำให้อุปกรณ์ทำงานไม่เหมาะสมและปิดการใช้งานอุปกรณ์บางส่วนเนื่องจากการสึกหรอที่เร็วขึ้น

หากมีการใช้อัลกอริธึมการตรวจจับความผิดปกติกับอุปกรณ์ สถานการณ์ความล้มเหลวก็สามารถหลีกเลี่ยงได้

การค้นหาความผิดปกติในการทำงานของอุปกรณ์ไม่เพียง แต่ใช้ในอุตสาหกรรมนิวเคลียร์เท่านั้น แต่ยังรวมถึงโลหะวิทยาและการทำงานของกังหันเครื่องบินด้วย และในพื้นที่อื่นๆ ที่การใช้การวินิจฉัยเชิงคาดการณ์มีราคาถูกกว่าการสูญเสียที่อาจเกิดขึ้นเนื่องจากการพังทลายที่คาดเดาไม่ได้

2) การทำนายการฉ้อโกง

หากมีการถอนเงินจากบัตรที่คุณใช้ในเมืองโปโดลสค์ ประเทศแอลเบเนีย อาจต้องมีการตรวจสอบธุรกรรมเพิ่มเติม

3) การระบุรูปแบบผู้บริโภคที่ผิดปกติ

หากลูกค้าบางรายแสดงพฤติกรรมผิดปกติ อาจเกิดปัญหาที่คุณไม่ทราบ

4) การระบุความต้องการและโหลดที่ผิดปกติ

หากยอดขายในร้านสินค้าอุปโภคบริโภคลดลงต่ำกว่าช่วงความเชื่อมั่นที่คาดการณ์ไว้ ก็คุ้มค่าที่จะค้นหาสาเหตุของสิ่งที่เกิดขึ้น

แนวทางในการระบุความผิดปกติ

1) รองรับ Vector Machine ด้วย One Class One-Class SVM

เหมาะสมเมื่อข้อมูลในชุดการฝึกเป็นไปตามการแจกแจงแบบปกติ แต่ชุดทดสอบมีความผิดปกติ

เครื่องเวกเตอร์รองรับระดับหนึ่งสร้างพื้นผิวไม่เชิงเส้นรอบจุดกำเนิด สามารถกำหนดขีดจำกัดการตัดข้อมูลที่ถือว่ามีความผิดปกติได้

จากประสบการณ์ของทีม DATA4 ของเรา One-Class SVM เป็นอัลกอริธึมที่ใช้กันมากที่สุดในการแก้ปัญหาการค้นหาความผิดปกติ

2) วิธีแยกป่า

ด้วยวิธีการสร้างต้นไม้แบบ “สุ่ม” การปล่อยก๊าซเรือนกระจกจะเข้าสู่ใบในระยะแรก (ที่ระดับความลึกตื้นของต้นไม้) กล่าวคือ การปล่อยมลพิษนั้นง่ายต่อการ "แยก" การแยกค่าที่ผิดปกติเกิดขึ้นในการวนซ้ำครั้งแรกของอัลกอริทึม

3) ซองจดหมายรูปไข่และวิธีการทางสถิติ

ใช้เมื่อมีการกระจายข้อมูลตามปกติ ยิ่งการวัดอยู่ใกล้ส่วนท้ายของส่วนผสมของการแจกแจง ค่าก็จะยิ่งผิดปกติมากขึ้น

วิธีการทางสถิติอื่นๆ สามารถรวมไว้ในชั้นเรียนนี้ได้

ภาพจาก dyakonov.org

4) วิธีการเมตริก

วิธีการรวมถึงอัลกอริธึม เช่น k-nearest Neighbor, k-neest Neighbor, ABOD (การตรวจจับค่าผิดปกติตามมุม) หรือ LOF (ปัจจัยค่าผิดปกติในพื้นที่)

เหมาะสมหากระยะห่างระหว่างค่าในลักษณะนั้นเท่ากันหรือทำให้เป็นมาตรฐาน (เพื่อไม่ให้วัดงูเหลือมในนกแก้ว)

อัลกอริธึมเพื่อนบ้านที่ใกล้ที่สุด k ถือว่าค่าปกตินั้นอยู่ในพื้นที่หนึ่งของพื้นที่หลายมิติและระยะห่างถึงความผิดปกติจะมากกว่าระยะห่างของไฮเปอร์เพลนที่แยกออก

5) วิธีการคลัสเตอร์

สาระสำคัญของวิธีการคลัสเตอร์ก็คือ หากค่าอยู่ห่างจากศูนย์กลางคลัสเตอร์มากกว่าจำนวนที่กำหนด ค่านั้นก็ถือว่ามีความผิดปกติได้

สิ่งสำคัญคือการใช้อัลกอริทึมที่จัดกลุ่มข้อมูลอย่างถูกต้องซึ่งขึ้นอยู่กับงานเฉพาะ

6) วิธีการองค์ประกอบหลัก

เหมาะสำหรับบริเวณที่มีการเน้นทิศทางของการเปลี่ยนแปลงการกระจายตัวที่ยิ่งใหญ่ที่สุด

7) อัลกอริทึมตามการพยากรณ์อนุกรมเวลา

แนวคิดก็คือหากค่าอยู่นอกช่วงความเชื่อมั่นในการทำนาย ค่านั้นจะถือว่ามีความผิดปกติ ในการทำนายอนุกรมเวลา จะใช้อัลกอริธึม เช่น การปรับให้เรียบสามเท่า, S(ARIMA), การบูสต์ ฯลฯ

อัลกอริทึมการพยากรณ์อนุกรมเวลาถูกกล่าวถึงในบทความก่อนหน้านี้

8) การเรียนรู้แบบมีผู้สอน (การถดถอย การจำแนกประเภท)

หากข้อมูลอนุญาต เราจะใช้อัลกอริธึมตั้งแต่การถดถอยเชิงเส้นไปจนถึงเครือข่ายที่เกิดซ้ำ มาวัดความแตกต่างระหว่างการทำนายกับค่าจริง แล้วสรุปว่าข้อมูลเบี่ยงเบนไปจากบรรทัดฐานมากน้อยเพียงใด สิ่งสำคัญคืออัลกอริทึมจะต้องมีความสามารถในการวางนัยทั่วไปเพียงพอ และชุดการฝึกไม่มีค่าที่ผิดปกติ

9) การทดสอบแบบจำลอง

มาดูปัญหาการค้นหาความผิดปกติเป็นปัญหาในการค้นหาคำแนะนำกันดีกว่า มาแยกย่อยเมทริกซ์คุณลักษณะของเราโดยใช้ SVD หรือเครื่องแยกตัวประกอบ และนำค่าในเมทริกซ์ใหม่ที่แตกต่างไปจากค่าเดิมอย่างมีนัยสำคัญว่าผิดปกติ