В Hablamos de pronóstico de series de tiempo. Una continuación lógica sería un artículo sobre la identificación de anomalías.
solicitud
La detección de anomalías se utiliza en áreas como:
1) Predicción de averías de equipos
Así, en 2010, las centrifugadoras iraníes fueron atacadas por el virus Stuxnet, que hizo que el equipo no funcionara de manera óptima e inutilizó algunos de los equipos debido al desgaste acelerado.
Si se hubieran utilizado algoritmos de detección de anomalías en el equipo, se podría haber evitado la situación de falla.
La búsqueda de anomalías en el funcionamiento de equipos se utiliza no sólo en la industria nuclear, sino también en la metalurgia y el funcionamiento de turbinas de aviones. Y en otros ámbitos donde el uso del diagnóstico predictivo es más barato que posibles pérdidas por una avería impredecible.
2) Predicción de fraude
Si se retira dinero de la tarjeta que utiliza en Podolsk, Albania, es posible que sea necesario verificar más las transacciones.
3) Identificación de patrones anormales de consumo
Si algunos clientes muestran un comportamiento anormal, puede haber un problema del que usted no es consciente.
4) Identificación de demanda y carga anormales.
Si las ventas en una tienda de bienes de consumo han caído por debajo del intervalo de confianza del pronóstico, vale la pena encontrar la razón de lo que está sucediendo.
Enfoques para identificar anomalías.
1) Máquina de vectores de soporte con SVM One Class One-Class
Adecuado cuando los datos del conjunto de entrenamiento siguen una distribución normal, pero el conjunto de prueba contiene anomalías.
La máquina de vectores de soporte de una clase construye una superficie no lineal alrededor del origen. Es posible establecer un límite para el cual los datos se consideran anómalos.
Según la experiencia de nuestro equipo de DATA4, One-Class SVM es el algoritmo más utilizado para resolver el problema de encontrar anomalías.
2) Método de aislar el bosque
Con el método "aleatorio" de construir árboles, las emisiones entrarán en las hojas en las primeras etapas (a poca profundidad del árbol), es decir. las emisiones son más fáciles de “aislar”. El aislamiento de valores anómalos ocurre en las primeras iteraciones del algoritmo.
3) Envoltura elíptica y métodos estadísticos.
Se utiliza cuando los datos se distribuyen normalmente. Cuanto más cerca esté la medición de la cola de la mezcla de distribuciones, más anómalo será el valor.
También se pueden incluir otros métodos estadísticos en esta clase.
Imagen de dyakonov.org
4) métodos métricos
Los métodos incluyen algoritmos como k vecinos más cercanos, k vecinos más cercanos, ABOD (detección de valores atípicos basada en ángulos) o LOF (factor de valores atípicos locales).
Adecuado si la distancia entre los valores en las características es equivalente o normalizada (para no medir una boa constrictor en loros).
El algoritmo de k vecinos más cercanos supone que los valores normales están ubicados en una determinada región del espacio multidimensional y que la distancia a las anomalías será mayor que al hiperplano de separación.
5) Métodos de conglomerado
La esencia de los métodos de conglomerado es que si un valor está a más de cierta distancia de los centros del conglomerado, el valor puede considerarse anómalo.
Lo principal es utilizar un algoritmo que agrupe correctamente los datos, lo que depende de la tarea específica.
6) Método del componente principal
Adecuado donde se resaltan las direcciones de mayor cambio en la dispersión.
7) Algoritmos basados en pronósticos de series temporales.
La idea es que si un valor queda fuera del intervalo de confianza de la predicción, el valor se considera anómalo. Para predecir una serie temporal se utilizan algoritmos como triple suavizado, S(ARIMA), boosting, etc.
Los algoritmos de pronóstico de series de tiempo se discutieron en el artículo anterior.
8) Aprendizaje supervisado (regresión, clasificación)
Si los datos lo permiten, utilizamos algoritmos que van desde la regresión lineal hasta redes recurrentes. Midamos la diferencia entre la predicción y el valor real y saquemos una conclusión sobre hasta qué punto los datos se desvían de la norma. Es importante que el algoritmo tenga suficiente capacidad de generalización y que el conjunto de entrenamiento no contenga valores anómalos.
9) Pruebas modelo
Abordemos el problema de la búsqueda de anomalías como un problema de búsqueda de recomendaciones. Descompongamos nuestra matriz de características usando SVD o máquinas de factorización y tomemos los valores en la nueva matriz que son significativamente diferentes de los originales como anómalos.
Imagen de dyakonov.org
Conclusión
En este artículo, revisamos los principales enfoques para la detección de anomalías.
Encontrar anomalías puede considerarse en muchos sentidos un arte. No existe un algoritmo o enfoque ideal cuyo uso resuelva todos los problemas. Más a menudo se utiliza un conjunto de métodos para resolver un caso específico. La detección de anomalías se lleva a cabo utilizando máquinas de vectores de soporte de una clase, aislando bosques, métodos métricos y de clúster, así como utilizando componentes principales y pronósticos de series de tiempo.
Si conoce otros métodos, escríbalos en los comentarios del artículo.
Fuente: habr.com