Em Discutimos sobre a previsão de séries temporais. Uma continuação lógica seria um artigo sobre a detecção de anomalias.
Aplicação
A detecção de anomalias é utilizada em áreas como:
1) Previsão de falhas de equipamentos
Assim, em 2010, as centrífugas iranianas foram atacadas pelo vírus Stuxnet, que configurou um modo de operação não otimizado do equipamento e danificou parte dele devido ao desgaste aceleração.
Se algoritmos de detecção de anomalias tivessem sido usados, as situações de falha poderiam ter sido evitadas.
A busca por anomalias no funcionamento dos equipamentos é utilizada não apenas na indústria nuclear, mas também na metalurgia e no funcionamento de turbinas aeronáuticas. E em outras áreas, onde o uso de diagnóstico preditivo é mais barato do que as possíveis perdas decorrentes de falhas imprevisíveis.
2) Previsão de atividades fraudulentas
Se o cartão que você usa em Podolsk for usado para retirar dinheiro na Albânia, talvez seja necessário verificar as transações com mais cuidado.
3) Identificação de padrões de consumo anormais
Se parte dos clientes demonstrar um comportamento anômalo, pode haver um problema do qual você não está ciente.
4) Identificação de demanda e carga anormais
Se as vendas em uma loja de FMCG caírem abaixo do limite do intervalo de confiança da previsão, é necessário encontrar a causa do que está acontecendo.
Abordagens para a detecção de anomalias
1) Método de vetores de suporte de uma classe – One-Class SVM
Apropriado quando os dados no conjunto de treinamento seguem uma distribuição normal, enquanto os testes contêm anomalias.
O método de vetores de suporte de uma classe constrói uma superfície não linear ao redor da origem. É possível definir um limite de corte para determinar quais dados são considerados anômalos.
Com base na experiência da nossa equipe DATA4, o One-Class SVM é o algoritmo mais utilizado para resolver a tarefa de busca de anomalias.
2) Método do isolamento de florestas – Isolate Forest
No método de construção de árvores 'aleatórias', os outliers tendem a cair em folhas nas etapas iniciais (em uma pequena profundidade da árvore), ou seja, os outliers são mais fáceis de 'isolar'. A distinção de valores anômalos ocorre nas primeiras iterações do funcionamento do algoritmo.
3) Envelope elíptico e métodos estatísticos
Utilizado quando os dados são normalmente distribuídos. Quanto mais próximo a medição estiver da cauda da mistura de distribuições, mais anômalo será o valor.
A esta classe também pertencem outros métodos estatísticos.
Imagem do site dyakonov.org
4) Métodos métricos
Os métodos incluem algoritmos como k-vizinhos mais próximos, k-ésimo vizinho, ABOD (deteção de outliers baseada em ângulo) ou LOF (fator de outlier local).
São adequados se a distância entre os valores nas características é equivalente ou normalizada (para não medir uma cobra em papagaios).
O algoritmo k-vizinhos mais próximos pressupõe que os valores normais estão localizados em uma determinada área do espaço multidimensional, e a distância até as anomalias será maior do que até o hiperplano separador.
5) Métodos de clusterização
A essência dos métodos de clusterização é que, se um valor se afasta dos centros dos clusters mais do que um valor determinado, o valor pode ser considerado anômalo.
O principal é usar um algoritmo que faça a clusterização correta dos dados, o que depende da tarefa específica.
6) Método de componentes principais
Adequado onde direções de maior variação da variância são destacadas.
7) Algoritmos baseados em previsão de séries temporais
A ideia é que, se um valor se desvia do intervalo de confiança da previsão, o valor é considerado anômalo. Para prever séries temporais, são usados algoritmos como suavização tripla, S(ARIMA), boosting, etc.
Os algoritmos de previsão de séries temporais foram abordados no artigo anterior.
8) Aprendizado supervisionado (regressão, classificação)
Se os dados permitirem, utilizaremos algoritmos desde a regressão linear até redes neurais recorrentes. Mediremos a diferença entre a previsão e o valor real e tiraremos conclusões sobre como os dados se desviam da norma. É importante que o algoritmo tenha capacidade de generalização suficiente e a amostra de treinamento não contenha valores anômalos.
9) Testes de modelo
Abordaremos a tarefa de detecção de anomalias como uma tarefa de recomendação. Decompor nossa matriz de características usando SVD ou máquinas de fatoração, e os valores na nova matriz, que diferem significativamente dos originais, serão considerados anômalos.
Imagem do site dyakonov.org
Conclusão
Neste artigo, discutimos as principais abordagens para a detecção de anomalias.
A busca por anomalias pode ser considerada uma arte. Não existe um algoritmo ou abordagem perfeita que resolva todos os problemas. Frequentemente, utiliza-se um conjunto de métodos para resolver um caso específico. A detecção de anomalias é realizada por meio de métodos de suporte vetorial de uma classe, florestas isoladoras, métodos métricos e de cluster, além do uso de componentes principais e previsão de séries temporais.
Se você conhece outros métodos, escreva sobre eles nos comentários do artigo.
Fonte: habr.com
