Anomaly Detection: Quando os Dados se Recusam a Seguir o Padrão
Grande parte da Inteligência Artificial procura encontrar padrões.
Os algoritmos analisam milhares ou milhões de registos à procura de comportamentos semelhantes, grupos naturais ou relações escondidas.
Mas existe uma pergunta igualmente importante que muitas vezes passa despercebida:
E os dados que não seguem nenhum padrão?
Enquanto o clustering tenta descobrir aquilo que os dados têm em comum, a deteção de anomalias procura precisamente o contrário.
Procura identificar os elementos que parecem diferentes de todos os outros.
- Os casos raros.
- Os comportamentos inesperados.
- Os registos que se recusam a encaixar em qualquer grupo.
E, curiosamente, são muitas vezes esses casos que escondem as informações mais valiosas.
Quando o problema não é o grupo
Nos artigos anteriores vimos várias técnicas de clustering.
A pergunta principal era normalmente:
- Este registo pertence ao Cluster A?
- Pertence ao Cluster B?
- Ou pertence ao Cluster C?
Na deteção de anomalias, a lógica muda completamente.
A questão passa a ser:
Porque é que este registo não pertence a nenhum grupo?
Esta simples mudança de perspetiva pode transformar completamente uma análise de dados.
Os casos raros que merecem atenção
Imagine que estamos a analisar o consumo anual de 100 edifícios.
Os dados mostram algo aparentemente normal.
- A maioria dos edifícios consome entre 20 MWh e 80 MWh por ano.
- Alguns aproximam-se dos 100 MWh.
- Mas dois edifícios apresentam consumos superiores a 600 MWh.
Imediatamente surge uma questão.
O que está a acontecer nesses edifícios?
- Será um erro de medição?
- Será uma instalação especial?
- Existe algum equipamento avariado?
- Há desperdícios energéticos significativos?
- Ou estaremos perante uma oportunidade de otimização?
Os algoritmos de deteção de anomalias foram desenvolvidos precisamente para identificar estes casos.
A curva normal e os comportamentos esperados
Uma das formas mais intuitivas de compreender este conceito é através da distribuição normal, também conhecida como distribuição gaussiana.
Quando representamos muitos fenómenos naturais, observamos frequentemente uma curva semelhante a um sino.
- A maior parte dos dados concentra-se perto da média.
- À medida que nos afastamos do centro, os casos tornam-se progressivamente mais raros.
- É como observar a altura de uma população.
- A maioria das pessoas encontra-se perto da média.
- Existem poucas pessoas extremamente baixas.
- Existem poucas pessoas extremamente altas.
- Os extremos são raros.
E precisamente por serem raros merecem atenção.
O conceito dos desvios padrão
Na análise estatística existe uma regra amplamente utilizada.
Grande parte dos dados tende a concentrar-se dentro de determinados limites em torno da média.
De forma simplificada:
- Até um desvio padrão, os comportamentos são muito comuns.
- Até dois desvios padrão, os comportamentos continuam a ser relativamente normais.
- Acima de três desvios padrão, estamos perante situações muito raras.
Em muitas distribuições normais, mais de 99% dos dados encontram-se dentro deste intervalo.
Tudo o que aparece para além desses limites merece investigação.
Isto não significa que exista necessariamente um problema.
Mas significa que existe algo diferente.
E a diferença é frequentemente o ponto de partida para uma descoberta.
Nem todas as anomalias são estatísticas
Existe um erro comum quando se fala de deteção de anomalias.
Muitas pessoas assumem que basta aplicar fórmulas matemáticas.
Na prática, o contexto do negócio é igualmente importante.
Uma anomalia pode ser definida através de regras operacionais.
Por exemplo:
- Um consumo superior a 150% da média histórica.
- Uma temperatura acima de 45°C.
- Uma taxa de utilização inferior a 10%.
- Um equipamento que permanece ligado durante 24 horas consecutivas.
Nestes casos, não estamos apenas a utilizar estatística.
Estamos a utilizar conhecimento do negócio.
E muitas vezes essa combinação produz os melhores resultados.
Porque devemos procurar anomalias antes do clustering?
Este é um dos passos mais importantes na preparação dos dados.
Imagine que existe um único edifício com um consumo energético dez vezes superior aos restantes.
Se esse valor for um erro de leitura, poderá influenciar significativamente o resultado do clustering.
Os centroids podem deslocar-se.
Podem surgir grupos artificiais.
Padrões reais podem ficar escondidos.
Por esse motivo, muitos projetos de Machine Learning incluem uma fase inicial de identificação e tratamento de outliers.
Antes de procurar grupos, procuramos compreender os dados que fogem à normalidade.
Ferramentas para encontrar outliers
Existem várias técnicas utilizadas para identificar anomalias.
Algumas das mais comuns incluem:
- Boxplots.
- Z-Score.
- Intervalo Interquartil (IQR).
- Isolation Forest.
- Local Outlier Factor (LOF).
Cada método possui vantagens e limitações.
A escolha depende do tipo de dados e do objetivo da análise.
Um exemplo aplicado à gestão de energia
Imaginemos uma plataforma de gestão energética com informação de 500 edifícios municipais.
Durante a análise surge um caso curioso.
Um edifício apresenta um consumo anual dez vezes superior ao dos restantes.
Antes de executar qualquer algoritmo de clustering devemos parar e investigar.
Perguntas importantes incluem:
- Trata-se de um hospital?
- É uma piscina municipal?
- Existe uma fuga energética?
- O contador está a funcionar corretamente?
- Houve um erro na recolha dos dados?
Só depois de responder a estas questões faz sentido decidir se esse registo deve permanecer na análise.
Quando a anomalia é a descoberta
Existe uma ideia muito importante que merece ser destacada.
Nem todos os outliers são erros.
Muitas vezes são precisamente eles que contêm a informação mais interessante.
Uma transação bancária anómala pode revelar uma fraude.
Um comportamento estranho numa máquina pode antecipar uma avaria.
Um consumo energético invulgar pode revelar uma oportunidade de poupança significativa.
Uma instalação com um padrão único pode tornar-se um caso de estudo.
Em muitos projetos, o verdadeiro valor não está nos comportamentos normais.
Está nos comportamentos excecionais.
O que a Inteligência Artificial nos ensina
Quando começamos a trabalhar com Machine Learning, é natural concentrarmo-nos nos padrões.
Queremos encontrar grupos.
Queremos identificar tendências.
Queremos compreender aquilo que é comum.
Mas a deteção de anomalias lembra-nos de algo importante.
As maiores descobertas nem sempre estão nos dados que seguem as regras.
Muitas vezes estão precisamente nos dados que as quebram.
Porque o clustering procura padrões.
Mas as anomalias mostram-nos onde os padrões deixam de existir.
E, por vezes, é exatamente aí que encontramos as respostas mais valiosas.