Distribution-Based Clustering: Quando os Dados Podem Pertencer a Vários Grupos ao Mesmo Tempo
Desde crianças habituamo-nos a organizar o mundo através de categorias.
- Um animal é um cão ou um gato.
- Uma pessoa é estudante ou profissional.
- Um edifício é uma escola ou um pavilhão desportivo.
O nosso cérebro gosta de classificações simples porque facilitam a compreensão da realidade.
Mas quando começamos a analisar grandes volumes de dados, percebemos rapidamente que o mundo raramente é tão claro.
Existem pessoas que desempenham simultaneamente funções técnicas e de gestão.
Existem edifícios que funcionam como escola durante o dia e como centro desportivo ao final da tarde.
Existem clientes que apresentam comportamentos mistos e não encaixam perfeitamente numa única categoria.
Foi precisamente para lidar com estas situações que surgiram os métodos de Distribution-Based Clustering, também conhecidos como Clustering Probabilístico.
E se os grupos não fossem absolutos?
A maioria das pessoas começa a aprender clustering através do algoritmo K-Means.
Neste modelo, cada registo pertence obrigatoriamente a um único grupo.
A decisão é simples.
- Um cliente pertence ao Cluster 1.
- Um edifício pertence ao Cluster 2.
- Um equipamento pertence ao Cluster 3.
Não existem meios-termos.
No entanto, a realidade nem sempre funciona dessa forma.
Imagine uma pessoa que possui formação em Engenharia, mas que atualmente desempenha funções de gestão.
- A que grupo pertence?
- Ao grupo dos engenheiros?
- Ou ao grupo dos gestores?
A resposta mais realista talvez seja:
Um pouco dos dois. É precisamente esta lógica que os algoritmos probabilísticos procuram representar.
Em vez de categorias, probabilidades
Nos métodos probabilísticos, um registo não recebe apenas uma classificação. Recebe uma probabilidade de pertença a cada grupo.
Por exemplo:
- 60% de probabilidade de pertencer ao Grupo A.
- 40% de probabilidade de pertencer ao Grupo B.
Em vez de uma resposta absoluta, obtemos uma distribuição de probabilidades. Esta abordagem permite representar melhor a complexidade dos dados reais.
Porque isto é importante?
Muitos elementos apresentam características híbridas.
Forçar uma classificação rígida pode ocultar informação valiosa. Imagine uma empresa comercializadora de energia. Alguns clientes apresentam comportamentos muito claros.
Consomem energia exclusivamente em horário laboral e encaixam perfeitamente num determinado perfil.
Mas outros apresentam padrões mistos. Podem ter características de clientes residenciais e simultaneamente de pequenas empresas. Num modelo tradicional seriam obrigados a pertencer apenas a uma dessas categorias. Num modelo probabilístico conseguimos perceber a influência relativa de cada perfil.
Um exemplo com edifícios
Pensemos num edifício municipal. Durante a maior parte do dia funciona como escola. No entanto, ao final da tarde recebe atividades desportivas e culturais.
Ao analisar os seus consumos energéticos, o comportamento observado pode refletir ambas as utilizações.
Um algoritmo tradicional poderia classificá-lo simplesmente como escola.
Mas um algoritmo probabilístico poderia concluir:
- 70% semelhante ao perfil de uma escola.
- 30% semelhante ao perfil de uma instalação desportiva.
De repente, a análise torna-se muito mais rica.
Como o algoritmo calcula estas probabilidades?
A resposta depende do método utilizado. Alguns algoritmos consideram a distância entre os dados.
Quanto mais próximo um elemento estiver de um determinado grupo, maior será a probabilidade de pertencer a esse cluster.
Outros analisam a densidade dos dados. Outros consideram o tamanho relativo dos grupos. E existem algoritmos que utilizam distribuições estatísticas completas para modelar os dados.
O papel dos Gaussian Mixture Models
Um dos algoritmos mais conhecidos nesta área é o Gaussian Mixture Model (GMM).
Em vez de assumir que cada grupo possui uma fronteira rígida, o GMM considera que cada cluster segue uma distribuição estatística.
Para cada grupo, o algoritmo procura compreender:
- A média dos dados.
- A variabilidade.
- A dispersão.
- A forma da distribuição.
Depois calcula a probabilidade de cada registo pertencer a cada uma dessas distribuições. O resultado é muito mais flexível do que uma classificação binária.
Não existe uma única forma correta de agrupar os dados
Esta é uma das lições mais importantes em Machine Learning.
O agrupamento obtido depende sempre daquilo que consideramos relevante.
- Se privilegiarmos a distância, podemos obter um resultado.
- Se privilegiarmos a densidade, podemos obter outro.
- Se privilegiarmos o equilíbrio dos grupos, surgirá uma terceira solução.
- Se privilegiarmos a distribuição estatística dos dados, teremos uma quarta perspetiva.
Nenhuma delas está necessariamente errada.
Cada uma responde a perguntas diferentes.
Uma ligação inesperada à IA Generativa
Curiosamente, este conceito de probabilidade não aparece apenas no clustering.
Está presente em praticamente toda a Inteligência Artificial moderna. Quando utilizamos o ChatGPT, por exemplo, o modelo não sabe qual é a resposta correta.
O que faz é calcular constantemente probabilidades. Para cada palavra, estima qual a continuação mais provável da frase com base no contexto disponível.
Em vez de trabalhar com certezas absolutas, trabalha com graus de probabilidade. Os modelos probabilísticos de clustering seguem exatamente a mesma filosofia.
Aplicação à gestão de energia
No contexto de uma plataforma de gestão energética como o GVE, esta abordagem pode revelar-se extremamente útil.
Imagine centenas de edifícios municipais com perfis de utilização muito diferentes.
Alguns encaixam perfeitamente em categorias bem definidas. Outros apresentam características híbridas.
Ao utilizar clustering probabilístico, torna-se possível compreender melhor estas situações intermédias.
Em vez de simplesmente etiquetar um edifício como escola ou administrativo, podemos perceber a influência relativa de cada perfil e adaptar as estratégias de gestão energética de forma mais precisa.
Uma nova forma de olhar para os dados
Talvez a maior contribuição do clustering probabilístico seja a mudança de mentalidade que nos obriga a fazer.
Durante muito tempo habituámo-nos a pensar em categorias rígidas.
Mas a realidade raramente é composta por fronteiras perfeitas. Muitos dados vivem precisamente nas zonas de transição.
E é nessas zonas que frequentemente se encontram os insights mais interessantes. Por isso, em muitos projetos de análise de dados, a pergunta mais relevante deixa de ser:
A que grupo pertence este elemento?
E passa a ser:
Com que probabilidade pertence a cada grupo?
Porque compreender as incertezas é, muitas vezes, mais valioso do que procurar certezas absolutas.