Clustering Baseado em Densidade: Quando a Inteligência Artificial Procura Onde os Dados Gostam de se Juntar
Quando começamos a estudar clustering, é muito comum encontrar exemplos do algoritmo K-Means.
A lógica parece intuitiva. O algoritmo procura centros, chamados centroids, e organiza os dados em torno desses pontos centrais.
Mas existe um problema.
Nem sempre os dados se organizam naturalmente à volta de centros bem definidos.
Na realidade, muitos conjuntos de dados apresentam formas irregulares, distribuições complexas e padrões difíceis de representar através de círculos ou áreas uniformes.
Foi precisamente para responder a estes desafios que surgiram os algoritmos de Density-Based Clustering, ou clustering baseado em densidade.
Em vez de procurar centros, estes algoritmos procuram algo diferente.
Procuram descobrir onde os dados tendem naturalmente a concentrar-se.
Como identificamos um grupo sem procurar o seu centro?
Imagine uma praça movimentada.
Ao observar as pessoas durante alguns minutos, percebe rapidamente que elas não estão distribuídas uniformemente pelo espaço.
Existem zonas onde se concentram junto a uma esplanada.
Outras zonas onde se juntam para assistir a um espetáculo de rua.
E existem áreas praticamente vazias onde quase ninguém permanece.
Mesmo sem desenhar qualquer linha no chão, conseguimos identificar grupos de pessoas.
A razão é simples.
As pessoas estão mais próximas umas das outras em determinadas zonas.
É exatamente esta lógica que os algoritmos baseados em densidade utilizam.
O que significa densidade?
De forma simples, a densidade representa o grau de proximidade entre os elementos.
Quanto mais próximos estiverem os dados, maior será a densidade daquela região.
Imagine três grupos de pessoas numa sala.
No primeiro grupo, as pessoas estão muito próximas umas das outras.
No segundo grupo, encontram-se mais dispersas.
No terceiro grupo, estão bastante afastadas.
Naturalmente, o primeiro grupo apresenta uma densidade muito superior aos restantes.
Os algoritmos conseguem medir estas diferenças e utilizá-las para identificar agrupamentos naturais.
A pergunta mais importante do clustering
Independentemente do algoritmo utilizado, existe uma pergunta fundamental que está presente em praticamente todos os problemas de clustering:
Quão distantes estão os dados uns dos outros?
Esta questão parece simples, mas é uma das mais importantes em toda a área do Machine Learning.
Grande parte dos algoritmos de clustering baseia as suas decisões precisamente nas distâncias entre observações.
Quando dois elementos estão muito próximos, existe uma maior probabilidade de pertencerem ao mesmo grupo.
Quando estão muito afastados, a probabilidade diminui.
A forma como estas distâncias são interpretadas acaba por definir os grupos encontrados.
Nem todos os algoritmos veem os dados da mesma forma
Uma das lições mais importantes para quem começa a trabalhar com Machine Learning é perceber que não existe um único algoritmo perfeito.
Cada método observa os dados através de uma perspetiva diferente.
O algoritmo K-Means procura centros e funciona muito bem quando os grupos possuem formas relativamente simples e equilibradas.
No entanto, exige que o utilizador defina previamente quantos clusters pretende encontrar.
Já o DBSCAN, um dos algoritmos baseados em densidade mais populares, segue uma abordagem diferente.
Em vez de procurar centros, identifica regiões onde existe uma elevada concentração de pontos.
Uma das suas grandes vantagens é não exigir que o número de grupos seja definido antecipadamente.
Além disso, consegue lidar melhor com formas complexas e identificar automaticamente observações anómalas.
Por sua vez, o Hierarchical Clustering constrói uma árvore de relações entre observações, permitindo explorar diferentes níveis de agrupamento e compreender melhor as ligações existentes nos dados.
Cada algoritmo possui vantagens e limitações.
Por esse motivo, é comum testar vários métodos antes de escolher aquele que melhor responde ao problema em análise.
Nem sempre todos os dados pertencem a um grupo
Esta é uma das características mais interessantes dos métodos baseados em densidade.
Ao contrário do K-Means, nem todos os pontos precisam obrigatoriamente de ser incluídos num cluster.
Alguns podem simplesmente ser considerados ruído.
Outros podem ser classificados como anomalias.
E muitas vezes são precisamente esses casos que merecem maior atenção.
Quando os dados estranhos são os mais importantes
Imagine uma análise energética realizada sobre centenas de edifícios.
A maioria apresenta consumos semelhantes e comportamentos previsíveis.
Mas um deles consome dez vezes mais energia do que os restantes.
Outro apresenta consumos elevados durante a madrugada.
Um terceiro possui um padrão completamente diferente de todos os outros.
Para um algoritmo baseado em densidade, estes edifícios podem surgir como observações isoladas.
Em vez de serem forçados a integrar um grupo inadequado, são identificados como elementos anómalos.
E é aqui que surge o verdadeiro valor da análise.
Muitas vezes, estes casos revelam desperdícios energéticos, equipamentos avariados, erros de medição ou oportunidades de otimização que passariam despercebidas numa análise convencional.
Um exemplo aplicado à gestão de energia
Imaginemos uma plataforma de gestão energética com dados de 500 edifícios municipais.
Ao aplicar um algoritmo baseado em densidade, podem surgir vários agrupamentos naturais.
Talvez exista uma grande concentração de escolas com perfis de consumo semelhantes.
Outra concentração poderá corresponder a edifícios administrativos.
Um terceiro grupo poderá reunir instalações desportivas.
Mas alguns edifícios podem surgir completamente isolados.
Esses casos merecem uma análise detalhada.
Podem indicar situações excecionais, problemas operacionais ou oportunidades de melhoria que justificam intervenção prioritária.
Não existe um agrupamento perfeito
Tal como acontece noutras áreas do Machine Learning, não existe uma resposta única.
O melhor agrupamento depende sempre do objetivo que pretendemos atingir.
Uma equipa de marketing pode precisar de segmentos muito detalhados para personalizar campanhas.
Uma equipa de gestão operacional pode preferir poucos grupos facilmente interpretáveis.
Uma equipa energética pode estar mais interessada em identificar anomalias do que em criar segmentações complexas.
O contexto define o que significa um bom resultado.
Uma ideia para guardar
Existe uma frase que resume de forma simples a diferença entre estas abordagens:
Enquanto o K-Means procura o centro dos grupos, os algoritmos baseados em densidade procuram descobrir onde os dados gostam naturalmente de se juntar.
E muitas vezes é precisamente nesses agrupamentos naturais que se encontram os conhecimentos mais valiosos escondidos nos dados.
Porque a verdadeira força da Inteligência Artificial não está apenas em responder às nossas perguntas.
Está em revelar padrões que nem sequer sabíamos que existiam.