Como a Inteligência Artificial Descobre Quais as Variáveis Mais Importantes?
Uma das dúvidas mais frequentes quando começamos a estudar Machine Learning é perceber como um algoritmo sabe quais os dados mais importantes para tomar decisões.
A resposta pode surpreender: no início, normalmente não sabe.
Quando trabalhamos com técnicas de Unsupervised Learning, o algoritmo recebe um conjunto de dados sem qualquer indicação sobre quais as variáveis mais relevantes. Todas entram no processo em pé de igualdade.
Imagine uma base de dados com informação sobre edifícios municipais. Entre as variáveis disponíveis podemos encontrar a área útil, o número de ocupantes, os consumos elétricos, os consumos de gás, o ano de construção, a potência contratada ou as horas de utilização.
Para um ser humano experiente na área energética, algumas destas variáveis podem parecer imediatamente mais importantes do que outras. No entanto, para o algoritmo, todas começam exatamente com o mesmo peso.
O trabalho da Inteligência Artificial consiste precisamente em analisar os dados e descobrir quais as características que melhor explicam as diferenças existentes entre os edifícios.
Nem todas as variáveis contribuem da mesma forma
À medida que o algoritmo analisa os dados, começa a identificar padrões.
Algumas variáveis apresentam grandes diferenças entre os edifícios e ajudam claramente a distingui-los. Outras variam muito pouco ou apresentam informação redundante, contribuindo pouco para a compreensão do problema.
É semelhante ao que acontece numa conversa. Se estivermos a tentar distinguir várias pessoas, a profissão ou a idade podem ser características bastante úteis. Já o número de letras do nome pode não acrescentar praticamente nenhuma informação relevante.
O algoritmo procura precisamente identificar quais as características que mais ajudam a compreender a estrutura dos dados.
O papel da Redução de Dimensionalidade
Quando um conjunto de dados possui dezenas ou centenas de variáveis, torna-se difícil analisar toda a informação em simultâneo.
É aqui que entram técnicas de redução de dimensionalidade, como o PCA (Principal Component Analysis).
O PCA procura resumir a informação existente através de um número muito menor de componentes, preservando o máximo possível da variabilidade original.
Imaginemos um dataset com 100 variáveis.
Após a análise, podemos descobrir que apenas cinco componentes conseguem representar cerca de 80% da informação total existente nos dados. As restantes 95 variáveis contribuem apenas para os 20% restantes.
Isto não significa que as outras variáveis sejam inúteis. Significa apenas que a maior parte da informação relevante pode ser explicada por um conjunto muito mais reduzido de características.
Na prática, conseguimos simplificar o problema sem perder conhecimento importante.
O verdadeiro objetivo não é encontrar variáveis importantes
Existe outro aspeto fundamental que muitas vezes é mal compreendido.
O objetivo principal do Unsupervised Learning não consiste em criar uma lista das variáveis mais importantes.
O verdadeiro objetivo é descobrir conhecimento escondido nos dados.
Dependendo do problema, isso pode significar:
- Encontrar grupos naturais de observações semelhantes.
- Descobrir relações ocultas entre variáveis.
- Identificar padrões de comportamento.
- Detetar anomalias.
- Reduzir a complexidade dos dados.
A identificação das variáveis mais relevantes surge frequentemente como consequência desse processo de descoberta.
Uma biblioteca sem categorias
Uma metáfora simples ajuda a compreender este conceito.
Imagine que entra numa biblioteca com 10.000 livros completamente desorganizados. Não existem secções, etiquetas ou categorias.
Cada livro possui dezenas de características possíveis: título, autor, ano de publicação, idioma, género literário, número de páginas, editora e muitos outros atributos.
No início, todas essas características parecem ter uma importância semelhante. À medida que começa a organizar os livros, percebe rapidamente que algumas ajudam muito mais do que outras.
O género literário permite separar romances, livros técnicos e obras de ficção científica. O idioma permite criar novos agrupamentos. Já o número de páginas, apesar de ser uma característica válida, raramente ajuda a organizar a biblioteca de forma eficiente.
Sem ter esse objetivo inicial, acabou por descobrir quais as características que melhor explicam a estrutura da coleção. É exatamente isso que acontece em muitos algoritmos de aprendizagem não supervisionada.
Porque isto é importante nas organizações?
Atualmente, as empresas e organizações recolhem volumes gigantescos de informação. Sistemas de gestão, sensores IoT, plataformas energéticas, ERPs e aplicações web produzem milhares de variáveis diariamente.
Sem ferramentas adequadas, torna-se praticamente impossível perceber quais os dados que realmente importam.
Técnicas como PCA, Feature Extraction e Clustering ajudam a transformar grandes volumes de informação em conhecimento útil, permitindo identificar padrões, simplificar análises e apoiar a tomada de decisão.
Em vez de analisar centenas de indicadores isoladamente, os gestores podem concentrar-se nos fatores que realmente explicam o comportamento dos seus sistemas, edifícios, equipamentos ou clientes.
E é precisamente essa capacidade de transformar complexidade em conhecimento que torna o Unsupervised Learning uma das áreas mais fascinantes da Inteligência Artificial.