Dimensionality Reduction (Redução de Dimensionalidade)
Há alguns anos participei numa reunião onde se discutia um problema que parecia contraditório. Uma organização tinha investido milhares de euros em sensores, sistemas de monitorização, software de gestão e plataformas de análise de dados. Todos os meses eram recolhidos milhões de registos. Existiam dashboards para tudo.
Consumos elétricos, temperaturas, humidades, horários de funcionamento, níveis
de ocupação, produção fotovoltaica, alarmes, históricos e previsões. O problema era simples. Ninguém conseguia tomar decisões. À medida que a quantidade de informação aumentava, a capacidade de compreender o que realmente estava a acontecer diminuía. Aquilo que deveria ser uma vantagem estava a transformar-se num obstáculo. Curiosamente, este é um dos problemas mais comuns nas organizações modernas. Durante anos ouvimos que os dados eram o novo petróleo. Como consequência, começámos a recolher tudo o que era possível recolher.
Mas raramente fazemos uma pergunta fundamental:
Será que precisamos realmente de toda esta informação?
É precisamente aqui que entra um dos conceitos mais importantes da Inteligência
Artificial e do Machine Learning: a Redução de Dimensionalidade.
O paradoxo dos dados
Quando uma empresa começa a digitalizar processos, a tendência natural é recolher cada vez mais informação. Uma plataforma de gestão energética pode recolher dezenas ou centenas de variáveis diferentes.
- Temperatura exterior.
- Humidade.
- Velocidade do vento.
- Radiação solar.
- Temperatura interior.
- Níveis de ocupação.
- Consumos por circuito.
- Potência contratada.
- Produção fotovoltaica.
- E muitas outras.
À primeira vista parece lógico pensar que quanto mais variáveis tivermos, melhor será a análise. Mas a realidade é mais complexa. Muitas destas variáveis estão fortemente relacionadas entre si. Algumas transportam praticamente a mesma informação.
Outras acrescentam muito pouco valor. E algumas podem até introduzir ruído e dificultar a análise. É como tentar compreender uma história ouvindo cinquenta pessoas a falar ao
mesmo tempo. Mais informação não significa necessariamente mais conhecimento.
O dia em que percebemos que estávamos a medir a mesma coisa várias vezes
Imagina uma equipa responsável pela gestão energética de centenas de edifícios. Após vários meses de recolha de dados, alguém decide analisar quais as variáveis que mais influenciam o consumo energético. Os resultados são surpreendentes. Descobre-se que algumas variáveis estão tão correlacionadas que são quase versões diferentes da mesma realidade. Por exemplo, cobertura de nuvens, radiação solar e luminosidade apresentam comportamentos muito semelhantes ao longo do tempo. Na prática, estamos a medir várias vezes o mesmo fenómeno. É como ter três termómetros na mesma sala e esperar obter três perspetivas diferentes sobre a temperatura. A informação adicional existe, mas o valor acrescentado é reduzido.
A pergunta que muda tudo
Em vez de perguntar:
Que edifícios são semelhantes?
ou
Que clientes pertencem ao mesmo grupo?
passamos a perguntar:
Quais são as variáveis que realmente explicam o fenómeno?
Esta mudança de perspetiva é extremamente poderosa. Deixamos de olhar para as linhas da base de dados e começamos a olhar para as colunas. Deixamos de analisar pessoas, edifícios ou equipamentos. Passamos a analisar as próprias variáveis.
Menos pode ser mais
Foi precisamente esta ideia que levou ao desenvolvimento de técnicas de redução
de dimensionalidade. O objetivo não é eliminar informação de forma arbitrária.
O objetivo é descobrir se conseguimos explicar a mesma realidade utilizando menos
variáveis. Em muitos projetos, a resposta é surpreendente. Um conjunto de 100 variáveis pode ser reduzido para 10 mantendo mais de 90% da informação relevante. Por vezes, três ou quatro variáveis conseguem explicar grande parte do fenómeno que estamos a estudar.
Isto significa modelos mais rápidos, análises mais simples e decisões mais fáceis de interpretar.
Duas formas diferentes de simplificar
Existem duas abordagens principais. A primeira chama-se Feature Selection. O conceito é simples. Selecionamos apenas as variáveis que consideramos mais relevantes. Voltando ao exemplo meteorológico, podemos concluir que a cobertura de nuvens e a radiação solar explicam grande parte do comportamento observado. Se a velocidade do vento tiver pouca influência, podemos simplesmente removê-la da análise. As variáveis continuam a ser exatamente as mesmas. Apenas escolhemos utilizar menos. A segunda abordagem é mais interessante. Chama-se Feature Extraction. Neste caso não escolhemos variáveis existentes. Criamos novas variáveis.
Quando a Inteligência Artificial cria conceitos
Pensa na previsão meteorológica. Existem dezenas de medições disponíveis.
- Humidade.
- Temperatura.
- Pressão atmosférica.
- Cobertura de nuvens.
- Velocidade do vento.
Mas as pessoas não querem analisar cada uma destas variáveis individualmente.
Querem saber uma coisa simples:
Qual é a probabilidade de chover?
A probabilidade de chuva não existe diretamente na natureza. É uma abstração criada a partir de várias medições. Transformámos muitos detalhes num conceito único e mais fácil de interpretar. É exatamente isso que faz a Feature Extraction. Cria novas variáveis capazes de representar fenómenos mais complexos.
Como o cérebro humano resolve este problema
Curiosamente, o nosso cérebro faz algo semelhante todos os dias. Quando encontramos uma pessoa na rua, não analisamos milhões de pixeis, milhares de cores ou centenas de detalhes visuais.
- Criamos conceitos.
- Reconhecemos um rosto.
- Interpretamos uma emoção.
- Estimamos uma idade.
- Identificamos uma pessoa.
A inteligência humana depende profundamente da capacidade de transformar muitos detalhes em poucos conceitos relevantes. A Inteligência Artificial procura fazer exatamente o mesmo.
O papel do PCA
Uma das técnicas mais conhecidas nesta área chama-se PCA, ou Principal Component Analysis. Em vez de trabalhar diretamente com dezenas ou centenas de variáveis, o PCA cria novos componentes capazes de resumir a maior parte da informação. É como pegar num livro de 500 páginas e produzir um resumo de 20 páginas que continua a transmitir as ideias fundamentais. Aceitamos perder alguns detalhes. Mas preservamos aquilo que realmente importa.
A verdadeira lição
Quando começamos a trabalhar com dados, a tentação é sempre recolher mais.
- Mais sensores.
- Mais indicadores.
- Mais dashboards.
- Mais relatórios.
Mas a maturidade analítica surge quando começamos a fazer a pergunta oposta.
O que posso ignorar sem perder aquilo que é importante?
A redução de dimensionalidade ensina-nos que a inteligência não está apenas na capacidade de recolher informação. Está sobretudo na capacidade de distinguir o essencial do acessório. E talvez essa seja uma das lições mais importantes do Machine Learning. Porque muitas vezes o segredo não está em encontrar mais dados. Está em descobrir quais os dados que já não precisamos de analisar.