Uncertainty em Reinforcement Learning: saber decidir também significa saber quando não confiar
Imagina que perguntas a duas pessoas qual será o vencedor de um jogo de futebol.
A primeira responde imediatamente:
“Tenho quase a certeza. Dou 95% de probabilidade.”
A segunda hesita durante alguns segundos e responde:
“Talvez… 55%.”
Curiosamente, ambas escolheram a mesma equipa.
Mas confiaríamos igualmente nas duas opiniões?
Provavelmente não.
Não porque a previsão seja diferente, mas porque o nível de confiança é completamente distinto.
É precisamente esta ideia que está na base do Model-Based Uncertainty em Reinforcement Learning. O objetivo já não consiste apenas em prever qual será a melhor decisão. O verdadeiro desafio passa a ser responder a uma pergunta ainda mais importante:
Até que ponto posso confiar na previsão que o meu modelo acabou de fazer?
Nem todas as previsões têm o mesmo valor
Uma das maiores armadilhas da Inteligência Artificial consiste em assumir que todas as previsões possuem a mesma fiabilidade.
Na prática, isso raramente acontece.
Existem situações que o modelo já observou milhares de vezes. Nessas circunstâncias, normalmente consegue produzir previsões muito consistentes.
Mas também existem estados do ambiente que quase nunca aconteceram.
Podem ser situações raras, eventos extremos ou condições nunca observadas anteriormente.
Nesses casos, o modelo continua a produzir uma resposta. A diferença é que essa resposta pode ser muito menos confiável. É precisamente aqui que entra o conceito de Uncertainty.
A pergunta deixa de ser “qual é a melhor decisão?”
Durante os artigos anteriores, o Reinforcement Learning procurava responder a perguntas como:
- Qual será a melhor ação?
- Como posso melhorar a política atual?
- Qual a sequência ótima de decisões?
Agora a pergunta muda completamente.
Passa a ser:
Onde é que o meu modelo está menos seguro daquilo que está a prever?
Esta diferença parece pequena.
Mas muda completamente a forma como tomamos decisões.
O exemplo da LogiTrans
Foi exatamente este cenário que analisámos durante a aula. A empresa possui um modelo construído a partir de milhares de entregas históricas.
Para a maioria das rotas, existe bastante informação. No entanto, aparecem ocasionalmente situações pouco frequentes.
Por exemplo:
- entregas muito longas;
- mercadorias muito pesadas;
- níveis de tráfego extremamente elevados;
- condições meteorológicas pouco habituais.
O modelo continua a produzir uma previsão.
Mas agora surge uma nova pergunta.
Será que esta previsão merece realmente a minha confiança?
Talvez sim.
Talvez não.
O papel do algoritmo deixa de ser apenas calcular uma recompensa esperada.
Passa também a estimar o grau de incerteza associado a essa recompensa.
Aproximar-se dos extremos significa maior confiança
Durante a aula surgiu uma explicação extremamente intuitiva.
Imaginemos uma escala entre zero e um. Uma previsão de 0,90 significa que o modelo está muito próximo de um dos extremos.
Existe pouca dúvida.
Pelo contrário, uma previsão de 0,60 demonstra muito menos confiança. Ainda mais evidente é uma previsão de 0,50.
Neste caso, o modelo praticamente admite que não consegue distinguir entre as alternativas, é a situação de maior incerteza possível.
Em Reinforcement Learning interessa-nos precisamente esta informação. Quanto mais próximo estivermos dos extremos, maior tende a ser a confiança da previsão. Quanto mais próximos estivermos do centro, maior deverá ser a cautela na decisão.
Não basta saber a recompensa
Imagina que duas estratégias produzem exatamente a mesma recompensa esperada.
À primeira vista parecem equivalentes. Mas existe uma diferença importante.
A primeira foi observada milhares de vezes. A segunda apenas apareceu três vezes em todo o histórico.
Continuarias a confiar igualmente nas duas?
Provavelmente não.
É exatamente este tipo de raciocínio que o Model-Based Uncertainty procura formalizar. Não avalia apenas o benefício esperado. Avalia também o risco associado ao conhecimento disponível.
O gráfico da aula
No exemplo apresentado durante a aula, cada ponto representava um determinado estado das entregas.
No eixo horizontal encontrava-se a incerteza.
No eixo vertical surgia a recompensa esperada.
O objetivo não era escolher simplesmente a maior recompensa.
Era identificar situações onde existia um bom equilíbrio entre dois fatores fundamentais:
elevada recompensa;
baixo nível de incerteza.
Esta combinação é frequentemente muito mais valiosa do que uma previsão extremamente otimista, mas construída sobre informação pouco fiável.
Gestão financeira
Poucas áreas ilustram melhor este conceito do que os investimentos.
Imagina que dois ativos apresentam uma rentabilidade prevista semelhante.
No primeiro caso existem vinte anos de histórico, milhares de transações e um comportamento relativamente estável.
No segundo caso trata-se de uma empresa muito recente, com poucos dados disponíveis e elevada volatilidade.
Embora ambos prometam retornos semelhantes, o grau de confiança nas previsões é completamente diferente.
É precisamente esta diferença que um modelo baseado em Uncertainty tenta quantificar.
Não responde apenas à pergunta:
“Quanto posso ganhar?”
Responde também a outra muito mais importante:
“Quão seguro estou desta estimativa?”
Recursos Humanos
O mesmo acontece quando uma organização avalia candidatos para uma determinada função.
Um candidato pode possuir um percurso profissional muito consistente, referências sólidas e várias experiências semelhantes.
Outro candidato apresenta um perfil muito diferente, com competências interessantes, mas poucas situações comparáveis.
Será que devemos tratá-los exatamente da mesma forma?
Naturalmente que não.
Um sistema baseado em Uncertainty pode identificar situações onde a informação disponível é insuficiente para tomar uma decisão totalmente confiante, sugerindo entrevistas adicionais, avaliações técnicas ou períodos experimentais antes da decisão final.
Liderança
Também os líderes convivem diariamente com a incerteza.
Quando surge uma crise económica, uma alteração legislativa ou uma mudança tecnológica, deixam de existir dados suficientes para prever com segurança todas as consequências.
Um bom líder não ignora essa incerteza.
Pelo contrário.
Reconhece-a.
Procura recolher mais informação.
Adia decisões quando necessário.
Ou reduz o risco através de planos alternativos.
Na prática, faz exatamente aquilo que um agente de Reinforcement Learning procura aprender.
A incerteza também gera aprendizagem
Existe outra ideia muito interessante.
Sempre que o modelo identifica uma situação onde possui pouca confiança, está também a indicar onde deve aprender mais.
Em vez de continuar a recolher informação sobre cenários que conhece perfeitamente, pode concentrar os seus esforços precisamente nas situações onde existe maior incerteza.
Desta forma, cada nova experiência contribui para reduzir progressivamente as zonas menos conhecidas do ambiente.
Como reconhecer este problema na sua empresa
O Model-Based Uncertainty pode ser a abordagem mais indicada quando responde afirmativamente à maioria destas questões:
- Existem situações raras ou pouco frequentes?
- Algumas previsões parecem muito menos confiáveis do que outras?
- O custo de uma decisão errada é elevado?
- É importante medir simultaneamente benefício e risco?
- Pretende identificar onde deve recolher mais informação antes de decidir?
Se respondeu “sim” à maioria destas perguntas, provavelmente está perante um problema onde a gestão da incerteza é tão importante como a própria previsão.
Conclusão
O Model-Based Uncertainty introduz uma ideia extremamente poderosa no Reinforcement Learning.
Não basta prever.
É necessário saber quando confiar nessa previsão.
Ao estimar simultaneamente a recompensa esperada e o nível de confiança associado, esta abordagem permite tomar decisões muito mais robustas, especialmente em ambientes onde existem poucos dados, situações raras ou elevada variabilidade.
No próximo artigo iremos abordar outra característica essencial dos sistemas inteligentes: a capacidade de reajustar continuamente as suas decisões à medida que o ambiente muda. É precisamente esse o objetivo do Model-Based Control, onde o agente deixa de planear apenas uma vez e passa a recalcular constantemente a melhor estratégia durante a execução.