Value-Based Reinforcement Learning
Imagina que estás no interior de um submarino a centenas de metros de profundidade. À tua volta existe apenas escuridão. Não tens um mapa completo do oceano, não conheces todos os obstáculos e muito menos consegues prever o que encontrarás alguns quilómetros mais à frente. Os sensores mostram apenas uma pequena parte do ambiente e cada decisão altera imediatamente a tua posição. Avanças alguns metros, observas o resultado, corriges a direção e voltas a avançar. Aos poucos, começas a reconhecer padrões. Certas rotas aproximam-te do destino, enquanto outras te conduzem para zonas perigosas. Ninguém te ensinou qual era o melhor caminho. Aprendeste apenas porque foste acumulando experiência.
Esta analogia resume de forma quase perfeita a essência do Value-Based Reinforcement Learning. Ao contrário das abordagens que analisámos nos artigos anteriores, aqui o agente deixa de possuir um modelo do ambiente que lhe permita simular diferentes cenários antes de agir. Em vez disso, aprende diretamente através da experiência, observando quais as ações que, de forma consistente, produzem melhores resultados ao longo do tempo.
É precisamente por esta razão que o Value-Based Reinforcement Learning pertence à família dos algoritmos Model-Free. O agente não tenta construir uma representação completa da realidade. Limita-se a interagir com o ambiente, guardar aquilo que aprende e utilizar esse conhecimento para tomar decisões cada vez mais inteligentes.
Quando não conseguimos simular o futuro
Nos artigos anteriores vimos que o Planning, o Optimization, o Uncertainty e o Control dependiam de um modelo do ambiente. Esse modelo permitia simular acontecimentos antes de executar qualquer ação. Em muitos problemas isso é perfeitamente possível. Uma empresa pode construir um simulador da sua cadeia logística, uma fábrica pode modelar o comportamento de uma linha de produção e um edifício inteligente pode prever o consumo energético em diferentes condições climatéricas.
Infelizmente, o mundo real nem sempre é tão cooperante. Existem ambientes demasiado complexos, demasiado imprevisíveis ou simplesmente demasiado desconhecidos para serem representados por um modelo suficientemente rigoroso. Nestas situações, insistir em construir uma simulação perfeita pode consumir mais tempo e recursos do que aprender diretamente através da experiência.
É exatamente aqui que o Value-Based Reinforcement Learning demonstra toda a sua utilidade. Em vez de tentar responder à pergunta “o que vai acontecer se eu fizer isto?”, procura responder a outra questão muito mais prática:
Quão boa costuma ser esta ação quando me encontro neste estado?
Pode parecer uma diferença subtil, mas altera completamente a forma como o agente aprende.
Construir experiência enquanto caminhamos
Durante a aula surgiu uma frase muito interessante: “construímos a experiência à medida que avançamos”.
Esta ideia é, provavelmente, a melhor definição informal de Value-Based Reinforcement Learning.
No início o agente não sabe absolutamente nada. Não possui dados históricos, não conhece padrões nem consegue distinguir boas decisões de más decisões. Apenas observa o estado atual do ambiente, escolhe uma ação e recebe uma recompensa. Esse ciclo repete-se centenas, milhares ou até milhões de vezes.
Pouco a pouco, o agente começa a perceber que determinadas ações tendem a produzir melhores resultados em determinadas situações. Esse conhecimento passa a fazer parte da sua memória e será utilizado nas decisões futuras. O histórico não existia quando o sistema começou a aprender. Foi sendo construído ao longo da interação com o ambiente.
É exatamente por isso que o professor insistiu que, nesta abordagem, não utilizamos dados para calibrar um modelo do ambiente. Os dados históricos vão sendo criados pelo próprio agente à medida que este ganha experiência.
O valor de uma ação
O nome desta abordagem também ajuda a compreender o seu funcionamento.
O agente procura atribuir um valor a cada ação possível.
Esse valor representa uma estimativa da recompensa futura caso aquela ação seja executada naquele estado específico. Não estamos apenas interessados na recompensa imediata, mas em tudo aquilo que poderá acontecer a seguir.
No exemplo utilizado durante a aula, a empresa LogiTrans precisava de decidir o número de transbordos para cada envio. O ambiente era demasiado complexo para ser modelado com precisão, pelo que o agente foi aprendendo através da experiência.
Depois de centenas de entregas, poderia chegar a uma conclusão como esta:
- zero transbordos costuma produzir maus resultados;
- um transbordo melhora ligeiramente a operação;
- dois transbordos geram, em média, a maior recompensa;
- três transbordos voltam a aumentar custos e atrasos.
Repara que esta conclusão não resulta de uma simulação. Resulta da experiência acumulada.
O melhor caminho depende sempre do ambiente
Existe, no entanto, uma ideia muito importante que merece ser destacada.
Durante a aula vimos um gráfico onde dois transbordos apresentavam a maior recompensa esperada. Seria tentador concluir que a resposta correta é sempre utilizar dois transbordos.
Mas isso seria um erro.
A recompensa depende completamente do ambiente onde o agente está a operar.
Se alterarmos a distância da entrega, o tipo de mercadoria, o tráfego ou as condições climatéricas, a melhor decisão poderá mudar completamente.
O Value-Based Reinforcement Learning não aprende regras universais. Aprende relações entre estados, ações e recompensas.
Aplicação à gestão financeira
Os mercados financeiros são um excelente exemplo de ambientes onde esta abordagem pode ser útil.
Nenhum investidor consegue construir um modelo perfeito que represente toda a economia mundial. Existem demasiadas variáveis, demasiados acontecimentos inesperados e demasiadas interações para que isso seja possível.
Em vez de tentar prever todos os cenários futuros, um agente de Value-Based Reinforcement Learning pode aprender diretamente através da experiência. Sempre que compra, vende ou mantém uma posição, observa o resultado dessas decisões e atualiza a estimativa do valor associado a cada ação.
Ao fim de milhares de interações, deixa de seguir regras rígidas e começa a desenvolver uma estratégia baseada naquilo que historicamente produziu melhores retornos para estados semelhantes do mercado.
Aplicação à gestão de recursos humanos
Também na gestão de pessoas encontramos problemas onde a experiência desempenha um papel decisivo.
Imagina uma organização que pretende aumentar a retenção de talento. Existem várias iniciativas possíveis: programas de formação, horários flexíveis, revisão salarial, planos de carreira ou novas políticas de reconhecimento.
Nenhum gestor consegue prever exatamente qual destas ações produzirá melhores resultados para todas as equipas.
Ao observar continuamente os efeitos de cada iniciativa, a organização começa a perceber quais as decisões que, em determinados contextos, tendem a aumentar a satisfação, reduzir a rotatividade e melhorar o desempenho coletivo. A experiência acumulada transforma-se gradualmente numa base de conhecimento muito mais rica do que qualquer conjunto inicial de regras.
Liderança também se aprende através da experiência
Talvez nenhuma área ilustre tão bem esta abordagem como a liderança.
Os grandes líderes raramente recebem um manual que lhes diga exatamente como agir em cada situação. Aprendem através da experiência. Cometem erros, analisam as consequências das suas decisões, observam a reação das equipas e ajustam gradualmente a sua forma de liderar.
Ao longo dos anos desenvolvem uma espécie de biblioteca mental onde cada situação vivida contribui para melhorar as decisões futuras.
É exatamente isso que faz um agente de Value-Based Reinforcement Learning.
Como reconhecer este problema na sua empresa
Esta abordagem pode ser particularmente útil quando responde afirmativamente à maioria das seguintes questões:
- É impossível construir um modelo suficientemente rigoroso do ambiente?
- O sistema pode aprender diretamente através da experiência?
- As decisões repetem-se muitas vezes ao longo do tempo?
- Existe tempo suficiente para o agente acumular conhecimento?
- Pretende que o sistema melhore continuamente à medida que interage com a realidade?
Se respondeu “sim” à maioria destas perguntas, provavelmente está perante um problema onde o Value-Based Reinforcement Learning pode ser uma excelente solução.
Conclusão
O Value-Based Reinforcement Learning demonstra que nem sempre precisamos de compreender completamente o mundo para tomar boas decisões. Em muitos problemas, basta aprender continuamente com a experiência, estimando o valor das diferentes ações e utilizando esse conhecimento para escolher aquelas que, historicamente, produziram melhores resultados.
É uma abordagem particularmente poderosa quando o ambiente é demasiado complexo para ser modelado, mas suficientemente repetitivo para que a experiência acumulada permita construir conhecimento ao longo do tempo.
No próximo artigo iremos analisar uma abordagem bastante diferente. Em vez de aprender o valor de cada ação, o agente passa a aprender diretamente qual a ação que deve escolher em cada situação. É precisamente esse o objetivo do Policy-Based Reinforcement Learning, onde os hábitos e as probabilidades passam a desempenhar um papel central na tomada de decisão.