Control em Reinforcement Learning: porque a melhor decisão de agora pode deixar de o ser daqui a cinco minutos
Há alguns anos, um GPS fazia algo muito simples.
Calculava a melhor rota até ao destino.
Depois limitava-se a indicar:
“Siga em frente durante os próximos 20 quilómetros.”
Hoje já não funciona assim.
Enquanto conduzimos, o GPS recebe continuamente nova informação.
Surge um acidente.
Aparece uma fila inesperada.
Uma estrada é cortada.
Um semáforo avaria.
Sempre que o ambiente muda, o sistema volta a calcular a melhor rota.
Não porque a decisão inicial estivesse errada.
Mas porque o mundo mudou.
É exatamente esta filosofia que está por trás do Model-Based Control em Reinforcement Learning.
O agente não decide apenas uma vez.
Continua a decidir durante toda a execução.
O problema do Planning
No artigo anterior vimos que o Planning permite simular diferentes cenários antes de agir.
Essa abordagem é extremamente poderosa.
Mas existe um problema.
O ambiente raramente permanece igual durante muito tempo.
Podemos criar um excelente plano para hoje.
Mas amanhã podem existir novos clientes, novas regras, novas condições meteorológicas ou novos acontecimentos que alteram completamente o problema.
Nesse momento, continuar a seguir o plano inicial pode deixar de ser a melhor decisão.
É aqui que nasce o Control.
A pergunta muda completamente
Até agora perguntávamos:
Qual é a melhor sequência de ações antes de começar?
Agora a pergunta passa a ser:
Qual é a melhor ação neste preciso momento, sabendo tudo o que aconteceu até agora?
Parece uma pequena diferença.
Na realidade, muda completamente a forma como o sistema aprende.
O exemplo da LogiTrans
Foi precisamente este cenário que vimos durante a aula.
Uma encomenda inicia a viagem.
Existe um plano inicial.
Existe um número previsto de transbordos.
Existe um tempo estimado de entrega.
Tudo parece controlado.
Mas, durante o percurso, o ambiente muda.
O trânsito aumenta.
Surge um acidente.
Uma plataforma logística fica temporariamente indisponível.
As condições meteorológicas alteram-se.
A pergunta deixa imediatamente de ser:
“O plano inicial era bom?”
Passa a ser:
“Com toda a informação nova que apareceu, devo continuar com este plano ou devo alterá-lo?”
É exatamente esta capacidade de adaptação contínua que caracteriza o Model-Based Control.
O agente está constantemente a recalcular
Durante a aula surgiu uma ideia muito importante.
O agente não executa simplesmente uma sequência fixa de ações.
Antes de cada nova decisão volta a fazer previsões.
Volta a simular consequências.
Volta a comparar estratégias.
Volta a escolher.
Na prática, funciona quase como um ciclo permanente:
- observar;
- prever;
- decidir;
- executar;
- observar novamente.
Este processo repete-se continuamente enquanto o problema está a decorrer.
Pensar demasiado também pode ser um erro
Uma analogia utilizada durante a aula foi particularmente interessante.
Todos conhecemos alguém que sofre de overthinking.
Pensa demasiado.
Analisa demasiadas possibilidades.
Projeta acontecimentos demasiado distantes.
Acaba por nunca decidir.
Nos algoritmos acontece algo semelhante.
Se tentarmos prever centenas de passos para o futuro, os erros começam a acumular-se.
Cada previsão depende da anterior.
Pequenos desvios transformam-se rapidamente em grandes erros.
Por isso, muitos sistemas de controlo utilizam apenas um horizonte relativamente curto.
Preveem alguns passos.
Executam apenas a primeira decisão.
Depois observam novamente o ambiente.
E repetem todo o processo.
É precisamente esta estratégia que torna estes algoritmos tão robustos.
O gráfico da aula
No gráfico apresentado durante a aula, o eixo horizontal representava os diferentes passos da decisão.
No eixo vertical surgia a recompensa esperada.
O comportamento da curva era muito interessante.
Nos primeiros passos existia uma melhoria significativa.
À medida que avançávamos, essa melhoria tornava-se cada vez menor.
A curva aproximava-se lentamente de um limite.
Esta imagem transmite uma ideia importante.
Nem sempre faz sentido continuar a recalcular indefinidamente.
Existe um ponto onde os ganhos adicionais começam a ser cada vez mais pequenos.
Saber quando parar também faz parte de uma boa estratégia de controlo.
Gestão financeira
Os mercados financeiros mudam constantemente.
Uma carteira de investimentos construída hoje pode deixar de ser adequada amanhã.
As taxas de juro alteram-se.
A inflação muda.
Surgem novos indicadores económicos.
Aparecem conflitos internacionais.
Uma estratégia baseada em Control não cria apenas um plano anual de investimento.
Vai ajustando continuamente a carteira sempre que o ambiente muda de forma significativa.
O objetivo não é manter a estratégia inicial.
É manter continuamente a melhor estratégia possível.
Recursos Humanos
Também a gestão de pessoas beneficia desta abordagem.
Uma empresa pode definir inicialmente uma determinada distribuição das equipas.
No entanto, ao longo do projeto surgem novas necessidades.
Alguns colaboradores saem.
Outros entram.
Determinadas competências tornam-se mais importantes.
As prioridades do negócio alteram-se.
Em vez de manter rigidamente a organização inicial, um sistema baseado em Control pode recomendar ajustes sucessivos à medida que novas informações aparecem.
Mais uma vez, a decisão nunca é considerada definitiva.
Liderança
Talvez seja aqui que este conceito seja mais fácil de compreender.
Um bom líder não define um plano estratégico em janeiro e ignora tudo o que acontece até dezembro.
Pelo contrário.
Observa constantemente a evolução da organização.
Analisa indicadores.
Ouve clientes.
Escuta colaboradores.
Acompanha o mercado.
Sempre que identifica mudanças relevantes, ajusta a estratégia.
Não porque o plano inicial fosse mau.
Mas porque a realidade mudou.
No fundo, um bom líder faz exatamente aquilo que um algoritmo de Model-Based Control procura aprender.
Control não significa mudar constantemente
Existe um erro muito comum.
Pensar que recalcular continuamente significa alterar continuamente as decisões.
Não é verdade.
Muitas vezes, depois de analisar novamente toda a informação disponível, o sistema conclui que a melhor decisão continua a ser exatamente a mesma.
O importante não é mudar.
O importante é verificar continuamente se continua a fazer sentido manter a estratégia atual.
Como reconhecer este problema na sua empresa
O Model-Based Control pode ser uma excelente abordagem quando responde afirmativamente à maioria das seguintes questões:
- O ambiente muda frequentemente?
- As decisões prolongam-se durante muito tempo?
- Nova informação aparece continuamente?
- Uma decisão tomada hoje pode deixar de ser a melhor amanhã?
- É possível reajustar a estratégia durante a execução?
Se respondeu “sim” à maioria destas perguntas, provavelmente está perante um problema típico de Model-Based Control.
Conclusão
Enquanto o Planning procura encontrar a melhor estratégia antes de começar, o Model-Based Control assume que nenhuma estratégia permanece perfeita para sempre.
À medida que o ambiente muda, o agente volta a observar, prever e decidir.
Esta capacidade de adaptação contínua faz desta abordagem uma das mais utilizadas em sistemas autónomos, logística, robótica, gestão financeira, energia e liderança organizacional.
No próximo artigo iremos mudar completamente de paradigma. Vamos abandonar os modelos do ambiente e entrar no mundo do Model-Free Reinforcement Learning, começando pela abordagem Value-Based, onde o agente deixa de simular o futuro e aprende diretamente através da experiência.