Optimization em Reinforcement Learning: quando a melhor decisão já existe, mas ainda pode ser melhor
Imagina que a tua empresa descobriu uma estratégia que funciona. As entregas chegam a horas, os clientes estão satisfeitos e os custos são aceitáveis. À primeira vista, poderia parecer que o problema está resolvido. Afinal, porque mudar algo que já produz bons resultados?
No entanto, basta uma pequena reflexão para percebermos que esta conclusão pode ser precipitada. Será que esta é realmente a melhor estratégia possível? Ou será apenas a melhor que conhecemos até agora?
Esta é precisamente a questão que dá origem ao Model-Based Optimization em Reinforcement Learning. O objetivo já não é descobrir uma primeira solução. Essa solução já existe. O verdadeiro desafio passa a ser encontrar uma forma de a melhorar sem correr os riscos associados à experimentação no mundo real.
Melhorar sem correr riscos
Na maioria das organizações, experimentar diretamente pode ser extremamente caro. Uma empresa de logística não pode alterar diariamente as suas rotas apenas para verificar se uma estratégia diferente produz melhores resultados. Um banco não pode mudar continuamente a política de concessão de crédito apenas para testar novas hipóteses. Da mesma forma, um hospital não pode experimentar diferentes processos clínicos apenas para descobrir qual é o mais eficiente.
É precisamente aqui que entra o Optimization.
Em vez de testar novas estratégias em ambiente real, o agente utiliza um modelo do ambiente para criar milhares de cenários simulados. Cada um destes cenários permite avaliar diferentes decisões e perceber como pequenas alterações na estratégia podem influenciar os resultados futuros. O mundo real deixa de ser o laboratório de testes. Passa a ser a simulação.
O exemplo da LogiTrans
Foi exatamente esta ideia que vimos durante a aula.
A empresa LogiTrans já possui um modelo que descreve razoavelmente bem o comportamento das suas operações. Esse modelo foi construído a partir de dados históricos, incluindo variáveis como distância, peso da mercadoria, intensidade do tráfego, custos, tempos de entrega, incidentes e reclamações.
No artigo anterior utilizámos este modelo para escolher o número de transbordos mais adequado para cada envio. Agora o objetivo é diferente.
Em vez de perguntar “qual é a melhor decisão?”, a empresa pergunta:
“Será que consigo melhorar a política atual?”
Para responder a esta questão, o agente cria milhares de envios sintéticos.
- E se reduzirmos o número de transbordos?
- E se aumentarmos os transbordos apenas nas rotas mais longas?
- E se alterarmos a estratégia quando o tráfego ultrapassa determinado limite?
Cada uma destas hipóteses é simulada repetidamente até que o agente descubra qual delas produz a maior recompensa a longo prazo.
A reward function continua a ser o centro da decisão
Tal como acontece noutras abordagens de Reinforcement Learning, tudo gira em torno da função de recompensa.
No exemplo da LogiTrans, a recompensa pode combinar diferentes fatores:
- custo da entrega;
- atrasos;
- incidentes;
- reclamações dos clientes.
Cada política gera um resultado diferente. Algumas reduzem custos mas aumentam o risco de incidentes. Outras melhoram os tempos de entrega, mas obrigam a realizar mais transbordos e aumentam os custos operacionais.
O objetivo não é otimizar apenas uma variável. É encontrar o melhor equilíbrio entre todas elas.
Curiosamente, a recompensa nem sequer precisa de assumir valores positivos. Durante a aula vimos exemplos onde todas as recompensas eram negativas. Mesmo assim, existia uma política claramente melhor, porque produzia a penalização menos severa. Em Reinforcement Learning, por vezes otimizar significa simplesmente perder menos.
Dados sintéticos: experimentar sem consequências
Uma das ideias mais interessantes abordadas na aula foi a utilização de dados sintéticos.
Quando o agente já possui um modelo suficientemente fiável do ambiente, deixa de depender exclusivamente das experiências reais. Pode gerar milhares de situações artificiais que nunca aconteceram, mas que são plausíveis.
Naturalmente, estes dados sintéticos só são úteis se forem suficientemente representativos da realidade. Não basta criar milhares de registos aleatórios. É necessário que os cenários reflitam diferentes condições operacionais, diferentes combinações de variáveis e até situações raras ou pouco frequentes.
Quanto melhor for esta representação do ambiente, maior será a probabilidade de encontrar políticas realmente superiores.
Um treinador também faz Optimization
Um treinador de futebol dificilmente muda toda a equipa antes de um jogo apenas para experimentar uma ideia.
O que faz é observar os jogos anteriores, analisar estatísticas, estudar o adversário e testar diferentes esquemas táticos durante os treinos.
Quando finalmente entra em campo, a estratégia já foi refinada dezenas de vezes.
O Optimization segue exatamente esta lógica. Antes de alterar a realidade, procura melhorar continuamente a estratégia em ambiente controlado.
Aplicação à gestão financeira
Poucas áreas beneficiam tanto desta abordagem como a gestão financeira.
Imagina uma empresa que pretende otimizar a distribuição do seu orçamento anual. Existem dezenas de possibilidades: investir mais em marketing, reforçar a equipa comercial, aumentar o orçamento de investigação ou acelerar a expansão internacional.
Cada decisão influencia todas as restantes.
Em vez de executar imediatamente uma nova estratégia financeira, o gestor pode recorrer a modelos económicos para simular diferentes cenários de inflação, crescimento, taxas de juro ou comportamento dos consumidores.
O objetivo deixa de ser descobrir uma estratégia qualquer. Passa a ser melhorar continuamente a política de investimento até encontrar aquela que produz o maior retorno esperado para o nível de risco pretendido.
Aplicação à gestão de recursos humanos
Também na gestão de pessoas encontramos inúmeras oportunidades para aplicar Optimization.
Uma empresa pode já possuir um processo de recrutamento eficaz, mas isso não significa que seja o melhor possível. Será que entrevistas técnicas mais curtas aumentam a eficiência? Será que equipas multidisciplinares produzem melhores resultados? Será que um modelo híbrido de trabalho reduz a rotatividade dos colaboradores?
Estas questões podem ser exploradas recorrendo a modelos que simulam diferentes políticas organizacionais antes da sua implementação.
Mais uma vez, o objetivo não é substituir a decisão humana, mas fornecer uma base muito mais sólida para a tomada de decisão.
Liderança também significa otimizar
Os líderes mais eficazes raramente mudam radicalmente a estratégia da organização. O que fazem é introduzir pequenas melhorias de forma contínua.
Observam indicadores, analisam resultados, recolhem feedback das equipas e ajustam processos sempre que identificam oportunidades de melhoria.
No fundo, fazem exatamente aquilo que o Optimization procura reproduzir.
Não procuram reinventar a organização todos os meses. Procuram melhorar, passo a passo, aquilo que já funciona.
Optimization não significa mudar tudo
Existe uma ideia errada de que otimizar implica alterar completamente uma estratégia.
Na realidade, acontece precisamente o contrário.
O objetivo é preservar aquilo que funciona e identificar apenas os ajustes necessários para produzir resultados ainda melhores.
É uma abordagem incremental, sustentada por dados e baseada em simulação.
Como reconhecer este problema na sua empresa
O Model-Based Optimization pode ser uma boa abordagem quando responde afirmativamente à maioria das seguintes questões:
- Já existe um processo que funciona razoavelmente bem?
- O custo de experimentar diretamente é elevado?
- É possível construir um modelo que represente o comportamento do sistema?
- Pequenas melhorias podem traduzir-se em ganhos financeiros significativos?
- Pretende testar diferentes estratégias antes de as implementar?
Se respondeu “sim” à maioria destas perguntas, provavelmente está perante um problema de Optimization.
Conclusão
Enquanto o Planning procura descobrir uma boa sequência inicial de ações, o Optimization parte de uma política já existente e procura refiná-la continuamente através da simulação.
É esta capacidade de experimentar milhares de cenários sem colocar em risco a operação real que faz do Model-Based Optimization uma das abordagens mais utilizadas em logística, indústria, finanças, gestão de pessoas e planeamento estratégico.
No próximo artigo iremos abordar um problema completamente diferente. Nem sempre o desafio está em encontrar uma estratégia melhor. Por vezes, o verdadeiro problema consiste em perceber se podemos confiar nas previsões que o modelo está a produzir. É precisamente aí que entra o Model-Based Uncertainty.