Planning em Reinforcement Learning: porque as melhores decisões começam antes da primeira ação
Imagina que és o responsável pela evacuação de um edifício onde acabou de soar um alarme.
Existem quatro portas de saída.
À primeira vista, a decisão parece simples, escolher a porta mais próxima.
Mas… e se houver fumo?
E se essa porta estiver bloqueada?
E se existir uma fuga de gás?
E se houver risco de explosão?
De repente percebemos que escolher a primeira opção disponível pode não ser a melhor decisão.
Se conseguíssemos simular todos estes cenários antes de abrir qualquer porta, provavelmente escolheríamos uma estratégia muito diferente. É precisamente esta a filosofia do Planning em Reinforcement Learning.
Antes de agir, o agente tenta antecipar o futuro.
Não porque adivinhe o que vai acontecer, mas porque possui um modelo suficientemente bom do ambiente para simular diferentes possibilidades e comparar os respetivos resultados.
O problema que o Planning procura resolver
Grande parte das decisões empresariais é tomada apenas com base na experiência dos gestores.
“Da última vez fizemos assim.”
“O ano passado resultou.”
“O concorrente também fez desta forma.”
Embora esta experiência seja extremamente valiosa, existe um problema, as consequências da decisão ainda não aconteceram. E quando erramos, muitas vezes já é demasiado tarde para voltar atrás. O Planning procura precisamente reduzir este risco.
Em vez de experimentar diretamente no mundo real, o agente cria uma representação do ambiente e testa virtualmente diferentes sequências de ações.
Depois escolhe aquela que apresenta a maior recompensa esperada. É como jogar uma partida de xadrez, os melhores jogadores não analisam apenas a jogada seguinte.
Pensam várias jogadas à frente antes de mover qualquer peça.
O que significa “ter um modelo do ambiente”?
Um dos aspetos que mais confusão gera nesta área é a palavra “modelo”, não estamos necessariamente a falar de um modelo de Machine Learning. Estamos a falar de uma representação suficientemente fiel da realidade.
Quanto melhor conhecemos o ambiente, melhores serão as simulações. Foi precisamente este conceito que vimos na aula através do exemplo da empresa LogiTrans.
A empresa possui milhares de entregas históricas.
Conhece:
- distâncias;
- peso das mercadorias;
- intensidade do tráfego;
- tempos médios de entrega;
- custos;
- incidentes;
- reclamações.
Com esta informação consegue construir um modelo aproximado do funcionamento da operação logística.
Antes de enviar uma nova encomenda, pode perguntar:
Se escolher zero transbordos, o que provavelmente irá acontecer?
E se escolher um?
E dois?
E três?
O objetivo já não é prever apenas custos. É decidir qual a sequência de ações que maximiza a recompensa futura.
O Reinforcement Learning faz exatamente aquilo que nós faríamos
Se analisarmos o comportamento humano, percebemos que utilizamos Planning constantemente.
Quando vamos de férias consultamos o estado do tempo, antes de comprar uma casa simulamos prestações bancárias, antes de investir numa empresa fazemos projeções financeiras. Nenhuma destas decisões é tomada ao acaso.
Primeiro imaginamos diferentes cenários, só depois escolhemos. O Reinforcement Learning limita-se a formalizar matematicamente este processo.
Caso de uso: logística
Foi o exemplo utilizado durante a aula.
Cada envio possui um estado diferente.
- distância;
- peso;
- tráfego;
- tipo de produto.
O agente simula várias possibilidades.
Zero transbordos.
Um transbordo.
Dois transbordos.
Depois estima a recompensa de cada cenário.
A decisão escolhida não é aquela que parece melhor intuitivamente, é aquela que apresenta a maior recompensa esperada após todas as simulações.
Caso de uso: gestão financeira
Imagina que uma empresa pretende investir cinco milhões de euros.
Existem várias possibilidades.
- expandir internacionalmente;
- construir uma nova fábrica;
- adquirir outra empresa;
- investir em investigação;
- reforçar o marketing.
Nenhuma destas decisões pode ser testada diretamente.
O custo seria demasiado elevado.
O Planning permite construir modelos financeiros que simulam diferentes cenários económicos.
E se a inflação aumentar?
E se as taxas de juro subirem?
E se a procura diminuir?
Cada cenário produz resultados diferentes.
O objetivo é encontrar a estratégia que apresenta maior retorno esperado antes de realizar qualquer investimento.
Caso de uso: Recursos Humanos
Uma organização pretende reorganizar as suas equipas.
Existem várias alternativas.
- Criar equipas multidisciplinares.
- Contratar novos colaboradores.
- Promover líderes internos.
- Alterar horários.
Cada decisão pode influenciar:
- produtividade;
- satisfação;
- retenção de talento;
- absentismo.
Em vez de implementar imediatamente uma mudança organizacional, podem ser simulados diferentes cenários utilizando informação histórica da empresa.
Mais uma vez, o objetivo é escolher a estratégia que maximiza o benefício antes da sua implementação.
Caso de uso: Liderança
Os grandes líderes fazem Planning continuamente.
Antes de anunciar uma mudança estratégica perguntam-se:
Como irão reagir os colaboradores?
Como irão responder os clientes?
Como poderá responder a concorrência?
Embora estas respostas nunca sejam perfeitas, pensar antecipadamente reduz significativamente a probabilidade de tomar más decisões.
No fundo, um líder experiente faz diariamente aquilo que um agente de Reinforcement Learning tenta aprender.
Planeamento não é adivinhação
Existe uma ideia errada de que Planning significa prever exatamente o futuro.
Não significa. Significa comparar vários futuros possíveis.
Quanto melhor for o modelo do ambiente, maior será a probabilidade de escolher uma boa estratégia. Mas continuará sempre a existir incerteza.
É precisamente por isso que, no próximo artigo, iremos abordar outro problema fundamental do Reinforcement Learning.
Como devemos agir quando o modelo já não tem confiança suficiente nas suas próprias previsões?
É aqui que entra o Model-Based Uncertainty.
Conclusão
O Planning é provavelmente a abordagem mais intuitiva do Reinforcement Learning.
Antes de agir, o agente procura responder à pergunta:
O que acontecerá se eu fizer isto?
Sempre que conseguimos construir uma representação razoavelmente fiel do ambiente, podemos testar virtualmente diferentes estratégias, comparar os seus resultados e reduzir significativamente o risco de errar no mundo real.
Na logística, nas finanças, na gestão de pessoas, na indústria ou na energia, o princípio é exatamente o mesmo.
As melhores decisões começam muito antes da primeira ação ser executada.