Reinforcement Learning não é um algoritmo. É uma forma diferente de resolver problemas.
Depois de explorarmos as principais abordagens de Reinforcement Learning, é natural surgir uma dúvida.
Se existem tantas formas diferentes de aprender, qual devo utilizar?
- Planning.
- Optimization.
- Uncertainty.
- Control.
- Value.
- Policy.
- Exploration.
- Temporal Difference Learning.
À primeira vista, pode parecer que estamos perante oito algoritmos concorrentes. Na realidade, isso está longe de ser verdade.
Todos procuram exatamente o mesmo objetivo: aprender a tomar melhores decisões.
O que muda é a natureza do problema que estamos a tentar resolver.
Esta é, provavelmente, a ideia mais importante de toda esta série.
A escolha do modelo não depende do algoritmo mais popular nem daquele que apresenta melhor desempenho em
artigos científicos. Depende da pergunta que queremos responder.
A primeira pergunta: consigo simular o ambiente?
Esta é normalmente a primeira decisão.
Se a resposta for sim, então faz sentido recorrer a uma abordagem Model-Based.
Isto significa que conseguimos construir uma representação suficientemente fiel do ambiente para testar diferentes cenários antes de executar qualquer ação.
É exatamente aquilo que fazemos quando simulamos uma evacuação de um edifício, avaliamos diferentes estratégias logísticas ou criamos um modelo energético de uma fábrica antes de alterar o funcionamento dos equipamentos.
Se, pelo contrário, não conseguimos representar adequadamente o ambiente ou se a sua complexidade torna qualquer simulação pouco fiável, então devemos considerar uma abordagem Model-Free, onde o agente aprende diretamente através da experiência.
Esta distinção é o primeiro grande ponto de decisão.
Quero descobrir a melhor sequência de ações antes de agir
Se conseguimos simular o ambiente e o nosso principal objetivo consiste em escolher a melhor estratégia antes da execução, então estamos perante um problema de Planning.
É o equivalente a um jogador de xadrez que analisa várias jogadas antes de mover a primeira peça.
Também acontece quando uma empresa pretende definir a melhor rota logística, quando um município prepara
um plano de evacuação ou quando um sistema energético simula diferentes estratégias de funcionamento antes de ligar qualquer equipamento.
A pergunta central é simples:
“O que acontecerá se eu fizer isto?”
Já tenho uma estratégia. Quero apenas melhorá-la.
Muitas organizações não partem do zero.
Já possuem processos.
Já possuem políticas.
Já possuem formas de trabalhar que funcionam razoavelmente bem.
Nestes casos, o objetivo deixa de ser encontrar uma primeira solução.
Passa a ser melhorar aquilo que já existe.
É precisamente aqui que surge o Optimization.
Em vez de experimentar diretamente no mundo real, o agente cria milhares de cenários sintéticos e testa pequenas alterações à estratégia atual.
No fundo, procura responder à pergunta:
“Será que consigo fazer ainda melhor?”
O problema não é decidir. O problema é confiar.
Existem situações onde o modelo consegue produzir uma resposta, mas a verdadeira dúvida é outra.
Será que esta previsão merece realmente a minha confiança?
Este tipo de problema conduz naturalmente ao Uncertainty.
É particularmente importante em medicina, gestão financeira, seguros, energia ou qualquer área onde uma decisão incorreta possa ter consequências significativas.
Neste caso, o objetivo deixa de ser apenas maximizar a recompensa.
Passa também por medir o risco associado à própria previsão.
O ambiente muda constantemente
Nem todos os problemas terminam quando tomamos uma decisão.
Muitos continuam a evoluir.
É o caso dos veículos autónomos, dos sistemas de controlo industrial, dos edifícios inteligentes ou das redes elétricas.
Nestes cenários, o plano inicial deixa rapidamente de refletir a realidade.
O agente precisa de observar continuamente aquilo que está a acontecer, recalcular previsões e ajustar a estratégia.
Sempre que as decisões precisam de ser revistas durante a execução, estamos perante um problema de Control.
Não consigo simular o ambiente
Chegamos agora às abordagens Model-Free.
Se não existe um modelo suficientemente fiável do ambiente, resta uma alternativa.
Aprender através da experiência.
É exatamente aqui que entram as quatro abordagens seguintes.
Quero saber quão boa é cada ação
Quando o objetivo consiste em descobrir quais as ações que historicamente produziram melhores resultados, estamos perante um problema de Value-Based Reinforcement Learning.
O agente aprende diretamente através da interação com o ambiente.
Cada nova experiência contribui para melhorar a estimativa do valor associado a cada ação.
Foi precisamente esta abordagem que comparámos, durante a aula, ao exemplo do submarino que aprende a navegar sem possuir qualquer mapa do oceano.
Quero aprender diretamente a política
Nalguns problemas, calcular continuamente o valor de todas as ações pode ser demasiado complexo. Nessas situações faz mais sentido aprender diretamente uma política de decisão.
É precisamente essa a ideia do Policy-Based Reinforcement Learning.
Em vez de perguntar qual é a melhor recompensa possível, o agente aprende qual tende a ser a melhor decisão para cada estado do ambiente.
Tal como acontece com os hábitos humanos, determinadas ações passam naturalmente a ser preferidas sempre que determinadas condições se verificam.
Quero continuar a descobrir novas oportunidades
Mesmo quando uma política parece funcionar muito bem, continua a existir uma questão importante.
Será que existe uma estratégia ainda melhor?
É aqui que entra o Exploration.
O objetivo deixa de ser apenas aproveitar aquilo que já sabemos.
Passa também por reservar uma pequena parte do esforço para experimentar alternativas.
É exatamente esta curiosidade controlada que permite às organizações inovar sem comprometer completamente aquilo que já funciona.
Quero aprender continuamente
Finalmente chegamos ao Temporal Difference Learning.
Esta abordagem não se preocupa tanto com a escolha da ação.
Preocupa-se com a forma como o agente atualiza continuamente aquilo que acredita saber.
Sempre que surge uma nova recompensa, a estimativa anterior é ligeiramente corrigida.
Ao longo do tempo, estas pequenas atualizações sucessivas fazem com que o conhecimento se aproxime progressivamente da realidade.
É uma filosofia muito semelhante à forma como nós próprios aprendemos.
Como pensar perante um problema novo
Sempre que surgir um novo problema, experimenta responder às seguintes perguntas.
Consigo simular razoavelmente bem o ambiente?
Se sim, segue para as abordagens Model-Based.
Caso contrário, considera uma abordagem Model-Free.
Depois pergunta:
Quero planear antes de agir?
Planning.
Já tenho uma política e apenas quero melhorá-la?
Optimization.
O meu maior problema é a confiança nas previsões?
Uncertainty.
As decisões precisam de ser reajustadas continuamente?
Control.
Se não existir um modelo do ambiente:
Quero aprender o valor das ações?
Value.
Quero aprender diretamente a política?
Policy.
Preciso de continuar a explorar novas alternativas?
Exploration.
Pretendo atualizar continuamente as minhas estimativas?
Temporal Difference Learning.
Reinforcement Learning é muito mais do que Inteligência Artificial
Talvez a maior lição de toda esta série seja perceber que estas abordagens não se aplicam apenas a robôs ou carros autónomos.
- Aplicam-se à gestão.
- À liderança.
- À inovação.
- À logística.
- À energia.
- À saúde.
- À agricultura.
- À indústria.
Até à forma como tomamos decisões na nossa vida pessoal.
Cada uma destas abordagens representa, acima de tudo, uma forma diferente de pensar.
Algumas ensinam-nos a planear melhor. Outras lembram-nos que devemos questionar os nossos próprios hábitos.
Outras mostram-nos que aprender implica explorar, assumir pequenos riscos e corrigir continuamente aquilo
que acreditamos saber.
No fundo, o Reinforcement Learning aproxima a Inteligência Artificial daquilo que os seres humanos fazem desde sempre: aprender através da experiência para tomar decisões cada vez melhores.
Conclusão
Ao longo desta série explorámos oito formas diferentes de aprender a decidir.
Todas elas procuram maximizar uma recompensa.
Todas elas procuram melhorar decisões.
Mas cada uma responde a um tipo diferente de problema.
Compreender estas diferenças é muito mais importante do que memorizar nomes de algoritmos ou fórmulas matemáticas. Afinal, um bom engenheiro, um gestor ou um cientista de dados não é aquele que conhece mais algoritmos. É aquele que consegue olhar para um problema real e perceber qual a abordagem mais adequada para o resolver.
E talvez essa seja a principal mensagem do Reinforcement Learning: a Inteligência Artificial não substitui a capacidade de decidir. Ajuda-nos a tomar decisões cada vez melhores.