Aprendizado por Reforço Multiagente e Multiobjetivo via Multi-armed Bandit na Arquiteura Multiagente para Meta-heurísticas AMAM
Carregando...
Data
2026-07-15
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Centro Federal de Educação Tecnológica de Minas Gerais
Resumo
Esta tese propõe mecanismos de aprendizado por reforço integrados ao framework multiagente AMAM (Arquitetura MultiAgente para Metaheurísticas) para a solução de problemas de otimização combinatória usando meta-heurísticas. Todas as contribuições são validadas experimentalmente em instâncias de referência do Problema de Roteamento de Veículos com Janela de Tempo (PRVJT), problema combinatório clássico e amplamente estudado na literatura. Inicialmente, apresenta-se uma análise do framework AMAM, investigando-se seu comportamento sob diferentes configurações de escalabilidade, diversidade e cooperação entre agentes, estabelecendo, assim, as bases e parâmetros que orientam os desenvolvimentos subsequentes. Os experimentos confirmaram, via testes estatísticos não paramétricos, que o AMAM é escalável, com o aumento do número de agentes melhorando a qualidade das soluções sem comprometer significativamente o tempo de execução, e que suas ferramentas de cooperação e de diversidade melhoram os valores da função objetivo em relação à configuração de referência da literatura. Em seguida, propõe-se o algoritmo MaB Pool, que integra o método Multi-armed Bandit à estrutura de cooperação do AMAM: cada solução do Pool de Soluções compartilhado desse framework é tratada como um braço de um problema de bandit stateless, e a seleção é guiada por uma política de aprendizado que equilibra diversificação e intensificação, demonstrando ganhos de qualidade em relação à políticas de seleção sem aprendizado. Os testes computacionais mostraram que o MaB Pool superou tanto o algoritmo de referência quanto o cenário sem aprendizado, em valor da função objetivo e em tempo de execução. Em continuidade, propõe-se o algoritmo MAMaB-PSO (Multi-Agent Multi-armed Bandit with PSO-Inspired Cooperation), algoritmo multiagente que incorpora os componentes cognitivo e social da meta-heurística PSO (Particle Swarm Optimization) ao processo de seleção do Pool de Soluções, permitindo que cada agente combine sua melhor experiência individual com a melhor experiência coletiva do sistema, em um equilíbrio dinâmico entre autonomia e cooperação; o algoritmo é formulado de forma genérica, instanciável com diferentes políticas de seleção. Os experimentos mostraram que a incorporação dos mecanismos do algoritmo PSO preservou a qualidade das soluções, com equivalência estatística validada, e introduziu ganhos computacionais relevantes em duas variantes, identificadas como Pareto-dominantes do experimento. Por fim, estende-se o MaB Pool ao cenário multiobjetivo, substituindo o Q-valor escalar de cada solução por um vetor de recompensas avaliado por dominância de Pareto, de modo que critérios como qualidade da solução, diversidade estrutural e redução do número de rotas sejam aprendidos simultaneamente pela camada de cooperação, sem alterar a modelagem mono-objetivo do problema subjacente. Os experimentos indicaram que a formulação multiobjetivo preserva a qualidade final das soluções, com equivalência estatística validada, e reduz o tempo de execução nas classes mais desafiadoras de instâncias do PRVJT.
Descrição
Palavras-chave
Sistemas multiagente - Teses, Aprendizagem por reforço – Modelos Matemáticos – Teses, Otimização Multiobjetivo – Teses, Alocação de Recursos – Teses, Meta-heurísticas – Teses, Arquitetura de Software – Teses