Aprendizado por Reforço Multiagente e Multiobjetivo via Multi-armed Bandit na Arquiteura Multiagente para Meta-heurísticas AMAM

Página do item simplificado
dc.contributor.advisorSouza, Sérgio Ricardo de
dc.contributor.advisor-coSilva, Maria Amélia Lopes
dc.contributor.advisor-coLatteshttp://lattes.cnpq.br/1584173805850799
dc.contributor.advisorLatteshttp://lattes.cnpq.br/3677015295211434
dc.contributor.authorSilva, Jardell Fillipe da
dc.contributor.authorLatteshttp://lattes.cnpq.br/2494588320470479
dc.contributor.refereeSouza, Sérgio Ricardo de
dc.contributor.refereeSilva, Maria Amélia Lopes
dc.contributor.refereeBazzan, Ana Lúcia Cetertich
dc.contributor.refereeDelga, Myriam Regattieri de Biase da Silva
dc.contributor.refereeSilva, Alisson Marques da
dc.contributor.refereeSouza, Marcone Jamilson Freitas
dc.date.accessioned2026-10-29T14:13:09Z
dc.date.available2026-10-29T14:13:09Z
dc.date.issued2026-07-15
dc.description.abstractEsta tese propõe mecanismos de aprendizado por reforço integrados ao framework multiagente AMAM (Arquitetura MultiAgente para Metaheurísticas) para a solução de problemas de otimização combinatória usando meta-heurísticas. Todas as contribuições são validadas experimentalmente em instâncias de referência do Problema de Roteamento de Veículos com Janela de Tempo (PRVJT), problema combinatório clássico e amplamente estudado na literatura. Inicialmente, apresenta-se uma análise do framework AMAM, investigando-se seu comportamento sob diferentes configurações de escalabilidade, diversidade e cooperação entre agentes, estabelecendo, assim, as bases e parâmetros que orientam os desenvolvimentos subsequentes. Os experimentos confirmaram, via testes estatísticos não paramétricos, que o AMAM é escalável, com o aumento do número de agentes melhorando a qualidade das soluções sem comprometer significativamente o tempo de execução, e que suas ferramentas de cooperação e de diversidade melhoram os valores da função objetivo em relação à configuração de referência da literatura. Em seguida, propõe-se o algoritmo MaB Pool, que integra o método Multi-armed Bandit à estrutura de cooperação do AMAM: cada solução do Pool de Soluções compartilhado desse framework é tratada como um braço de um problema de bandit stateless, e a seleção é guiada por uma política de aprendizado que equilibra diversificação e intensificação, demonstrando ganhos de qualidade em relação à políticas de seleção sem aprendizado. Os testes computacionais mostraram que o MaB Pool superou tanto o algoritmo de referência quanto o cenário sem aprendizado, em valor da função objetivo e em tempo de execução. Em continuidade, propõe-se o algoritmo MAMaB-PSO (Multi-Agent Multi-armed Bandit with PSO-Inspired Cooperation), algoritmo multiagente que incorpora os componentes cognitivo e social da meta-heurística PSO (Particle Swarm Optimization) ao processo de seleção do Pool de Soluções, permitindo que cada agente combine sua melhor experiência individual com a melhor experiência coletiva do sistema, em um equilíbrio dinâmico entre autonomia e cooperação; o algoritmo é formulado de forma genérica, instanciável com diferentes políticas de seleção. Os experimentos mostraram que a incorporação dos mecanismos do algoritmo PSO preservou a qualidade das soluções, com equivalência estatística validada, e introduziu ganhos computacionais relevantes em duas variantes, identificadas como Pareto-dominantes do experimento. Por fim, estende-se o MaB Pool ao cenário multiobjetivo, substituindo o Q-valor escalar de cada solução por um vetor de recompensas avaliado por dominância de Pareto, de modo que critérios como qualidade da solução, diversidade estrutural e redução do número de rotas sejam aprendidos simultaneamente pela camada de cooperação, sem alterar a modelagem mono-objetivo do problema subjacente. Os experimentos indicaram que a formulação multiobjetivo preserva a qualidade final das soluções, com equivalência estatística validada, e reduz o tempo de execução nas classes mais desafiadoras de instâncias do PRVJT.
dc.description.abstractotherThis thesis proposes reinforcement learning mechanisms integrated into the AMAM (Multi-Agent Architecture for Metaheuristics) multi-agent framework for solving combinatorial optimization problems using metaheuristics. All contributions are experimentally validated using benchmark instances of the Vehicle Routing Problem with Time Windows (VRPTW), a classic combinatorial problem widely studied in the literature. Initially, an analysis of the AMAM framework is presented, investigating its behavior under different configurations of scalability, diversity, and cooperation between agents, thus establishing the basis and parameters that guide subsequent developments. Experiments confirmed via non-parametric statistical tests that AMAM is scalable, with increasing the number of agents improving the quality of solutions without significantly compromising runtime, and that its cooperation and diversity tools improve objective function values compared to the reference configuration from the literature. Subsequently, the MaB Pool algorithm is proposed, which integrates the Multi-armed Bandit method into the AMAM cooperation framework: each solution in the shared Solution Pool of this framework is treated as an arm of a stateless bandit problem, and selection is guided by a learning policy that balances diversification and intensification, demonstrating quality gains compared to selection policies without learning. Computational tests demonstrated that MaB Pool outperformed both the baseline algorithm and the scenario without learning in terms of objective function values and runtime. Furthermore, the MAMaB-PSO algorithm (Multi-Agent Multi-armed Bandit with PSO-Inspired Cooperation) is proposed, a multi-agent algorithm that incorporates the cognitive and social components of the PSO (Particle Swarm Optimization) meta-heuristic into the Solution Pool selection process, enabling each agent to combine its best individual experience with the best collective experience of the system in a dynamic balance between autonomy and cooperation. The algorithm is formulated generically, allowing for instantiation with different selection policies. Experiments showed that incorporating the PSO algorithm mechanisms preserved the quality of the solutions, with validated statistical equivalence, and introduced relevant computational gains in two variants, identified as Pareto-dominant in the experiment. Finally, the MaB Pool is extended to the multi-objective scenario by replacing the scalar Q-value of each solution with a reward vector evaluated based on Pareto dominance, so that criteria such as solution quality, structural diversity, and reduction in the number of routes are learned simultaneously by the cooperation layer, without altering the single-objective modeling of the underlying problem. Experiments indicated that the multi-objective formulation preserves the final quality of the solutions, with validated statistical equivalence, and reduces execution time for the most challenging classes of VRPTW instances.
dc.identifier.urihttps://repositorio.cefetmg.br//handle/123456789/3182
dc.language.isopt
dc.publisherCentro Federal de Educação Tecnológica de Minas Gerais
dc.publisher.countryBrasil
dc.publisher.initialsCEFET-MG
dc.publisher.programPrograma de Pós-Graduação em Modelagem Matemática e Computacional
dc.subjectSistemas multiagente - Teses
dc.subjectAprendizagem por reforço – Modelos Matemáticos – Teses
dc.subjectOtimização Multiobjetivo – Teses
dc.subjectAlocação de Recursos – Teses
dc.subjectMeta-heurísticas – Teses
dc.subjectArquitetura de Software – Teses
dc.titleAprendizado por Reforço Multiagente e Multiobjetivo via Multi-armed Bandit na Arquiteura Multiagente para Meta-heurísticas AMAM
dc.typeTese

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
Aprendizado por reforço multiagente e multiobjetivo via multi-armed bandit na arquitetura multiagente para meta-heurísticas AMAM.pdf
Tamanho:
5.44 MB
Formato:
Adobe Portable Document Format
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
1.39 KB
Formato:
Item-specific license agreed to upon submission
Descrição:
Baixar

Coleções

Doutorado em Modelagem Matemática e Computacional