Souza, Sérgio Ricardo deSilva, Jardell Fillipe da2026-10-292026-07-15https://repositorio.cefetmg.br//handle/123456789/3182Esta tese propõe mecanismos de aprendizado por reforço integrados ao framework multiagente AMAM (Arquitetura MultiAgente para Metaheurísticas) para a solução de problemas de otimização combinatória usando meta-heurísticas. Todas as contribuições são validadas experimentalmente em instâncias de referência do Problema de Roteamento de Veículos com Janela de Tempo (PRVJT), problema combinatório clássico e amplamente estudado na literatura. Inicialmente, apresenta-se uma análise do framework AMAM, investigando-se seu comportamento sob diferentes configurações de escalabilidade, diversidade e cooperação entre agentes, estabelecendo, assim, as bases e parâmetros que orientam os desenvolvimentos subsequentes. Os experimentos confirmaram, via testes estatísticos não paramétricos, que o AMAM é escalável, com o aumento do número de agentes melhorando a qualidade das soluções sem comprometer significativamente o tempo de execução, e que suas ferramentas de cooperação e de diversidade melhoram os valores da função objetivo em relação à configuração de referência da literatura. Em seguida, propõe-se o algoritmo MaB Pool, que integra o método Multi-armed Bandit à estrutura de cooperação do AMAM: cada solução do Pool de Soluções compartilhado desse framework é tratada como um braço de um problema de bandit stateless, e a seleção é guiada por uma política de aprendizado que equilibra diversificação e intensificação, demonstrando ganhos de qualidade em relação à políticas de seleção sem aprendizado. Os testes computacionais mostraram que o MaB Pool superou tanto o algoritmo de referência quanto o cenário sem aprendizado, em valor da função objetivo e em tempo de execução. Em continuidade, propõe-se o algoritmo MAMaB-PSO (Multi-Agent Multi-armed Bandit with PSO-Inspired Cooperation), algoritmo multiagente que incorpora os componentes cognitivo e social da meta-heurística PSO (Particle Swarm Optimization) ao processo de seleção do Pool de Soluções, permitindo que cada agente combine sua melhor experiência individual com a melhor experiência coletiva do sistema, em um equilíbrio dinâmico entre autonomia e cooperação; o algoritmo é formulado de forma genérica, instanciável com diferentes políticas de seleção. Os experimentos mostraram que a incorporação dos mecanismos do algoritmo PSO preservou a qualidade das soluções, com equivalência estatística validada, e introduziu ganhos computacionais relevantes em duas variantes, identificadas como Pareto-dominantes do experimento. Por fim, estende-se o MaB Pool ao cenário multiobjetivo, substituindo o Q-valor escalar de cada solução por um vetor de recompensas avaliado por dominância de Pareto, de modo que critérios como qualidade da solução, diversidade estrutural e redução do número de rotas sejam aprendidos simultaneamente pela camada de cooperação, sem alterar a modelagem mono-objetivo do problema subjacente. Os experimentos indicaram que a formulação multiobjetivo preserva a qualidade final das soluções, com equivalência estatística validada, e reduz o tempo de execução nas classes mais desafiadoras de instâncias do PRVJT.ptTese2026-10-29Sistemas multiagente - TesesAprendizagem por reforço – Modelos Matemáticos – TesesOtimização Multiobjetivo – TesesAlocação de Recursos – TesesMeta-heurísticas – TesesArquitetura de Software – Teses