O Repositório será lançado oficialmente no dia 9 de abril de 2025 às 14h30min no miniauditório do Campus Nova Suiça.
 

Análise da correlação entre sentimentos e avaliações de qualidade sobre diálogos entre chatbots e seus usuários

Página do item simplificado
dc.contributor.advisorMenezes, Gustavo Campos
dc.contributor.advisor-coDalip, Daniel Hasan
dc.contributor.advisor-coLatteshttp://lattes.cnpq.br/2960751321530666
dc.contributor.advisorLatteshttp://lattes.cnpq.br/6903109160065321
dc.contributor.authorSantos, Diego Ascânio
dc.contributor.authorLatteshttp://lattes.cnpq.br/1740396467946332
dc.contributor.refereeMenezes, Gustavo Campos
dc.contributor.refereeDalip, Daniel Hasan
dc.contributor.refereeBrandão, Michele Amaral
dc.contributor.refereeDutra, Lívia Maria
dc.contributor.refereeDias, Thiago Magela Rodrigues
dc.date.accessioned2025-03-31T23:11:45Z
dc.date.available2025-03-31T23:11:45Z
dc.date.issued2022-11-30
dc.description.abstractChatbots com boa qualidade correspondem às expectativas de seu funcionamento e assim, aumentam a retenção, engajamento e satisfação de seus usuários. A opinião dos usuários — medida através de questionários — é utilizada para mensurar esta qualidade, mas, possui limitações como métrica de qualidade tais quais: ser sucetível a viéses e avaliações displicententes, bem como, não poder ser aferida em tempo real. Para lidar com estas limitações, existem atributos de qualidade que as mitigam. O sentimento textual é um destes atributos, pois, o sentimento contém informações implícitas que mitigam avaliações displicentes, além de poder ser inferido em tempo real. Destarte, a partir de referências que exploram o sentimento textual como apromixador da qualidade de chatbots são realizados experimentos de correlação entre estas duas variáveis sobre o corpo de diálogos (entre humanos e chatbots) ConvAI, mencionado por uma das referências — cuja correlação entre sentimento e qualidade dos diálogos não foi abordada — atestando por fim que existe uma correlação entre sentimento textual e a qualidade dos chatbots do ConvAI: 휌-spearman = 0,3221, valor-p << 0,001. Outros resultados incluem: uma ferramenta de rotulação construída para realizar reclassificação de qualidade e anotação de sentimentos dos diálogos, bem como, o reforço da prática de reclassificação de diálogos por meio de comitês, prática presente na literatura.
dc.description.abstractotherChatbots with good quality are able to maintain service expectations and therefore, increase users’ retention, engagement, and satisfaction. Users’ opinion — available through surveys — is considered to measure chatbots’ quality, but, it has several limitations such as: being subject to biases and careless evaluations from users, as well, the impossibility to being measured in real-time. To address these limitations, there are quality attributes able to mitigate them. Textual sentiment is one of those attributes, since textual sentiment has implicit details which mitigate careless evaluations and can be measured in real-time. Therefore, through literature references that investigate the correlation between textual sentiment and chatbots’ quality, this work performs correlation experiments over a specific dialogue corpora mentioned by one of the references (ConvAI) — whose correlation results between sentiment and dialog quality weren’t shown — assuring that there is a correlation between textual sentiment and chatbots’ quality over this specific dialogue dataset: 휌-spearman = 0,3221, p-value << 0,001. Other results include a labeling tool built to perform quality reclassification and sentiment anotation, as well, the reinforcement of subsequential dialogues evaluation through comitees, as performed in literature.
dc.identifier.urihttps://repositorio.cefetmg.br//handle/123456789/1041
dc.language.isopt
dc.publisherCentro Federal de Educação Tecnológica de Minas Gerais
dc.publisher.countryBrasil
dc.publisher.initialsCEFET-MG
dc.publisher.programPrograma de Pós-Graduação em Modelagem Matemática e Computacional
dc.subjectRobôs
dc.subjectChat
dc.subjectControle de qualidade
dc.subjectReconhecimento de padrões
dc.subjectEstatística
dc.titleAnálise da correlação entre sentimentos e avaliações de qualidade sobre diálogos entre chatbots e seus usuários
dc.typeDissertação

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
analise-da-correlacao-entre-sentimentos-e-avaliacoes-de-qualidade-chatbots.pdf
Tamanho:
2.44 MB
Formato:
Adobe Portable Document Format
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
1.39 KB
Formato:
Item-specific license agreed to upon submission
Descrição:
Baixar

Coleções

Mestrado em Modelagem Matemática e Computacional