Análise da correlação entre sentimentos e avaliações de qualidade sobre diálogos entre chatbots e seus usuários
Carregando...
Data
2022-11-30
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Centro Federal de Educação Tecnológica de Minas Gerais
Resumo
Chatbots com boa qualidade correspondem às expectativas de seu funcionamento e assim, aumentam a retenção, engajamento e satisfação de seus usuários. A opinião dos usuários — medida através de questionários — é utilizada para mensurar esta qualidade, mas, possui limitações como métrica de qualidade tais quais: ser sucetível a viéses e avaliações displicententes, bem como, não poder ser aferida em tempo real. Para lidar com estas limitações, existem atributos de qualidade que as mitigam. O sentimento textual é um destes atributos, pois, o sentimento contém informações implícitas que mitigam avaliações displicentes, além de poder ser inferido em tempo real. Destarte, a partir de referências que exploram o sentimento textual como apromixador da qualidade de chatbots são realizados experimentos de correlação entre estas duas variáveis sobre o corpo de diálogos (entre humanos e chatbots) ConvAI, mencionado por uma das referências — cuja correlação entre sentimento e qualidade dos diálogos não foi abordada — atestando por fim que existe uma correlação entre sentimento textual e a qualidade dos chatbots do ConvAI: 휌-spearman = 0,3221, valor-p << 0,001. Outros resultados incluem: uma ferramenta de rotulação construída para realizar reclassificação de qualidade e anotação de sentimentos dos diálogos, bem como, o reforço da prática de reclassificação de diálogos por meio de comitês, prática presente na literatura.
Descrição
Palavras-chave
Robôs, Chat, Controle de qualidade, Reconhecimento de padrões, Estatística