Critérios para avaliação de chatbots didáticos
Data
2022-05-09
Título da Revista
ISSN da Revista
Título de Volume
Editor
Centro Federal de Educação Tecnológica de Minas Gerais
Resumo
Esta pesquisa discute a produção e a avaliação de chatbots usados para fins de ensino e aprendizagem. Esse tópico foi pesquisado com o objetivo de criar e validar o uso de uma matriz com critérios e descritores para avaliação de chatbots didáticos. A pesquisa apresenta um mapeamento de critérios para produção e avaliação desse tipo de material, tendo como base critérios para avaliação de materiais didáticos de outras naturezas e de critérios para avaliação de chatbots usados para fins não didáticos. Também se apresenta o estudo de caso do chatbot Katri, desenvolvido durante esta pesquisa para uso em um curso finlandês de formação docente.
A matriz de avaliação de chatbots didáticos foi utilizada para avaliar esse chatbot, considerando as percepções de produtores do sistema e de alunos brasileiros desse curso. A análise dos dados coletados foi baseada no Sistema de Avaliatividade proposto por Martin e White (2005). Como resultados da pesquisa, validou-se o uso da matriz, composta por 5 categorias e 30 descritores, por meio da qual foi possível sugerir melhorias e revisões no chatbot estudado.
Descrição
Palavras-chave
Tecnologia educacional, Inteligência artificial - Aplicações educacionais, Material didático - Avaliação, Processamento de Linguagem Natural