ECT: an offline metric to evaluate case-based explanations for recommender systems
Carregando...
Arquivos
Data
2020-12-14
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Centro Federal de Educação Tecnológica de Minas Gerais
Resumo
Sistemas de recomendação sugerem itens que melhor atendem aos gostos e interesses dos usuários. Eles são sistemas complexos e, frequentemente, são baseados em modelos do tipo caixa preta. No entanto, sabe-se que entender as recomendações é essencial para ajudar a construir a confiança e o envolvimento do usuário nesses sistemas. Portanto, as explicações das recomendações são uma forma de atingir esse objetivo. Uma explicação é uma informação exibida aos usuários, detalhando as motivações de porque um determinado item foi recomendado. A explicação baseada em caso é um dos estilos de explicação mais comumente usados em sistemas de recomendação. Essa abordagem é focada em fornecer explicações na forma de itens que foram avaliados previamente, como, por exemplo, em: "Porque você gostou de A, recomendamos B". Para medir a qualidade dos métodos que geram explicações, podemos fazer avaliações online e offline. As avaliações online requerem interação direta com os usuários e as avaliações offline requerem apenas dados históricos, ou seja, extraídos anteriormente à recomendação e explicação. A avaliação online pode tratar mais aspectos das explicações e produzir resultados mais completos, por isso é incentivada, mas nem sempre os testes envolvendo usuários estão acessíveis. A avaliação offline é frequentemente adotada pois elimina riscos de apresentar explicações que podem afetar negativamente a experiência dos usuários, além de ser mais fácil de implementar. Poucos trabalhos na literatura abordam métricas offline para medir a qualidade dos métodos de explicação baseados em casos. Assim, este trabalho propõe cobrir esta demanda por meio de uma nova métrica offline – ECT (Ease-of-interpretation Coverage Triviality) – para avaliar aspectos mais complexos dos métodos de explicação baseados em casos. É composta por três submétricas, uma delas já existente (Coverage), e duas novas (Ease-of-interpretation e Triviality). Experimentos foram conduzidos em cenários offline e online para validar o poder discriminativo da métrica proposta ECT, e mostram que ela apresenta uma correlação de 0,67 com o que os usuários consideram boas explicações para suas recomendações.
Descrição
Palavras-chave
Sistemas de recomendação, Inteligência artificial, Métricas de software