ECT: an offline metric to evaluate case-based explanations for recommender systems
| dc.contributor.advisor | Lacerda, Anísio Mendes | |
| dc.contributor.advisorLattes | http://lattes.cnpq.br/2034607422210997 | |
| dc.contributor.author | Costa, Lucas Gabriel Lage | |
| dc.contributor.authorLattes | http://lattes.cnpq.br/3544005614853592 | |
| dc.contributor.referee | Lacerda, Anísio Mendes | |
| dc.contributor.referee | Dalip, Daniel Hasan | |
| dc.contributor.referee | Pereira, Adriano César Machado | |
| dc.contributor.referee | Pádua, Flávio Luis Cardeal | |
| dc.date.accessioned | 2025-04-04T12:30:10Z | |
| dc.date.available | 2025-04-04T12:30:10Z | |
| dc.date.issued | 2020-12-14 | |
| dc.description.abstract | Sistemas de recomendação sugerem itens que melhor atendem aos gostos e interesses dos usuários. Eles são sistemas complexos e, frequentemente, são baseados em modelos do tipo caixa preta. No entanto, sabe-se que entender as recomendações é essencial para ajudar a construir a confiança e o envolvimento do usuário nesses sistemas. Portanto, as explicações das recomendações são uma forma de atingir esse objetivo. Uma explicação é uma informação exibida aos usuários, detalhando as motivações de porque um determinado item foi recomendado. A explicação baseada em caso é um dos estilos de explicação mais comumente usados em sistemas de recomendação. Essa abordagem é focada em fornecer explicações na forma de itens que foram avaliados previamente, como, por exemplo, em: "Porque você gostou de A, recomendamos B". Para medir a qualidade dos métodos que geram explicações, podemos fazer avaliações online e offline. As avaliações online requerem interação direta com os usuários e as avaliações offline requerem apenas dados históricos, ou seja, extraídos anteriormente à recomendação e explicação. A avaliação online pode tratar mais aspectos das explicações e produzir resultados mais completos, por isso é incentivada, mas nem sempre os testes envolvendo usuários estão acessíveis. A avaliação offline é frequentemente adotada pois elimina riscos de apresentar explicações que podem afetar negativamente a experiência dos usuários, além de ser mais fácil de implementar. Poucos trabalhos na literatura abordam métricas offline para medir a qualidade dos métodos de explicação baseados em casos. Assim, este trabalho propõe cobrir esta demanda por meio de uma nova métrica offline – ECT (Ease-of-interpretation Coverage Triviality) – para avaliar aspectos mais complexos dos métodos de explicação baseados em casos. É composta por três submétricas, uma delas já existente (Coverage), e duas novas (Ease-of-interpretation e Triviality). Experimentos foram conduzidos em cenários offline e online para validar o poder discriminativo da métrica proposta ECT, e mostram que ela apresenta uma correlação de 0,67 com o que os usuários consideram boas explicações para suas recomendações. | |
| dc.description.abstractother | Recommender systems suggest items that best fit the users’ interests and tastes. They are complex systems, which are often designed as black-box models. However, it is wellknown that understanding recommendations is essential to help building users’ trust and engagement in these systems, so explanations for recommendations are a way to achieve this goal. An explanation is a piece of information displayed to users, explaining why a particular item is recommended. The case-based explanation is one of the most commonly used explanation styles in recommender systems. This approach is focused on providing explanations in the form of previously liked items that are used to make the recommendation, such as: “Because you liked A, we recommend B”. To measure the quality of methods that generate explanations, we can conduct online and/or offline evaluations. Online evaluations require direct interaction with users, and offline evaluations require just previously historic data. Online evaluation can handle more aspects of the explanations and produces more complete results, so it is encouraged, but tests involving users are not always accessible. In many scenarios, offline evaluation is preferred because it will not affect user’s experience through bad explanations, and it is also easier to implement than the online counterpart. Few research projects approach offline metrics to measure the quality of case-based explanation methods, so it is an ill-defined problem. Thus to cover this gap in the literature, we propose a new offline metric – ECT (Ease-of-interpretation Coverage Triviality) – to evaluate more complex aspects of case-based explanation methods. It is based on three sub metrics, one of them has already been proposed: (Coverage), and two new metrics: (Ease-of-interpretation and Triviality). Experiments were conducted in offline and online scenarios to validate the discriminative power of the proposed metric ECT, and show that it presents a 0.67 correlation with what users consider good explanations to their recommendations. | |
| dc.identifier.uri | https://repositorio.cefetmg.br//handle/123456789/1103 | |
| dc.language.iso | en | |
| dc.publisher | Centro Federal de Educação Tecnológica de Minas Gerais | |
| dc.publisher.country | Brasil | |
| dc.publisher.initials | CEFET-MG | |
| dc.publisher.program | Programa de Pós-Graduação em Modelagem Matemática e Computacional | |
| dc.subject | Sistemas de recomendação | |
| dc.subject | Inteligência artificial | |
| dc.subject | Métricas de software | |
| dc.title | ECT: an offline metric to evaluate case-based explanations for recommender systems | |
| dc.type | Dissertação |