Recommenders benchmark framework

Abstract: Recommender Systems are software tools and techniques providing suggestions for items to be of use to a user. Recommender systems have proven to be a valuable means for online users to cope with the virtual information overload and have become one of the most powerful and popular tools in electronic commerce. Correspondingly, various techniques for recommendation generation have been proposed during the last decade. In this paper we present a new benchmark framework. It allows researchers or practitioners to quickly try out and compare different recommendation methods on new data sets. Extending the framework is easy thanks to a simple and well-defined Application Programming Interface (API). It contains a plug-in mechanism allowing others to develop their own algorithms and incorporate them in the framework. An interactive graphical user interface is provided for setting new benchmarks, integrate new plug-ins with the framework, setting up configurations and exploring benchmark results

RSE: um Framework para Avaliação de Desempenho de Sistemas de Recomendação.

Os sistemas de recomendação são filtros que sugerem produtos de interesse para seus clientes, podendo assim causar um grande impacto nas vendas. Atualmente existe uma variedade desses algoritmos, sendo importante escolher a opção mais adequada ao problema em questão. Isso, no entanto, não é uma tarefa trivial. Nesse contexto é proposto o SER (Recommender Systems Evaluator): um framework que realiza a avaliação de desempenho offline dos sistemas de recomendação. O uso da metodologia apropriada é fundamental ao fazer uma avaliação. No entanto isso é frequentemente negligenciado, levando a resultados inconsistentes. O RSE procura abstrair ao máximo a complexidade envolvida no processo, e se baseia em conceitos estatísticos para proporcionar conclusões mais robustas. Os estudos realizados comprovam a sua eficácia, mostrando inclusive que ele pode ser adaptado para ser usado em outros contextos além dos sistemas de recomendação