On the Importance of Considering Country-specific Aspects on the Online-Market: An Example of Music Recommendation Considering Country-Specific Mainstream

In the field of music recommender systems, country-specific aspects have received little attention, although it is known that music perception and preferences are shaped by culture; and culture varies across countries. Based on the LFM-1b dataset (including 53,258 users from 47 countries), we show that there are significant country-specific differences in listeners’ music consumption behavior with respect to the most popular artists listened to. Results indicate that, for instance, Finnish users’ listening behavior is farther away from the global mainstream, while United States’ listeners are close to the global mainstream. Relying on rating prediction experiments, we tailor recommendations to a user’s level of preference for mainstream (defined on a global level and on a country level) and the user’s country. Results suggest that, in terms of rating prediction accuracy, a combination of these two filtering strategies works particularly well for users of countries far away from the global mainstream

An analysis of popularity biases in recommender system evaluation and algorithms

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de Lectura: 03-10-2019Las tecnologías de recomendación han ido progresivamente extendiendo su presencia en las aplicaciones y servicios de uso diario. Los sistemas de recomendación buscan realizar sugerencias individualizadas de productos u opciones que los usuarios puedan encontrar interesantes o útiles. Implícita en el concepto de recomendación está la idea de que las sugerencias más satisfactorias para cada usuario son aquellas que tienen en cuenta sus gustos particulares, por lo que cabría esperar que los algoritmos de recomendación más eficaces sean los más personalizados. Sin embargo, se ha observado recientemente que recomendar simplemente los productos más populares no resulta una estrategia mucho peor que los mejores y más sofisticados algoritmos personalizados, y más aún, que estos tienden a sesgar sus recomendaciones hacia opciones mayoritarias. Por todo ello, es rele-vante entender en qué medida y bajo qué circunstancias es la popularidad una señal real-mente efectiva a la hora de recomendar, y si su aparente efectividad se debe a la existencia de ciertos sesgos en las metodologías de evaluación offline actuales, como todo parece indicar, o no. En esta tesis abordamos esta cuestión desde un punto de vista plenamente formal, identificando los factores que pueden determinar la respuesta y modelizándolos en térmi-nos de dependencias probabilísticas entre variables aleatorias, tales como la votación, el descubrimiento y la relevancia. De esta forma, caracterizamos situaciones concretas que garantizan que la popularidad sea efectiva o que no lo sea, y establecemos las condiciones bajo las cuales pueden existir contradicciones entre el acierto observado y el real. Las principales conclusiones hacen referencia a escenarios simplificados prototípicos, más allá de los cuales el análisis formal concluye que cualquier resultado es posible. Para profun-dizar en el escenario general sin suposiciones tan simplificadas, estudiamos un caso parti-cular donde el descubrimiento de ítems es consecuencia de la interacción entre usuarios en una red social. Además, en esta tesis proporcionamos una explicación formal del sesgo de populari-dad que presentan los algoritmos de filtrado colaborativo. Para ello, desarrollamos una versión probabilística del algoritmo de vecinos próximos kNN. Dicha versión evidencia además la condición fundamental que hace que kNN produzca recomendaciones perso-nalizadas y se diferencie de la popularidad pura

Evaluación de la popularidad en los sistemas de recomendación

Los sistemas de recomendación buscan proponer por iniciativa propia a los usuarios opciones que probablemente aporten un valor a éstos. Implícita en la propia noción de recomendación está generalmente la idea de que cada persona puede recibir sugerencias personalizadas a sus necesidades y gustos particulares, por lo que cabría imaginar que los algoritmos de recomendación más eficaces deberían ser muy personalizados. Sin embargo, se ha observado en años recientes que la recomendación por mayorías (popularidad) no resulta mucho peor que los mejores algoritmos, y más aún, estos últimos tienden a sesgar sus recomendaciones hacia opciones mayoritarias. Sin embargo es un hecho conocido, aunque aún no estudiado en profundidad, que las metodologías actuales de evaluación priman por diseño los algoritmos que se sesguen hacia las recomendaciones populares. Es relevante, por tanto, entender en qué medida y bajo qué circunstancias la popularidad es o no un ingrediente realmente eficaz en la recomendación, y si en su caso lo es o no por efecto de un sesgo en los métodos de evaluación, pues de esta comprensión se pueden derivar conclusiones acerca de la efectividad de otros muchos algoritmos que se encuentran influenciados por la distribución de popularidad. El presente trabajo aborda esta cuestión a nivel tanto teórico como empírico. En la vertiente teórica, desarrollamos una formulación analítica de la efectividad de la recomendación por popularidad en base a modelos probabilísticos, distinguiendo entre la efectividad observada (la que habitualmente se obtiene en los experimentos que se realizan en el área) y la real (la que se podría medir idealmente si se dispusiera de información exhaustiva de los gustos de los usuarios). A partir de esta estudiamos la influencia en dicha efectividad de distintos aspectos, como el tipo de partición de datos (en entrenamiento y test), la distribución de popularidad, la de descubrimiento, los gustos del usuario o su comportamiento a la hora de decidir sobre lo que votar o no. Junto con el estudio analítico, llevamos a cabo un contraste empírico de hipótesis, empleando para ello conjuntos de prueba provenientes tanto de datos reales como de simulaciones. A fin de poder contrastar mediciones entre lo observado y lo real, realizamos un experimento con usuarios reales en una plataforma de crowdsourcing que nos permite, por un lado, obtener un conjunto de preferencias en ausencia de sesgos de descubrimiento y, por otro, reproducir y analizar la diferencia entre resultados observables y reales. Entre los principales hallazgos derivados del estudio destaca la constatación de la existencia de situaciones en las que la recomendación por popularidad es contraproducente hasta el punto de ser peor que la recomendación aleatoria; así como situaciones donde la efectividad observada de la recomendación observada presenta contradicciones con la efectividad real. A nivel general, el estudio proporciona una identificación y comprensión de factores fundamentales que determinan estas situaciones.Recommender systems aim to suggest, on their own initiative, choices the user may find interesting or useful. Implicit in the concept of recommendation is the idea that each user may draw further benefit from a personalized recommendation that is tailored to her individual personal preferences, so it is reasonable to expect that highly personalized algorithms should be the most effective. However, it has been recently observed that recommending the most popular items is not as worse a strategy as one would expect than the best and more sophisticated personalized recommendation algorithms in the state of the art. Moreover, a bias towards popularity is, in fact, present in the best-considered algorithms. On the other hand, it is a well-known (though not deeply studied yet) fact that current offline evaluation methodologies reward algorithms that are biased towards popular recommendations. Considering all this, it would be important to understand the circumstances which make the recommendation by popularity an effective approach. The present work address this question both at the theoretical and empirical levels. On the theoretical side, we develop an analytical formulation for popularity effectiveness in terms of probabilistic models. We distinguish observed effectiveness (the one that is usually obtained in common experiments and is based on observed data) and real effectiveness (the one that we could ideally measure if we had complete information of user preferences). Using these expressions we are able to study the influence of different aspects in the outcome of an experiment: the split procedure, the popularity and discovery distributions, the preferences of users and their behavior when faced to rating decisions. Along with the formal study, we carry out an empirical analysis to confirm theoretical conclusions, using both real datasets and simulations. With the objective to compare observed and real measures, we develop an experiment with real users from a crowdsourcing platform. This experiment allows us to obtain an unbiased observation of user preferences, and study the difference between observed and real effectiveness. Among the main findings derived from the theoretical and empirical analysis we confirm the existence of situations in which popularity is worse than random recommendation, as well as situations in which the observed and real effectiveness disagree. More generally, the study provides an identification and understanding of fundamental factors that determine these and other situations

Recommending without short head

We discuss a comprehensive study exploring the impact of recommender systems when recommendations are forced to omit popular items (short head) and to use niche products only (long tail). This is an interesting issue in domains, such as e-tourism, where product availability is constrained, "best sellers" most popular items are the first ones to be consumed, and the short head may eventually become unavailable for recommendation purposes. Our work provides evidence that the effects resulting from item consumption may increase the utility of personalized recommendations