325 research outputs found
Information retrieval models for recommender systems
Programa Oficial de Doutoramento en Computación . 5009V01[Abstract]
Information retrieval addresses the information needs of users by delivering
relevant pieces of information but requires users to convey their
information needs explicitly. In contrast, recommender systems offer personalized
suggestions of items automatically. Ultimately, both fields help
users cope with information overload by providing them with relevant
items of information.
This thesis aims to explore the connections between information retrieval
and recommender systems. Our objective is to devise recommendation
models inspired in information retrieval techniques. We begin by
borrowing ideas from the information retrieval evaluation literature to analyze
evaluation metrics in recommender systems. Second, we study the
applicability of pseudo-relevance feedback models to different recommendation
tasks. We investigate the conventional top-N recommendation
task, but we also explore the recently formulated user-item group formation
problem and propose a novel task based on the liquidation oflong
tail items. Third, we exploit ad hoc retrieval models to compute neighborhoods
in a collaborative filtering scenario. Fourth, we explore the
opposite direction by adapting an effective recommendation framework
to pseudo-relevance feedback. Finally, we discuss the results and present
our concIusions.
In summary, this doctoral thesis adapts a series of information retrieval
models to recommender systems. Our investigation shows that many
retrieval models can be accommodated to deal with different recommendation
tasks. Moreover, we find that taking the opposite path is also
possible. Exhaustive experimentation confirms that the proposed models
are competitive. Finally, we also perform a theoretical analysis of sorne
models to explain their effectiveness.[Resumen]
La recuperación de información da respuesta a las necesidades de información
de los usuarios proporcionando información relevante, pero
requiere que los usuarios expresen explícitamente sus necesidades de
información. Por el contrario, los sistemas de recomendación ofrecen
sugerencias personalizadas de elementos automáticamente. En última
instancia, ambos campos ayudan a los usuarios a lidiar con la sobrecarga
de información al proporcionarles información relevante.
Esta tesis tiene como propósito explorar las conexiones entre la recuperación
de información y los sistemas de recomendación. Nuestro
objetivo es diseñar modelos de recomendación inspirados en técnicas de
recuperación de información. Comenzamos tomando prestadas ideas de
la literatura de evaluación en recuperación de información para analizar
las métricas de evaluación en los sistemas de recomendación. En segundo
lugar, estudiamos la aplicabilidad de los modelos de retroalimentación de
pseudo-relevancia a diferentes tareas de recomendación. Investigamos
la tarea de recomendar listas ordenadas de elementos, pero también exploramos
el problema recientemente formulado de formación de grupos
usuario-elemento y proponemos una tarea novedosa basada en la liquidación
de los elementos de la larga cola. Tercero, explotamos modelos
de recuperación ad hoc para calcular vecindarios en un escenario de
filtrado colaborativo. En cuarto lugar, exploramos la dirección opuesta
adaptando un método eficaz de recomendación a la retroalimentación de
pseudo-relevancia. Finalmente, discutimos los resultados y presentamos
nuestras conclusiones.
En resumen, esta tesis doctoral adapta varios modelos de recuperación
de información para su uso como sistemas de recomendación. Nuestra
investigación muestra que muchos modelos de recuperación de información
se pueden aplicar para tratar diferentes tareas de recomendación.
Además, comprobamos que tomar el camino contrario también es posible.
Una experimentación exhaustiva confirma que los modelos propuestos
son competitivos. Finalmente, también realizamos un análisis teórico de
algunos modelos para explicar su efectividad.[Resumo]
A recuperación de información dá resposta ás necesidades de información
dos usuarios proporcionando información relevante, pero require
que os usuarios expresen explicitamente as súas necesidades de información.
Pola contra, os sistemas de recomendación ofrecen suxestións
personalizadas de elementos automaticamente. En última instancia, ambos
os campos axudan aos usuarios a lidar coa sobrecarga de información
ao proporcionarlles información relevante.
Esta tese ten como propósito explorar as conexións entre a recuperación
de información e os sistemas de recomendación. O naso obxectivo é deseñar
modelos de recomendación inspirados en técnicas de recuperación
de información. Comezamos tomando prestadas ideas da literatura de
avaliación en recuperación de información para analizar as métricas de
avaliación nos sistemas de recomendación. En segundo lugar, estudamos
a aplicabilidade dos modelos de retroalimentación de seudo-relevancia a
diferentes tarefas de recomendación. Investigamos a tarefa de recomendar
listas ordenadas de elementos, pero tamén exploramos o problema
recentemente formulado de formación de grupos de usuario-elemento e
propoñemos unha tarefa nova baseada na liquidación dos elementos da
longa cola. Terceiro, explotamos modelos de recuperación ad hoc para
calcular veciñanzas nun escenario de filtrado colaborativo. En cuarto
lugar, exploramos a dirección aposta adaptando un método eficaz de
recomendación á retroalimentación de seudo-relevancia. Finalmente,
discutimos os resultados e presentamos as nasas conclusións.
En resumo, esta tese doutoral adapta varios modelos de recuperación
de información para o seu uso como sistemas de recomendación. A nosa
investigación mostra que moitos modelos de recuperación de información
pódense aplicar para tratar diferentes tarefas de recomendación.
Ademais, comprobamos que tomar o camiño contrario tamén é posible.
Unha experimentación exhaustiva confirma que os modelos propostos
son competitivos. Finalmente, tamén realizamos unha análise teórica
dalgúns modelos para explicar a súa efectividade
An analysis of popularity biases in recommender system evaluation and algorithms
Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de Lectura: 03-10-2019Las tecnologías de recomendación han ido progresivamente extendiendo su presencia en las aplicaciones y servicios de uso diario. Los sistemas de recomendación buscan realizar sugerencias individualizadas de productos u opciones que los usuarios puedan encontrar interesantes o útiles. Implícita en el concepto de recomendación está la idea de que las sugerencias más satisfactorias para cada usuario son aquellas que tienen en cuenta sus gustos particulares, por lo que cabría esperar que los algoritmos de recomendación más eficaces sean los más personalizados. Sin embargo, se ha observado recientemente que recomendar simplemente los productos más populares no resulta una estrategia mucho peor que los mejores y más sofisticados algoritmos personalizados, y más aún, que estos tienden a sesgar sus recomendaciones hacia opciones mayoritarias. Por todo ello, es rele-vante entender en qué medida y bajo qué circunstancias es la popularidad una señal real-mente efectiva a la hora de recomendar, y si su aparente efectividad se debe a la existencia de ciertos sesgos en las metodologías de evaluación offline actuales, como todo parece indicar, o no.
En esta tesis abordamos esta cuestión desde un punto de vista plenamente formal, identificando los factores que pueden determinar la respuesta y modelizándolos en térmi-nos de dependencias probabilísticas entre variables aleatorias, tales como la votación, el descubrimiento y la relevancia. De esta forma, caracterizamos situaciones concretas que garantizan que la popularidad sea efectiva o que no lo sea, y establecemos las condiciones bajo las cuales pueden existir contradicciones entre el acierto observado y el real. Las principales conclusiones hacen referencia a escenarios simplificados prototípicos, más allá de los cuales el análisis formal concluye que cualquier resultado es posible. Para profun-dizar en el escenario general sin suposiciones tan simplificadas, estudiamos un caso parti-cular donde el descubrimiento de ítems es consecuencia de la interacción entre usuarios en una red social.
Además, en esta tesis proporcionamos una explicación formal del sesgo de populari-dad que presentan los algoritmos de filtrado colaborativo. Para ello, desarrollamos una versión probabilística del algoritmo de vecinos próximos kNN. Dicha versión evidencia además la condición fundamental que hace que kNN produzca recomendaciones perso-nalizadas y se diferencie de la popularidad pura
Probabilistic Approach for Road-Users Detection
Object detection in autonomous driving applications implies that the
detection and tracking of semantic objects are commonly native to urban driving
environments, as pedestrians and vehicles. One of the major challenges in
state-of-the-art deep-learning based object detection is false positive which
occurrences with overconfident scores. This is highly undesirable in autonomous
driving and other critical robotic-perception domains because of safety
concerns. This paper proposes an approach to alleviate the problem of
overconfident predictions by introducing a novel probabilistic layer to deep
object detection networks in testing. The suggested approach avoids the
traditional Sigmoid or Softmax prediction layer which often produces
overconfident predictions. It is demonstrated that the proposed technique
reduces overconfidence in the false positives without degrading the performance
on the true positives. The approach is validated on the 2D-KITTI objection
detection through the YOLOV4 and SECOND (Lidar-based detector). The proposed
approach enables enabling interpretable probabilistic predictions without the
requirement of re-training the network and therefore is very practical.Comment: This work has been submitted to IEEE T-ITS for review and possible
publicatio
Modeling Recommender Ecosystems: Research Challenges at the Intersection of Mechanism Design, Reinforcement Learning and Generative Models
Modern recommender systems lie at the heart of complex ecosystems that couple
the behavior of users, content providers, advertisers, and other actors.
Despite this, the focus of the majority of recommender research -- and most
practical recommenders of any import -- is on the local, myopic optimization of
the recommendations made to individual users. This comes at a significant cost
to the long-term utility that recommenders could generate for its users. We
argue that explicitly modeling the incentives and behaviors of all actors in
the system -- and the interactions among them induced by the recommender's
policy -- is strictly necessary if one is to maximize the value the system
brings to these actors and improve overall ecosystem "health". Doing so
requires: optimization over long horizons using techniques such as
reinforcement learning; making inevitable tradeoffs in the utility that can be
generated for different actors using the methods of social choice; reducing
information asymmetry, while accounting for incentives and strategic behavior,
using the tools of mechanism design; better modeling of both user and
item-provider behaviors by incorporating notions from behavioral economics and
psychology; and exploiting recent advances in generative and foundation models
to make these mechanisms interpretable and actionable. We propose a conceptual
framework that encompasses these elements, and articulate a number of research
challenges that emerge at the intersection of these different disciplines
A Language Model based Job Recommender
Matching candidates to job openings is a hard real world problem of economic interest
that thus far de es researchers' attempts to tackle it. Collaborative ltering methods,
which have proven to be highly e ective in other domains, have a di cult time nding
success when applied to Human Resources. Aside from the well known cold-start issue
there are other problems speci c to the recruitment world that explain the poor results
attained. In particular, fresh job openings arrive all the time and they have relatively
short expiration periods. In addition, there is a large volume of passive users who are
not actively looking for a job, but that would consider a change if a suitable o er came
their way. The two constraints combined suggest that content based models may be advantageous.
Previous attempts to attack the problem have tried to infer relevance from
a variety of sources. Indirect information captured from web server and search engine
logs, as well as eliciting direct feedback from users or recruiters have all been polled and
used to construct models. In contrast, this thesis departs from previous methods and
tries to exploit resume databases as a primary source for relevance information, a rich
resource that in my view remains greatly underutilized. Relevance models are adapted
for the task at hand and a formulation is derived to model job transitions as a Markov
process, with the justi cation being based on David Ricardo's principle of comparative
advantage. Empirical results are compiled following the Cran eld benchmarking
methodology and compared against several standard competing algorithms
Jointly integrating current context and social influence for improving recommendation
La diversité des contenus recommandation et la variation des contextes des utilisateurs rendent la prédiction en temps réel des préférences des utilisateurs de plus en plus difficile mettre en place. Toutefois, la plupart des approches existantes n'utilisent que le temps et l'emplacement actuels séparément et ignorent d'autres informations contextuelles sur lesquelles dépendent incontestablement les préférences des utilisateurs (par exemple, la météo, l'occasion). En outre, ils ne parviennent pas considérer conjointement ces informations contextuelles avec les interactions sociales entre les utilisateurs. D'autre part, la résolution de problèmes classiques de recommandation (par exemple, aucun programme de télévision vu par un nouvel utilisateur connu sous le nom du problème de démarrage froid et pas assez d'items co-évalués par d'autres utilisateurs ayant des préférences similaires, connu sous le nom du problème de manque de donnes) est d'importance significative puisque sont attaqués par plusieurs travaux. Dans notre travail de thèse, nous proposons un modèle probabiliste qui permet exploiter conjointement les informations contextuelles actuelles et l'influence sociale afin d'améliorer la recommandation des items. En particulier, le modèle probabiliste vise prédire la pertinence de contenu pour un utilisateur en fonction de son contexte actuel et de son influence sociale. Nous avons considérer plusieurs éléments du contexte actuel des utilisateurs tels que l'occasion, le jour de la semaine, la localisation et la météo. Nous avons utilisé la technique de lissage Laplace afin d'éviter les fortes probabilités. D'autre part, nous supposons que l'information provenant des relations sociales a une influence potentielle sur les préférences des utilisateurs. Ainsi, nous supposons que l'influence sociale dépend non seulement des évaluations des amis mais aussi de la similarité sociale entre les utilisateurs. Les similarités sociales utilisateur-ami peuvent être établies en fonction des interactions sociales entre les utilisateurs et leurs amis (par exemple les recommandations, les tags, les commentaires). Nous proposons alors de prendre en compte l'influence sociale en fonction de la mesure de similarité utilisateur-ami afin d'estimer les préférences des utilisateurs. Nous avons mené une série d'expérimentations en utilisant un ensemble de donnes réelles issues de la plateforme de TV sociale Pinhole. Cet ensemble de donnes inclut les historiques d'accès des utilisateurs-vidéos et les réseaux sociaux des téléspectateurs. En outre, nous collectons des informations contextuelles pour chaque historique d'accès utilisateur-vidéo saisi par le système de formulaire plat. Le système de la plateforme capture et enregistre les dernières informations contextuelles auxquelles le spectateur est confronté en regardant une telle vidéo.Dans notre évaluation, nous adoptons le filtrage collaboratif axé sur le temps, le profil dépendant du temps et la factorisation de la matrice axe sur le réseau social comme tant des modèles de référence. L'évaluation a port sur deux tâches de recommandation. La première consiste sélectionner une liste trie de vidéos. La seconde est la tâche de prédiction de la cote vidéo. Nous avons évalué l'impact de chaque élément du contexte de visualisation dans la performance de prédiction. Nous testons ainsi la capacité de notre modèle résoudre le problème de manque de données et le problème de recommandation de démarrage froid du téléspectateur. Les résultats expérimentaux démontrent que notre modèle surpasse les approches de l'état de l'art fondes sur le facteur temps et sur les réseaux sociaux. Dans les tests des problèmes de manque de donnes et de démarrage froid, notre modèle renvoie des prédictions cohérentes différentes valeurs de manque de données.Due to the diversity of alternative contents to choose and the change of users' preferences, real-time prediction of users' preferences in certain users' circumstances becomes increasingly hard for recommender systems. However, most existing context-aware approaches use only current time and location separately, and ignore other contextual information on which users' preferences may undoubtedly depend (e.g. weather, occasion). Furthermore, they fail to jointly consider these contextual information with social interactions between users. On the other hand, solving classic recommender problems (e.g. no seen items by a new user known as cold start problem, and no enough co-rated items with other users with similar preference as sparsity problem) is of significance importance since it is drawn by several works. In our thesis work, we propose a context-based approach that leverages jointly current contextual information and social influence in order to improve items recommendation. In particular, we propose a probabilistic model that aims to predict the relevance of items in respect with the user's current context. We considered several current context elements such as time, location, occasion, week day, location and weather. In order to avoid strong probabilities which leads to sparsity problem, we used Laplace smoothing technique. On the other hand, we argue that information from social relationships has potential influence on users' preferences. Thus, we assume that social influence depends not only on friends' ratings but also on social similarity between users. We proposed a social-based model that estimates the relevance of an item in respect with the social influence around the user on the relevance of this item. The user-friend social similarity information may be established based on social interactions between users and their friends (e.g. recommendations, tags, comments). Therefore, we argue that social similarity could be integrated using a similarity measure. Social influence is then jointly integrated based on user-friend similarity measure in order to estimate users' preferences. We conducted a comprehensive effectiveness evaluation on real dataset crawled from Pinhole social TV platform. This dataset includes viewer-video accessing history and viewers' friendship networks. In addition, we collected contextual information for each viewer-video accessing history captured by the plat form system. The platform system captures and records the last contextual information to which the viewer is faced while watching such a video. In our evaluation, we adopt Time-aware Collaborative Filtering, Time-Dependent Profile and Social Network-aware Matrix Factorization as baseline models. The evaluation focused on two recommendation tasks. The first one is the video list recommendation task and the second one is video rating prediction task. We evaluated the impact of each viewing context element in prediction performance. We tested the ability of our model to solve data sparsity and viewer cold start recommendation problems. The experimental results highlighted the effectiveness of our model compared to the considered baselines. Experimental results demonstrate that our approach outperforms time-aware and social network-based approaches. In the sparsity and cold start tests, our approach returns consistently accurate predictions at different values of data sparsity
- …