The Dark Side of Micro-Task Marketplaces: Characterizing Fiverr and Automatically Detecting Crowdturfing

As human computation on crowdsourcing systems has become popular and powerful for performing tasks, malicious users have started misusing these systems by posting malicious tasks, propagating manipulated contents, and targeting popular web services such as online social networks and search engines. Recently, these malicious users moved to Fiverr, a fast-growing micro-task marketplace, where workers can post crowdturfing tasks (i.e., astroturfing campaigns run by crowd workers) and malicious customers can purchase those tasks for only $5. In this paper, we present a comprehensive analysis of Fiverr. First, we identify the most popular types of crowdturfing tasks found in this marketplace and conduct case studies for these crowdturfing tasks. Then, we build crowdturfing task detection classifiers to filter these tasks and prevent them from becoming active in the marketplace. Our experimental results show that the proposed classification approach effectively detects crowdturfing tasks, achieving 97.35% accuracy. Finally, we analyze the real world impact of crowdturfing tasks by purchasing active Fiverr tasks and quantifying their impact on a target site. As part of this analysis, we show that current security systems inadequately detect crowdsourced manipulation, which confirms the necessity of our proposed crowdturfing task detection approach

Modélisation de l’imprécision et de l’incertitude de données dans les plateformes de crowdsourcing

Le crowdsourcing consiste à l’externalisation de tâches à une foule de contributeurs rémunérés pour les effectuer. Il permet aux entreprises d’obtenir rapidement des résultats à bas coût. La foule, généralement très diversifiée, peut inclure des contributeurs non-qualifiés pour la tâche et/ou non-sérieux. Une bonne modélisation des réponses et de l’expertise des contributeurs est nécessaire pour exploiter au mieux les données issues des plateformes de crowdsourcing. Différentes méthodes existent à l’heure actuelle pour modéliser les données et/ou le comportement du contributeur : utilisation d’un corpus de référence, apprentissage automatique, méthode par vote majoritaire ou probabilistes. Néanmoins, ces méthodes ont leurs limites, nous nous intéressons dans ce rapport à l’utilisation des fonctions de croyances plus pertinente à notre sens. Nous présentons ici une nouvelle méthode de modélisation des réponses et de l’expertise du contributeur dans les plateformes de crowdsourcing se fondant sur la théorie des fonctions de croyance

Évaluation de la qualité des contributions et des contributeurs sur plateformes de crowdsourcing

Crowdsourcing is the outsourcing of tasks to a crowd of contributors on dedicated platforms. The tasks are simple and accessible to all, that’s why the crowd is made of very diverse profiles, but this induces contributions of unequal quality. The aggregation method most used in platforms does not take into account the imperfections of the data related to human contributions, which impacts the results obtained. The work of this thesis aims at solving the problem of data quality in crowdsourcing platforms. Thus, we propose a new interface for crowdsourcing offering more expression capacity to the contributor. The experiments carried out allowed us to highlight a correlation between the difficulty of the task, the certainty of the contributor and the imprecision of his answer. We also validated the hypothesis of Ph. Smets according to which the more imprecise a person is, the more certain he is, and conversely the more precise he is, the less certain he is. Based on this hypothesis, we develop the MONITOR modelfor the estimation of the contributor’s profile and the aggregation of the answers thanks to the theory of belief functions which allows tomodel imperfections. All our experiments are performed on real data coming from crowdsourcing campaigns.Le crowdsourcing est l’externalisation de tâches à une foule de contributeurs sur des plateformes dédiées. Les tâches sont simples et accessibles à tous, c’est pourquoi la foule est constituée de profils très diversifiés, ce qui induit des contributions de qualité inégales. La méthode d’agrégation la plus employée dans les plateformes ne prend pas en considération les imperfections des données relatives aux contributions humaines ce qui impacte les résultats obtenus. L’ensemble des travaux de cette thèse tend à solutionner la problématique de la qualité des données de crowdsourcing. Nous proposons ainsi une nouvelle interface pour le crowdsourcing offrant davantage de capacité d’expression au contributeur. Les expériences menées nous ont permis de mettre en évidence une corrélation entre la difficulté de la tâche, la certitude du contributeur et l’imprécision de sa réponse. Nous avons également validé l’hypothèse de Ph. Smets d’après laquelle plus une personne est imprécise plus elle est certaine et réciproquement plus elle est précise moins elle est certaine. Une fois cette hypothèse validée, nous avons élaboré le modèle MONITOR pour l’estimation du profil du contributeur et l’agrégation des réponses grâce à la théorie des fonctions de croyance qui permet de modéliser les imperfections. L’intégralité de nos expérimentations est réalisée sur des données réelles provenant de campagnes de crowdsourcing