6 research outputs found
Much Ado About Time: Exhaustive Annotation of Temporal Data
Large-scale annotated datasets allow AI systems to learn from and build upon
the knowledge of the crowd. Many crowdsourcing techniques have been developed
for collecting image annotations. These techniques often implicitly rely on the
fact that a new input image takes a negligible amount of time to perceive. In
contrast, we investigate and determine the most cost-effective way of obtaining
high-quality multi-label annotations for temporal data such as videos. Watching
even a short 30-second video clip requires a significant time investment from a
crowd worker; thus, requesting multiple annotations following a single viewing
is an important cost-saving strategy. But how many questions should we ask per
video? We conclude that the optimal strategy is to ask as many questions as
possible in a HIT (up to 52 binary questions after watching a 30-second video
clip in our experiments). We demonstrate that while workers may not correctly
answer all questions, the cost-benefit analysis nevertheless favors consensus
from multiple such cheap-yet-imperfect iterations over more complex
alternatives. When compared with a one-question-per-video baseline, our method
is able to achieve a 10% improvement in recall 76.7% ours versus 66.7%
baseline) at comparable precision (83.8% ours versus 83.0% baseline) in about
half the annotation time (3.8 minutes ours compared to 7.1 minutes baseline).
We demonstrate the effectiveness of our method by collecting multi-label
annotations of 157 human activities on 1,815 videos.Comment: HCOMP 2016 Camera Read
Crowdsourcing for Top-K Query Processing over Uncertain Data
Querying uncertain data has become a prominent application due to the proliferation of user-generated content from social media and of data streams from sensors. When data ambiguity cannot be reduced algorithmically, crowdsourcing proves a viable approach, which consists of posting tasks to humans and harnessing their judgment for improving the confidence about data values or relationships. This paper tackles the problem of processing top- K queries over uncertain data with the help of crowdsourcing for quickly converging to the realordering of relevant results. Several offline and online approaches for addressing questions to a crowd are defined and contrasted on both synthetic and real data sets, with the aim of minimizing the crowd interactions necessary to find the realordering of the result set
Aplicando Crowdsourcing na Sincronização de Vídeos Gerados por Usuários
Crowdsourcing é uma estratégia para resolução de problemas baseada na coleta de resultados parciais a partir das contribuições de indivíduos, agregando-as em um resultado unificado. Com base nesta estratégia, esta tese mostra como a crowd é capaz de sincronizar um conjunto de vídeos produzidos por usuários quaisquer, correlacionados a um mesmo evento social. Cada usuário filma o evento com seu ponto de vista e de acordo com suas limitações (ângulo do evento, oclusões na filmagem, qualidade da câmera utilizada, etc.). Nesse cenário, não é possível garantir que todos os conteúdos gerados possuam características homogêneas (instante de início e duração de captura, resolução, qualidade, etc.), dificultando o uso de um processo puramente automático de sincronização. Além disso, os vídeos gerados por usuário são disponibilizados de forma distribuída entre diversos servidores de conteúdo independentes. A hipótese desta tese é que a capacidade de adaptação da inteligência humana pode ser usada para processar um grupo de vídeos produzidos de forma descoordenada e distribuída, e relacionados a um mesmo evento social, gerando a sua sincronização. Para comprovar esta hipótese, as seguintes etapas foram executadas: (i) o desenvolvimento de um método de sincronização para múltiplos vídeos provenientes de fontes independentes; (ii) a execução de um mapeamento sistemático acerca do uso de crowdsourcing para processamento de vídeos; (iii) o desenvolvimento de técnicas para o uso da crowd na sincronização de vídeos; (iv) o desenvolvimento de um modelo funcional para desenvolvimento de aplicações de sincronização utilizando crowdsourcing, que pode ser estendido para aplicações de vídeos em geral; e (v) a realização de experimentos que permitem mostrar a capacidade da crowd para realizar a sincronização. Os resultados encontrados após estas etapas mostram que a crowd é capaz de participar do processo de sincronização e que diversos fatores podem influenciar na precisão dos resultados obtidos