Evaluation of Keyword-Based Search Models for Known-Item Search

Abstract

Video retrieval over large datasets is still a very challenging task, which is getting even more relevant with the rapidly growing volume of unannotated data available. Know-item search, as one of the video retrieval tasks, is limited primarily due to the limited ability of users to formulate a suitable query and low efectivity of search models. This thesis focuses mainly on selected search models based on image classifcation, which we will also compare with a commercial solution. We will examine how to transform the network output and what models to use. Also, the efect of iterative user query reformulation on overall search efectivity will be investigated. We will also present a simple simulated user model for the generation of artifcial queries and supporting software for data collection and model evaluation in a web interface. 1Vyhledávání ve videu nad rozsáhlými databázemi je stále velmi náročný úkol, který je s rychle rostoucím objemem dostupných neanotovaných dat ještě aktuálnější. Hledání známé scény, jako jeden z úkolů vyhledávání ve videu, je limitováno především omeze- nou schopností uživatelů zformulovat vhodný dotaz a nízkou efektivitou vyhledávacích modelů. Tato práce se zaměřuje zejména na vybrané modely spoléhající na klasifkaci snímků, které vyhodnotí a porovná i s komerčním řešením. Prozkoumáme, jak transfor- movat výstup sítě a jaký z modelů poté použít a také vliv iterativní reformulace uži- vatelského dotazu na efektivitu hledání. Představíme i jednoduchý model simulovaného uživatele pro generování dotazů a software, který ve webovém rozhraní umožňuje sběr dat a následné evaluace. 1Department of Software EngineeringKatedra softwarového inženýrstvíMatematicko-fyzikální fakultaFaculty of Mathematics and Physic