Spieleridentifizierung in Fußballvideos mittels visueller Merkmale und Konstellationsmodellen

Abstract

As football is one of the worlds most popular sports, the ever-increasing amount of football video content and the tight competition between teams lead to an increasing demand in tools for automatic analysis of football videos. The work presented here proposes an approach for automatic player identification in broadcast football videos. It is – to the best of the author’s knowledge – one of the first approaches that tackle player identification on the main broadcast camera, as opposed to other approaches that employ close-up camera and thus allow for face identification and increased resolution for jersey number recognition. In order to identify players in football videos, a couple of processing steps are required: Video sequences are subdivided into shots and classified according to their camera perspective to filter those segments taken from the main overview camera. Subsequently, players are detected and tracked, and camera calibration is performed using evolutionary strategies. Only then the actual identification of players can be performed. One of the main contributions of this work to the state of the art is the utilization of different player position models for player identification, which improves a baseline approach that relies on jersey number recognition only. These position models capture the tactical constellations of teams with naive Bayes classifiers and Convolutional Neural Networks (CNN). The jersey number recognition approach presented here is also based on CNNs. An additional contribution of this work is an adaptive approach for semi-supervised player detection models using color features. This allows exploiting the uniform appearance of players for improved player detection. Because there are no publicly available video datasets for player identification – which is common in the area of sport video analytics – this work presents such a dataset of recordings from the German Bundesliga 2012 season on which the work is evaluated. The aforementioned contributions improved the identification accuracy from 0.76 for an approach solely based on jersey number recognition to 0.83 for a combined approach of position models with jersey number recognition. I.e. the identification error is reduced from 24% to 17%, resulting in a relative error reduction of 29%. For player detection, the proposed adaptive, semi-supervised approach reduced the number of false positive detections by 22% when compared to a baseline approach based on Histogram of Oriented Gradients and Support Vector Machines, which is commonly used in pedestrian detection.Fußball ist weltweit eine der populärsten Sportarten Die immer größerwerdende Menge an Bewegtbildern von Fußballspielen und der sehr kompetitive Wettbewerb zwischen den Mannschaften führt zu einem immer stärker werdenden Bedarf an automatischen Analysen von Fußballvideos. Die Anwendungen solcher Analysemethoden sind vielfältig: Sie geben zum Beispiel dem interessierten Zuschauer zusätzliche Informationen und Statistiken an die Hand oder helfen den Vereinen und Verbänden bei der Spiel- und Spieleranalyse, um durch zusätzliche Informationen einen Wettbewerbsvorteil zu erhalten. Die vorliegende Arbeit stellt einen Ansatz zur automatischen Identifikation von Spielern in Fußballvideos vor. Es ist nach Kenntniss des Autors eines der ersten Ansätze, der die Identifikation von Fußballspielern aus Aufnahmen der Hauptkamera vornimmt. Vorherige Ansätze beruhen häufig auf Nahaufnahmen von Spielern, auf denen z.B. Rückennummern-Erkennung bzw. Gesichtserkennung angewandt wird. UmSpieler in Fußballvideos zu identifizieren, sind einige Verarbeitungsschritte notwendig: Aufnahmen von Fußballspielen müssen in einzelne sogenannte Shots unterteilt werden und entsprechend ihrer Kameraperspektive klassifiziert werden, um solche Videosegmente zu finden, die von der Hauptkamera aufgenommen wurden. Anschließend werden Spieler detektiert und verfolgt sowie eine Kamerakalibrierung auf Basis evolutionärer Strategien durchgeführt, bevor die eigentliche Identifikation von Spielern durchgeführt werden kann. Einer der Hauptbeiträge zum Stand der Wissenschaft ist die Nutzung von verschiedenen Positionsmodellen für Spieler für die Identifizierung von Spielern, die eine auf reiner Rückennummernerkennung basierende Identifizierung unterstützt und verbessert. Diese Positionsmodelle modellieren die taktischenKonstellationen der Mannschaften mit Hilfe von naiven Bayes Klassifikatoren bzw. Convolutional Neural Networks (CNN) und erlauben es so, Rückschlüsse für die Identifizierung von Spielern zu ziehen. Der vorgestellte Ansatz zur Rückennummernerkennung basiert auf CNNs. Ein weiterer Hauptbeitrag der vorliegenden Arbeit ist ein adaptiver Ansatz zum halbüberwachten Lernen von Modellen basierend auf Farbmerkmalen zur Spielerdetektion. Dieser Ansatz nutzt das uniforme Aussehen der Spieler um die Spielerdetektion zu verbessern. Da es, wie sehr häufig im Bereich der Sport-Videoanalyse, keine öffentlich verfügbaren Video-Datensätze zur Spieleridentifikation gibt, wird in dieser Arbeit ein solcher Datensatz aus Aufnahmen der Deutschen Fußball Bundesliga (2012) eingeführt, auf dem die vorgestellten Verfahren evaluiert werden. Durch die oben beschriebenen Beiträge ist es auf diesem Datensatz gelungen, die Identifizierungsgenauigkeit von 0,76 eines nur auf Rückennummernerkennung basierenden Ansatzes auf 0,83 eines mit Positionsmodellen kombinierten Ansatzes zu steigern. D.h. der Identifizierungsfehler konnte von 24% auf 17% gesenkt werden, was einer Reduktion von 29% entspricht. Bei der Spielerdetektion konnte durch den adaptiven, halbüberwachten Ansatz zum Erlernen von Farbmerkmalen eine Reduktion der Falsch positiven Detektionen von 22% gegenüber einem Referenzansatz, der auf Histogram of Oriented Gradients und einer Support Vector Machine basiert, erzielt werden