SciSports: Learning football kinematics through two-dimensional tracking data

SciSports is a Dutch startup company specializing in football analytics. This paper describes a joint research effort with SciSports, during the Study Group Mathematics with Industry 2018 at Eindhoven, the Netherlands. The main challenge that we addressed was to automatically process empirical football players' trajectories, in order to extract useful information from them. The data provided to us was two-dimensional positional data during entire matches. We developed methods based on Newtonian mechanics and the Kalman filter, Generative Adversarial Nets and Variational Autoencoders. In addition, we trained a discriminator network to recognize and discern different movement patterns of players. The Kalman-filter approach yields an interpretable model, in which a small number of player-dependent parameters can be fit; in theory this could be used to distinguish among players. The Generative-Adversarial-Nets approach appears promising in theory, and some initial tests showed an improvement with respect to the baseline, but the limits in time and computational power meant that we could not fully explore it. We also trained a Discriminator network to distinguish between two players based on their trajectories; after training, the network managed to distinguish between some pairs of players, but not between others. After training, the Variational Autoencoders generated trajectories that are difficult to distinguish, visually, from the data. These experiments provide an indication that deep generative models can learn the underlying structure and statistics of football players' trajectories. This can serve as a starting point for determining player qualities based on such trajectory data.Comment: This report was made for the Study Group Mathematics with Industry 201

An effective trajectory-based algorithm for ball detection and tracking with application to the analysis of broadcast sports video

Ph.DDOCTOR OF PHILOSOPH

Semantic soccer video analysis

Master'sMASTER OF SCIENC

Seguimiento de jugadores para detección de eventos en vídeos deportivos

El objetivo principal marcado en este proyecto es conseguir obtener un algoritmo automático de seguimiento de jugadores sobre vídeos de partidos de fútbol en formato televisivo. El resultado obtenido en este algoritmo podría ser usado, junto a los resultados de otros algoritmos, para una posterior detección de eventos de alta importancia (“highlights”) de cara al procesado y etiquetado de estos vídeos de forma automatizada. A modo de introducción se va a repasar un poco la historia y origen del fútbol y el estado actual del deporte para conocer, de primera mano, el terreno sobre el que se va a trabajar. También vamos a comentar la motivación que nos lleva al estudio de este proyecto y los objetivos que nos marcamos inicialmente. Después continuaremos marcando las tendencias actuales del estado del arte tanto de forma genérica, desde el estudio de las diferentes características usadas para el procesado y el etiquetado automático de los videos, como de forma particularizada, con la situación actual de los algoritmos de seguimiento de jugadores. Una vez hayamos entendido las motivaciones y objetivos que nos llevan a realizar este proyecto, nos meteremos directamente en el estudio del algoritmo propuesto por nosotros. Comenzaremos explicando de forma generalizada la arquitectura del algoritmo y las partes en que vamos a dividir el desarrollo del mismo. Durante los primeros capítulos se detallarán los problemas que nos vamos a encontrar al usar vídeos adquiridos directamente de la retransmisión televisiva, de que forma vamos a obtener estos vídeos para lograr obtener una base de datos sólida sobre la que realizar pruebas y como vamos a conseguir utilizar estos vídeos sobre un software específico. Posteriormente se especificará con el mayor rigor posible el algoritmo de seguimiento desarrollado por nosotros. Esta parte estará compuesta de tres bloques básicos siguiendo una linealidad en el desarrollo: Segmentación de los frames, donde obtendremos a partir de cada frame original un frame alternativo en el que distingamos dos partes: el césped y el resto de la imagen. El objetivo principal de este bloque es obtener las figuras de los jugadores sobre el césped y así poder localizarlos. Detección de los jugadores, mediante procesado de la imagen obtenida en el punto anterior y con apoyo en algoritmos del software utilizado obtendremos las posiciones de los jugadores en el frame. Seguimiento de los jugadores, con el desarrollo de un algoritmo que calcula los movimientos más probables entre frames de los jugadores. Una vez explicados los algoritmos, los problemas que nos hemos encontrado y las decisiones que se han tomado procedemos a evaluar los resultados. Como se podrá ver en este apartado, la evaluación de funcionamiento no ha sido la habitual ya que era inviable obtener unos resultados de forma automatizada y se ha tenido que detallar los resultados de forma subjetiva. Para este apartado se han usado fragmentos de vídeos distintos al usado como vídeo de pruebas y los resultados obtenidos han sido muy satisfactorios obteniendo un porcentaje de acierto en el seguimiento por encima del 80% en la mayoría de los casos. También se han citado los problemas más habituales y de que forma nos afectan en los resultados. Una vez mostrados los resultados obtenidos de forma numérica mostraremos las conclusiones obtenidas con la realización de este proyecto tanto a nivel de estudio y desarrollo como a nivel personal. También se darán unas pinceladas sobre las líneas futuras a seguir para posteriores estudios sobre lo desarrollado por nosotros. Finalmente, se realizará un presupuesto aproximado del coste que nos hubiera supuesto la creación de este proyecto de forma profesional y comercial, teniendo en cuenta tanto el gasto material como la remuneración profesional.Ingeniería de Telecomunicació