SoccerNet: A Scalable Dataset for Action Spotting in Soccer Videos

In this paper, we introduce SoccerNet, a benchmark for action spotting in soccer videos. The dataset is composed of 500 complete soccer games from six main European leagues, covering three seasons from 2014 to 2017 and a total duration of 764 hours. A total of 6,637 temporal annotations are automatically parsed from online match reports at a one minute resolution for three main classes of events (Goal, Yellow/Red Card, and Substitution). As such, the dataset is easily scalable. These annotations are manually refined to a one second resolution by anchoring them at a single timestamp following well-defined soccer rules. With an average of one event every 6.9 minutes, this dataset focuses on the problem of localizing very sparse events within long videos. We define the task of spotting as finding the anchors of soccer events in a video. Making use of recent developments in the realm of generic action recognition and detection in video, we provide strong baselines for detecting soccer events. We show that our best model for classifying temporal segments of length one minute reaches a mean Average Precision (mAP) of 67.8%. For the spotting task, our baseline reaches an Average-mAP of 49.7% for tolerances $\delta$ ranging from 5 to 60 seconds. Our dataset and models are available at https://silviogiancola.github.io/SoccerNet.Comment: CVPR Workshop on Computer Vision in Sports 201

Semantic Analysis of High-definition MPEG-2 Soccer Video Using Bayesian Network

近年，インターネットのブロードバンド化に伴い，映像配信が普及し，また，地上デジタル放送や，BS・CSデジタル放送などの衛星放送により，ユーザが試聴できる番組の数が急増してきている．パソコンやレコーダのハードディスクの容量も増え，大量の番組（コンテンツ）を保存することが可能となったが，その反面，膨大な映像データの中から，視聴者の求めるシーンを素早く検索する技術の必要性がこれまでにも増して高まって来ている．本研究はサッカー映像のリプレーシーンとゴール付近のハイライトシーンの検出方法を提案する．シーンの検出には，MPEG-2エンコーダによって圧縮されたハイビジョンサッカー映像から抽出した特徴量とハイライトシーンとの間の因果関係をベイジアンネットワークで記述する手法を用いる．ベイジアンネットワークを用いることにより，抽出された特徴量からハイライトシーンの発生を確率的に推論することが可能になる．すでにベイジアンネットワークを用いたサッカー映像のハイライトシーンの検出法は提案されているが，それらの方法では，フレーム毎に画素単位でさまざまな画像処理を映像に施すことによって求めた特徴量を利用している．そのため，画面が大きくなると計算コストも大きくなるので，リアルタイム処理には専用の処理装置が必要になる．本研究で提案する方法はMPEG-2圧縮データに含まれている符号化パラメータから特徴量を計算するので，従来法に比べて計算量が少なく，ハイビジョンなどの高解像度映像であっても，通常のPCを用いてリアルタイム処理が可能である．また，従来法では各種シーンに対してベイジアンネットワークが提案されているが，いずれも，ネットワークモデル中のシーンに関わるイベントがすべてフレーム単位で定義されている．例えば，従来法のゴールシーンに関わる，ゴールゲートの出現，観客の声，リプレーの発生等のイベントは全てフレーム単位で数えている．しかし，各イベントの開始・終了フレームを明確に判定する手法が明らかにされておらず，場合によっては人の手で行わなう必要がある．そのため，ベイジアンネットワークを学習する時に、各種イベントの時間帯の与え方に誤差が含まれる可能性がある．さらに、テストビデオから，シーン検出する時，シーンの始終時間帯の検出も困難である．本研究の提案手法では，まず，MPEG-2圧縮データから直接抽出した符号化パラメータの特徴的な変化から，カメラの切り換えに伴う画面の切り替るカット点を検出し，隣接する二つのカット点間をショットとして定義する．さらに各ショットの特徴量を調べることにより，ショットをいくつかのイベントクラスに分類する．さらに，シーンをある特徴的なイベントの発生として捉えることにより，シーンの検出を行う．本手法では，各イベントの開始・終了時刻をショットのカット点によって明確に与えることができることができ，しかもMPEG-2圧縮データから自動的に求めることが可能である．提案方式の性能評価のために，実際のビデオデータを使用した検出実験を行ったところ，ゴール付近で起こるイベントシーンの再現率が86.17%，適合率90.76%，またリプレーシーンの再現率が81.00%, 適合率92.57%という検出結果が得られた．一方，従来法の検出結果では，同一のビデオデータではないが，ゴール付近で起こるイベントシーンの再現率71.1%，適合率89.8%であり，提案方式のほうが従来法に比べ，再現率，適合率ともに上回り，とくに再現率の向上が顕著である．以上のことより，提案法の有効性が確認された．電気通信大学201

Dirichlet belief networks for topic structure learning

Recently, considerable research effort has been devoted to developing deep architectures for topic models to learn topic structures. Although several deep models have been proposed to learn better topic proportions of documents, how to leverage the benefits of deep structures for learning word distributions of topics has not yet been rigorously studied. Here we propose a new multi-layer generative process on word distributions of topics, where each layer consists of a set of topics and each topic is drawn from a mixture of the topics of the layer above. As the topics in all layers can be directly interpreted by words, the proposed model is able to discover interpretable topic hierarchies. As a self-contained module, our model can be flexibly adapted to different kinds of topic models to improve their modelling accuracy and interpretability. Extensive experiments on text corpora demonstrate the advantages of the proposed model.Comment: accepted in NIPS 201

Learning to Hash-tag Videos with Tag2Vec

User-given tags or labels are valuable resources for semantic understanding of visual media such as images and videos. Recently, a new type of labeling mechanism known as hash-tags have become increasingly popular on social media sites. In this paper, we study the problem of generating relevant and useful hash-tags for short video clips. Traditional data-driven approaches for tag enrichment and recommendation use direct visual similarity for label transfer and propagation. We attempt to learn a direct low-cost mapping from video to hash-tags using a two step training process. We first employ a natural language processing (NLP) technique, skip-gram models with neural network training to learn a low-dimensional vector representation of hash-tags (Tag2Vec) using a corpus of 10 million hash-tags. We then train an embedding function to map video features to the low-dimensional Tag2vec space. We learn this embedding for 29 categories of short video clips with hash-tags. A query video without any tag-information can then be directly mapped to the vector space of tags using the learned embedding and relevant tags can be found by performing a simple nearest-neighbor retrieval in the Tag2Vec space. We validate the relevance of the tags suggested by our system qualitatively and quantitatively with a user study

Goal event detection in soccer videos via collaborative multimodal analysis

Detecting semantic events in sports video is crucial for video indexing and retrieval. Most existing works have exclusively relied on video content features, namely, directly available and extractable data from the visual and/or aural channels. Sole reliance on such data however, can be problematic due to the high-level semantic nature of video and the difficulty to properly align detected events with their exact time of occurrences. This paper proposes a framework for soccer goal event detection through collaborative analysis of multimodal features. Unlike previous approaches, the visual and aural contents are not directly scrutinized. Instead, an external textual source (i.e., minute-by-minute reports from sports websites) is used to initially localize the event search space. This step is vital as the event search space can significantly be reduced. This also makes further visual and aural analysis more efficient since excessive and unnecessary non-eventful segments are discarded, culminating in the accurate identification of the actual goal event segment. Experiments conducted on thirteen soccer matches are very promising with high accuracy rates being reported