Contextualizing Multiple Tasks via Learning to Decompose

One single instance could possess multiple portraits and reveal diverse relationships with others according to different contexts. Those ambiguities increase the difficulty of learning a generalizable model when there exists one concept or mixed concepts in a task. We propose a general approach Learning to Decompose Network (LeadNet) for both two cases, which contextualizes a model through meta-learning multiple maps for concepts discovery -- the representations of instances are decomposed and adapted conditioned on the contexts. Through taking a holistic view over multiple latent components over instances in a sampled pseudo task, LeadNet learns to automatically select the right concept via incorporating those rich semantics inside and between objects. LeadNet demonstrates its superiority in various applications, including exploring multiple views of confusing tasks, out-of-distribution recognition, and few-shot image classification

Semantic Analysis of High-definition MPEG-2 Soccer Video Using Bayesian Network

近年，インターネットのブロードバンド化に伴い，映像配信が普及し，また，地上デジタル放送や，BS・CSデジタル放送などの衛星放送により，ユーザが試聴できる番組の数が急増してきている．パソコンやレコーダのハードディスクの容量も増え，大量の番組（コンテンツ）を保存することが可能となったが，その反面，膨大な映像データの中から，視聴者の求めるシーンを素早く検索する技術の必要性がこれまでにも増して高まって来ている．本研究はサッカー映像のリプレーシーンとゴール付近のハイライトシーンの検出方法を提案する．シーンの検出には，MPEG-2エンコーダによって圧縮されたハイビジョンサッカー映像から抽出した特徴量とハイライトシーンとの間の因果関係をベイジアンネットワークで記述する手法を用いる．ベイジアンネットワークを用いることにより，抽出された特徴量からハイライトシーンの発生を確率的に推論することが可能になる．すでにベイジアンネットワークを用いたサッカー映像のハイライトシーンの検出法は提案されているが，それらの方法では，フレーム毎に画素単位でさまざまな画像処理を映像に施すことによって求めた特徴量を利用している．そのため，画面が大きくなると計算コストも大きくなるので，リアルタイム処理には専用の処理装置が必要になる．本研究で提案する方法はMPEG-2圧縮データに含まれている符号化パラメータから特徴量を計算するので，従来法に比べて計算量が少なく，ハイビジョンなどの高解像度映像であっても，通常のPCを用いてリアルタイム処理が可能である．また，従来法では各種シーンに対してベイジアンネットワークが提案されているが，いずれも，ネットワークモデル中のシーンに関わるイベントがすべてフレーム単位で定義されている．例えば，従来法のゴールシーンに関わる，ゴールゲートの出現，観客の声，リプレーの発生等のイベントは全てフレーム単位で数えている．しかし，各イベントの開始・終了フレームを明確に判定する手法が明らかにされておらず，場合によっては人の手で行わなう必要がある．そのため，ベイジアンネットワークを学習する時に、各種イベントの時間帯の与え方に誤差が含まれる可能性がある．さらに、テストビデオから，シーン検出する時，シーンの始終時間帯の検出も困難である．本研究の提案手法では，まず，MPEG-2圧縮データから直接抽出した符号化パラメータの特徴的な変化から，カメラの切り換えに伴う画面の切り替るカット点を検出し，隣接する二つのカット点間をショットとして定義する．さらに各ショットの特徴量を調べることにより，ショットをいくつかのイベントクラスに分類する．さらに，シーンをある特徴的なイベントの発生として捉えることにより，シーンの検出を行う．本手法では，各イベントの開始・終了時刻をショットのカット点によって明確に与えることができることができ，しかもMPEG-2圧縮データから自動的に求めることが可能である．提案方式の性能評価のために，実際のビデオデータを使用した検出実験を行ったところ，ゴール付近で起こるイベントシーンの再現率が86.17%，適合率90.76%，またリプレーシーンの再現率が81.00%, 適合率92.57%という検出結果が得られた．一方，従来法の検出結果では，同一のビデオデータではないが，ゴール付近で起こるイベントシーンの再現率71.1%，適合率89.8%であり，提案方式のほうが従来法に比べ，再現率，適合率ともに上回り，とくに再現率の向上が顕著である．以上のことより，提案法の有効性が確認された．電気通信大学201

Generative probabilistic models for image retrieval

Searching for information is a recurring problem that almost everyone has faced at some point. Being in a library looking for a book, searching through newspapers and magazines for an old article or searching through emails for an old conversation with a colleague are some examples of the searching activity. These are some of the many situations where someone; the “user”; has some vague idea of the information he is looking for; an “information need”; and is searching through a large number of documents, emails or articles; “information items”; to find the most “relevant” item for his purpose. In this thesis we study the problem of retrieving images from large image archives. We consider two different approaches for image retrieval. The first approach is content based image retrieval where the user is searching images using a query image. The second approach is semantic retrieval where the users expresses his query using keywords. We proposed a unified framework to treat both approaches using generative probabilistic models in order to rank and classify images with respect to user queries. The methodology presented in this Thesis is evaluated on a real image collection and compared against state of the art methods

Self-labelling via simultaneous clustering and representation learning

Combining clustering and representation learning is one of the most promising approaches for unsupervised learning of deep neural networks. However, doing so naively leads to ill posed learning problems with degenerate solutions. In this paper, we propose a novel and principled learning formulation that addresses these issues. The method is obtained by maximizing the information between labels and input data indices. We show that this criterion extends standard crossentropy minimization to an optimal transport problem, which we solve efficiently for millions of input images and thousands of labels using a fast variant of the Sinkhorn-Knopp algorithm. The resulting method is able to self-label visual data so as to train highly competitive image representations without manual labels. Our method achieves state of the art representation learning performance for AlexNet and ResNet-50 on SVHN, CIFAR-10, CIFAR-100 and ImageNet and yields the first self-supervised AlexNet that outperforms the supervised Pascal VOC detection baseline. Code and models are available.Comment: Accepted paper at the International Conference on Learning Representations (ICLR) 202