SENSAREA, a general public video editing application

International audienceIn this demonstration, we present an advanced prototype of a novel general public software application that provides the user with a set of interactive tools to select and accurately track multiple objects in a video. The originality of the proposed software is that it doesn't impose a rigid modus operandi and that automatic and manual tools can be used at any moment for any object. Moreover, it is the first time that powerful video object segmentation tools are integrated in a friendly, industrial and non commercial application dedicated to accurate object tracking. With our software, special effects can be applied to the tracked objects and saved to a video file, and the object masks can also be exported for applications that need ground truth data or that want to improve the user experience with clickable videos

Foreground object segmentation for moving camera sequences based on foreground-background probabilistic models and prior probability maps

International audienceThis paper deals with foreground object segmentation in the context of moving camera sequences. The method that we propose com-putes a foreground object segmentation in a MAP-MRF framework between foreground and background classes. We use region-based models to model the foreground object and the background region that surrounds the object. Moreover, the global background of the sequence is also included in the classification process by using pixel-wise color GMM. We compute the foreground segregation for each one of the frames by using a Bayesian classification and a graph-cut regularization between the classes, where the prior probability maps for both, foreground and background, are included in the for-mulation, thus using the cumulative knowledge of the object from the segmentation obtained in the previous frames. The results pre-sented in the paper show how the false positive and false negative detections are reduced, meanwhile the robustness of the system is improved thanks to the use of the prior probability maps in the clas-sification process

Using the Unity game engine as a platform for advanced real time cinema image processing

International audienceThe global context of our work is the virtual production film industry.We present an efficient framework to merge a low resolutiondepth map sensor with a high resolution film camera. The depthsensor used is a Kinect 2, based on time of flight technology. Ourmethod is especially designed for film production requiring live (pre)visualization. To achieve real-time performance we are not using aspecific customized solution software but the very popular game engineUnity 3D. Our method is directly implemented into this gameengine to give the user all the facilities of a traditional game engine

Contribution des pyramides irrégulières en segmentation d'images multirésolution

This thesis shows the contributions of the irregular pyramidal structure within the field of grey level image multiresolution segmentation. First, multiresolution techniques are reviewed. Then, several image segmentation techniques are explored, involving either region or contour approaches. Thirdly, irregular pyramid construction and its use are thoroughly described, including its flaws. In order to improve the relevance of this approach, a cooperative process combining the pyramidal structure and either a classical edge operator or a stochastic edge detector (specially developed) is proposed. Finally, two new methods that provide multiresolution segmented image pyramids are proposed: The first method provides, by using the different levels of an irregular pyramid, a large number of derived segmentations, each one at a particular resolution. The second method, based on the wide decimation, directly generates a real image pyramid in which each level contains details at a particular resolution. Experimental results are given all along the document. A comparison among the proposed methods is performed on test images.Cette thèse traite des apports de la structure pyramidale irrégulière en segmentation multirésolution d'images en niveaux de gris. Une présentation des techniques de multirésolution (essentiellement pyramidales) pour le traitement des images et notamment pour la segmentation est faite dans un premier temps. Dans un second temps, le document décrit des techniques de segmentation d'image par approches 'région' puis par approches 'contour'. Une troisième partie traite de la modélisation de la pyramide par les graphes, puis détaillé précisement sa construction. Cette étude met en évidence certaines faiblesses de l'approche. Afin d'améliorer les résultats, nous proposons une coopération de processus unissant l'approche région de la structure pyramidale ˆ une approche contour représentée soit par un détecteur de maximums locaux, soit par un détecteur stochastique mis en oeuvre à cet effet. Par la suite, nous développons deux approches qui permettent d'obtenir des pyramides d'images segmentées multirésolution. La première permet, à l'aide des différents niveaux d'une pyramide irrégulière, de fournir rapidement un nombre important de segmentations dérivées, chacune à une résolution différente. La seconde, fondée sur la notion de décimation étendue, génère directement une pyramide d'images à différentes résolutions de détails. Enfin, quelques élements concernant l'étude des textures sont proposés. Des résultats expérimentaux sont fournis tout au long du document. Un comparatif des méthodes développées est effectuer. sur des images type

Linear classification of chairlift images for presence analysis

Conférence Quality Control by Artificial Vision (QCAV) 2019, Mulhouse, France, 15-17 MaiInternational audienc

A Game Engine as a Generic Platform for Real-Time Previz-on-Set in Cinema Visual Effects

International audienceWe present a complete framework designed for film production requiring live (pre) visualization. This framework is based on a famous game engine, Unity. Actually, game engines possess many advantages that can be directly exploited in real-time pre-vizualization, where real and virtual worlds have to be mixed. In the work presented here, all the steps are performed in Unity: from acquisition to rendering. To perform real-time compositing that takes into account occlusions that occur between real and virtual elements as well as to manage physical interactions of real characters towards virtual elements, we use a low resolution depth map sensor coupled to a high resolution film camera. The goal of our system is to give the film director's creativity a flexible and powerful tool on stage, long before post-production

Poursuite d'objets multirésolution par pyramide irrégulière

Dans la méthode proposée, une pyramide irrégulière est utilisée pour segmenter les images d'une séquence : une pyramide est construite sur la première image de la séquence, puis sa structure est adaptée d'image en image à l'aide d'un traitement de division-fusion. Ce traitement prend en compte les changements entre deux images successives. De cette façon, c'est la même structure pyramidale qui est utilisée pour traiter plus rapidement toute la séquence. Des critères de stabilité permettent d'obtenir un compromis entre la qualité des résultats et la rapidité. Cela revient à choisir la résolution à laquelle est segmentée l'image. Grâce à la modélisation par graphes, les objets obtenus dans une image peuvent être poursuivis dans les images suivantes

A GENERIC PROCESS CHAIN TO EXTRACT KEY-OBJECTS FROM VIDEO SHOTS

ABSTRACT This paper discusses object-based representation of video shots acquired by a moving camera. Our approach uses an extraction of foreground regions capable of representing semantic objects of interest. However, foreground regions extracted by motion compensation are not always representative of the entity they depict. A filtering and a clustering of these regions allow us to retain only the most representative of each real object in the shot, i.e. the key-object

Extraction d'objets-clés pour l'analyse de vidéos

Cet article propose une méthode de représentation de plans vidéo provenant d'une caméra mobile. L'approche est fondée sur les objets contenus dans la vidéo. Elle utilise une extraction des régions du premier plan capables de représenter des objets d'intérêt sémantiques. Cependant, les régions du premier plan extraites en chaque image par compensation de mouvement ne sont pas toujours représentatives de l'entité dont elles proviennent. Un filtrage et une classification de ces régions nous permet de retenir uniquement la plus représentative de chaque objet réel. C'est ce que nous appelons les objets-clés

Segmentation pyramidale et groupements perceptuels

Cet article présente une méthode de segmentation qui génère une partition perceptuellement pertinente sans connaissance a priori du contenu sémantique de l'image. Tout d'abord, une analyse locale de l'homogénéité de l'image permet de détecter les zones à segmenter. Ensuite, une segmentation locale est effectuée sur ces zones, sur un critère de similarité. Enfin, les régions obtenues sont regroupées en utilisant les critères issus de la théorie de groupement du Gestalt. Cette méthode est présentée en tant que traitement hiérarchique