Real-time computational attention model for dynamic scenes analysis: from implementation to evaluation.

International audienceProviding real time analysis of the huge amount of data generated by computer vision algorithms in interactive applications is still an open problem. It promises great advances across a wide variety of elds. When using dynamics scene analysis algorithms for computer vision, a trade-o must be found between the quality of the results expected, and the amount of computer resources allocated for each task. It is usually a design time decision, implemented through the choice of pre-de ned algorithms and parameters. However, this way of doing limits the generality of the system. Using an adaptive vision system provides a more exible solution as its analysis strategy can be changed according to the new information available. As a consequence, such a system requires some kind of guiding mechanism to explore the scene faster and more e ciently. We propose a visual attention system that it adapts its processing according to the interest (or salience) of each element of the dynamic scene. Somewhere in between hierarchical salience based and competitive distributed, we propose a hierarchical yet competitive and non salience based model. Our original approach allows the generation of attentional focus points without the need of neither saliency map nor explicit inhibition of return mechanism. This new real- time computational model is based on a preys / predators system. The use of this kind of dynamical system is justi ed by an adjustable trade-o between nondeterministic attentional behavior and properties of stability, reproducibility and reactiveness

The research landscape of ICT for sustainability: harnessing digital technology for sustainable development

Within the growing debate about sustainability issues, a variety of research communities emerged to connect the fields of sustainable development and ICT. Each of them addresses the link between sustainable development and digital technologies from a slightly different angle. However, the overlaps and blurred boundaries in the scope of research exist. Taking “Doughnut economics” as a foundation and inspired by the LES model, we propose a new conceptual framework to structure the ICT for Sustainability (ICT4S) research landscape. The new model encompasses both environmental and social effects in line with socio-ecological systems thinking. We go one step further and propose to incorporate a decision-making dimension to represent the research of the governance, strategies and policies with respect to ICT effects. We proceed by exploring how this framework could be used to position research fields and communities according to their scope of interest and, by doing so, find synergies between research communities and within the ICT4S landscape. Our aim is to contribute in creating tools to foster dialogue and bridge fragmented research fields and communities interested in ICT impacts on sustainable development

Processing and quantitative analysis of tagged cardiac MRI sequences

The noninvasive evaluation of the cardiac function presents a great interest for the diagnosis of cardiovascular diseases. Cardiac tagged MRI allows the measurement of anatomical and functional myocardial parameters. This protocol generates a dark grid which is deformed with the myocardium. As a consequence, the tracking of the grid allows the displacement estimation in the myocardium. The work described in this paper aims to automate the myocardial contours detection and the following of the grids of tags on Short-Axis time sequences, in order to firstly optimize the 2D+T study of the parietal contractions and secondly make possible its clinical use. The method we have developed for endocardial and epicardial contours detection is based on the use of texture analysis and active contours models. Texture analysis allows us to define energy maps more efficient than those usually used in active contours methods where attractor is often based on gradient and which were useless in our case of study. The follow-up of the grid of tags that we have implemented is based on a grid of active contours (B-snakes) which part of the energy is issued from a particular selective diffusion process which leading equation is based on the recent work of [8]. The results obtained with our method is fully automatic and correct on Short-Axis sequences, when previous works on cardiac tagged MR images analysis always used manual contours detection.L'évaluation non invasive de la fonction cardiaque présente un intérêt majeur pour le diagnostic et le suivi de pathologies cardio-vasculaires. L'IRM cardiaque marquée permet de mesurer des paramètres anatomiques et fonctionnels du myocarde. Ce protocole fait apparaître sur les images des séquences temporelles cardiaques Petit-Axe (PA) une grille se déformant avec le myocarde. Le suivi de cette grille permet ainsi d'estimer le déplacement intramyocardique. L'objectif de notre étude est de rendre robuste le suivi automatique de la grille de tags sur les séquences PA afin de mener une analyse quantitative 2D+T de la fonction contractile du Ventricule Gauche (VG). La méthode que nous avons développée dans ce but, utilise un modèle de contour actif sous forme de grille dont l'énergie image se construit grâce à une diffusion sélective permettant la sauvegarde de l'information de tag au détriment du reste sur chacune des images PA extraites des séquences IRM cardiaques marquées. Cette approche, couplée à une détection automatique des contours du VG sur ces mêmes images, permet l'obtention de résultats quantitatifs (paramètres cliniques) satisfaisants à la fois en terme de précision, de robustesse, de reproductibilité et de rapidité

Restauration d'images par diffusion sélective

La restauration anisotrope d'images par utilisation d'Équations aux Dérivées Partielles (EDP) a suscité et suscite toujours un intérêt important de par la possibilité qu'elle offre de lisser une image tout en préservant ses discontinuités. Les applications pratiques de ces méthodes de restauration sont nombreuses et touchent divers domaines (photographie, médical, etc.). Dans cet article, nous proposons une approche variationnelle pour la restauration d'images se fondant sur une fonctionnelle énergétique différente de celle rencontrée dans la littérature. L'EDP résultante se caractérise alors par la possible intégration dans le processus de diffusion d'information a priori sur des structures particulières de l'image que l'on désire restaurer. Nous présentons tout d'abord des résultats obtenus sur des images ad hoc, puis nous montrons la possible extension de ce processus de diffusion sélective à une application concrète : la restauration de séquences IRM cardiaques marquées

Détection et suivi des déformations intra-myocardiques en IRM cardiaque marquée

L'évaluation non invasive de la fonction cardiaque présente un intérêt majeur pour le diagnostic et le suivi de pathologies cardiovasculaires. L'IRM cardiaque marquée (ou taggée) permet de mesurer des paramètres anatomiques et fonctionnels du myocarde. Ce protocole fait apparaître sur les images des séquences temporelles cardiaques Petit-Axe (PA) et Grand-Axe (GA) une grille se déformant avec le myocarde. Le suivi de cette grille permet ainsi d'estimer le déplacement intra-myocardique. L'objectif de notre étude est de rendre robuste le suivi automatique de la grille de tags à la fois sur les séquences PA et aussi sur les séquences GA. La méthode que nous avons développée pour le suivi de la grille de tags utilise un modèle de contour actif dont l'énergie image se construit grâce à une diffusion anisotrope non linéaire paramétrée, optimisée par une détection locale des lignes de tags à l'échelle optimale. Cette approche permet l'obtention de résultats satisfaisants à la fois en terme de précision et de reproductibilité

Une nouvelle approche variationnelle du traitement d'images. ,Application à la coopération détection-reconstruction

In this thesis, we have developed a variational framework for low level image processing based on the Extreme Physical Information. We have used this method, recently developed, in order to provide an axiomatic fundament for scale-space or diusion. This method allows to be optimal in terms of compromise uncertainty - inaccuracy about the measured system. We derive, in the quatum framework, the Klein-Gordon and the Schrödinger equation with elds as new model of image. The application we have focused on, is stent detection and reconstruction, stent is a coronary prothesis. The method we have adopted, is 2D-3D shape oriented, actually, we have coupled two Schrödinger equations in order to reconstruct the shape of the stent. Our goal is to extract the maximum of information located in X rays images. In order to develop a eld to guide reconstruction, we develop a multi local shape index and two pragmatic algorithms to detect stent projection on X rays imagesDans cette thèse, nous élaborons, dans le cadre méthodologique de la physique quantique, un cadre variationnel générique en traitement d'images bas niveau, fondé sur le principe de l'Information Physique Extrême. Nous utilisons cet outil, récemment développé, pour dériver, entre autres, la théorie des espaces d'échelles, et retrouver des diffusions linéaires et non linéaires classiques. Cette approche permet d'être optimal au sens d'un compromis entre imprécision des mesures et incertitude sur le phénomène mesuré. A ce nouveau modèle variationnel on associe l'équation de Klein-Gordon avec champs, ou en limite, celle de Schrödinger avec champs.L'application associée concerne la détection et la reconstruction de prothèses coronaires, autrement appelées stents, à partir d'images rayons X. Notre méthode s'apparente à une méthode de reconstruction 2D-3D orientée forme. En effet, nous couplons deux équations de Schrödinger avec champs. Cette écriture nous permet de tirer pleinement parti de l'acquisition tomographique, ainsi que d'une contrainte de ressemblance avec un modèle d'objet à reconstruire. Chacune de ces deux sources d'information est ainsi traduite de manière algorithmique par une équation de Schrödinger. An de déterminer un potentiel d'attraction du modèle 2D vers la projection du stent, nous avons développé un nouveau descripteur multi-local ou de la surface de luminance d'une image, ainsi que deux algorithmes pragmatiques de détection et de localisation de pixels appartenant à la projection du stent

CuriousMind photographer: distract the robot from its initial task

Mainly present in industry, robots begin to invade our every-day lives for very precise tasks. In order to reach a level where more general robots get involved in our lives, the robots' abilities to communicate and to react to unexpected situations must be improved. This paper introduces an attentive computational model for robots as attention can help both in reacting to unexpected situations and to help improving human-robot communication. We propose to enhance and implement an existing real time computational model. Intensity, color and orientation are usually used but we have added information related to depth and isolation. We have built a robotic system based on LEGO Mindstorm platform and the Kinect RGB-D sensor. This robot, called CuriousMind, is able to take a picture of the most interesting part of the scene and it can also be distracted from its first goal by novel situations mimicking in that way the human (and more precisely small children) behaviour

Une nouvelle approche variationnelle du traitement d'images (application à la coopération détection-reconstruction)

LA ROCHELLE-BU (173002101) / SudocSudocFranceF

Implémentation et évaluation d’un modèle d’attention pour la vision adaptative

Dans le domaine de l'analyse de scène en vision par ordinateur, un compromis doit être trouvé entre la qualité des résultats attendus et les ressources allouées pour effectuer les traitements. Une solution flexible consiste à utiliser un système de vision adaptatif capable de moduler sa stratégie d'analyse en fonction de l'information disponible et du contexte. Dans cet article, nous décrivons comment concevoir et évaluer un système d'attention visuelle conçu pour interagir avec un système de vision de façon à ce que ce dernier adapte ses traitements en fonction de l'intérêt (de la saillance) de chaque élément de la scène. Nous proposons également un nouvel ensemble de contraintes nommé PAIRED, permettant d'évaluer l'adéquation du modèle à différentes applications. Nous justifions le choix des systèmes dynamiques par leurs propriétés intéressantes pour simuler la compétition entre différentes sources d'informations. Nous présentons enfin une validation à travers différentes métriques montrant que nos résultats sont rapides, hautement configurables et pertinents.In the field of scene analysis for computer vision, a trade-off must be found between the quality of the results expected, and the amount of computer resources allocated for each task. Using an adaptive vision system provides a more flexible solution as its analysis strategy can be changed according to the information available concerning the execution context. We describe how to create and evaluate a visual attention system tailored for interacting with a computer vision system so that it adapts its processing according to the interest (or salience) of each element of the scene. We propose a new set of constraints named PAIRED to evaluate the adequacy of a model with respect to its different applications. We justify why dynamical systems provide good properties for simulating the dynamic competition between different kinds of information. We present different results that demonstrate that our results are fast and highly configurable and plausible

Selective Image Diffusion for Oriented Pattern Extraction

International audienceAnisotropic regularization PDE's (Partial Differential Equation) raised a strong interest in the field of image processing. The benefit of PDE-based regularization methods lies in the ability to smooth data in a nonlinear way, allowing the preservation of important image features (contours, corners or other discontinuities). In this article, a selective diffusion approach based on the framework of Extreme Physical Information theory is presented. It is shown that this particular framework leads to a particular regularization PDE which makes it possible integration of prior knowledge within diffusion scheme. As a proof a feasibility, results of oriented pattern extractions are presented on ad hoc images. This approach may find applicability in vision in robotics