Motion estimation through efficient matching of a reduced number of reliable singular points

Motion estimation in video sequences is a classical intensive computational task that is required for a wide range of applications. Many different methods have been proposed to reduce the computational complexity, but the achieved reduction is not enough to allow real time operation in a non-specialized hardware. In this paper an efficient selection of singular points for fast matching between consecutive images is presented, which allows to achieve real time operation. The selection of singular points lies in finding the image points that are robust to the noise and the aperture problem. This is accomplished by imposing restrictions related to the gradient magnitude and the cornerness. The neighborhood of each singular point is characterized by a complex descriptor vector, which presents a high robustness to illumination changes and small variations in the 3D camera viewpoint. The matching between singular points of consecutive images is performed by maximizing a similarity measure based on the previous descriptor vector. The set of correspondences yields a sparse motion vector field that accurately outlines the image motion. In order to demonstrate the efficiency of this approach, a video stabilization application has been developed, which uses the sparse motion vector field as input. Excellent results have been obtained in synthetic and real sequences, demonstrating the efficiency of the proposed motion estimation technique

Learning Scene Flow With Skeleton Guidance For 3D Action Recognition

Among the existing modalities for 3D action recognition, 3D flow has been poorly examined, although conveying rich motion information cues for human actions. Presumably, its susceptibility to noise renders it intractable, thus challenging the learning process within deep models. This work demonstrates the use of 3D flow sequence by a deep spatiotemporal model and further proposes an incremental two-level spatial attention mechanism, guided from skeleton domain, for emphasizing motion features close to the body joint areas and according to their informativeness. Towards this end, an extended deep skeleton model is also introduced to learn the most discriminant action motion dynamics, so as to estimate an informativeness score for each joint. Subsequently, a late fusion scheme is adopted between the two models for learning the high level cross-modal correlations. Experimental results on the currently largest and most challenging dataset NTU RGB+D, demonstrate the effectiveness of the proposed approach, achieving state-of-the-art results.Comment: 18 pages, 3 figures, 3 tables, conferenc

Modèle de la diffusion pour l'amélioration de la qualité de la vidéo : débruitage et constance des couleurs

De nombreux problèmes en vision artificielle s’apparentent à la diffusion. Ils sont en général posés sous la forme d’équations aux dérivées partielles (EDP) qui expriment un problème physique et qui doivent être résolues dans l’ensemble du domaine, image ou vidéo. Une grande classe d’EDP est constituée par les processus de diffusion, assimilables à des phénomènes de transfert d’énergie dans le milieu étudié. Les méthodes classiques pour résoudre ces problèmes utilisent des processus locaux purement mathématiques, qui ne permettent pas d’approche intuitive possible. Dans ce mémoire, nous présentons une extension au domaine vidéo de travaux visant à dépasser les limitations des modèles mathématiques locaux en résolvant le problème physique global plutôt que les EDP, grâce à un modèle image basé sur la Topologie Algébrique Calculatoire (TAC). Cette approche consiste à extraire du problème modélisé les lois élémentaires qui le composent grâce à des analogies dans le domaine de la Physique. Ces lois sont décomposées en deux classes: les lois de conservation sont exprimées sans approximation grâce au support topologique du modèle, alors que les lois constitutives nécessitent des approximations qui peuvent être choisies en fonction du comportement souhaité de l’algorithme. Une méthodologie de résolution des problèmes de diffusion vidéo est présentée, ce qui amène à deux applications: le débruitage vidéo et la constance de la couleur selon le modèle retinex, pour la vidéo. Des résultats expérimentaux valident ces applications

Transient Study of the Wetting Films in Porous Media Using 3D X-Ray Computed Micro-Tomography: Effect of Imbibition Rate and Pore Geometry

Imbibition in porous media is governed by the complex interplay between viscous and capillary forces, pore structure and fluid properties. Understanding and predicting imbibition is important in many natural and engineered applications; it affects the efficiency of oil production operations, the moisture and contaminant transport in soil science, and the formation of defects in certain types of composite materials. Majority of the studies published on the transient imbibition behavior in a porous medium were conducted in the simplified 2D transparent micromodels or the 2D projection visualization (X-ray or visible light) of the 3D porous medium. However, the pore level transient imbibition studies have not been reported on real three dimensional porous medium. The main challenge arises from the slowness of the present 3D imaging techniques in comparison with the speed of the pore filling events. To overcome these difficulties, we have developed a novel experimental technique using UV-induced polymerization, which allows the fluid phase distributions to be frozen in place during transient imbibition. Pore-scale structure of the front can then be examined in the 3D microscopic details using the X-ray Computed micro-Tomography (XCT). We have also developed a suite of advanced image segmentation programs to segment the grayscale XCT data. Image-based physically representative pore network generation techniques were unitized to quantify the geometry and topology of pore, wetting and nonwetting phase structure. Using UV initiated polymerization technique and image-based quantitative analysis tools; we have studied the effects of capillary number, pore structure and surface roughness on the structure of the transient imbibition front

Global optimization methods for full-reference and no-reference motion estimation with applications to atherosclerotic plaque motion and strain imaging

Pixel-based motion estimation using optical flow models has been extensively researched during the last two decades. The driving force of this research field is the amount of applications that can be developed with the motion estimates. Image segmentation, compression, activity detection, object tracking, pattern recognition, and more recently non-invasive biomedical applications like strain imaging make the estimation of accurate velocity fields necessary. The majority of the research in this area is focused on improving the theoretical and numerical framework of the optical flow models. This effort has resulted in increased method complexity with an increasing number of motion parameters. The standard approach of heuristically setting the motion parameters has become a major source of estimation error. This dissertation is focused in the development of reliable motion estimation based on global parameter optimization methods. Two strategies have been developed. In full-reference optimization, the assumption is that a video training set of realistic motion simulations (or ground truth) are available. Global optimization is used to calculate the best motion parameters that can then be used on a separate set of testing videos. This approach helps provide bounds on what motion estimation methods can achieve. In no-reference optimization, the true displacement field is not available. By optimizing for the agreement between different motion estimation techniques, the no-reference approach closely approximates the best (optimal) motion parameters. The results obtained with the newly developed global no-reference optimization approach agree closely with those produced with the full-reference approach. Moreover, the no-reference approach calculates velocity fields of superior quality than published results for benchmark video sequences. Unreliable velocity estimates are identified using new confidence maps that are associated with the disagreement between methods. Thus, the no-reference global optimization method can provide reliable motion estimation without the need for realistic simulations or access to ground truth. The methods developed in this dissertation are applied to ultrasound videos of carotid artery plaques. The velocity estimates are used to analyze plaque motion and produce novel non-invasive elasticity maps that can help in the identification of vulnerable atherosclerotic plaques

Estimation du flux optique en présence d'occultations par une approche TAC

Nous proposons une résolution du problème de flux optique en présence d'occultations par une approche multi-résolution basée sur la topologie algébrique calculatoire (TAC). Plusieurs méthodes d'estimation du flux optique sont basées sur les contraintes d'intensité et de continuité spatiale du champ de vitesse et conduisent à la résolution d'une équation aux dérivées partielles (EDP).Nous proposons de résoudre le problème de lissage indésirable des contours d'occultation, produit par la contrainte de continuité spatiale, en exploitant le principe de diffusion non-linéaire basé sur le gradient multispectral du flux optique. En effet, le calcul du flux optique peut être interprété par le phénomène de réaction- diffusion du flux optique et le lissage des contours d'occultation est la conséquence du fait que la diffusion se fait d'une manière linéaire dans toute l'image. Une manière d'éviter ce problème est la modification de la conductivité de la diffusion à chaque pixel selon son appartenance au voisinage d'un contour d'occultation. Cela requiert une mesure de détection précise des contours d'occultation afin de les préserver.Nous montrons que le gradient multispectral du flux optique est une mesure qui convient.Nous utilisons l'alternative aux EDPs que représente l'approche TAC qui exploite les lois globales de la diffusion et les principes d'algèbre topologique afin d'offrir plus de robustesse et de précision dans les calculs.Nous utilisons également le modèle TAC multi-résolution pour résoudre le problème de validité de la contrainte d'intensité limitée à de petits décalages.Nous appliquons ensuite notre algorithme au recalage d'images par le flux optique

Simultane Tiefen- und Flussbestimmung pflanzlicher Oberflächen

Thema der vorliegenden Arbeit ist die stereobasierte 3D-Vermessung deformierbarer Objekte. Speziell wird der r¨aumliche Verlauf sowie die Verformung von pflanzlichen Oberfl¨achen bestimmt. Die Lage im Raum sowie das Bewegungsfeld der beobachteten Objekte werden simultan als Tiefe und optischer Fluss inMultikamera-Bildsequenzen gesch¨atzt. Dies ist durch einen Near-Baseline-Stereoansatz realisiert. ZeitlicheMehrkamerasequenzen werden als 4D-Datensatz interpretiert. Zur Berechnung der Tiefe kann ein lineares Modell aufgestellt werden. Die Kontinuit¨atsgleichung des optischen Flusses (BCCE) wird um Disparit¨atsterme erweitert. Eine Parametersch¨atzung mit einem differentiellen lokalen Total-Least-Squares-Verfahren, dem Strukturtensoransatz, liefert simultan Tiefen- und Flussinformation. Eine zus¨atzliche Erweiterung der BCCE erlaubt die gleichzeitige Sch¨atzung der Divergenz des Flussfeldes und damit der Tiefengeschwindigkeit. Genauigkeitsanalysen auf synthetischen und realen Sequenzen zeigen die f¨ur das Strukturtensorverfahren charakteristische hohe Rauschstabilit¨at und Genauigkeit. Als botanische Anwendung wird ein Verfahren zur Messung der lokalen relativen Oberfl¨achen¨anderung von sich bewegenden, gew¨olbten Pflanzenorganen aus der Gr¨oßen¨anderung von Teilfl¨achen entwickelt. Der zeitliche Verlauf dieser Wuchsratenmessungen zeigt einen deutlichen Tagesgang. Eine Beschr¨ankung auf die Auswertung statischer Multikamerasequenzen erlaubt die 3D-Vermessung der Kronend¨acher von B¨aumen als gegl¨attete Einh¨ullende. Um dies auch bei ausgedehnten Pflanzenbest¨anden zu erm¨oglichen, wird ein Verfahren entwickelt, das biangular rotierte 3D-Teilrekonstruktionen fusioniert. Als Anwendung erfolgt eine hochaufgel¨oste Rekonstruktion des Verlaufs des Regenwaldkronendaches im Biosphere 2 Center, Arizona

Simultane Tiefen- und Flussbestimmung pflanzlicher Oberflächen

Thema der vorliegenden Arbeit ist die stereobasierte 3D-Vermessung deformierbarer Objekte. Speziell wird der r¨aumliche Verlauf sowie die Verformung von pflanzlichen Oberfl¨achen bestimmt. Die Lage im Raum sowie das Bewegungsfeld der beobachteten Objekte werden simultan als Tiefe und optischer Fluss inMultikamera-Bildsequenzen gesch¨atzt. Dies ist durch einen Near-Baseline-Stereoansatz realisiert. ZeitlicheMehrkamerasequenzen werden als 4D-Datensatz interpretiert. Zur Berechnung der Tiefe kann ein lineares Modell aufgestellt werden. Die Kontinuit¨atsgleichung des optischen Flusses (BCCE) wird um Disparit¨atsterme erweitert. Eine Parametersch¨atzung mit einem differentiellen lokalen Total-Least-Squares-Verfahren, dem Strukturtensoransatz, liefert simultan Tiefen- und Flussinformation. Eine zus¨atzliche Erweiterung der BCCE erlaubt die gleichzeitige Sch¨atzung der Divergenz des Flussfeldes und damit der Tiefengeschwindigkeit. Genauigkeitsanalysen auf synthetischen und realen Sequenzen zeigen die f¨ur das Strukturtensorverfahren charakteristische hohe Rauschstabilit¨at und Genauigkeit. Als botanische Anwendung wird ein Verfahren zur Messung der lokalen relativen Oberfl¨achen¨anderung von sich bewegenden, gew¨olbten Pflanzenorganen aus der Gr¨oßen¨anderung von Teilfl¨achen entwickelt. Der zeitliche Verlauf dieser Wuchsratenmessungen zeigt einen deutlichen Tagesgang. Eine Beschr¨ankung auf die Auswertung statischer Multikamerasequenzen erlaubt die 3D-Vermessung der Kronend¨acher von B¨aumen als gegl¨attete Einh¨ullende. Um dies auch bei ausgedehnten Pflanzenbest¨anden zu erm¨oglichen, wird ein Verfahren entwickelt, das biangular rotierte 3D-Teilrekonstruktionen fusioniert. Als Anwendung erfolgt eine hochaufgel¨oste Rekonstruktion des Verlaufs des Regenwaldkronendaches im Biosphere 2 Center, Arizona

Artübergreifende Bestimmung von Parametern des Primärwurzelwachstums durch raum-zeitlich hochaufgelöste Bildsequenzanalyse unter besonderer Berücksichtigung der Variation der externen Nährstoffverfügbarkeit

Im Rahmen dieser Arbeit wurde das Primärwurzelwachstum vier verschiedener Arten (Arabidopsis, Nicotiana, Solanum und Zea) genau analysiert. Dabei konnte eine sehr hohe räumliche und zeitliche Auflösung erzielt werden, die bisher in dieser Kombination nicht erreicht wurde. Dies wurde durch die Anwendung einer innovativen Bildsequenzanalyse (DISP-Methode) möglich. Um die genannte Methode auf sehr kleinen Wurzeln (Durchmesser < 0,3 mm) anwenden zu können, wurde ein ‚Mikrorhizotron’-Aufbau konstruiert, mit dem die notwendige raum-zeitliche Auflösung erreicht wurde. In interdisziplinärer Zusammenarbeit wurde die Verfolgung der Wurzelspitze im Bildbereich zur kontinuierlichen Wurzelbeobachtung über mehrere Tage entwickelt und Optimierungen im Bereich des Auswertungsverfahrens eingeführt. Durch die Anwendung der weiterentwickelten DISP-Methode konnte eine Vielzahl neuer Erkenntnisse gewonnen werden. Invarianten des Wachstums: Die vergleichende Analyse der Wachstumsmuster hat ergeben, dass das Maximum der relativen elementaren Wuchsrate ( REGRmax), der Abstand der REGRmax von der Wurzelspitze, die REGR-Halbwertsbreite und die Länge der Wachstumszone sich bei den vier untersuchten Arten auf die gleiche Weise proportional zur Geschwindigkeit der Spitze (VSpitze) verhalten. Es konnte auch gezeigt werden, dass die oben genannten Wachstumsparameter sowie VSpitze in linearer Weise vom Wurzeldurchmesser abhängen. Die untersuchten Arten weisen keinen diurnalen Rhythmus des Wurzelwachstums auf. An Maiswurzeln konnte bei Versuchen unter konstanten sowie rasch veränderten Umgebungsbedingungen gezeigt werden, dass die Symmetrie der relativen Wuchsratenverteilung vom externen Nährstoffangebot abhängt. Auch die Wachstumsleistung der Primärwurzelspitze wird durch die umgebende Nährstoffkonzentration beeinflusst. Je höher die Konzentration ist, desto schneller nimmt die Wachstumsleistung ab. Erstmals konnte die dynamische Reaktion der Primärwurzeln auf rasche Variation der Nährstoffverfügbarkeit mit hoher raum-zeitlicher Auflösung untersucht werden. Bei der dynamischen Reaktion der Wurzel auf die veränderten Bedingungen werden fast ausschließlich REGRmax und VSpitze variiert. Das Ausmaß der Wachstumsveränderung ist geringer abhängig von der veränderten Osmolarität als von der Nährstoffkonzentration– sowohl von der Ausgangskonzentration als auch von der absoluten Veränderung. Dies legt einen Zusammenhang der Wachstumsreaktion mit der Nährstoffaufnahme nahe. Durch den Einsatz einer stabil transformierten Arabidopsis-Linie mit einem labilen Reportergen-Konstrukt konnte die Dynamik des G2/M-Übergangs (und damit der Zellteilungsaktivität) in vivo ohne externe Behandlung untersucht werden. Für die Zellteilungsaktivität und Meristemlänge wurde mit dieser Methode eine lineare Abhängigkeit von der Spitzengeschwindigkeit der Wurzel festgestellt