Robust Algorithms for Low-Rank and Sparse Matrix Models

Data in statistical signal processing problems is often inherently matrix-valued, and a natural first step in working with such data is to impose a model with structure that captures the distinctive features of the underlying data. Under the right model, one can design algorithms that can reliably tease weak signals out of highly corrupted data. In this thesis, we study two important classes of matrix structure: low-rankness and sparsity. In particular, we focus on robust principal component analysis (PCA) models that decompose data into the sum of low-rank and sparse (in an appropriate sense) components. Robust PCA models are popular because they are useful models for data in practice and because efficient algorithms exist for solving them. This thesis focuses on developing new robust PCA algorithms that advance the state-of-the-art in several key respects. First, we develop a theoretical understanding of the effect of outliers on PCA and the extent to which one can reliably reject outliers from corrupted data using thresholding schemes. We apply these insights and other recent results from low-rank matrix estimation to design robust PCA algorithms with improved low-rank models that are well-suited for processing highly corrupted data. On the sparse modeling front, we use sparse signal models like spatial continuity and dictionary learning to develop new methods with important adaptive representational capabilities. We also propose efficient algorithms for implementing our methods, including an extension of our dictionary learning algorithms to the online or sequential data setting. The underlying theme of our work is to combine ideas from low-rank and sparse modeling in novel ways to design robust algorithms that produce accurate reconstructions from highly undersampled or corrupted data. We consider a variety of application domains for our methods, including foreground-background separation, photometric stereo, and inverse problems such as video inpainting and dynamic magnetic resonance imaging.PHDElectrical Engineering: SystemsUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttps://deepblue.lib.umich.edu/bitstream/2027.42/143925/1/brimoor_1.pd

An introduction to continuous optimization for imaging

International audienceA large number of imaging problems reduce to the optimization of a cost function , with typical structural properties. The aim of this paper is to describe the state of the art in continuous optimization methods for such problems, and present the most successful approaches and their interconnections. We place particular emphasis on optimal first-order schemes that can deal with typical non-smooth and large-scale objective functions used in imaging problems. We illustrate and compare the different algorithms using classical non-smooth problems in imaging, such as denoising and deblurring. Moreover, we present applications of the algorithms to more advanced problems, such as magnetic resonance imaging, multilabel image segmentation, optical flow estimation, stereo matching, and classification

Neuroinformatics in Functional Neuroimaging

This Ph.D. thesis proposes methods for information retrieval in functional neuroimaging through automatic computerized authority identification, and searching and cleaning in a neuroscience database. Authorities are found through cocitation analysis of the citation pattern among scientific articles. Based on data from a single scientific journal it is shown that multivariate analyses are able to determine group structure that is interpretable as particular “known ” subgroups in functional neuroimaging. Methods for text analysis are suggested that use a combination of content and links, in the form of the terms in scientific documents and scientific citations, respectively. These included context sensitive author ranking and automatic labeling of axes and groups in connection with multivariate analyses of link data. Talairach foci from the BrainMap ™ database are modeled with conditional probability density models useful for exploratory functional volumes modeling. A further application is shown with conditional outlier detection where abnormal entries in the BrainMap ™ database are spotted using kernel density modeling and the redundancy between anatomical labels and spatial Talairach coordinates. This represents a combination of simple term and spatial modeling. The specific outliers that were found in the BrainMap ™ database constituted among others: Entry errors, errors in the article and unusual terminology

Fortgeschrittene Methoden und Algorithmen für die computergestützte geodätische Datenanalyse

Die fortschreitende Digitalisierung mit ihren innovativen Technologien stellt zunehmende Anforderungen an Wirtschaft, Gesellschaft und Verwaltungen. Digitale Daten gelten als Schlüsselressource, die hohe Ansprüche u.a. an die Datenverarbeitung stellt, wie z. B. hohe Geschwindigkeit und Zuverlässigkeit. Besondere Bedeutung sind digitalen Daten mit Raumbezug beizumessen. Digitale Daten stammen im Bereich der Geodäsie und Geoinformatik von Multi-Sensor-Systemen, Satellitenmissionen, Smartphones, technischen Geräten, Computern oder von Datenbanken unterschiedlichster Institutionen und Behörden. „Big Data“ heißt der Trend und es gilt die enormen Datenmengen so breit und so effektiv wie möglich zu nutzen und mit Hilfe von computergestützten Tools, beispielsweise basierend auf künstlicher Intelligenz, auszuwerten. Um diese großen Datenmengen statistisch auszuwerten und zu analysieren, müssen laufend neue Modelle und Algorithmen entwickelt, getestet und validiert werden. Algorithmen erleichtern Geodätinnen und Geodäten seit Jahrzehnten das Leben - sie schätzen, entscheiden, wählen aus und bewerten die durchgeführten Analysen. Bei der geodätisch-statistischen Datenanalyse werden Beobachtungen zusammen mit Fachkenntnissen verwendet, um ein Modell zur Untersuchung und zum besseren Verständnis eines datengenerierenden Prozesses zu entwickeln. Die Datenanalyse wird verwendet, um das Modell zu verfeinern oder möglicherweise ein anderes Modell auszuwählen, um geeignete Werte für Modellterme zu bestimmen und um das Modell zu verwenden, oder um Aussagen über den Prozess zu treffen. Die Fortschritte in der Statistik in den vergangenen Jahren beschränken sich nicht nur auf die Theorie, sondern umfassen auch die Entwicklung von neuartigen computergestützten Methoden. Die Fortschritte in der Rechenleistung haben neuere und aufwendigere statistische Methoden ermöglicht. Eine Vielzahl von alternativen Darstellungen der Daten und von Modellen können untersucht werden. Wenn bestimmte statistische Modelle mathematisch nicht realisierbar sind, müssen Approximationsmethoden angewendet werden, die oft auf asymptotischer Inferenz basieren. Fortschritte in der Rechenleistung und Entwicklungen in der Theorie haben die computergestützte Inferenz zu einer praktikablen und nützlichen Alternative zu den Standardmethoden der asymptotischen Inferenz in der traditionellen Statistik werden lassen. Die computergestützte Inferenz basiert auf der Simulation statistischer Modelle. Die vorliegende Habilitationsschrift stellt die Ergebnisse der Forschungsaktivitäten des Autors im Bereich der statistischen und simulationsbasierten Inferenz für die geodätische Datenanalyse vor, die am Geodätischen Institut der Gottfried Wilhelm Leibniz Universität Hannover während der Zeit des Autors als Postdoktorand von 2009 bis 2019 publiziert wurden. Die Forschungsschwerpunkte in dieser Arbeit befassen sich mit der Entwicklung von mathematisch-statistischen Modellen, Schätzverfahren und computergestützten Algorithmen, um raum-zeitliche und möglicherweise unvollständige Daten, welche durch zufällige, systematische, ausreißerbehaftete und korrelierte Messabweichungen charakterisiert sind, rekursiv sowie nicht-rekursiv auszugleichen. Herausforderungen bestehen hierbei in der genauen, zuverlässigen und effizienten Schätzung der unbekannten Modellparameter, in der Ableitung von Qualitätsmaßen der Schätzung sowie in der statistisch-simulationsbasierten Beurteilung der Schätzergebnisse. Die Forschungsschwerpunkte haben verschiedene Anwendungsmöglichkeiten in den Bereichen der Ingenieurgeodäsie und der Immobilienbewertung gefunden

Local Deformation Modelling for Non-Rigid Structure from Motion

PhDReconstructing the 3D geometry of scenes based on monocular image sequences is a long-standing problem in computer vision. Structure from motion (SfM) aims at a data-driven approach without requiring a priori models of the scene. When the scene is rigid, SfM is a well understood problem with solutions widely used in industry. However, if the scene is non-rigid, monocular reconstruction without additional information is an ill-posed problem and no satisfactory solution has yet been found. Current non-rigid SfM (NRSfM) methods typically aim at modelling deformable motion globally. Additionally, most of these methods focus on cases where deformable motion is seen as small variations from a mean shape. In turn, these methods fail at reconstructing highly deformable objects such as a flag waving in the wind. Additionally, reconstructions typically consist of low detail, sparse point-cloud representation of objects. In this thesis we aim at reconstructing highly deformable surfaces by modelling them locally. In line with a recent trend in NRSfM, we propose a piecewise approach which reconstructs local overlapping regions independently. These reconstructions are merged into a global object by imposing 3D consistency of the overlapping regions. We propose our own local model – the Quadratic Deformation model – and show how patch division and reconstruction can be formulated in a principled approach by alternating at minimizing a single geometric cost – the image re-projection error of the reconstruction. Moreover, we extend our approach to dense NRSfM, where reconstructions are preformed at the pixel level, improving the detail of state of the art reconstructions. Finally we show how our principled approach can be used to perform simultaneous segmentation and reconstruction of articulated motion, recovering meaningful segments which provide a coarse 3D skeleton of the object.Fundacao para a Ciencia e a Tecnologia (FCT) under Doctoral Grant SFRH/BD/70312/2010; European Research Council under ERC Starting Grant agreement 204871-HUMANI