Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning

We show that denoising of 3D point clouds can be learned unsupervised, directly from noisy 3D point cloud data only. This is achieved by extending recent ideas from learning of unsupervised image denoisers to unstructured 3D point clouds. Unsupervised image denoisers operate under the assumption that a noisy pixel observation is a random realization of a distribution around a clean pixel value, which allows appropriate learning on this distribution to eventually converge to the correct value. Regrettably, this assumption is not valid for unstructured points: 3D point clouds are subject to total noise, i. e., deviations in all coordinates, with no reliable pixel grid. Thus, an observation can be the realization of an entire manifold of clean 3D points, which makes a na\"ive extension of unsupervised image denoisers to 3D point clouds impractical. Overcoming this, we introduce a spatial prior term, that steers converges to the unique closest out of the many possible modes on a manifold. Our results demonstrate unsupervised denoising performance similar to that of supervised learning with clean data when given enough training examples - whereby we do not need any pairs of noisy and clean training data.Comment: Proceedings of ICCV 201

On the set of robust sustainable thresholds

In natural resource management, or more generally in the study of sustainability issues, the objective often consists in maintaining the state of a given system within a desirable configuration, typically established in terms of standards or thresholds. For instance, in fisheries management, the procedure of designing policies may include keeping the spawning stock biomass over a precautionary threshold and also ensuring minimal catches. Whenever the evolution of some natural resources, under the action of controls and un- certainties, is represented by a dynamical system in discrete-time, the aim of this paper is to characterize the set of robust sustainable thresholds. That is, the thresholds for which there exists a trajectory satisfying, for all possible uncertainty scenarios, prescribed constraints parametrized by such thresholds. This set provides useful information to users and decision-makers, illustrat- ing the trade-offs between constraints. Using optimal control, maximin and level-set approaches, we characterize the weak Pareto front of the set of robust sustainable thresholds and derive a numerical method for computing the en- tire set, as we show with a numerical example relying on renewable resource management

Physics-based visual characterization of molecular interaction forces

Molecular simulations are used in many areas of biotechnology, such as drug design and enzyme engineering. Despite the development of automatic computational protocols, analysis of molecular interactions is still a major aspect where human comprehension and intuition are key to accelerate, analyze, and propose modifications to the molecule of interest. Most visualization algorithms help the users by providing an accurate depiction of the spatial arrangement: the atoms involved in inter-molecular contacts. There are few tools that provide visual information on the forces governing molecular docking. However, these tools, commonly restricted to close interaction between atoms, do not consider whole simulation paths, long-range distances and, importantly, do not provide visual cues for a quick and intuitive comprehension of the energy functions (modeling intermolecular interactions) involved. In this paper, we propose visualizations designed to enable the characterization of interaction forces by taking into account several relevant variables such as molecule-ligand distance and the energy function, which is essential to understand binding affinities. We put emphasis on mapping molecular docking paths obtained from Molecular Dynamics or Monte Carlo simulations, and provide time-dependent visualizations for different energy components and particle resolutions: atoms, groups or residues. The presented visualizations have the potential to support domain experts in a more efficient drug or enzyme design process.Peer ReviewedPostprint (author's final draft

Visualización Ilustrativa de Fibras Cerebrales

Projecte final de màster realitzat en col.laboració amb Universitat de Tecnologia de EindhovenCastellano: Di usion Tensor Imaging (DTI) es una técnica de imagen basada en la resonancia magnética (MR), que ofrece una visión única de la organización estructural de la sustancia blanca del cerebro. Esto se consigue mediante la medición de la difusión de moléculas de agua en el tejido. En el agua, la difusión es libre y tiene la misma magnitud en todas las direcciones. En este escenario obtenemos un per l de difusión isotrópico. En los tejidos brosos sin embargo, como en la materia blanca del cerebro, la difusión se limitaría en sentido perpendicular a las bras. Esto provoca que, en este escenario, obtengamos un per l de difusión anisotrópico. En las imágenes DTI, el per l de difusión se modela como una distribución de probabilidad de Gauss y por lo tanto puede ser descrito por un tensor de segundo orden [BPD94]. En este modelo, el principal eigenvector del tensor corresponde a la dirección de mayor difusión, que es la misma que sigue la estructura de bras (Figura 1.1). Gracias a estos tensores podemos realizar un recorrido sobre ellos e ir reconstruyendo un modelo 3D de estas bras. Esta reconstrucción recibe el nombre de ber tracking [VAD05] (Figura 1.2). Pese a su potencial, la salida de la reconstrucción, ber tracking, contiene una cantidad considerable de incertidumbre. Este error o incertidumbre se acumula a lo largo del proceso de obtención del modelo. En la fase de obtención de los datos puede introducir errores por ruido en las imágenes, distorsión de la imagen, parámetros del escáaner, etc. En la fase de reconstrucción se introducen errores de aproximación dependiendo del modelo de difusión utilizado. En la mayor parte de los algoritmos, este error no se muestra, lo cual da una sensación de certidumbre en los datos que no se corresponde con la realidad. Una aplicación para neurocirugía, no puede pasar por alto estos errores, ya que la aplicación se usara para tomar decisiones y evaluar el riesgo quirúrgico. Si no mostramos esta incertidumbre a la hora de estimar la longitud de las bras cerebrales podemos provocar da~no en tejido cerebral sano.Nuestro objetivo en esta tesis es realizar un visualizado de este modelo de bras mostrando el nivel de incertidumbre que tiene cada bra o grupo de bras. El departamento de Ingenier a Biomédica de la Universidad de Tecnología de Eindhoven tiene desarrollada una aplicación para la visualización de bras cerebrales (http://bmia.bmt.tue.nl/software/dtitool/). Pere-Pau Vàzquez tiene contacto con este departamento y están desarrollando métodos de visualización de la incertidumbre de los datos. Este trabajo se hace en colaboracíon con ellos, en especial con Anna Vilanova y Ralph Brecheisen. Por eso, hemos implementado nuestra técnica de visualización como un plugin para esta aplicación. De esta manera, nos proporcionan muchas facilidades, como el cargado de modelos de bras o parte del proceso de visualización implementado

Visualización Ilustrativa de Fibras Cerebrales

Projecte final de màster realitzat en col.laboració amb Universitat de Tecnologia de EindhovenCastellano: Di usion Tensor Imaging (DTI) es una técnica de imagen basada en la resonancia magnética (MR), que ofrece una visión única de la organización estructural de la sustancia blanca del cerebro. Esto se consigue mediante la medición de la difusión de moléculas de agua en el tejido. En el agua, la difusión es libre y tiene la misma magnitud en todas las direcciones. En este escenario obtenemos un per l de difusión isotrópico. En los tejidos brosos sin embargo, como en la materia blanca del cerebro, la difusión se limitaría en sentido perpendicular a las bras. Esto provoca que, en este escenario, obtengamos un per l de difusión anisotrópico. En las imágenes DTI, el per l de difusión se modela como una distribución de probabilidad de Gauss y por lo tanto puede ser descrito por un tensor de segundo orden [BPD94]. En este modelo, el principal eigenvector del tensor corresponde a la dirección de mayor difusión, que es la misma que sigue la estructura de bras (Figura 1.1). Gracias a estos tensores podemos realizar un recorrido sobre ellos e ir reconstruyendo un modelo 3D de estas bras. Esta reconstrucción recibe el nombre de ber tracking [VAD05] (Figura 1.2). Pese a su potencial, la salida de la reconstrucción, ber tracking, contiene una cantidad considerable de incertidumbre. Este error o incertidumbre se acumula a lo largo del proceso de obtención del modelo. En la fase de obtención de los datos puede introducir errores por ruido en las imágenes, distorsión de la imagen, parámetros del escáaner, etc. En la fase de reconstrucción se introducen errores de aproximación dependiendo del modelo de difusión utilizado. En la mayor parte de los algoritmos, este error no se muestra, lo cual da una sensación de certidumbre en los datos que no se corresponde con la realidad. Una aplicación para neurocirugía, no puede pasar por alto estos errores, ya que la aplicación se usara para tomar decisiones y evaluar el riesgo quirúrgico. Si no mostramos esta incertidumbre a la hora de estimar la longitud de las bras cerebrales podemos provocar da~no en tejido cerebral sano.Nuestro objetivo en esta tesis es realizar un visualizado de este modelo de bras mostrando el nivel de incertidumbre que tiene cada bra o grupo de bras. El departamento de Ingenier a Biomédica de la Universidad de Tecnología de Eindhoven tiene desarrollada una aplicación para la visualización de bras cerebrales (http://bmia.bmt.tue.nl/software/dtitool/). Pere-Pau Vàzquez tiene contacto con este departamento y están desarrollando métodos de visualización de la incertidumbre de los datos. Este trabajo se hace en colaboracíon con ellos, en especial con Anna Vilanova y Ralph Brecheisen. Por eso, hemos implementado nuestra técnica de visualización como un plugin para esta aplicación. De esta manera, nos proporcionan muchas facilidades, como el cargado de modelos de bras o parte del proceso de visualización implementado

Spatially Guiding Unsupervised Semantic Segmentation Through Depth-Informed Feature Distillation and Sampling

Traditionally, training neural networks to perform semantic segmentation required expensive human-made annotations. But more recently, advances in the field of unsupervised learning have made significant progress on this issue and towards closing the gap to supervised algorithms. To achieve this, semantic knowledge is distilled by learning to correlate randomly sampled features from images across an entire dataset. In this work, we build upon these advances by incorporating information about the structure of the scene into the training process through the use of depth information. We achieve this by (1) learning depth-feature correlation by spatially correlate the feature maps with the depth maps to induce knowledge about the structure of the scene and (2) implementing farthest-point sampling to more effectively select relevant features by utilizing 3D sampling techniques on depth information of the scene. Finally, we demonstrate the effectiveness of our technical contributions through extensive experimentation and present significant improvements in performance across multiple benchmark datasets

De formalitate siue de identitate et distinctione rerum tractatus

Sign.:a1