Reflectance Adaptive Filtering Improves Intrinsic Image Estimation

Separating an image into reflectance and shading layers poses a challenge for learning approaches because no large corpus of precise and realistic ground truth decompositions exists. The Intrinsic Images in the Wild~(IIW) dataset provides a sparse set of relative human reflectance judgments, which serves as a standard benchmark for intrinsic images. A number of methods use IIW to learn statistical dependencies between the images and their reflectance layer. Although learning plays an important role for high performance, we show that a standard signal processing technique achieves performance on par with current state-of-the-art. We propose a loss function for CNN learning of dense reflectance predictions. Our results show a simple pixel-wise decision, without any context or prior knowledge, is sufficient to provide a strong baseline on IIW. This sets a competitive baseline which only two other approaches surpass. We then develop a joint bilateral filtering method that implements strong prior knowledge about reflectance constancy. This filtering operation can be applied to any intrinsic image algorithm and we improve several previous results achieving a new state-of-the-art on IIW. Our findings suggest that the effect of learning-based approaches may have been over-estimated so far. Explicit prior knowledge is still at least as important to obtain high performance in intrinsic image decompositions.Comment: CVPR 201

Deep Directional Statistics: Pose Estimation with Uncertainty Quantification

Modern deep learning systems successfully solve many perception tasks such as object pose estimation when the input image is of high quality. However, in challenging imaging conditions such as on low-resolution images or when the image is corrupted by imaging artifacts, current systems degrade considerably in accuracy. While a loss in performance is unavoidable, we would like our models to quantify their uncertainty in order to achieve robustness against images of varying quality. Probabilistic deep learning models combine the expressive power of deep learning with uncertainty quantification. In this paper, we propose a novel probabilistic deep learning model for the task of angular regression. Our model uses von Mises distributions to predict a distribution over object pose angle. Whereas a single von Mises distribution is making strong assumptions about the shape of the distribution, we extend the basic model to predict a mixture of von Mises distributions. We show how to learn a mixture model using a finite and infinite number of mixture components. Our model allows for likelihood-based training and efficient inference at test time. We demonstrate on a number of challenging pose estimation datasets that our model produces calibrated probability predictions and competitive or superior point estimates compared to the current state-of-the-art

Semantic Video CNNs through Representation Warping

In this work, we propose a technique to convert CNN models for semantic segmentation of static images into CNNs for video data. We describe a warping method that can be used to augment existing architectures with very little extra computational cost. This module is called NetWarp and we demonstrate its use for a range of network architectures. The main design principle is to use optical flow of adjacent frames for warping internal network representations across time. A key insight of this work is that fast optical flow methods can be combined with many different CNN architectures for improved performance and end-to-end training. Experiments validate that the proposed approach incurs only little extra computational cost, while improving performance, when video streams are available. We achieve new state-of-the-art results on the CamVid and Cityscapes benchmark datasets and show consistent improvements over different baseline networks. Our code and models will be available at http://segmentation.is.tue.mpg.deComment: ICCV 201

Video Propagation Networks

We propose a technique that propagates information forward through video data. The method is conceptually simple and can be applied to tasks that require the propagation of structured information, such as semantic labels, based on video content. We propose a 'Video Propagation Network' that processes video frames in an adaptive manner. The model is applied online: it propagates information forward without the need to access future frames. In particular we combine two components, a temporal bilateral network for dense and video adaptive filtering, followed by a spatial network to refine features and increased flexibility. We present experiments on video object segmentation and semantic video segmentation and show increased performance comparing to the best previous task-specific methods, while having favorable runtime. Additionally we demonstrate our approach on an example regression task of color propagation in a grayscale video.Comment: Appearing in Computer Vision and Pattern Recognition, 2017 (CVPR'17

Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks

Bilateral filters have wide spread use due to their edge-preserving properties. The common use case is to manually choose a parametric filter type, usually a Gaussian filter. In this paper, we will generalize the parametrization and in particular derive a gradient descent algorithm so the filter parameters can be learned from data. This derivation allows to learn high dimensional linear filters that operate in sparsely populated feature spaces. We build on the permutohedral lattice construction for efficient filtering. The ability to learn more general forms of high-dimensional filters can be used in several diverse applications. First, we demonstrate the use in applications where single filter applications are desired for runtime reasons. Further, we show how this algorithm can be used to learn the pairwise potentials in densely connected conditional random fields and apply these to different image segmentation tasks. Finally, we introduce layers of bilateral filters in CNNs and propose bilateral neural networks for the use of high-dimensional sparse data. This view provides new ways to encode model structure into network architectures. A diverse set of experiments empirically validates the usage of general forms of filters

Multi-View Priors for Learning Detectors from Sparse Viewpoint Data

While the majority of today's object class models provide only 2D bounding boxes, far richer output hypotheses are desirable including viewpoint, fine-grained category, and 3D geometry estimate. However, models trained to provide richer output require larger amounts of training data, preferably well covering the relevant aspects such as viewpoint and fine-grained categories. In this paper, we address this issue from the perspective of transfer learning, and design an object class model that explicitly leverages correlations between visual features. Specifically, our model represents prior distributions over permissible multi-view detectors in a parametric way -- the priors are learned once from training data of a source object class, and can later be used to facilitate the learning of a detector for a target class. As we show in our experiments, this transfer is not only beneficial for detectors based on basic-level category representations, but also enables the robust learning of detectors that represent classes at finer levels of granularity, where training data is typically even scarcer and more unbalanced. As a result, we report largely improved performance in simultaneous 2D object localization and viewpoint estimation on a recent dataset of challenging street scenes.Comment: 13 pages, 7 figures, 4 tables, International Conference on Learning Representations 201

Volksmusik und Recht im frühneuzeitlichen Mecklenburg

Zwischen dem 16. und 19. Jahrhundert beeinflusste der Staat das Musikleben in den mecklenburgischen Herzogtümern, indem er kulturelle Ereignisse durch Auferlegung von Ordnungen regelte und Privilegien in Bezug auf musikalische Aufwartungen gewährte. Es gibt Versuche, die übermäßigen Kosten öffentlicher Veranstaltungen zu reduzieren, unmoralische Verhaltensweisen einzudämmen, die Heiligkeit der Feiertage zu wahren und bestimmte traditionelle Ereignisse wie die Fastnacht und Heischegänge zu unterdrücken. Im 17. Jahrhundert verschwand die Autonomie der offenen Landschaft mit der Privilegierung ausgebildeter Stadtmusikanten in allen mecklenburgischen Ämtern. Diese Privilegien ermöglichten es einem Musiker, in einem bestimmten Verwaltungsbereich ein Monopol zu errichten. Das Eindringen von Stadtmusikanten in die ländliche Sphäre veränderte die traditionelle Musik

A Generative Model of People in Clothing

We present the first image-based generative model of people in clothing for the full body. We sidestep the commonly used complex graphics rendering pipeline and the need for high-quality 3D scans of dressed people. Instead, we learn generative models from a large image database. The main challenge is to cope with the high variance in human pose, shape and appearance. For this reason, pure image-based approaches have not been considered so far. We show that this challenge can be overcome by splitting the generating process in two parts. First, we learn to generate a semantic segmentation of the body and clothing. Second, we learn a conditional model on the resulting segments that creates realistic images. The full model is differentiable and can be conditioned on pose, shape or color. The result are samples of people in different clothing items and styles. The proposed model can generate entirely new people with realistic clothing. In several experiments we present encouraging results that suggest an entirely data-driven approach to people generation is possible

Open Microwave Systems: Tunneling, Correlations and Time-Dependent Variations

In this thesis three possibilities of external influences in wave mechanical systems are analyzed. In all three cases I used microwave devices to study quantum mechanical systems. The first analyzed property is the decay rate from states in so-called regular islands in a billiard system to the chaotic sea. Afterwards I characterize the influence of open decay channels in transport through chaotic wave systems. The last topic is the introduction of a time-dependently changed microwave device. In the first chapter the decay of a wave function from one classically isolated phase space region to another is analyzed. The main interest lies on the influence of additional states corresponding to the same original phase space region. I will show that these states can lead to an enhancement of the decay rate. The decay rates are measured via an indirect absorption process, leading to an increase of the corresponding resonance widths. Alternatively to mode depending width properties, which were typically analyzed in numerical calculations, a parameter depending variation of the system is introduced to verify the demanded effect. The experimental and numerical determination of channel correlations are the subject of the second chapter. After defining the correlation function, an experimental demonstration is presented. The results of the experiment and the describing numerics show that the correlation functions are important for the characterization of universal conductance fluctuations. The last chapter deals with the realization of a periodically driven microwave system. The principal setup is a resonant circuit with a time-dependent capacity. The properties of the setup, e.g. sideband structures for different driving signals, are analyzed experimentally, theoretically and numerically. This is the first step to create a system where a huge subset of resonances is changed. The fulfilled description of the single resonance system is presented and the next steps to realizations of time-dependent driven wave mechanical systems are sketched

Triple oxygen (16O, 17O, 18O) and carbon (12C, 13C) isotope variations in bioapatite of small mammals – new insights concerning the reconstruction of palaeo‐CO2 concentrations and palaeotemperatures

Die Verhältnisse der stabilen Isotope des Sauerstoffs (16O, 17O, 18O) und des Kohlenstoffs (12C, 13C) im biogenen Apatit des Zahn- und Knochenmaterials von Säugetieren lassen Rückschlüsse auf die Isotopie der entsprechenden Sauerstoff- und Kohlenstoffquellen zu. Die Isotopenverhältnisse dieser Quellen (z.B. Trinkwasser, Luftsauerstoff, Nahrung) sind an bestimmte Umwelt- und Klimabedingungen wie Temperatur, Luftfeuchtigkeit, CO2-Konzentration, Bioproduktivität, Art der Vegetation, Grad der Vegetationsdichte etc. geknüpft. Bestimmt man die Sauerstoff- und Kohlensoffisotopenverhältnisse in diagenetisch unalteriertem fossilem Säugetiermaterial können Aussagen über solche Klima- und Umweltparameter weit in die Erdgeschichte zurück getroffen werden. Darüber hinaus ist es möglich Informationen über Lebensweise und Verhalten der untersuchten Taxa, wie z.B. Wanderverhalten, Geburtensaisonalität, Trinkverhalten, Nahrungspräferenzen, Ressourcenteilung und Habitatnutzung zu erlangen. Seit dem Beginn der Forschungen auf diesem Gebiet in der 70er und 80er Jahren des 20. Jahrhunderts ist eine große Zahl von Studien erschienen, welche sich der Untersuchung der Sauerstoff- und Kohlenstoffisotopie (18O/16O, 13C/12C) des Zahn- und Knochenmaterials rezenter und fossiler (vorwiegend großer) Säugetiere zu diesen Zwecken widmen. Noch keine zwei Jahrzehnte ist es her, dass erkannt wurde, das troposphärischer Sauerstoff eine anomale 3-O-Isotopenzusammensetzung (17O/16O, 18O/16O) besitzt, die signifikant von fast allen anderen terrestrischen Materialien abweicht. Diese wird in Folge von nicht massenabhängiger Fraktionierung durch photochemische Prozesse in der Stratosphäre hervorgerufen und durch Gasaustausch in die Troposphäre übertragen. Die Magnitude dieser Sauerstoffisotopenanomalie ist eine Funktion der atmosphärischen CO2-Konzentration, sowie der globalen Bioproduktivität. Kann die 3-O-Isotopie des Luftsauerstoffs zu vergangenen Zeitpunkten in der Erdgeschichte rekonstruiert werden, lässt dies somit auch Rückschlüsse auf die entsprechende CO2-Konzentration bzw. die globale Bioproduktivität zu. Geologische Archive die dies ermöglichen sind jedoch kaum vorhanden. Da für Säugetiere der eingeatmete Luftsauerstoff neben Trinkwasser und freiem Wasser in der Nahrung zu den wichtigsten Sauerstoffquellen zählt, ist biogener Apatit rezenter und fossiler Säugetiere eines der wenigen möglichen Materialien die das Potential haben, ein solches Archiv darzustellen. Die vorliegende Arbeit untersucht die Variation der 3-O-Isotopenzusammensetzung im Bioapatit rezenter Säugetiere, sowie deren Bedeutung als neuen Proxy zur paläo-CO2-Rekonstruktion und als Indikator für diagenetisch alteriertes Skelettmaterial. Desweiteren werden zwischenartliche, innerartliche und intraindividuelle Variationen der Sauerstoff- und Kohlenstoffisotopie im Bioapatit rezenter Nagetiere untersucht um eine bessere Interpretationsgrundlage für entsprechende Analysedaten fossiler Vertreter dieser größten Ordnung der Säugetiere herzustellen. Kapitel 2 beschäftigt sich mit der Frage, ob die anomale Isotopensignatur troposphärischen Sauerstoffs als Indikator für diagenetische Alteration des Zahn- und Knochenmaterial von fossilen Säugern genutzt werden kann. Hierzu wurde die 3-O-Isotopie von Zahnschmelz, Dentin und in geringem Umfang auch Knochenmaterial von einzelnen Individuen känozoischer Nagetiere separat analysiert. Während alle Zahnschmelzproben eine deutliche Sauerstoffisotopenanomalie aufweisen, welche in einer Größenordnung liegt die für diagenetisch unalterierten Bioapatit kleiner Säugetiere zu erwarten wäre, zeigen alle Dentinproben eine deutlich niedrigere bis gar keine Anomalie, was auf Isotopenaustausch mit diagenetischen Fluiden hindeutet. In Kapitel 3 werden die Variationen der anomalen Isotopensignatur troposphärischen Sauerstoffs im Skelettmaterial von rezenten Säugetieren evaluiert. Dies geschieht anhand zweier voneinander unabhängiger Ansätze: 1. durch 3-O-Isotopenanalyse von rezentem Bioapatit und 2. durch ein detailliertes Massenbilanzmodell. Da der Anteil des veratmeten Luftsauerstoffs im Verhältnis zu den weiteren Sauerstoffquellen in erster Linie von der spezifischen metabolischen Rate abhängt, die weitgehend mit dem Körpergewicht skalierbar ist, wurden Arten aus einem möglichst großen Körpergewichtsbereich von wenigen g bis zu einigen tausend kg untersucht. Es zeigte sich, dass das anomale Isotopensignal mit sinkender Körpermasse zunimmt. Auf Basis der daraus gewonnenen Erkenntnisse wurde versucht die Magnitude der anomalen Sauerstoffisotopensignatur in der Troposphäre zu verschiedenen Zeitpunkten im Känozoikum durch 3-O-Isotopenanalyse von eozänem, oligozänem und miozänem Zahnschmelzmaterial von Nagetieren zu bestimmen um daraus Erkenntnisse über die entsprechenden CO2-Konzentrationen zu erhalten. Das theoretische Massenbilanzmodell stimmt gut mit den analytisch gewonnenen Daten überein, beide zeigen eine Vergrößerung der 3-O-Isotopenanomalie im Bioapatit mit sinkender Körpermasse. Die rekonstruierten CO2-Konzentrationen stimmen generell mit vorhandenen Daten diverser Proxies überein, jedoch erlaubt der assoziierte Fehler es nicht, CO2-Schwankungen im Bereich von wenigen 100 ppm aufzulösen. An der Grenze von Paläozän zu Eozän fand eine der einschneidendsten Umwelt- und Klimaveränderungen des Känozoikums statt, welche ihren Höhepunkt im sogenannten “Palaeocene Eocene Thermal Maximum” (PETM) hatte. Dieses war verbunden mit einer globalen negativen Kohlenstoffisotopenexkursion (CIE), deren Quelle bis heute kontrovers diskutiert wird. Kapitel 4 beschäftigt sich mit den Temperaturschwankungen und Veränderungen der CO2-Konzentration im Übergangsbereich dieser beiden Zeitalter. Dies geschieht anhand einer diesen Zeitabschnitt umspannenden Probenserie von Zahnschmelz der Säugetiergattung Ectocion aus dem Clarks Fork Basin (Wyoming, USA). Die rekonstruierten Temperaturschwankungen stimmen gut mit bereits vorhandenen Studien des 18O/16O Verhältnisses an biogenem Apatit aus diesem Zeitintervall überein. Die aus der 3-O-Isotopenzusammensetzung rekonstruierten CO2-Konzentration deuten darauf hin, dass auch während des Temperaturmaximums an der Paläozän-Eozän Grenze ein Wert von 1550 ppm nicht überschritten wurde, was auf die Dissoziierung von marinem Methanhydrat als Hauptquelle der CIE hinweist. Kapitel 5 untersucht die zwischenartlichen, innerartlichen und intraindividuellen Variationen der Karbonatsauerstoff-, Phosphatsauerstoff- und Kohlenstoffisotopie sieben verschiedener Nagetierarten anhand von Proben aus Eulengewöllen eines einzelnen Fundortes. Die Ergebnisse werden mit ähnlichen Studien an Großsäugern verglichen, und es werden Schlüsse zum Umgang mit Probenmaterial kleiner Säugetiere bei der Verwendung zur Paläoklimarekonstruktion mittels stabiler Isotope gezogen. Die Variabilität der Sauerstoff- und Kohlenstoffisotopie der untersuchten Zähne und Knochen ist nicht höher als die vieler Großsäuger, was die Relevanz der im Fossilbericht viel häufigeren Nagetiere für derartige Studien unterstützt. Jedoch sollte strikt darauf geachtet werden, dass auf Rezentmaterial basierende Bioapatit-Temperatur-Kalibrationen exakt auf dem gleichen Skelettelement beruhen welches auch als Fossilmaterial untersucht wird, da durch die unterschiedliche Mineralisierungsintervalle verschiedener Zähne und Knochen deutliche Unterschiede in den entsprechenden Isotopenzusammensetzungen, insbesondere in der des Sauerstoffs beobachtet werden konnten