289 research outputs found
Disentangling Factors of Variation by Mixing Them
We propose an approach to learn image representations that consist of
disentangled factors of variation without exploiting any manual labeling or
data domain knowledge. A factor of variation corresponds to an image attribute
that can be discerned consistently across a set of images, such as the pose or
color of objects. Our disentangled representation consists of a concatenation
of feature chunks, each chunk representing a factor of variation. It supports
applications such as transferring attributes from one image to another, by
simply mixing and unmixing feature chunks, and classification or retrieval
based on one or several attributes, by considering a user-specified subset of
feature chunks. We learn our representation without any labeling or knowledge
of the data domain, using an autoencoder architecture with two novel training
objectives: first, we propose an invariance objective to encourage that
encoding of each attribute, and decoding of each chunk, are invariant to
changes in other attributes and chunks, respectively; second, we include a
classification objective, which ensures that each chunk corresponds to a
consistently discernible attribute in the represented image, hence avoiding
degenerate feature mappings where some chunks are completely ignored. We
demonstrate the effectiveness of our approach on the MNIST, Sprites, and CelebA
datasets.Comment: CVPR 201
Challenges in Disentangling Independent Factors of Variation
We study the problem of building models that disentangle independent factors
of variation. Such models could be used to encode features that can efficiently
be used for classification and to transfer attributes between different images
in image synthesis. As data we use a weakly labeled training set. Our weak
labels indicate what single factor has changed between two data samples,
although the relative value of the change is unknown. This labeling is of
particular interest as it may be readily available without annotation costs. To
make use of weak labels we introduce an autoencoder model and train it through
constraints on image pairs and triplets. We formally prove that without
additional knowledge there is no guarantee that two images with the same factor
of variation will be mapped to the same feature. We call this issue the
reference ambiguity. Moreover, we show the role of the feature dimensionality
and adversarial training. We demonstrate experimentally that the proposed model
can successfully transfer attributes on several datasets, but show also cases
when the reference ambiguity occurs.Comment: Submitted to ICLR 201
Estimating Regional Snow Line Elevation Using Public Webcam Images
Snow cover is of high relevance for the Earth’s climate system, and its variability plays a key role in alpine hydrology, ecology, and socioeconomic systems. Measurements obtained by optical satellite remote sensing are an essential source for quantifying snow cover variability from a local to global scale. However, the temporal resolution of such measurements is often affected by persistent cloud coverage, limiting the application of high resolution snow cover mapping. In this study, we derive the regional snow line elevation in an alpine catchment area using public webcams. We compare our results to the snow line information derived from the Moderate-Resolution Imaging Spectroradiometer (MODIS) and Sentinel-2 snow cover products and find our results to be in good agreement therewith. Between October 2017 and the end of June 2018, snow lines derived from webcams lie on average 55.8 m below and 33.7 m above MODIS snow lines using a normalized-difference snow index (NDSI) of 0.4 and 0.1, respectively, and are on average 53.1 m below snow lines derived from Sentinel-2. We further analyze the superior temporal resolution of webcam-based snow cover information and demonstrate its effectiveness in filling temporal gaps in satellite-based measurements caused by cloud cover. Our findings show the ability of webcam-based snow line elevation retrieval to complement and improve satellite-based measurements
FaceShop: Deep Sketch-based Face Image Editing
We present a novel system for sketch-based face image editing, enabling users
to edit images intuitively by sketching a few strokes on a region of interest.
Our interface features tools to express a desired image manipulation by
providing both geometry and color constraints as user-drawn strokes. As an
alternative to the direct user input, our proposed system naturally supports a
copy-paste mode, which allows users to edit a given image region by using parts
of another exemplar image without the need of hand-drawn sketching at all. The
proposed interface runs in real-time and facilitates an interactive and
iterative workflow to quickly express the intended edits. Our system is based
on a novel sketch domain and a convolutional neural network trained end-to-end
to automatically learn to render image regions corresponding to the input
strokes. To achieve high quality and semantically consistent results we train
our neural network on two simultaneous tasks, namely image completion and image
translation. To the best of our knowledge, we are the first to combine these
two tasks in a unified framework for interactive image editing. Our results
show that the proposed sketch domain, network architecture, and training
procedure generalize well to real user input and enable high quality synthesis
results without additional post-processing.Comment: 13 pages, 20 figure
Hilbertsche Zerlegungen eingebetteter Prozessräume und ihre Anwendung auf die Vorhersage von Zeitreihen
Die Theorie zur Analyse von Zeitreihen oder
stochastischen Prozessen ist teilweise funktionalanalytisch
geprägt. Dies gilt z. B. für Arbeiten über reproduzierende
Kern-Hilbert-Räume, die man Prozessen zuordnet. Ähnlich geprägt
ist der Aufbau der Karhunen-Loève-Zerlegung, die
Spektraltheorie stationärer Prozesse und das Konzept der
orthogonalen Projektion als Prädiktion. Die vorliegende Arbeit
vertieft diese Theorie, indem sie moderne Methoden der
Funktionalanalysis auf das Gebiet der stochastischen Prozesse
überträgt und neue bzw. erweiterte Ergebnisse erzielt. Die
obigen Themen sind nur eine Auswahl aus dem Feld der
Zeitreihenanalyse, skizzieren aber die Schnittfläche zwischen
Prozesstheorie und Analysis, auf welcher sich die vorliegende
Arbeit bewegt. Die Struktur stationärer Prozesse erlaubt den
erfolgreichen Einsatz analytischer Werkzeuge. Als Beispiel mag
die stationäre Vorhersagetheorie dienen, deren Anfang durch
Wiener und Kolmogorov geprägt wurde und die von abstrakter,
(Fourier-)analytischer Natur ist. Verallgemeinerungen zur
Herleitung analoger Resultate ohne
Stationaritätsvoraussetzungen werden bis heute gesucht und
bedürfen evtl. alternativer Zeitbereichsmethoden, die allein
über den Indexbereich (Zeit) des Prozesses beschrieben werden
können. Ähnliches zeigt sich auf dem Feld der
Darstellungstheorie stochastischer Prozesse, dessen Ursprung
Karhunen und Loève zugeschrieben werden kann. Die bisherige
Theorie fußt meist auf elementaren Isometrien zwischen dem
Prozessraum und einem Raum von quadratisch integrierbaren
Funktionen - Spektralbereich genannt. Konkreter findet man die
Ausführungen für stetige Prozesse auf kompaktem Intervall, wo
sich die Verbindung zu Eigenvektorbasen von Integraloperatoren
eröffnet (Mercers Theorem). Statt den Einfluss dieser
Spektraltheorie auf die Darstellung von Prozessen auszuweiten,
hielt man an der Abzählbarkeit der Eigenvektorbasis und der
resultierenden Reihenentwicklung des Prozesses fest.
Vergleichbares findet sich zur Beziehung zwischen Prozessen und
den zugehörigen hilbertschen Unterräumen. Die durch Parzen
publizierte Verbindung ordnet einem Prozess einen
Kern-Hilbert-Raum (i.S.v. Aronszajn) zu. Dieser Raum von
Funktionen auf der Zeitmenge erlaubt eine isometrische
Beschreibung des Prozessraums. Diese Assoziation gestaltet sich
auf Grund diskreten Indexbereichs zwar sehr elementar, ist aber
bis heute durchaus üblich. Zusammenfassung der obigen Probleme
und Fragen und wie die vorliegende Dissertation diese angeht:
(1) Zu Prozessen gehörige hilbertsche Unterräume werden bisher
unter Annahme der diskreten Topologie auf der Indexmenge
eingeführt und ergeben sich als Kern-Hilbert-Räume i.S.v.
Aronszajn. Die vorliegende Arbeit analysiert, inwieweit ein
Bewahren der tatsächlichen Topologie des Zeitbereichs möglich
ist und welche Auswirkungen dies auf Konstruktion und
Eigenschaften des Prozessraums hat. Der Indexbereich wird als
hilbertscher Pivotraum topologisch berücksichtigt und
Kovarianzfunktionen als verallgemeinerte Funktionen
interpretiert. Die dann entwickelte Einbettungstheorie liefert
in diesem erweiterten Rahmen den zum Prozess gehörigen
hilbertschen Prozessraum und dessen ?reproduzierende
Eigenschaft?. (2) An Prozessräume schließen sich Fragen
nach Basen und deren Konstruktionen an. Bisher wurden diese
Aspekte auf die Darstellung des Prozesses vermöge eines
abzählbaren Orthonormalsystems reduziert und mittels Isometrien
innerhalb der Hilbert-Räume angegangen. Die Dissertation
untersucht, ob moderne Zerlegungstechniken für hilbertsche
Unterräume Basen und Konstruktionen neuerer (insb.
kontinuierlicher) Art möglich machen und gibt zwei Verfahren
an: Bildzerlegungen und Spektralzerlegungen. Beide unterliegen
keiner Abzählbarkeitsbedingung, erweitern bisheriges Vorgehen
und erlauben eine Darstellung des Prozesses. (3) Die bekannte
Karhunen-Loève-Entwicklung bezieht sich im Prinzip auf das
übliche Isometrieverfahren und ist von abzählbarem Charakter.
Allerdings wird die Entwicklung über die Spektraltheorie
spezieller, positiver Kernoperatoren hergeleitet. Die Arbeit
klärt, inwiefern eine verallgemeinerte Fassung mittels
unbeschränkter positiver Operatoren möglich ist. Sie
charakterisiert allgemein den Einfluss der Spektraltheorie
solcher Operatoren auf das (Spektral-)Zerlegungsverfahren
ähnlich wie Mercers Theorem im Konkreten. (4) Schließlich
spielen Zerlegungen in der Vorhersage stochastischer Prozesse
eine Rolle, wobei der meist Fourier-analytische Aufbau den
Zeitbereich nicht klar in Verbindung mit der Zerlegung bringt.
Die Dissertation analysiert, wie durch eine
Zeitbereichs-Interpretation eine Vorhersagezerlegung allgemein
charakterisiert werden kann. Die gefundenen
Prädiktionsverfahren zeigen ein grundlegendes
?Gram-Schmidt-Prinzip? und weisen eine
Verwandtschaft zur Cholesky-Faktorisierung auf. Formeln in
entsprechenden Zerlegungen werden hergeleitet und in Bezug zu
bisherigen Ergebnissen gebracht
Study of V/STOL aircraft implementation. Volume 2: Appendices
An analysis of V/STOL aircraft implementation and utilization is presented. The subjects discussed are: (1) short haul air transportation requirements, (2) available aircraft technology, (3) aircraft production requirements, (4) airport requirements, (5) roles and responsibilities, and (6) cost and funding
Probabilistic spatial analysis in quantitative microscopy with uncertainty-aware cell detection using deep Bayesian regression
The investigation of biological systems with three-dimensional microscopy demands automatic cell identification methods that not only are accurate but also can imply the uncertainty in their predictions. The use of deep learning to regress density maps is a popular successful approach for extracting cell coordinates from local peaks in a postprocessing step, which then, however, hinders any meaningful probabilistic output. We propose a framework that can operate on large microscopy images and output probabilistic predictions (i) by integrating deep Bayesian learning for the regression of uncertainty-aware density maps, where peak detection algorithms generate cell proposals, and (ii) by learning a mapping from prediction proposals to a probabilistic space that accurately represents the chances of a successful prediction. Using these calibrated predictions, we propose a probabilistic spatial analysis with Monte Carlo sampling. We demonstrate this in a bone marrow dataset, where our proposed methods reveal spatial patterns that are otherwise undetectable
- …