Image Space and Time Interpolation for Video Navigation

English: The aim of image-based video navigation is essentially to achieve a continuous change in the viewpoint without the need of a complete camera coverage of the space of interest. By making use of image interpolation, the need for video hardware can be reduced drastically by replacing them, in the desired viewpoints, with virtual video cameras. In this work, based on previously published approaches, an algorithm for time and space image interpolation is developed with a video application perspective, where human-eye image interpretation is taken as a priority over exact geometry construction of the image sequences.Castellano: El objetivo de la video navegación basada en imágenes es principalmente lograr un cambio continuo de perspectiva sin la necesidad de cubrir completamente el espacio de interés con el uso de cámaras de video. Haciendo uso de interpolación de imágenes, la necesidad de hardware de video puede ser reducido drásticamente al ser remplazado, en los puntos de vista deseados, con cámaras de video virtuales. En este trabajo, basado en aproximaciones publicadas anteriormente, desarrollamos un algoritmo para la interpolación de imágenes en tiempo y espacio con una perspectiva de aplicación de video, donde la interpretación desde el punto de vista del ojo humano se toma como prioridad sobre la construcción exacta de figuras geométricas en las secuencias de imégenes.Català: L'objectiu de la vídeo navegació basada en imatges és, principalment, aconseguir múltiples vistes d'un mateix escenari sense la necessitat de cobrir completament l'espai d'interés amb l'us de càmeres de vídeo. Fent us de la interpolació d'imatges, la necessitat de hardware de vídeo pot ser reduïda dràsticament al ser reemplaçat, en els punts de vista desitjats, amb càmeres de vídeo virtuals. En aquest treball, basat en aproximacions publicades anteriorment, desenvolupem un algoritme per a la interpolaci\'o d'imatges en temps i espai amb una perspectiva d'aplicació de vídeo, on la interpretació des del punt de vista de l'ull humà es pren com a prioritat sobre la construcció exacte de figures geomètriques en les seqüències d'imatges

Interaktive Raumzeitrekonstruktion in der Computergraphik

High-quality dense spatial and/or temporal reconstructions and correspondence maps from camera images, be it optical flow, stereo or scene flow, are an essential prerequisite for a multitude of computer vision and graphics tasks, e.g. scene editing or view interpolation in visual media production. Due to the ill-posed nature of the estimation problem in typical setups (i.e. limited amount of cameras, limited frame rate), automated estimation approaches are prone to erroneous correspondences and subsequent quality degradation in many non-trivial cases such as occlusions, ambiguous movements, long displacements, or low texture. While improving estimation algorithms is one obvious possible direction, this thesis complementarily concerns itself with creating intuitive, high-level user interactions that lead to improved correspondence maps and scene reconstructions. Where visually convincing results are essential, rendering artifacts resulting from estimation errors are usually repaired by hand with image editing tools, which is time consuming and therefore costly. My new user interactions, which integrate human scene recognition capabilities to guide a semi-automatic correspondence or scene reconstruction algorithm, save considerable effort and enable faster and more efficient production of visually convincing rendered images.Raumzeit-Rekonstruktion in Form von dichten räumlichen und/oder zeitlichen Korrespondenzen zwischen Kamerabildern, sei es optischer Fluss, Stereo oder Szenenfluss, ist eine wesentliche Voraussetzung für eine Vielzahl von Aufgaben in der Computergraphik, zum Beispiel zum Editieren von Szenen oder Bildinterpolation. Da sowohl die Anzahl der Kameras als auch die Bildfrequenz begrenzt sind, ist das Rekonstruktionsproblem unterbestimmt, weswegen automatisierte Schätzungen häufig fehlerhafte Korrespondenzen für nichttriviale Fälle wie Verdeckungen, mehrdeutige oder große Bewegungen, oder einheitliche Texturen enthalten; jede Bildsynthese basierend auf den partiell falschen Schätzungen muß daher Qualitätseinbußen in Kauf nehmen. Man kann nun zum einen versuchen, die Schätzungsalgorithmen zu verbessern. Komplementär dazu kann man möglichst effiziente Interaktionsmöglichkeiten entwickeln, die die Qualität der Rekonstruktion drastisch verbessern. Dies ist das Ziel dieser Dissertation. Für visuell überzeugende Resultate müssen Bildsynthesefehler bislang manuell in einem aufwändigen Nachbearbeitungsschritt mit Hilfe von Bildbearbeitungswerkzeugen korrigiert werden. Meine neuen Benutzerinteraktionen, welche menschliches Szenenverständnis in halbautomatische Algorithmen integrieren, verringern den Nachbearbeitungsaufwand beträchtlich und ermöglichen so eine schnellere und effizientere Produktion qualitativ hochwertiger synthetisierter Bilder

Die Virtuelle Videokamera: ein System zur Blickpunktsynthese in beliebigen, dynamischen Szenen

The Virtual Video Camera project strives to create free viewpoint video from casually captured multi-view data. Multiple video streams of a dynamic scene are captured with off-the-shelf camcorders, and the user can re-render the scene from novel perspectives. In this thesis the algorithmic core of the Virtual Video Camera is presented. This includes the algorithm for image correspondence estimation as well as the image-based renderer. Furthermore, its application in the context of an actual video production is showcased, and the rendering and image processing pipeline is extended to incorporate depth information.Das Virtual Video Camera Projekt dient der Erzeugung von Free Viewpoint Video Ansichten von Multi-View Aufnahmen: Material mehrerer Videoströme wird hierzu mit handelsüblichen Camcordern aufgezeichnet. Im Anschluss kann die Szene aus beliebigen, von den ursprünglichen Kameras nicht abgedeckten Blickwinkeln betrachtet werden. In dieser Dissertation wird der algorithmische Kern der Virtual Video Camera vorgestellt. Dies beinhaltet das Verfahren zur Bildkorrespondenzschätzung sowie den bildbasierten Renderer. Darüber hinaus wird die Anwendung im Kontext einer Videoproduktion beleuchtet. Dazu wird die bildbasierte Erzeugung neuer Blickpunkte um die Erzeugung und Einbindung von Tiefeninformationen erweitert

Flowlab - an interactive tool for editing dense image correspondences

correspondence