Scalable virtual viewpoint image synthesis for multiple camera environments

One of the main aims of emerging audio-visual (AV) applications is to provide interactive navigation within a captured event or scene. This paper presents a view synthesis algorithm that provides a scalable and flexible approach to virtual viewpoint synthesis in multiple camera environments. The multi-view synthesis (MVS) process consists of four different phases that are described in detail: surface identification, surface selection, surface boundary blending and surface reconstruction. MVS view synthesis identifies and selects only the best quality surface areas from the set of available reference images, thereby reducing perceptual errors in virtual view reconstruction. The approach is camera setup independent and scalable as virtual views can be created given 1 to N of the available video inputs. Thus, MVS provides interactive AV applications with a means to handle scenarios where camera inputs increase or decrease over time

Multiple image view synthesis for free viewpoint video applications

Interactive audio-visual (AV) applications such as free viewpoint video (FVV) aim to enable unrestricted spatio-temporal navigation within multiple camera environments. Current virtual viewpoint view synthesis solutions for FVV are either purely image-based implying large information redundancy; or involve reconstructing complex 3D models of the scene. In this paper we present a new multiple image view synthesis algorithm that only requires camera parameters and disparity maps. The multi-view synthesis (MVS) approach can be used in any multi-camera environment and is scalable as virtual views can be created given 1 to N of the available video inputs, providing a means to gracefully handle scenarios where camera inputs decrease or increase over time. The algorithm identifies and selects only the best quality surface areas from available reference images, thereby reducing perceptual errors in virtual view reconstruction. Experimental results are presented and verified using both objective (PSNR) and subjective comparisons

Zur Qualitätsbeurteilung von 3D-Videoobjekten

This thesis is focussed on the quality assessment of natural three-dimensional video objects. This novel kind of media objects allows watching a natural object (e. g. an actor) from different viewpoints, ideally from every arbitrary viewpoint. The quality assessment of such objects raises several questions to be solved. Many customary methods are not suitable for this new purpose. Firstly, several methods for the subjective and objective quality assessment of conventional video are investigated and systematized. Moreover, the manifold methods of generating 3D video objects are analysed. They cover a wide range from image-based to model-based methods. This analysis makes it possible to define the term 3D video object and to develop a model of its process. This model is applicable to all kinds of 3D video objects. In order to assess the quality of a 3D video object the definition of a reference is necessary. A 3D video object showing a sufficient quality has to to serve as reference for the 3D video object in evaluation. Furthermore, specific quality aspects of 3D video objects are pointed out, e. g., occlusions, distortions along epipolar lines, artifacts caused by compression, and a differing angle of view. Several methods like hierarchical block matching and a one-dimensional DFT are used to create mathematical models describing these quality features. There are significant restrictions for these methods. Naturally, a 3D video object can not be compared with its reference pixel by pixel. The models describing the quality features cover dynamic properties, too. They are depending on time as well as on the changing of the viewpoint. A set of quality parameters is developed using these mathematical feature models. These quality parameters consider the visual perception of the quality aspects and impairments. A methodology creating a 3D video quality metric 3DVQM based on these quality parameters is introduced. The parameter weights are determined by a successive approximation using extended subjective quality judgements. Finally, the proposed methodology is carried out exemplary by assessing a set of test objects. With this, the prediction of the subjective assessment based on the proposed objective method is evaluated.Die vorliegende Dissertation beschäftigt sich mit der Qualitätsbewertung von natürlichen dreidimensionalen Videoobjekten. Dieser neuartige Medienobjekttyp erlaubt die Betrachtung von natürlichen Objekten (z. B. einer Person) aus verschiedenen Perspektiven, die im Idealfall frei wählbar sind. Zunächst werden in dieser Arbeit die Verfahren zur objektiven und subjektiven Qualitätsbewertung von konventionellem Bewegtbild untersucht und systematisiert. Ebenso werden die vielfältigen Verfahren zur Generierung von 3D-Videoobjekten analysiert. Diese bilden ein großes Spektrum von bild- bis hin zu modellbasierten Verfahren. Auf der Grundlage dieser Analyse erfolgt eine Begriffsbestimmung und die Beschreibung eines Modells der 3D-Videoobjektgenerierung, welches für sämtliche Generierungsverfahren gültig ist. Um die Qualität von 3D-Videoobjekten zu untersuchen, wird zunächst die Referenzfrage gelöst. Als Referenzen für zu bewertende 3D-Videoobjekte dienen ausreichend gute 3D-Videoobjekte, welche denselben Inhalt darstellen. Im Weiteren werden die speziellen Qualitätsaspekte von 3D-Videoobjekten aufgezeigt, u. a. Größenfehler, Okklusionen, Epipolarverzerrungen, Kompressionsartefakte und Blickwinkelfehler. Verschiedene Verfahren wie beispielsweise das hierarchische Block-Matching und die eindimensionale DFT dienen dazu, diese Merkmale mittels mathematischer Modelle zu beschreiben. Die wichtigste Einschränkung bei der Auswahl und der Anwendung dieser Methoden ist es, dass a priori kein Bildpunktbezug vorausgesetzt werden kann. Die Merkmalsmodelle umfassen auch die dynamischen Eigenschaften, welche sowohl zeit- als auch blickpunktsänderungsabhängig sein können. Im Anschluss wird die Entwicklung von 3D-Videoobjektqualitätsmerkmalen auf Basis der mathematischen Merkmalsmodelle beschrieben. Diese Qualitätsparameter stellen einen Bezug zur visuellen Wahrnehmung der Qualitätsaspekte und Störungen dar. Es wird eine Methodik zur Bildung eines 3D-Videoobjektqualitätsmaßes 3DVQM auf Basis dieser Qualitätsparameter vorgestellt. Die Bestimmung der Gewichtungskoeffizienten erfolgt sukzessive mit Hilfe erweiterter subjektiver Bewertungsverfahren. Zum Schluss wird die vorgeschlagene Methodik exemplarisch für eine Testreihe durchgeführt. In der Auswertung werden die Möglichkeiten der objektiven Bewertung zur Prädiktion der subjektiven Qualitätsbewertung dargelegt

Electronic Imaging & the Visual Arts. EVA 2015 Florence

Information Technologies of interest for Culture Heritage are presented: multimedia systems, data-bases, data protection, access to digital content, Virtual Galleries. Particular reference is reserved to digital images (Electronic Imaging & the Visual Arts), regarding Cultural Institutions (Museums, Libraries, Palace – Monuments, Archaeological Sites). The International Conference includes the following Sessions: Strategic Issues; New Technologies & Applications; New 2D-3D Technical Developments & Applications; Virtual Galleries – Museums and Related Initiatives; Access to the Culture Information. Two Workshops regard: International Cooperation; Innovation and Enterprise

Qualitätstaxonomie für skalierbare Algorithmen von Free Viewpoint Video Objekten

Diese Dissertation beabsichtigt einen Beitrag zur Qualitätsbeurteilung von Algorithmen für Bildanalyse und Bildsynthese im Anwendungskontext Videokommunikationssysteme zu leisten. In der vorliegenden Arbeit werden Möglichkeiten und Hindernisse der nutzerzentrierten Definition von subjektiver Qualitätswahrnehmung in diesem speziellen Anwendungsfall untersucht. Qualitätsbeurteilung von aufkommender Visualisierungs-Technologie und neuen Verfahren zur Erzeugung einer dreidimensionalen Repräsentation unter der Nutzung von Bildinformation zweier Kameras für Videokommunikationssysteme wurde bisher noch nicht umfangreich behandelt und passende Ansätze dazu fehlen. Die Herausforderungen sind es qualitätsbeeinflussende Faktoren zu definieren, passende Maße zu formulieren, sowie die Qualitätsevaluierung mit den Erstellungsalgorithmen, welche noch in Entwicklung sind, zu verbinden. Der Vorteil der Verlinkung von Qualitätswahrnehmung und Servicequalität ist die Unterstützung der technischen Realisierungsprozesse hinsichtlich ihrer Anpassungsfähigkeit (z.B. an das vom Nutzer verwendete System) und Skalierbarkeit (z.B. Beachtung eines Aufwands- oder Ressourcenlimits) unter Berücksichtigung des Endnutzers und dessen Qualitätsanforderungen. Die vorliegende Arbeit beschreibt den theoretischen Hintergrund und einen Vorschlag für eine Qualitätstaxonomie als verlinkendes Modell. Diese Arbeit beinhaltet eine Beschreibung des Projektes Skalalgo3d, welches den Rahmen der Anwendung darstellt. Präsentierte Ergebnisse bestehen aus einer systematischen Definition von qualitätsbeeinflussenden Faktoren inklusive eines Forschungsrahmens und Evaluierungsaktivitäten die mehr als 350 Testteilnehmer inkludieren, sowie daraus heraus definierte Qualitätsmerkmale der evaluierten Qualität der visuellen Repräsentation für Videokommunikationsanwendungen. Ein darauf basierendes Modell um diese Ergebnisse mit den technischen Erstellungsschritten zu verlinken wird zum Schluss anhand eines formalisierten Qualitätsmaßes präsentiert. Ein Flussdiagramm und ein Richtungsfeld zur grafischen Annäherung an eine differenzierbare Funktion möglicher Zusammenhänge werden daraufhin für weitere Untersuchungen vorgeschlagen.The thesis intends to make a contribution to the quality assessment of free viewpoint video objects within the context of video communication systems. The current work analyzes opportunities and obstacles, focusing on users' subjective quality of experience in this special case. Quality estimation of emerging free viewpoint video object technology in video communication has not yet been assessed and adequate approaches are missing. The challenges are to define factors that influence quality, to formulate an adequate measure of quality, and to link the quality of experience to the technical realization within an undefined and ever-changing technical realization process. There are two advantages of interlinking the quality of experience with the quality of service: First, it can benefit the technical realization process, in order to allow adaptability (e.g., based on systems used by the end users). Second, it provides an opportunity to support scalability in a user-centered way, e.g., based on a cost or resources limitation. The thesis outlines the theoretical background and introduces a user-centered quality taxonomy in the form of an interlinking model. A description of the related project Skalalgo3d is included, which offered a framework for application. The outlined results consist of a systematic definition of factors that influence quality, including a research framework, and evaluation activities involving more than 350 participants. The thesis includes the presentation of quality features, defined by evaluations of free viewpoint video object quality, for video communication application. Based on these quality features, a model that links these results with the technical creation process, including a formalized quality measure, is presented. Based on this, a flow chart and slope field are proposed. These intend the visualization of these potential relationships and may work as a starting point for further investigations thereon and to differentiate relations in form of functions

Electronic Imaging & the Visual Arts. EVA 2014 Florence

Information Technologies of interest for Culture Heritage are presented: multimedia systems, data-bases, data protection, access to digital content, Virtual Galleries. Particular reference is reserved to digital images (Electronic Imaging & the Visual Arts), regarding Cultural Institutions (Museums, Libraries, Palace - Monuments, Archaeological Sites). The International Conference includes the following Sessions: Strategic Issues; EC Projects and Related Networks & Initiatives; 2D - 3D Technologies and Applications; Virtual Galleries - Museums and Related Initiatives; Access to the Culture Information. Three Workshops regard: International Cooperation; Innovation and Enterprise; e.Culture Cloud

Electronic Imaging & the Visual Arts. EVA 2018 Florence

The Publication is following the yearly Editions of EVA FLORENCE. The State of Art is presented regarding the Application of Technologies (in particular of digital type) to Cultural Heritage. The more recent results of the Researches in the considered Area are presented. Information Technologies of interest for Culture Heritage are presented: multimedia systems, data-bases, data protection, access to digital content, Virtual Galleries. Particular reference is reserved to digital images (Electronic Imaging & the Visual Arts), regarding Cultural Institutions (Museums, Libraries, Palace - Monuments, Archaeological Sites). The International Conference includes the following Sessions: Strategic Issues; New Sciences and Culture Developments and Applications; New Technical Developments & Applications; Museums - Virtual Galleries and Related Initiatives; Art and Humanities Ecosystem & Applications; Access to the Culture Information. Two Workshops regard: Innovation and Enterprise; the Cloud Systems connected to the Culture (eCulture Cloud) in the Smart Cities context. The more recent results of the Researches at national and international are reported in the Area of Technologies and Culture Heritage, also with experimental demonstrations of developed Activities

Electronic Imaging & the Visual Arts. EVA 2012 Florence

The key aim of this Event is to provide a forum for the user, supplier and scientific research communities to meet and exchange experiences, ideas and plans in the wide area of Culture & Technology. Participants receive up to date news on new EC and international arts computing & telecommunications initiatives as well as on Projects in the visual arts field, in archaeology and history. Working Groups and new Projects are promoted. Scientific and technical demonstrations are presented