Authoring objektbasierter AV-Anwendungen

This thesis is focused on the authoring process of object-based AV applications according to the object and scene concept of MPEG-4. The object-based approach embraces the extended interactive opportunities of multimedia applications as well as the distribution opportunities of audiovisual media. Producing of object-based AV applications has profound effects on the whole digital media chain. The existence of efficient authoring tools and systems is an important requirement for the success of such applications. The goal of this work was the development of concepts and components for an authoring system for object-based AV applications that supports collaborative work of several authors. The development was divided into three fields: authoring formats, authoring servers, and authoring tools. Authoring formats store all of the resulting information for the description of object-based AV applications during the authoring process. They describe a scene on a well adapted abstraction level and enable the exchange of scene data with other authors and systems. Some special authoring formats were developed which fulfill the requirements of concrete applications regarding abstraction level and function range. Authoring tools are the interfaces of the authoring system to the authors. In focus are interactive graphic tools for the support of an intuitive work during the authoring process. The authoring server is the technical basis for the collaborative work of several authors in the production of object-based AV applications. A flexible data management was developed on the basis of a native XML database. It controls the access at the level of nodes within the scene graph and enables the collaboration of many authors in a novel way. The authoring server is also the interface between the producers of media objects and the authors. Furthermore, it enables the reusability of scenes and elements in different projects. The developed concepts are oriented towards the possibilities of MPEG-4, but they are transferable to other multimedia applications which are based on a scene graph. With these concepts and components both can be realized, universally applicable as well as specialized authoring systems and tools. Several exemplary applications show the operability of the developed components.Die vorliegende Dissertation beschäftigt sich mit dem Authoring-Prozess objektbasierter AV-Anwendungen auf Basis des Objekt- und Szenenkonzeptes von MPEG-4. Diese moderne Beschreibungsform vereint die interaktiven Nutzungsmöglichkeiten digitaler Medien mit den Distributionsmöglichkeiten audiovisueller Medien. Die Umsetzung des Objekt- und Szenenkonzeptes hat tief greifende Auswirkungen auf die gesamte digitale Medienkette. Die Schaffung leistungsfähiger Autorensysteme ist eine wichtige Voraussetzung für die Verbreitung solcher Anwendungen. Das Ziel der Arbeit war die Entwicklung von Konzepten und Komponenten für ein Autorensystem mit Unterstützung eines auf mehrere Autoren verteilten Authoring-Prozesses. Authoring-Formate speichern alle anfallenden Informationen zur Beschreibung einer objektbasierten AV-Anwendung. Es wurden Authoring-Formate entwickelt, welche an die Anforderungen konkreter Anwendungen hinsichtlich Abstraktionsebene und Funktionsumfang angepasst sind. Autorenwerkzeuge sind die Schnittstellen des Autorensystems zu den Autoren. Im Fokus stehen grafisch-interaktive Werkzeuge zur Unterstützung eines intuitiven Arbeitens während des Authoring-Prozesses. Der Authoring-Server ist die technische Grundlage des Autorensystems für die verteilte Erstellung objektbasierter AV-Anwendungen. Er verwaltet alle anfallenden Daten und stellt diese den Autoren unter Berücksichtigung ihrer individuellen Berechtigungen zur Verfügung. Der Authoring-Server bildet die Schnittstelle zwischen den Produzenten der Medienobjekte und den Autoren. Er ermöglicht eine Wiederverwendung von Szenen und Szenenelementen über Produktionsgrenzen hinweg. Der Authoring-Server erlaubt es Autoren und auch Medienproduzenten, gemeinsam an der Erstellung einer AV-Anwendung zu arbeiten. Dafür wurde ein flexibles Datenmanagement auf Basis einer XML-Datenbank entworfen. Die entwickelten Konzepte orientieren sich an den Möglichkeiten von MPEG-4, sind aber auch auf andere multimediale Anwendungen übertragbar, die auf einem Szenengraphen beruhen. Auf dieser Basis können sowohl universell einsetzbare als auch spezialisierte Autorensysteme und Werkzeuge realisiert werden. Mehrere exemplarische Umsetzungen belegen die Funktionsfähigkeit der entwickelten Komponenten

Architekturkonzepte für prozessorbasierte MPEG Videodecoder mit Schwerpunkt für mobile Anwendungen

Mobile Endgeräte basieren z. Zt. auf Systemen (System on a Chip), deren Hauptfunktionalität durch den Einsatz entsprechender Software auf eingebetteten Prozessoren gebildet wird. Aufgrund der immer kürzeren Innovationszyklen kommt der softwarebasierten Umsetzung von Applikationen für eingebettete Systeme damit eine steigende Bedeutung zu. Im Bereich der mobilfunkgestützten Anwendungen sind in zunehmendem Maße auch Multimediaapplikationen vorzufinden, die bis vor kurzem noch leistungsfähigen Systemen, wie z.B. Desktop-PCs oder dedizierten Implementierungen in Form spezieller ASICs, vorbehalten waren. Hierzu zählen auch Anwendungen, die auf entsprechenden Standards basierend, die echtzeitfähige Übertragung von Bewegtbilddaten unterstützen, wie z.B. Videotelefonie oder Broadcastdienste. Dem hohen Rechenleistungsbedarf echtzeitkritischer Multimediaapplikationen stehen hierbei jedoch die relativ leistungsschwachen Prozessoren eingebetteter Systeme gegenüber. Im Bereich der Videocodierung für Mobilfunkanwendungen hat sich der MPEG-4-Standard weitgehend etabliert und wird hier stellvertretend für alle weiteren MPEG-Videostandards ausführlich beschrieben und analysiert. Die vorliegende Arbeit befasst sich daher im Kern mit dem Entwurf einer speziellen Befehls-satz- und Coprozessorerweiterung für MPEG-4-basierte Videodecoderalgorithmen, womit ein Performancegewinn von ca. 50% gegenüber einer reinen Softwareimplementierung erzielt wird. Die Erweiterungen sind in ihrer Definition generisch und daher nicht auf einen speziellen Prozessortyp zugeschnitten. Im vorliegenden Falle wird eine für Mobilfunkterminals typische RISC-Architektur herangezogen, um die Leistungsfähigkeit unter Beweis zu stellen und den Einsatz in eingebetteten Systemen aufzuzeigen. Die einzelnen Konzepte werden auf Basis einer Algorithmenanalyse hergeleitet, wobei erst eine Beschreibung der generischen Erweiterung erfolgt und anschließend die Integration in den verwendeten Prozessorkern unter Verwendung der Hardwarebeschreibungssprache VHDL beschrieben wird. Für die Bemessung des Echtzeitverhaltens wird im Rahmen der Arbeit ein spezieller Profiler entworfen, der unter anderem auch die Untersuchung und Optimierung des Speicherzugriffs-verhaltens gestattet. Mit Hilfe des Profilers werden Messungen durchgeführt, die den Rechenzeitgewinn der jewei-ligen Algorithmenteile unter Zuhilfenahme der implementierten Optimierungen aufzeigen. Ebenso wird ein Vergleich der Leistungsfähigkeit der vorgestellten Architektur mit gängigen Prozessorarchitekturen, wie Superskalare und VLIW-Prozessoren, vorgenommen. Hierbei wird ermittelt, dass das entwickelte Konzept ähnliche Resultate erbringt wie die vergleichsweise komplexeren Prozessoren. Neben der Leistungsfähigkeit steht auch die Ermittlung des Flächenbedarfs im Falle einer CMOS Gate-Array-basierten Implementierung zur Diskussion und wird ebenfalls für jede einzelne Erweiterung dargestellt

Zur Qualitätsbeurteilung von 3D-Videoobjekten

This thesis is focussed on the quality assessment of natural three-dimensional video objects. This novel kind of media objects allows watching a natural object (e. g. an actor) from different viewpoints, ideally from every arbitrary viewpoint. The quality assessment of such objects raises several questions to be solved. Many customary methods are not suitable for this new purpose. Firstly, several methods for the subjective and objective quality assessment of conventional video are investigated and systematized. Moreover, the manifold methods of generating 3D video objects are analysed. They cover a wide range from image-based to model-based methods. This analysis makes it possible to define the term 3D video object and to develop a model of its process. This model is applicable to all kinds of 3D video objects. In order to assess the quality of a 3D video object the definition of a reference is necessary. A 3D video object showing a sufficient quality has to to serve as reference for the 3D video object in evaluation. Furthermore, specific quality aspects of 3D video objects are pointed out, e. g., occlusions, distortions along epipolar lines, artifacts caused by compression, and a differing angle of view. Several methods like hierarchical block matching and a one-dimensional DFT are used to create mathematical models describing these quality features. There are significant restrictions for these methods. Naturally, a 3D video object can not be compared with its reference pixel by pixel. The models describing the quality features cover dynamic properties, too. They are depending on time as well as on the changing of the viewpoint. A set of quality parameters is developed using these mathematical feature models. These quality parameters consider the visual perception of the quality aspects and impairments. A methodology creating a 3D video quality metric 3DVQM based on these quality parameters is introduced. The parameter weights are determined by a successive approximation using extended subjective quality judgements. Finally, the proposed methodology is carried out exemplary by assessing a set of test objects. With this, the prediction of the subjective assessment based on the proposed objective method is evaluated.Die vorliegende Dissertation beschäftigt sich mit der Qualitätsbewertung von natürlichen dreidimensionalen Videoobjekten. Dieser neuartige Medienobjekttyp erlaubt die Betrachtung von natürlichen Objekten (z. B. einer Person) aus verschiedenen Perspektiven, die im Idealfall frei wählbar sind. Zunächst werden in dieser Arbeit die Verfahren zur objektiven und subjektiven Qualitätsbewertung von konventionellem Bewegtbild untersucht und systematisiert. Ebenso werden die vielfältigen Verfahren zur Generierung von 3D-Videoobjekten analysiert. Diese bilden ein großes Spektrum von bild- bis hin zu modellbasierten Verfahren. Auf der Grundlage dieser Analyse erfolgt eine Begriffsbestimmung und die Beschreibung eines Modells der 3D-Videoobjektgenerierung, welches für sämtliche Generierungsverfahren gültig ist. Um die Qualität von 3D-Videoobjekten zu untersuchen, wird zunächst die Referenzfrage gelöst. Als Referenzen für zu bewertende 3D-Videoobjekte dienen ausreichend gute 3D-Videoobjekte, welche denselben Inhalt darstellen. Im Weiteren werden die speziellen Qualitätsaspekte von 3D-Videoobjekten aufgezeigt, u. a. Größenfehler, Okklusionen, Epipolarverzerrungen, Kompressionsartefakte und Blickwinkelfehler. Verschiedene Verfahren wie beispielsweise das hierarchische Block-Matching und die eindimensionale DFT dienen dazu, diese Merkmale mittels mathematischer Modelle zu beschreiben. Die wichtigste Einschränkung bei der Auswahl und der Anwendung dieser Methoden ist es, dass a priori kein Bildpunktbezug vorausgesetzt werden kann. Die Merkmalsmodelle umfassen auch die dynamischen Eigenschaften, welche sowohl zeit- als auch blickpunktsänderungsabhängig sein können. Im Anschluss wird die Entwicklung von 3D-Videoobjektqualitätsmerkmalen auf Basis der mathematischen Merkmalsmodelle beschrieben. Diese Qualitätsparameter stellen einen Bezug zur visuellen Wahrnehmung der Qualitätsaspekte und Störungen dar. Es wird eine Methodik zur Bildung eines 3D-Videoobjektqualitätsmaßes 3DVQM auf Basis dieser Qualitätsparameter vorgestellt. Die Bestimmung der Gewichtungskoeffizienten erfolgt sukzessive mit Hilfe erweiterter subjektiver Bewertungsverfahren. Zum Schluss wird die vorgeschlagene Methodik exemplarisch für eine Testreihe durchgeführt. In der Auswertung werden die Möglichkeiten der objektiven Bewertung zur Prädiktion der subjektiven Qualitätsbewertung dargelegt