Blickpunktabhängige Computergraphik

Contemporary digital displays feature multi-million pixels at ever-increasing refresh rates. Reality, on the other hand, provides us with a view of the world that is continuous in space and time. The discrepancy between viewing the physical world and its sampled depiction on digital displays gives rise to perceptual quality degradations. By measuring or estimating where we look, gaze-contingent algorithms aim at exploiting the way we visually perceive to remedy visible artifacts. This dissertation presents a variety of novel gaze-contingent algorithms and respective perceptual studies. Chapter 4 and 5 present methods to boost perceived visual quality of conventional video footage when viewed on commodity monitors or projectors. In Chapter 6 a novel head-mounted display with real-time gaze tracking is described. The device enables a large variety of applications in the context of Virtual Reality and Augmented Reality. Using the gaze-tracking VR headset, a novel gaze-contingent render method is described in Chapter 7. The gaze-aware approach greatly reduces computational efforts for shading virtual worlds. The described methods and studies show that gaze-contingent algorithms are able to improve the quality of displayed images and videos or reduce the computational effort for image generation, while display quality perceived by the user does not change.Moderne digitale Bildschirme ermöglichen immer höhere Auflösungen bei ebenfalls steigenden Bildwiederholraten. Die Realität hingegen ist in Raum und Zeit kontinuierlich. Diese Grundverschiedenheit führt beim Betrachter zu perzeptuellen Unterschieden. Die Verfolgung der Aug-Blickrichtung ermöglicht blickpunktabhängige Darstellungsmethoden, die sichtbare Artefakte verhindern können. Diese Dissertation trägt zu vier Bereichen blickpunktabhängiger und wahrnehmungstreuer Darstellungsmethoden bei. Die Verfahren in Kapitel 4 und 5 haben zum Ziel, die wahrgenommene visuelle Qualität von Videos für den Betrachter zu erhöhen, wobei die Videos auf gewöhnlicher Ausgabehardware wie z.B. einem Fernseher oder Projektor dargestellt werden. Kapitel 6 beschreibt die Entwicklung eines neuartigen Head-mounted Displays mit Unterstützung zur Erfassung der Blickrichtung in Echtzeit. Die Kombination der Funktionen ermöglicht eine Reihe interessanter Anwendungen in Bezug auf Virtuelle Realität (VR) und Erweiterte Realität (AR). Das vierte und abschließende Verfahren in Kapitel 7 dieser Dissertation beschreibt einen neuen Algorithmus, der das entwickelte Eye-Tracking Head-mounted Display zum blickpunktabhängigen Rendern nutzt. Die Qualität des Shadings wird hierbei auf Basis eines Wahrnehmungsmodells für jeden Bildpixel in Echtzeit analysiert und angepasst. Das Verfahren hat das Potenzial den Berechnungsaufwand für das Shading einer virtuellen Szene auf ein Bruchteil zu reduzieren. Die in dieser Dissertation beschriebenen Verfahren und Untersuchungen zeigen, dass blickpunktabhängige Algorithmen die Darstellungsqualität von Bildern und Videos wirksam verbessern können, beziehungsweise sich bei gleichbleibender Bildqualität der Berechnungsaufwand des bildgebenden Verfahrens erheblich verringern lässt

Les piliers perceptuels du cinéma d’animation

Toute discipline devrait reposer sur des bases théoriques solides ; mais ce n’est pas nécessairement le cas des études en animation. Au mieux, la pratique est encadrée par douze « principes » d’animation codifiés dans The Illusion of Life (1985) par deux animateurs de Disney, Ollie Johnson et Frank Thomas. Parmi ces principes, certains s’appliquent au cinéma en général ou sont techniques ; alors que d’autres visent l’essentiel artistique de l’animation : comment produire des mouvements fluides, expressifs et crédibles. Les principes sont utilisés parce qu’ils fonctionnent ; mais personne du domaine n’a tenté de déterminer les mécanismes perceptifs qui expliqueraient pourquoi ils fonctionnent. Pire, la seule « théorie » généralement acceptée par le milieu prétend toujours que la « persistance rétinienne » explique la perception de mouvement au cinéma; et cette théorie a été démontrée fausse, il y a plus de quarante ans. Le premier objectif de cette thèse est d’identifier et de décrire les phénomènes perceptifs sur lesquels l’art de l’animation repose ; et, deuxièmement, de structurer ces connaissances avec de nouveaux concepts qui seront utiles sur le plan pratique, théorique et pédagogique. Cette thèse se veut transdisciplinaire et mobilise un ensemble important de connaissances hétéroclites, traitantà la fois de la vision et du cinéma. Le premier chapitre donne un aperçu des grandes théories psychologiques et cinématographiques auxquelles nous nous référerons. Ensuite, les concepts psychophysiques et anatomiques élémentaires de la vision seront décrits au chapitre 2. Le chapitre 3 vise à démystifier la « théorie » de la persistance visuelle. Nous rappelons que l’œil et la rétine se bornent à transmettre une suite d’images au cortex qui utilise une série de procédés pour percevoir le mouvement. Au chapitre 4, nous étudierons deux types de mouvements animés (mouvement apparent de longue portée et de courte portée) et présenterons les axiomes qui les gouvernent. Le chapitre 5 amorce la deuxième partie de la thèse où nous faisons le lien entre les mécanismes de la vision et les principes d’animation de Disney. Nous présentons un modèle de notre invention qui distingue une hiérarchie de cinq paliers perceptuels en animation : 1) le mouvement apparent (décrit précédemment) ; 2) le mouvement inanimé ; 3) le mouvement animé ; 4) le mouvement émouvant (c’est-à-dire les émotions et performances) ; et 5) le monde (Umwelt) animé. Ensuite, nous examinons quelques autres « principes » qui visent à maximiser la qualité visuelle d’une animation, en particulier : la cadence, le tempo, et le principe de l’étirement et de la compression. Poursuivant dans cette voie, le chapitre 6 explore la question : « à quel degré une animation doit-elle être réaliste pour fonctionner ? ». D’abord, nous explorerons le rôle de l’exagération (principe no 10), typique des cartoons ; puis les différences fondamentales entre un mouvement « animé » effectué par une entité vivante, et les mouvements passifs associés aux objets « inanimés ». Il se trouve qu’une expérience positive repose sur une harmonisation perceptive des différents éléments d’un film en portant une attention particulière à l’apparence des yeux des personnages, car des divergences de style peuvent provoquer le phénomène de la « vallée de l’étrangeté ». Enfin, au dernier chapitre, nous proposons quatre nouveaux concepts pratiques pour guider les animateurs à créer des animations et des univers expressifs et convaincants. Ces derniers sont : 1) la molette de l’exagération, 2) la pyramide de l’exagération, 3) la cape de la crédibilité et 4) l’Umwelt animé. Nous terminons la thèse en suggérant qu’il n’est plus suffisant pour l’animation de suivre des principes pratiques sans vraiment les comprendre. Il est grand temps que l’animation, à la fois comme art et comme champ d’études, s’intéresse aux principes et illusions qui l’animent