9 research outputs found

    Ability-Based Methods for Personalized Keyboard Generation

    Full text link
    This study introduces an ability-based method for personalized keyboard generation, wherein an individual's own movement and human-computer interaction data are used to automatically compute a personalized virtual keyboard layout. Our approach integrates a multidirectional point-select task to characterize cursor control over time, distance, and direction. The characterization is automatically employed to develop a computationally efficient keyboard layout that prioritizes each user's movement abilities through capturing directional constraints and preferences. We evaluated our approach in a study involving 16 participants using inertial sensing and facial electromyography as an access method, resulting in significantly increased communication rates using the personalized keyboard (52.0 bits/min) when compared to a generically optimized keyboard (47.9 bits/min). Our results demonstrate the ability to effectively characterize an individual's movement abilities to design a personalized keyboard for improved communication. This work underscores the importance of integrating a user's motor abilities when designing virtual interfaces.Comment: 20 pages, 7 figure

    Applicability of Fitts??? Law in VR Environment: Effects of Incline Angle, Azimuth Angle, and Muscle Fatigue on Speed-Accuracy Tradeoff

    Get PDF
    Department of Human Factors EngineeringWith recent advancements in computer technologies, the advanced virtual reality (VR) technologies are available in the market at a reasonable price for everyone, allowing even novice users to experience the first-person virtual environment for entertainment and training. The performance evaluation in a virtual environment is important to provide guidelines for designing user interfaces (UI) and interaction methods for diverse VR contents. As the Fitts??? law has been used as a tool to evaluate UI in the field of Human Computer Interactions (HCI), the application of Fitts??? law for interactive VR contents design is inevitable. Because the virtual world created by VR technologies is not so realistic as the real world, it is questionable whether the Fitts' law that can be used for plain 2D movement to complex motor control in the real world will still hold in VR. Although there have been multiple studies involving Fitts??? law in VR, most of them were limited in 2D or ray-casting/remote pointing techniques which represent only a fragment of possible interactions in both real world and virtual world. With right VR input devices, it is possible to reproduce even more direct and physical interactions in a 3-dimensional level that represent the tactile interactions in the real world. Hence, for this research, an existing real-world 3D Fitts??? law test was regenerated in the VR environment with some modifications considering the hardware limitations of the Head Mount Display (HMD) device. In addition to movement time and error occurrence, subjective and physiological muscle fatigue measures were obtained to examine the effect of muscle fatigue on the performance of non-reciprocal pointing and grasping tasks in the VR environment because muscle fatigue can affect the usage time of experience-based contents. A total of 12 male individuals (right-handed, not wearing glasses, and having no stereopsis disorder) participated in this study. The virtual environment used in this study was designed using UNITY and presented using HTC Vive. The Fitts??? law task involved simple pointing and grasping (by pulling the trigger on the controller) on a target which appeared as soon as participants successfully acquired the starting point object. The task was designed with 3 levels of target width (0.015m, 0.03m, and 0.06 m), 3 levels of amplitude (0.05m, 0.1m, and 0.15m), 8 levels of azimuth angle (0 ??, 45 ??, 90 ??, 135 ??, 180 ??, 225 ??, 270 ??, and 315 ??), and 3 levels of incline angle (30 ??, 60 ??, and 90 ??), leading to a total of 216 treatments. The presentation order within each trial was completely randomized. Participants were instructed to acquire targets as fast and accurate as possible. Participants completed 3 sets (trials) of these treatments during the main experiment, following one full trial during a practice session. Failing to grasp a target for a given treatment was counted as an error. Error-induced treatments reappeared in random order at the end of the trial until there was no error in the trial. Movement time was defined as a time length between the moment to acquire the starting point and the moment to grasp the target object. Participants reported their perceived fatigue level of each muscle part on the Borg CR-10 scale pre and post-trial. In addition, electromyographic (EMG) signals from the bicep brachii and anterior deltoid were measured throughout each trial to assess muscle fatigue. The movement time of all participants was averaged by each treatment level and then analyzed to find the regression model concerning the index of difficulty (calculated using target width and amplitude), incline angle, and azimuth angle. EMG signal was analyzed by transforming the signal into Root Mean Square (RMS) value and median frequency (MDF) value to observe the physical muscle fatigue for each trial. Regression analysis showed a significant effect of azimuth angle (p = 0.038) while there was no significant effect of the index of difficulty (ID; p = 0.66). The Borg scale of muscle fatigue clearly showed an increase in muscle fatigue for the anterior deltoid muscle (p < 0.0001) as well as the bicep brachii muscle (p < 0.0001). However, none of the physiological values showed a significant effect of the trial progress, potentially due to the light weighted controller (200 g), yet still, the subjective measure significantly increased from trial 1 to trial 3. Overall, low R2 values and non-significant results for the independent variables considered in this study except the azimuth angle indicate that Fitts??? law does not strongly hold in VR. The result of this study can be utilized when designing more specific Fitts??? law tasks to test Fitts??? law regarding specific variables involving the positional data of targets. The ranges of the independent variables were limited due to hardware limitations such as the field of view of the HMD. A novel approach to overcome such a limitation is warranted to further assess the applicability of Fitts??? law in VR in the future. Additionally, only the muscle fatigue of the anterior deltoid and bicep brachii rated on Borg???s scale showed significant effects between trials, whereas the EMG data showed no significant differences between trials. Additionally, a speed-accuracy tradeoff was observed across trials (increase in speed and decrease in accuracy), indicating the need of including muscle fatigue as a potential parameter for a new Fitts??? law model, especially for the VR environment.clos

    Eye&Head:Synergetic Eye and Head Movement for Gaze Pointing and Selection

    Get PDF
    Eye gaze involves the coordination of eye and head movement to acquire gaze targets, but existing approaches to gaze pointing are based on eye-tracking in abstraction from head motion. We propose to leverage the synergetic movement of eye and head, and identify design principles for Eye&Head gaze interaction. We introduce three novel techniques that build on the distinction of head-supported versus eyes-only gaze, to enable dynamic coupling of gaze and pointer, hover interaction, visual exploration around pre-selections, and iterative and fast confirmation of targets. We demonstrate Eye&Head interaction on applications in virtual reality, and evaluate our techniques against baselines in pointing and confirmation studies. Our results show that Eye&Head techniques enable novel gaze behaviours that provide users with more control and flexibility in fast gaze pointing and selection

    Classifying Head Movements to Separate Head-Gaze and Head Gestures as Distinct Modes of Input

    Get PDF
    Head movement is widely used as a uniform type of input for human-computer interaction. However, there are fundamental differences between head movements coupled with gaze in support of our visual system, and head movements performed as gestural expression. Both Head-Gaze and Head Gestures are of utility for interaction but differ in their affordances. To facilitate the treatment of Head-Gaze and Head Gestures as separate types of input, we developed HeadBoost as a novel classifier, achieving high accuracy in classifying gaze-driven versus gestural head movement (F1-Score: 0.89). We demonstrate the utility of the classifier with three applications: gestural input while avoiding unintentional input by Head-Gaze; target selection with Head-Gaze while avoiding Midas Touch by head gestures; and switching of cursor control between Head-Gaze for fast positioning and Head Gesture for refinement. The classification of Head-Gaze and Head Gesture allows for seamless head-based interaction while avoiding false activation

    User Experience in Virtual Reality, conducting an evaluation on multiple characteristics of a Virtual Reality Experience

    Get PDF
    Virtual Reality applications are today numerous and cover a wide range of interests and tastes. As popularity of Virtual Reality increases, developers in industry are trying to create engrossing and exciting experiences that captivate the interest of users. User-Experience, a term used in the field of Human-Computer Interaction and Interaction Design, describes multiple characteristics of the experience of a person interacting with a product or a system. Evaluating User-Experience can provide valuable insight to developers and researchers on the thoughts and impressions of the end users in relation to a system. However, little information exists regarding on how to conduct User-Experience evaluations in the context of Virtual Reality. Consecutively, due to the numerous parameters that influence User-Experience in Virtual Reality, conducting and organizing evaluations can be overwhelming and challenging. The author of this thesis investigated how to conduct a User-Experience evaluation on multiple aspects of a Virtual Reality headset by identifying characteristics of the experience, and the methods that can be used to measure and evaluate them. The data collected was both qualitative and quantitative to cover a wide range of characteristics of the experience. Furthermore, the author applied usability testing, think-aloud protocol, questionnaires and semi-structured interview as methods to observe user behavior and collect information regarding the aspects of the Virtual Reality headset. The testing session described in this study included 14 participants. Data from this study showed that the combination of chosen methods were able to provide adequate information regarding the experience of the users despite encountered difficulties. Additionally, this thesis showcases which methods were used to evaluate specific aspects of the experience and the performance of each method as findings of the study

    Σύγκριση αλληλεπίδρασης μέσω κινήσεων κεφαλής και χειρονομιών για την επιλογή στόχων στην οθόνη ηλεκτρονικού υπολογιστή. Μέτρηση απόδοσης σε αθλητές και ασθενείς μετά από εγκεφαλικό επεισόδιο κατά την αποκατάσταση.

    Get PDF
    Στην παρούσα διπλωματική εργασία γίνεται αξιολόγηση τριών εναλλακτικών τρόπων αλληλεπίδρασης ανθρώπου-υπολογιστή με αντικειμενικές μετρήσεις από πειράματα επίδοσης, στα οποία συμμετείχαν δύο ομάδες-στόχοι: α) αθλητές και β) ασθενείς με εγκεφαλικό κατά την διάρκεια της αποκατάστασης. Για τα πειράματα και τις μετρήσεις χρησιμοποιείται το λογισμικό IDEA που πραγματοποιεί πολυπαραμετρικές αξιολογήσεις των επιδόσεων κατά τη χρήση οποιασδήποτε συσκευής κατάδειξης και επιλογής (point-and-click) που προσομοιώνει τις λειτουργίες ενός κοινού ποντικιού. Με την χρήση του συγκεκριμένου λογισμικού που ουσιαστικά καταγράφει και αναλύει την τροχιά του δείκτη του ποντικιού, εξετάζουμε τις εξής τρεις εναλλακτικές μεθόδους επιλογής στόχου σε οθόνη υπολογιστή: 1) τον συνηθισμένο με το ποντίκι και το αριστερό του πλήκτρο για επιλογή στόχου (κλικ), 2) επιλογή στόχου με χειρονομία και 3) με κινήσεις κεφαλής που ανιχνεύει η συσκευή (κάμερα) Tracker Pro. Οι δύο τελευταίοι τρόποι αλληλεπίδρασης εκτελούνται με τη χρήση του λογισμικού υποβοήθησης επιλογής Click Gestures Assistant (CGA). Ο στόχος μας είναι η σύγκριση της επίδοσης των τριών μέσων αλληλεπίδρασης με τον υπολογιστή τόσο στους αθλητές όσο και ασθενείς με εγκεφαλικό επεισόδιο. Τα πειράματα εκτελέστηκαν σε μονοδιάστατα και δισδιάστατα γραφικά περιβάλλοντα αυξανομένης δυσκολίας και έγινε μέτρηση της χρηστικότητας των τριών μέσων αλληλεπίδρασης με βάση την ελληνική έκδοση του ερωτηματολογίου Systems Usability Scale (SUS). Ο χώρος διεξαγωγής των πειραμάτων είναι το φυσικοθεραπευτήριο του μεταπτυχιακού φοιτητή Πέτρου Δήμου-Δαυίδ στην πόλη της Ιστιαίας υπό τις υποδείξεις του Δρ. Αλέξανδρου Πίνο από το Τμήμα Πληροφορικής και Τηλεπικοινωνιών του Εθνικού και Καποδιστριακού Πανεπιστημίου Αθηνών. Στα πειράματα πήραν μέρος τριάντα υγιείς αθλητές και οχτώ ασθενείς με εγκεφαλικό, αφού αξιολογήθηκαν με την κλίμακα Mini- Mental State. Τα δεδομένα που συγκεντρώθηκαν, επεξεργάστηκαν σε πρώτη φάση από το λογισμικό IDEA που εξάγει και τους κυριότερους δείκτες μετρήσεων και στη συνέχεια αναλύθηκαν στατιστικά. Σύμφωνα με τα αποτελέσματα της έρευνας, η ομάδα των αθλητών όσο και η ομάδα των ασθενών παρουσίασαν υψηλότερες τιμές αποδοτικότητας (Throughput) και χαμηλότερες τιμές χρόνου κίνησης (Movement Time) στο συμβατικό ποντίκι, ύστερα στην χειρονομία και κατόπιν στις κινήσεις της κεφαλής. Επιπλέον, τα άστοχο κλικ (Missed Clicks) και τα Target Re-entries του κέρσορα στον στόχο και στις δύο ομάδες εμφάνισαν μικρότερες τιμές στην χειρονομία σε σχέση με τις κινήσεις της κεφαλής. Σε όλους τους βασικούς δείκτες αξιολόγησης, οι αθλητές σε σύγκριση με τους ασθενείς εμφάνισαν καλύτερες επιδόσεις στο ποντίκι και στην χειρονομία, δηλαδή στους δύο τρόπους αλληλεπίδρασης που απαιτούν δεξιότητα στα άνω άκρα. Τουναντίον, παρουσίασαν παρόμοιες επιδόσεις στις κινήσεις κεφαλής. Συνεπώς, ο έλεγχος της κεφαλής μετά από ένα εγκεφαλικό επεισόδιο φαίνεται να μην επηρεάζεται, σε αντίθεση με τα άνω άκρα. Tέλος, οι δύο ομάδες με βάση το ερωτηματολόγιο System Usability Scale βαθμολόγησαν με υψηλό σκορ το συμβατικό ποντίκι, ενώ τόσο η διεπαφή της χειρονομίας όσο και οι κινήσεις της κεφαλής κρίνονται μέτριας χρηστικότητας. Η έρευνα αυτή, αν και χαμηλή σε αριθμό συμμετεχόντων, είναι από τις πρώτες που συγκρίνουν τις χειρονομίες με τις κινήσεις της κεφαλής σε άτομα που υπέστησαν εγκεφαλικό επεισόδιο και θα αποτελέσει σημείο αναφοράς για επόμενες μελέτες.In this study, we evaluate three alternative methods of human-computer interaction, considering objective measurements from performance experiments, in which two target groups participated: a) athletes and b) patients with stroke during rehabilitation. We utilised IDEA software, which performs multiparametric performance evaluations when using any point-and-click device that simulates the functions of a common mouse, for experiments and measurements. Using the specific software that actually records and analyses the trajectory of the mouse pointer, we examined the following three alternative interfaces of selecting a target on a computer screen: 1) mouse and left button(click) for target selection, 2) gesture and 3) Tracker Pro camera, that detects head movements. The last two methods of interaction are performed using the Click Gestures Assistant (CGA) selection software. Our goal is to compare the performance of the three different human- computer interfaces in both athletes and stroke patients. The experiments were executed in one-dimensional and two-dimensional graphical environments of increasing difficulty. The usability of the three interfaces will be measured based on the Greek version of the Systems Usability Scale (SUS) questionnaire. The site of the experiments is the physiotherapist clinic of the student Petrou Dimos-David in the city of Istiaia under the guidance of Dr. Alexandros Pino from the Department of Informatics and Telecommunications of the National and Kapodistrian University of Athens. In the experiments participated thirty healthy athletes and eight patients with stroke, after being evaluated on the Mini-Mental State scale. The collected data were first processed by the IDEA software, that exports the main measurement indicators and then analysed statistically. According to the results of the research, the group of athletes and the group of patients showed higher Throughput and lower Movement Time in conventional mouse, then in gesture and finally in head movements. In addition, both groups showed lower Missed Clicks and Target Re-entries in gesture compared to head movements. In all key assessment scores, the athletes performed better than the patients on the mouse and gesture, which are the two interfaces that required upper extremity dexterity. In contrast, both groups performed similarly in the interface of head movements. Therefore, head control after a stroke does not appear to be affected, unlike the upper extremities. Finally, both groups, based on the System Usability Scale questionnaire, rated the common mouse with a high score, while both the interfaces of gesture and head movements are judged to be moderately useful. This study, although low in participants, is one of the first to compare gestures with head movements in people who have had a stroke and will become a reference point for future studies

    Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality

    Get PDF
    Die meisten Menschen, die zum ersten Mal einen omnidirektionalen Film über ein Head-Mounted Display (HMD) sehen, sind fasziniert von der neuen Erlebniswelt. Das Gefühl, an einem anderen Ort zu sein, weit weg von der Realität, beeindruckt und lässt sie in eine andere Welt eintauchen. Die über Jahrzehnte entwickelte Filmsprache lässt sich nicht ohne Weiteres auf dieses neue Medium - Cinematic Virtual Reality (CVR) - übertragen. Der Betrachter kann die Blickrichtung und damit den sichtbaren Ausschnitt des Bildes frei wählen, und es ist deshalb nicht immer möglich, dem Zuschauer zu zeigen, was für die Geschichte wichtig ist. Herkömmliche Methoden für die Lenkung der Aufmerksamkeit - wie Nahaufnahmen oder Zooms - sind nicht ohne Weiteres verwendbar, andere – wie Bewegung und Farben – benötigen eine Evaluation und Anpassung. Um neue Konzepte und Methoden für CVR zu finden, sind neben den Forschungsergebnissen aus dem Filmbereich auch die anderer Forschungsgebiete, wie Virtual und Augmented Reality (VR und AR), relevant. Um geeignete Techniken der Aufmerksamkeitslenkung in CVR zu ergründen, werden in dieser Arbeit bekannte Methoden aus Film, VR und AR analysiert und eine einheitliche Taxonomie präsentiert. Dadurch ist es möglich, die verschiedenen Aspekte detaillierter zu untersuchen. Auch die Positionierung der Kamera kann nicht ohne Weiteres vom traditionellen Film auf CVR übertragen werden. Der Zuschauer nimmt bei der Betrachtung einer CVR-Anwendung in der virtuellen Welt die Position der Kamera ein. Dies kann zu Problemen führen, wenn die Kamerahöhe nicht seiner eigenen Körpergröße entspricht. Außerdem ist eine Auflösung einer Szene durch verschiedene Einstellungsgrößen nicht ohne Weiteres möglich, da dies für den Zuschauer ein Umherspringen in der virtuellen Welt bedeuten würde. In dieser Arbeit werden die Auswirkungen verschiedener Kamerapositionen auf den Zuschauer untersucht und Guidelines zur Kamerapositionierung vorgestellt. Die dazugewonnene Raumkomponente bietet neue Möglichkeiten. Schnitte müssen nicht unbedingt von der verstrichenen Zeit abhängen, sondern können auch auf der Blickrichtung des Betrachters basieren. In Übereinstimmung mit dem Begriff Timeline führen wir das Konzept der Spaceline für diese Methode der Story-Konstruktion ein. Während die Schnitte auf der Timeline vom Filmemacher festgelegt werden, bestimmt der Betrachter die Spaceline - innerhalb eines vom Filmemacher festgelegten Konstrukts. Durch diese individuelle Zuschauerführung ist es möglich, dass jeder seine eigene Geschichte in seinem eigenen Tempo und mit seinen eigenen Prioritäten entdeckt. Das Spaceline-Konzept bietet neue Interaktionsmöglichkeiten, die durch verschiedene Selektionstechniken umgesetzt werden können. Um Techniken zu finden, die für CVR geeignet sind, werden in dieser Arbeit blick- und kopfbasierte Ansätze untersucht. Auch wenn deren Wirksamkeit stark von den gewählten Parametern und physiologischen Faktoren abhängen, konnten wertvolle Erkenntnisse gewonnen werden, die in einen Design-Space für CVR-Konstrukte einfließen. Dieser Design-Space ermöglicht es beim Entwerfen einer CVR-Anwendung, die Attribute zu finden, die für die Anwendung am besten geeignet sind. Aber nicht nur die Entwicklung von CVR-Anwendungen stellt neue Herausforderungen. Durch das HMD ist ein Zuschauer von der restlichen Welt isoliert, und es bedarf neuer Methoden, um CVR als soziale Erfahrung erlebbar zu machen. Einige davon werden in dieser Arbeit vorgestellt und analysiert. Aus den gewonnenen Erfahrungen werden Empfehlungen für einen CVR-Movie-Player abgeleitet. Um die vorgestellten Konzepte und Guidelines zu entwickeln, wurden eine Reihe von Nutzerstudien durchgeführt, zum Teil mit Aufzeichnung der Kopf- und Blickrichtungen. Um diese Daten analysieren zu können, wurde ein Tool entwickelt, welches die Visualisierung der Daten auf dem Film ermöglicht. In dieser Arbeit werden Konzepte und Guidelines für verschiedene Felder in Cinematic Virtual Reality vorgestellt: Aufmerksamkeitslenkung, Kamerapositionierung, Montage, Zuschauererlebnis und Datenanalyse. Auf jedem dieser Gebiete konnten Erkenntnisse gewonnen werden, die auch für die andere Bereiche von Interesse sind. Oft hängen die Ergebnisse der einzelnen Fachgebiete zusammen und ergänzen sich gegenseitig. Ziel der Arbeit ist es, die verschiedenen Aspekte als Ganzes zu präsentieren.Most people who watch an omnidirectional film for the first time on a head-mounted display (HMD) are fascinated by the new world of experience. The feeling of being in a different place, right in the middle of the action, far from reality, impresses and gives the opportunity to immerse in another world. The film language developed over decades cannot simply be transferred to this new media, Cinematic Virtual Reality (CVR). The viewer can freely choose the direction of view and thus the visible section of the picture and it is therefore not always possible to show the viewer what is important for the story. Traditional methods for directing attention - such as close-ups or zooms - are not easy to use, others - such as movement and colors - needs to be assessed and adjusted. For finding new concepts and methods for CVR, in addition to the research results from the film area, other areas in the field of virtual and augmented reality (VR and AR) are relevant. In order to find suitable methods to draw attention in CVR, known methods from film, VR, and AR are analyzed in this work and a uniform taxonomy is presented. This makes it possible to investigate the various aspects of the methods in more detail. The positioning of the camera cannot simply be transferred from traditional film to CVR. When viewing a CVR application in the virtual world, the viewer takes the place of the camera in the real world. This can lead to problems if the camera height does not match the viewer’s height. In addition, a resolution of a scene due different setting sizes is not possible as this would mean that the viewer would jump around in the virtual world. In this work, the effects of different camera positions on the viewer are examined and guidelines for camera positioning are presented. The additional space component offers new possibilities. Cuts do not necessarily have to depend on the elapsed time, but can also be based on the viewer's gaze. In accordance with the term timeline, we introduce the concept of the spaceline for this method of story plot construction. While the cuts on the timeline are determined by the filmmaker, the viewer determines the spaceline - within a construct determined by the filmmaker. Through this individual guided tour, everyone can discover their own story at their own pace and with their own priorities. The spaceline concept offers new interaction options that can be implemented using various selection techniques. In order to find methods that are suitable for CVR, this work examines eye and head-based techniques. Even if the effectiveness of them strongly depends on the chosen parameters and physiological factors, valuable insights are gained, which are included in a design space for spaceline constructs. This design space allows one to find the attributes that best suits for the application when designing a CVR application. But not only the creation of CVR applications presents new challenges. The HMD isolates a viewer from the rest of the world and requires new techniques to experience CVR in a social way. Some of these are presented and analyzed in this work. Recommendations for a CVR movie player are derived from the experience gained. Several user studies were conducted to develop the concepts and guidelines, some of them by recording of the head and gaze directions. To be able to analyze this data, a tool was developed which enables us to visualize the data on the film. In this work, concepts and guidelines for various fields in Cinematic Virtual Reality are presented: attention guiding, camera positioning, montage, audience experience, and data analysis. In each of these areas, knowledge was gained that is also of interest to the other fields. The findings of the individual fields are often related and complement each other. This work aims to present the various aspects as a whole

    Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality

    Get PDF
    Die meisten Menschen, die zum ersten Mal einen omnidirektionalen Film über ein Head-Mounted Display (HMD) sehen, sind fasziniert von der neuen Erlebniswelt. Das Gefühl, an einem anderen Ort zu sein, weit weg von der Realität, beeindruckt und lässt sie in eine andere Welt eintauchen. Die über Jahrzehnte entwickelte Filmsprache lässt sich nicht ohne Weiteres auf dieses neue Medium - Cinematic Virtual Reality (CVR) - übertragen. Der Betrachter kann die Blickrichtung und damit den sichtbaren Ausschnitt des Bildes frei wählen, und es ist deshalb nicht immer möglich, dem Zuschauer zu zeigen, was für die Geschichte wichtig ist. Herkömmliche Methoden für die Lenkung der Aufmerksamkeit - wie Nahaufnahmen oder Zooms - sind nicht ohne Weiteres verwendbar, andere – wie Bewegung und Farben – benötigen eine Evaluation und Anpassung. Um neue Konzepte und Methoden für CVR zu finden, sind neben den Forschungsergebnissen aus dem Filmbereich auch die anderer Forschungsgebiete, wie Virtual und Augmented Reality (VR und AR), relevant. Um geeignete Techniken der Aufmerksamkeitslenkung in CVR zu ergründen, werden in dieser Arbeit bekannte Methoden aus Film, VR und AR analysiert und eine einheitliche Taxonomie präsentiert. Dadurch ist es möglich, die verschiedenen Aspekte detaillierter zu untersuchen. Auch die Positionierung der Kamera kann nicht ohne Weiteres vom traditionellen Film auf CVR übertragen werden. Der Zuschauer nimmt bei der Betrachtung einer CVR-Anwendung in der virtuellen Welt die Position der Kamera ein. Dies kann zu Problemen führen, wenn die Kamerahöhe nicht seiner eigenen Körpergröße entspricht. Außerdem ist eine Auflösung einer Szene durch verschiedene Einstellungsgrößen nicht ohne Weiteres möglich, da dies für den Zuschauer ein Umherspringen in der virtuellen Welt bedeuten würde. In dieser Arbeit werden die Auswirkungen verschiedener Kamerapositionen auf den Zuschauer untersucht und Guidelines zur Kamerapositionierung vorgestellt. Die dazugewonnene Raumkomponente bietet neue Möglichkeiten. Schnitte müssen nicht unbedingt von der verstrichenen Zeit abhängen, sondern können auch auf der Blickrichtung des Betrachters basieren. In Übereinstimmung mit dem Begriff Timeline führen wir das Konzept der Spaceline für diese Methode der Story-Konstruktion ein. Während die Schnitte auf der Timeline vom Filmemacher festgelegt werden, bestimmt der Betrachter die Spaceline - innerhalb eines vom Filmemacher festgelegten Konstrukts. Durch diese individuelle Zuschauerführung ist es möglich, dass jeder seine eigene Geschichte in seinem eigenen Tempo und mit seinen eigenen Prioritäten entdeckt. Das Spaceline-Konzept bietet neue Interaktionsmöglichkeiten, die durch verschiedene Selektionstechniken umgesetzt werden können. Um Techniken zu finden, die für CVR geeignet sind, werden in dieser Arbeit blick- und kopfbasierte Ansätze untersucht. Auch wenn deren Wirksamkeit stark von den gewählten Parametern und physiologischen Faktoren abhängen, konnten wertvolle Erkenntnisse gewonnen werden, die in einen Design-Space für CVR-Konstrukte einfließen. Dieser Design-Space ermöglicht es beim Entwerfen einer CVR-Anwendung, die Attribute zu finden, die für die Anwendung am besten geeignet sind. Aber nicht nur die Entwicklung von CVR-Anwendungen stellt neue Herausforderungen. Durch das HMD ist ein Zuschauer von der restlichen Welt isoliert, und es bedarf neuer Methoden, um CVR als soziale Erfahrung erlebbar zu machen. Einige davon werden in dieser Arbeit vorgestellt und analysiert. Aus den gewonnenen Erfahrungen werden Empfehlungen für einen CVR-Movie-Player abgeleitet. Um die vorgestellten Konzepte und Guidelines zu entwickeln, wurden eine Reihe von Nutzerstudien durchgeführt, zum Teil mit Aufzeichnung der Kopf- und Blickrichtungen. Um diese Daten analysieren zu können, wurde ein Tool entwickelt, welches die Visualisierung der Daten auf dem Film ermöglicht. In dieser Arbeit werden Konzepte und Guidelines für verschiedene Felder in Cinematic Virtual Reality vorgestellt: Aufmerksamkeitslenkung, Kamerapositionierung, Montage, Zuschauererlebnis und Datenanalyse. Auf jedem dieser Gebiete konnten Erkenntnisse gewonnen werden, die auch für die andere Bereiche von Interesse sind. Oft hängen die Ergebnisse der einzelnen Fachgebiete zusammen und ergänzen sich gegenseitig. Ziel der Arbeit ist es, die verschiedenen Aspekte als Ganzes zu präsentieren.Most people who watch an omnidirectional film for the first time on a head-mounted display (HMD) are fascinated by the new world of experience. The feeling of being in a different place, right in the middle of the action, far from reality, impresses and gives the opportunity to immerse in another world. The film language developed over decades cannot simply be transferred to this new media, Cinematic Virtual Reality (CVR). The viewer can freely choose the direction of view and thus the visible section of the picture and it is therefore not always possible to show the viewer what is important for the story. Traditional methods for directing attention - such as close-ups or zooms - are not easy to use, others - such as movement and colors - needs to be assessed and adjusted. For finding new concepts and methods for CVR, in addition to the research results from the film area, other areas in the field of virtual and augmented reality (VR and AR) are relevant. In order to find suitable methods to draw attention in CVR, known methods from film, VR, and AR are analyzed in this work and a uniform taxonomy is presented. This makes it possible to investigate the various aspects of the methods in more detail. The positioning of the camera cannot simply be transferred from traditional film to CVR. When viewing a CVR application in the virtual world, the viewer takes the place of the camera in the real world. This can lead to problems if the camera height does not match the viewer’s height. In addition, a resolution of a scene due different setting sizes is not possible as this would mean that the viewer would jump around in the virtual world. In this work, the effects of different camera positions on the viewer are examined and guidelines for camera positioning are presented. The additional space component offers new possibilities. Cuts do not necessarily have to depend on the elapsed time, but can also be based on the viewer's gaze. In accordance with the term timeline, we introduce the concept of the spaceline for this method of story plot construction. While the cuts on the timeline are determined by the filmmaker, the viewer determines the spaceline - within a construct determined by the filmmaker. Through this individual guided tour, everyone can discover their own story at their own pace and with their own priorities. The spaceline concept offers new interaction options that can be implemented using various selection techniques. In order to find methods that are suitable for CVR, this work examines eye and head-based techniques. Even if the effectiveness of them strongly depends on the chosen parameters and physiological factors, valuable insights are gained, which are included in a design space for spaceline constructs. This design space allows one to find the attributes that best suits for the application when designing a CVR application. But not only the creation of CVR applications presents new challenges. The HMD isolates a viewer from the rest of the world and requires new techniques to experience CVR in a social way. Some of these are presented and analyzed in this work. Recommendations for a CVR movie player are derived from the experience gained. Several user studies were conducted to develop the concepts and guidelines, some of them by recording of the head and gaze directions. To be able to analyze this data, a tool was developed which enables us to visualize the data on the film. In this work, concepts and guidelines for various fields in Cinematic Virtual Reality are presented: attention guiding, camera positioning, montage, audience experience, and data analysis. In each of these areas, knowledge was gained that is also of interest to the other fields. The findings of the individual fields are often related and complement each other. This work aims to present the various aspects as a whole
    corecore