没入型テレプレゼンス環境における身体のマッピングと拡張に関する研究

学位の種別: 課程博士審査委員会委員 : （主査）東京大学教授 暦本 純一, 東京大学教授 坂村 健, 東京大学教授 越塚 登, 東京大学教授 中尾 彰宏, 東京大学教授 佐藤 洋一University of Tokyo(東京大学

Earables: Wearable Computing on the Ears

Kopfhörer haben sich bei Verbrauchern durchgesetzt, da sie private Audiokanäle anbieten, zum Beispiel zum Hören von Musik, zum Anschauen der neuesten Filme während dem Pendeln oder zum freihändigen Telefonieren. Dank diesem eindeutigen primären Einsatzzweck haben sich Kopfhörer im Vergleich zu anderen Wearables, wie zum Beispiel Smartglasses, bereits stärker durchgesetzt. In den letzten Jahren hat sich eine neue Klasse von Wearables herausgebildet, die als "Earables" bezeichnet werden. Diese Geräte sind so konzipiert, dass sie in oder um die Ohren getragen werden können. Sie enthalten verschiedene Sensoren, um die Funktionalität von Kopfhörern zu erweitern. Die räumliche Nähe von Earables zu wichtigen anatomischen Strukturen des menschlichen Körpers bietet eine ausgezeichnete Plattform für die Erfassung einer Vielzahl von Eigenschaften, Prozessen und Aktivitäten. Auch wenn im Bereich der Earables-Forschung bereits einige Fortschritte erzielt wurden, wird deren Potenzial aktuell nicht vollständig abgeschöpft. Ziel dieser Dissertation ist es daher, neue Einblicke in die Möglichkeiten von Earables zu geben, indem fortschrittliche Sensorikansätze erforscht werden, welche die Erkennung von bisher unzugänglichen Phänomenen ermöglichen. Durch die Einführung von neuartiger Hardware und Algorithmik zielt diese Dissertation darauf ab, die Grenzen des Erreichbaren im Bereich Earables zu verschieben und diese letztlich als vielseitige Sensorplattform zur Erweiterung menschlicher Fähigkeiten zu etablieren. Um eine fundierte Grundlage für die Dissertation zu schaffen, synthetisiert die vorliegende Arbeit den Stand der Technik im Bereich der ohr-basierten Sensorik und stellt eine einzigartig umfassende Taxonomie auf der Basis von 271 relevanten Publikationen vor. Durch die Verbindung von Low-Level-Sensor-Prinzipien mit Higher-Level-Phänomenen werden in der Dissertation anschließ-end Arbeiten aus verschiedenen Bereichen zusammengefasst, darunter (i) physiologische Überwachung und Gesundheit, (ii) Bewegung und Aktivität, (iii) Interaktion und (iv) Authentifizierung und Identifizierung. Diese Dissertation baut auf der bestehenden Forschung im Bereich der physiologischen Überwachung und Gesundheit mit Hilfe von Earables auf und stellt fortschrittliche Algorithmen, statistische Auswertungen und empirische Studien vor, um die Machbarkeit der Messung der Atemfrequenz und der Erkennung von Episoden erhöhter Hustenfrequenz durch den Einsatz von In-Ear-Beschleunigungsmessern und Gyroskopen zu demonstrieren. Diese neuartigen Sensorfunktionen unterstreichen das Potenzial von Earables, einen gesünderen Lebensstil zu fördern und eine proaktive Gesundheitsversorgung zu ermöglichen. Darüber hinaus wird in dieser Dissertation ein innovativer Eye-Tracking-Ansatz namens "earEOG" vorgestellt, welcher Aktivitätserkennung erleichtern soll. Durch die systematische Auswertung von Elektrodenpotentialen, die um die Ohren herum mittels eines modifizierten Kopfhörers gemessen werden, eröffnet diese Dissertation einen neuen Weg zur Messung der Blickrichtung. Dabei ist das Verfahren weniger aufdringlich und komfortabler als bisherige Ansätze. Darüber hinaus wird ein Regressionsmodell eingeführt, um absolute Änderungen des Blickwinkels auf der Grundlage von earEOG vorherzusagen. Diese Entwicklung eröffnet neue Möglichkeiten für Forschung, welche sich nahtlos in das tägliche Leben integrieren lässt und tiefere Einblicke in das menschliche Verhalten ermöglicht. Weiterhin zeigt diese Arbeit, wie sich die einzigarte Bauform von Earables mit Sensorik kombinieren lässt, um neuartige Phänomene zu erkennen. Um die Interaktionsmöglichkeiten von Earables zu verbessern, wird in dieser Dissertation eine diskrete Eingabetechnik namens "EarRumble" vorgestellt, die auf der freiwilligen Kontrolle des Tensor Tympani Muskels im Mittelohr beruht. Die Dissertation bietet Einblicke in die Verbreitung, die Benutzerfreundlichkeit und den Komfort von EarRumble, zusammen mit praktischen Anwendungen in zwei realen Szenarien. Der EarRumble-Ansatz erweitert das Ohr von einem rein rezeptiven Organ zu einem Organ, das nicht nur Signale empfangen, sondern auch Ausgangssignale erzeugen kann. Im Wesentlichen wird das Ohr als zusätzliches interaktives Medium eingesetzt, welches eine freihändige und augenfreie Kommunikation zwischen Mensch und Maschine ermöglicht. EarRumble stellt eine Interaktionstechnik vor, die von den Nutzern als "magisch und fast telepathisch" beschrieben wird, und zeigt ein erhebliches ungenutztes Potenzial im Bereich der Earables auf. Aufbauend auf den vorhergehenden Ergebnissen der verschiedenen Anwendungsbereiche und Forschungserkenntnisse mündet die Dissertation in einer offenen Hard- und Software-Plattform für Earables namens "OpenEarable". OpenEarable umfasst eine Reihe fortschrittlicher Sensorfunktionen, die für verschiedene ohrbasierte Forschungsanwendungen geeignet sind, und ist gleichzeitig einfach herzustellen. Hierdurch werden die Einstiegshürden in die ohrbasierte Sensorforschung gesenkt und OpenEarable trägt somit dazu bei, das gesamte Potenzial von Earables auszuschöpfen. Darüber hinaus trägt die Dissertation grundlegenden Designrichtlinien und Referenzarchitekturen für Earables bei. Durch diese Forschung schließt die Dissertation die Lücke zwischen der Grundlagenforschung zu ohrbasierten Sensoren und deren praktischem Einsatz in realen Szenarien. Zusammenfassend liefert die Dissertation neue Nutzungsszenarien, Algorithmen, Hardware-Prototypen, statistische Auswertungen, empirische Studien und Designrichtlinien, um das Feld des Earable Computing voranzutreiben. Darüber hinaus erweitert diese Dissertation den traditionellen Anwendungsbereich von Kopfhörern, indem sie die auf Audio fokussierten Geräte zu einer Plattform erweitert, welche eine Vielzahl fortschrittlicher Sensorfähigkeiten bietet, um Eigenschaften, Prozesse und Aktivitäten zu erfassen. Diese Neuausrichtung ermöglicht es Earables sich als bedeutende Wearable Kategorie zu etablieren, und die Vision von Earables als eine vielseitige Sensorenplattform zur Erweiterung der menschlichen Fähigkeiten wird somit zunehmend realer

Ankle-Actuated Human-Machine Interface for Walking in Virtual Reality

This thesis work presents design, implementation and experimental study of an impedance type ankle haptic interface for providing users with the immersive navigation experience in virtual reality (VR). The ankle platform enables the use of foot-tapping gestures to reproduce realistic walking experience in VR and to haptically render different types of walking terrains. The system is designed to be used by seated users allowing more comfort, causing less fatigue and motion sickness. The custom-designed ankle interface is composed of a single actuator-sensors system making it a cost-efficient solution for VR applications. The designed interface consists of a single degree of freedom actuated platform which can rotate around the ankle joint of the user. The platform is impedance controlled around the horizontal position by an electric motor and capstan transmission system. to perform walking in a virtual scene, a seated user is expected to perform walking gestures in form of ankle plantar-flexion and dorsiflexion movements causing the platform to tilt forward and backward. We present three algorithms for simulating the immersive locomotion of a VR avatar using the platform movement information. We also designed multiple impedance controllers to render haptic feedback for different virtual terrains during walking. We carried out experiments to understand how quickly users adapt to the interface, how well they can control their locomotion speed in VR, and how well they can distinguish different types of terrains presented through haptic feedback. We implemented qualitative questionnaires on the usability of the device and the task load of the experimental procedures. The experimental studies demonstrated that the interface can be easily used to navigate in VR and it is capable of rendering dynamic multi-layer complex terrains containing structures with different stiffness and brittleness properties

The autotelic experience : a design approach to user experience

Si les principes d’utilisabilité guident la conception de solutions de design interactif pour s’assurer que celles-ci soient « utilisables », quels principes guident la conception d’objets interactifs pour s’assurer que l’expérience subjective de l’usager (UX) soit adéquate et mémorable? Que manque-t-il au cadre de l‘UX pour expliquer, comprendre, et anticiper en tant que designer une expérience mémorable (‘an experience’; Dewey, 1934)? La question centrale est issue d’une double problématique : (1) le cadre théorique de l’UX est incomplet, et (2) les processus et capacités des designers ne sont pas considérés et utilisés à leur pleine capacité en conception UX. Pour répondre à cette question, nous proposons de compléter les modèles de l’UX avec la notion d’expérience autotélique qui appartient principalement à deux cadres théoriques ayant bien cerné l’expérience subjective, soit l’expérience optimale (ou Flow) de Csikszentmihalyi (1988) et l’expérience esthétique selon Schaeffer (2001). L’autotélie est une dimension interne du Flow alors qu’elle couvre toute l’expérience esthétique. L’autotélie est une expérience d’éveil au moment même de l’interaction. Cette prise de conscience est accompagnée d’une imperceptible tension de vouloir faire durer ce moment pour faire durer le plaisir qu’il génère. Trois études exploratoires ont été faites, s’appuyant sur une analyse faite à partir d’un cadre théorique en trois parties : le Flow, les signes d’activité non verbale (les gestes physiques) et verbale (le discours) ont été évalués pour voir comment ceux-ci s’associent. Nos résultats tendent à prouver que les processus spatiaux jouent un rôle de premier plan dans l’expérience autotélique et par conséquent dans une UX optimale. De plus, ils suggèrent que les expériences pragmatique et autotélique sont ancrées dans un seul et même contenu, et que leur différence tient au type d’attention que le participant porte sur l’interaction, l’attention ordinaire ou de type autotélique. Ces résultats nous ont menés à proposer un modèle pour la conception UX. L’élément nouveau, resté jusqu’alors inaperçu, consiste à s’assurer que l’interface (au sens large) appelle une attitude réceptive à l’inattendu, pour qu’une information puisse déclencher les processus spatiaux, offrant une opportunité de passer de l’attention ordinaire à l’attention autotélique. Le nouveau modèle ouvre la porte à une meilleure valorisation des habiletés et processus du designer au sein de l’équipe multidisciplinaire en conception UX.If usability guides the formal organisation of interactive systems as it pertains to being usable, useful and efficient, what principle(s) guide(s) the formal organisation of interactive systems when it comes to give form to the subjective dimension of the user experience? This question came from two perceived gaps in our understanding of UX: (1) the UX theoretical framework appears incomplete to this day. Going beyond experiencing, what is at play during Dewey’s an experience? (2) The process and abilities of designers are underused in the current theoretical and practical UX framework; what would provide a more designerly approach? We propose that the autotelic experience could bridge these gaps and be the UX counterpart to usability. The autotelic experience is an internal dimension at the heart of the optimal experience—Flow—(Csikszentmihalyi, 1975) and covering the whole of the aesthetic experience (Schaeffer, 2000). The autotelic experience is a shift in awareness occurring during the interaction. This awareness is accompanied by an imperceptible tension of wanting to make this moment last in order to continue enjoying the pleasure it generates (a circular motivation to stay in the interaction for the sake of the interaction itself) (Schaeffer, 2000). Our results suggest the key to the autotelic experience sits with visuospatial reasoning or more specifically to right hemisphere (RH) activation. Three exploratory studies were conducted, using a three-part theoretical framework where Flow, signs of nonverbal / spatial activity (physical gestures) and of verbal activity (discourse) were assessed for their various associations. The main contribution of this research is a model of autotelic experience made of three interlocking elements (high positive pressure, low mental demand and an openness to unexpected events) contextualised by either an active or a receptive engagement on the part of the user. One of the findings is that the pragmatic experience and the autotelic experience (which we have associated to Dewey’s an experience, 1934), are based on one and the same content, the only difference is the shift in attention on the participant’s part. All the elements of the model are known, but one, to design the experience in a way to keep the user open to the unexpected. This one element supports the occurrence of the shift from ordinary to autotelic attention. The new model opens the door to a better appreciation of designers’ skills and processes within multidisciplinary team in UX design

Capacitive Sensing and Communication for Ubiquitous Interaction and Environmental Perception

During the last decade, the functionalities of electronic devices within a living environment constantly increased. Besides the personal computer, now tablet PCs, smart household appliances, and smartwatches enriched the technology landscape. The trend towards an ever-growing number of computing systems has resulted in many highly heterogeneous human-machine interfaces. Users are forced to adapt to technology instead of having the technology adapt to them. Gathering context information about the user is a key factor for improving the interaction experience. Emerging wearable devices show the benefits of sophisticated sensors which make interaction more efficient, natural, and enjoyable. However, many technologies still lack of these desirable properties, motivating me to work towards new ways of sensing a user's actions and thus enriching the context. In my dissertation I follow a human-centric approach which ranges from sensing hand movements to recognizing whole-body interactions with objects. This goal can be approached with a vast variety of novel and existing sensing approaches. I focused on perceiving the environment with quasi-electrostatic fields by making use of capacitive coupling between devices and objects. Following this approach, it is possible to implement interfaces that are able to recognize gestures, body movements and manipulations of the environment at typical distances up to 50cm. These sensors usually have a limited resolution and can be sensitive to other conductive objects or electrical devices that affect electric fields. The technique allows for designing very energy-efficient and high-speed sensors that can be deployed unobtrusively underneath any kind of non-conductive surface. Compared to other sensing techniques, exploiting capacitive coupling also has a low impact on a user's perceived privacy. In this work, I also aim at enhancing the interaction experience with new perceptional capabilities based on capacitive coupling. I follow a bottom-up methodology and begin by presenting two low-level approaches for environmental perception. In order to perceive a user in detail, I present a rapid prototyping toolkit for capacitive proximity sensing. The prototyping toolkit shows significant advancements in terms of temporal and spatial resolution. Due to some limitations, namely the inability to determine the identity and fine-grained manipulations of objects, I contribute a generic method for communications based on capacitive coupling. The method allows for designing highly interactive systems that can exchange information through air and the human body. I furthermore show how human body parts can be recognized from capacitive proximity sensors. The method is able to extract multiple object parameters and track body parts in real-time. I conclude my thesis with contributions in the domain of context-aware devices and explicit gesture-recognition systems

Transforming our World through Universal Design for Human Development

An environment, or any building product or service in it, should ideally be designed to meet the needs of all those who wish to use it. Universal Design is the design and composition of environments, products, and services so that they can be accessed, understood and used to the greatest extent possible by all people, regardless of their age, size, ability or disability. It creates products, services and environments that meet people’s needs. In short, Universal Design is good design. This book presents the proceedings of UD2022, the 6th International Conference on Universal Design, held from 7 - 9 September 2022 in Brescia, Italy.The conference is targeted at professionals and academics interested in the theme of universal design as related to the built environment and the wellbeing of users, but also covers mobility and urban environments, knowledge, and information transfer, bringing together research knowledge and best practice from all over the world. The book contains 72 papers from 13 countries, grouped into 8 sections and covering topics including the design of inclusive natural environments and urban spaces, communities, neighborhoods and cities; housing; healthcare; mobility and transport systems; and universally- designed learning environments, work places, cultural and recreational spaces. One section is devoted to universal design and cultural heritage, which had a particular focus at this edition of the conference. The book reflects the professional and disciplinary diversity represented in the UD movement, and will be of interest to all those whose work involves inclusive design

Alienated Social Reproduction: A study on the politics of neoliberal urban restructuring in Leipzig, East Germany

This thesis untangles the influence of neoliberal urban restructuring on political polarization in Leipzig, East Germany, and demonstrates how in turn the local, politicized relations of tenants marked by solidarities, fragmentation and authoritarianism, impact urban restructuring. Uncovering the interrelation of housing privatization and financialization driven urban change since the end of state socialism with tenants’ political subjectivation, it offers an interdisciplinary contribution to urban political economy and the political, sociological, and geographical study of the formation of political subjectivities. Through retroductive research based on a qualitative and ethnographic empirical case study, it proposes a relational lens to inquire the interdependence of neoliberal urban restructuring and emergent relations of, among and between tenants. After illustrating the affectively mediated patterns of housing financialization at the base of the neoliberal restructuring of an exceptional, East German boomtown, the thesis then shows how this structural process is reproduced through the stratified effects of residential alienation. Therewith, a multi-scalar theorization of residential alienation is developed in its dialectical counterpart with appropriation. The analysis of its structural, stratified psychosocial, and meso-relational aspects reveals that neoliberal urban restructuring reproduces hierarchical class divisions among tenants. These interplay with tenants’ spatialized (dis)identification and temporalities of belonging and constitute a context favourable for the emergence of fragmentations between tenants and groups of tenants. Introducing this concept as a pivotal part of residential alienation, it is demonstrated how fragmentations (a) shape the politically polarized climate of Leipzig by limiting solidarities and nurturing authoritarian divisions, and (b) tendentially reproduce neoliberal urban restructuring