Investigating User Needs for Bio-sensing and Affective Wearables

Bio-sensing wearables are currently advancing to provide users with a lot of information about their physiological and affective states. However, relatively little is known about users' interest in acquiring, sharing and receiving this information and through which channels and modalities. To close this gap, we report on the results of an online survey (N=109) exploring principle aspects of the design space of wearables such as data types, contexts, feedback modalities and sharing behaviors. Results show that users are interested in obtaining physiological, emotional and cognitive data through modalities beyond traditional touchscreen output. Valence of the information, whether positive or negative affects the sharing behaviors

Enabling micro-entertainment in vehicles based on context information

People spend a significant amount of time in their cars (US: 86 minutes/day, Europe: 43 minutes/day) while commuting, shop-ping, or traveling. Hence, the variety of entertainment in the car increases, and many vehicles are already equipped with displays, allowing for watching news, videos, accessing the Internet, or playing games. At the same time, the urbanization caused a mas-sive increase of traffic volume, which led to people spending an ever-increasing amount of their time in front of red traffic lights. An observation of the prevailing forms of entertainment in the car reveals that content such as text, videos, or games are often a mere adaptation of content produced for television, public displays, PCs, or mobile phones and do not adapt to the situation in the car. In this paper we report on a web survey assessing which forms of entertainment and which types of content are considered to be useful for in-car entertainment by drivers. We then introduce an algorithm, which is capable of learning standing times in front of traffic lights based on GPS information only. This, on one hand, allows for providing content of appropriate length, on the other hand, for directing the attention of the driver back to-wards the street at the right time. Finally, we present a prototype implemen-tation and a qualitative evaluation

Nutzung und Teilung von Kontext : computervermittelte nonverbale Kommunikation

Humans are social beings and need to communicate and share their emotions. Communication takes place by exchanging not only verbal information but also nonverbal information. With the development of human civilization, communication is undergoing a constant change. The advances in technologies have led to new communication mediums allowing non-colocated persons to communicate and exchange information. Further, the ubiquity of computers, such as mobile phones, has provided the possibility to use computing technologies for different means in various contexts. Users most often carry the devices with themselves and are even emotionally attached to them. Such computer-mediated communication is generally non face-to-face and communicators are in different contexts. While face-to-face communication consists of verbal and nonverbal information, the lack of nonverbal and contextual information in non-face-to-face communication prevents effective communication and may lead to confusion. Therefore, exploiting and sharing contextual information is essential to enhance the communication between non-colocated persons. This thesis investigates how to exploit physiological and cognitive information to retrieve awareness about users themselves and their contexts as well as sharing such information using nonverbal modalities through computer-mediated communication channels. It discusses how information about certain user's activities can be obtained using brain signals and user's explicit interactions. Further, it explores nonverbal modalities as a communication channel to express and share context and awareness. The research questions are addressed using empirical methods commonly applied in the human-computer interaction research domain. In the initial step, we explore two sources as means to obtain the user's context and monitor specific activities. We, first, assess brain signals acquired from commercial brain-computer interfaces (BCI) to determine common activities, i.e., reading, listening, and relaxing. We further assess how the user's emotional state correlates with emotional information provided by the BCIs using videos as stimuli. Second, we investigate how only explicit interactions with mobile applications, instead of using any sensor, can be used to determine the user's physical activities. In particular, we explore how the explicit interaction can be utilized to monitor sleeping as one of the prime everyday activities. Monitoring sleep information shows not only one's daily routines but also indicates the physical state. We assess how exchanging information about one's sleep behavior impacts behavior and awareness in communication. We conduct user studies in the controlled setups and in the wild using application stores to obtain findings with high internal and external validity. In the next step, we investigate sharing context information using nonverbal channels. We explore rhythm-based tones as a nonverbal mean for communication. We assess how melody composition can be used as a way to express and share emotions. Music, in general, can communicate one's state of mind and it is often characterized as the language of emotion. We use short messages on mobile phones, as one of the most popular services on mobile phones at this time, for sharing emotions. Furthermore, we examine how audio previewing of messages can be used to communicate contents and enable awareness. The current notification approaches such as visual cues and audio tones aim at solely informing the receiver that a message arrived without revealing any further information. We propose an algorithm for audio previewing messages in such a way that content and intention of text messages is additionally conveyed. In the final step, we explore iconic interfaces on mobile phones as a nonverbal modality for sharing sentiments and connect non-colocated users. Through a use case, we assess how the sentiments collected via this channel correlates with moments in a real-time while watching TV. We carry out a study with a large number of users to assess this approach in a realistic context. The experience gained while conducting several studies in the wild using the application stores allowed us to identify challenges and limitations of this methodology. Further, reviewing prior work that used similar approaches enabled us to have a comprehensive overview about advantages and disadvantages of such studies. Based on the findings, we propose best practices how such user studies can be carried out. We discuss aspects and challenges that should be taken into account during designing such user studies. The contributions of this thesis provide insights into using physiological and cognitive data to determine activities and emotional states of users and obtain context information. We present how explicit interactions with a mobile application can be leveraged to monitor sleeping behavior of users without using any wearable sensor. It further presents that rhythm-based tones and iconic user interfaces, as nonverbal modalities, can be used to share contextual information. We discuss how sharing context information can affect users awareness and connectedness. The practices for research through the applications stores can be used as a guideline for researchers who want to address their research questions through this research methodology.Als soziale Wesen haben Menschen das Bedürfnis zu kommunizieren und ihre Gefühle mitzuteilen. Dies geschieht sowohl mittels verbaler als auch nonverbaler Kommunikation. Wie Menschen kommunizieren, ist einem ständigen Wandel unterworfen. Technische Errungenschaften haben Kommunikationsmedien hervorgebracht, die Kommunikation zwischen Personen, die sich nicht am selben Ort befinden, ermöglichen. Durch die Allgegenwärtigkeit von Computern und Mobiltelefonen ist es möglich geworden, zu jedem Zeitpunkt und in beinahe jedem Kontext zu kommunizieren. Heute haben die meisten Menschen Kommunikationsmittel wie Smartphones ständig bei sich. Hierdurch ermöglichte Kommunikation findet in der Regel nicht im direkten Gegenüber statt, und die Kommunizierenden befinden sich in unterschiedlichen Kontexten. Während direkte Kommunikation verbale und nonverbale Informationen beinhaltet, kann das Fehlen von nonverbalen und kontextbezogenen Informationen in der indirekten Kommunikation zu Missverständnissen führen und erfolgreiche Kommunikation verhindern. Deshalb ist es für die Verbesserung der indirekten Kommunikation wesentlich, kontextbezogene Informationen mitzuteilen. In dieser Arbeit wird untersucht, wie physiologische und kognitive Daten genutzt werden können, um sowohl Erkenntnisse über die Nutzer und ihr jeweiliges Umfeld zu gewinnen, als auch solche Informationen computervermittelt auf nonverbalem Weg zu teilen. Es wird diskutiert, wie aus der expliziten Interaktion des Nutzers mit digitalen Geräten Wissen abgeleitet werden kann. Hierfür werden Hirnströme und explizite Interaktionen des Nutzers herangezogen. Weiterhin wird untersucht, wie Informationen über das Umfeld durch nonverbale Kommunikation ausgedrückt und geteilt werden können. Die Forschungsfragen werden mit den im Bereich der Mensch-Computer-Interaktion üblichen empirischen Methoden beantwortet. Im ersten Schritt werden Quellen untersucht, um Informationen über das Umfeld des Nutzers zu gewinnen und Aktivitäten zu beobachten. Es werden zunächst Hirnströme ausgewertet, die mit kommerziellen Brain-Computer-Interfaces (BCI) gewonnen wurden, um allgemeine Aktivitäten, wie Lesen, Zuhören und Entspannen, bestimmen zu können. Weiterhin wird untersucht, wie die durch ein BCI gelieferten Informationen mit emotionalen Zuständen beim betrachten von Filmen korrelieren. Zweitens wird erforscht, wie explizite Interaktion mit mobilen Anwendungen verwendet werden kann, um körperliche Aktivitäten des Nutzers zu ermitteln. Im Speziellen wird untersucht, wie diese Informationen verwertet werden können, um Schlaf als eine unserer Hauptaktivitäten zu detektieren. Aus dem aufgezeichneten Schlafverhalten lassen sich nicht nur tägliche Routinen, sondern auch Hinweise auf den physiologischen Zustand ableiten. Es wird untersucht, wie das Teilen von Informationen über das Schlafverhalten die Achtsamkeit in der Kommunikation beeinflusst. Hierfür werden sowohl kontrollierte Nutzerstudien im Labor als auch Studien ohne direkte Kontrolle der Probanden durchgeführt, um Ergebnisse mit hoher interner und externer Validität zu erhalten. Im nächsten Schritt wird untersucht, wie Informationen über das Umfeld nonverbal geteilt werden können. Dabei werden rhythmische Melodien als Kommunikationsmittel verwendet. Es wird untersucht wie selbsterstellte Melodien eingesetzt werden können, um Emotionen auszudrücken. Dabei setzt die entwickelte Anwendung auf SMS, einem der meistverbreiteten Dienste auf Mobiltelefonen, auf. Hierauf aufsetzend wird betrachtet, wie eine akustische Vorschau auf die Nachricht eingesetzt werden kann, um Inhalte zu kommunizieren. Die etablierten Möglichkeiten einer Benachrichtigung, wie visuelle und akustische Hinweise, zielen lediglich darauf ab, auf den Empfang einer Nachricht hinzuweisen. Sie geben jedoch keinen Hinweis auf den Inhalt der Nachricht. Um dies zu ermöglichen, wurde ein Verfahren entwickelt, um aus dem Inhalt einer Nachricht eine akustische Vorschau abzuleiten. Abschließend werden Icon-basierte Benutzungsschnitt- stellen auf Mobiltelefonen als nonverbaler Kommunikationskanal untersucht. Sie werden verwendet, um räumlich getrennte Nutzer zu verbinden, indem die Nutzer in die Lage versetzt werden, ihre Ansichten auszutauschen. Es wird untersucht, wie die gesammelten Ansichten mit den tatsächlichen Ereignissen korrelieren. Das entwickelte System wird durch eine Feldstudie mit einer großen Teilnehmerzahl evaluiert, um den realisierten Ansatz in einem realistischen Kontext zu betrachten. Die bei den Feldstudien gewonnenen Erfahrungen, ermöglichen es, die Herausforderungen und Einschränkungen der verwendeten Methode zu identifizieren. Aus der Betrachtung verwandter Arbeiten, die diese Methode verwenden, werden die Vor- und Nachteile solcher Feldstudien abgeleitet. Auf Grundlage dieser Erkenntnisse werden Leitlinien für die Durchführung dieser Art von Studien vorgeschlagen. Hierbei werden insbesondere Aspekte, die beim Design solcher Studien berücksichtigt werden sollten, diskutiert. Ein Kernbeitrag dieser Arbeit sind tiefere Einsichten über die Nutzung physiologischer und kognitiver Daten. Es wird insbesondere gezeigt, wie sich aus diesen Daten Aktivitäten und Emotionen von Nutzern ableiten lassen. Zusätzlich wird dargestellt, wie sich aus ihnen Informationen über das Umfeld gewinnen lassen. Es wird gezeigt, wie die explizite Interaktion mit mobilen Anwendungen genutzt werden kann, um das Schlafverhalten eines Anwenders zu beobachten. Es wird weiter beschrieben, wie Rhythmus-basierte Töne und Icon-basierte Benutzungsschnittstellen als nonverbale Kommunikationskanäle genutzt werden können, um Informationen auszutauschen. Es wird diskutiert, wie der Austausch von Informationen über das Umfeld das Bewusstsein für andere Menschen und die Verbundenheit mit ihnen beeinflusst. Die vorgeschlagenen Vorgehensweisen für die Forschung mit App-Stores können als Richtlinie für Forscher genutzt werden, die ihre Forschungsfragen mit dieser Methode beantworten wollen

Assessing the vulnerability of magnetic gestural authentication to video-based shoulder surfing attacks

Secure user authentication on mobile phones is crucial, as they store highly sensitive information. Common approaches to authenticate a user on a mobile phone are based either on entering a PIN, a password, or drawing a pattern. However, these authentication methods are vulnerable to the shoulder surfing attack. The risk of this attack has increased since means for recording high-resolution videos are cheaply and widely accessible. If the attacker can videotape the authentication process, PINs, passwords, and patterns do not even provide the most basic level of security. In this project, we assessed the vulnerability of a magnetic gestural authentication method to the video-based shoulder surfing attack. We chose a scenario that is favourable to the attacker. In a real world environment, we videotaped the interactions of four users performing magnetic signatures on a phone, in the presence of HD cameras from four different angles. We then recruited 22 participants and asked them to watch the videos and try to forge the signatures. The results revealed that with a certain threshold, i.e, th=1.67, none of the forging attacks was successful, whereas at this level all eligible login attempts were successfully recognized. The qualitative feedback also indicated that users found the magnetic gestural signature authentication method to be more secure than PIN-based and 2D signature methods. Copyright 2012 ACM

CardioViz: Contextual Capture and Visualization for Long-term ECG Data

In the project CardioViz we explore a novel system for long-term Electrocardiogram (ECG) monitoring. In contrast to conventional ECG monitoring, the system additionally provides means to capture contextual information, such as activity, location and photos. We investigate how contextual information can be helpful when assessing long term ECG data and when relating anomalies to certain real-world situations. We assume that contextual information correlated over time with the ECG data allows for a better understanding. In the prototype we show the ECG signal together with photos and notes overlayed on a map. It seems that by these hints users can more easily remember where they were and hence what situation might be related to a specific period in the ECG. CardioViz consists of a mobile phone based client application and web based backend. The client application uses the sensors in the phone (e.g. camera) as well as further sensors (ECG, Accelerometer, GPS) connected via Bluetooth. 1