Capacitive Sensing and Communication for Ubiquitous Interaction and Environmental Perception

During the last decade, the functionalities of electronic devices within a living environment constantly increased. Besides the personal computer, now tablet PCs, smart household appliances, and smartwatches enriched the technology landscape. The trend towards an ever-growing number of computing systems has resulted in many highly heterogeneous human-machine interfaces. Users are forced to adapt to technology instead of having the technology adapt to them. Gathering context information about the user is a key factor for improving the interaction experience. Emerging wearable devices show the benefits of sophisticated sensors which make interaction more efficient, natural, and enjoyable. However, many technologies still lack of these desirable properties, motivating me to work towards new ways of sensing a user's actions and thus enriching the context. In my dissertation I follow a human-centric approach which ranges from sensing hand movements to recognizing whole-body interactions with objects. This goal can be approached with a vast variety of novel and existing sensing approaches. I focused on perceiving the environment with quasi-electrostatic fields by making use of capacitive coupling between devices and objects. Following this approach, it is possible to implement interfaces that are able to recognize gestures, body movements and manipulations of the environment at typical distances up to 50cm. These sensors usually have a limited resolution and can be sensitive to other conductive objects or electrical devices that affect electric fields. The technique allows for designing very energy-efficient and high-speed sensors that can be deployed unobtrusively underneath any kind of non-conductive surface. Compared to other sensing techniques, exploiting capacitive coupling also has a low impact on a user's perceived privacy. In this work, I also aim at enhancing the interaction experience with new perceptional capabilities based on capacitive coupling. I follow a bottom-up methodology and begin by presenting two low-level approaches for environmental perception. In order to perceive a user in detail, I present a rapid prototyping toolkit for capacitive proximity sensing. The prototyping toolkit shows significant advancements in terms of temporal and spatial resolution. Due to some limitations, namely the inability to determine the identity and fine-grained manipulations of objects, I contribute a generic method for communications based on capacitive coupling. The method allows for designing highly interactive systems that can exchange information through air and the human body. I furthermore show how human body parts can be recognized from capacitive proximity sensors. The method is able to extract multiple object parameters and track body parts in real-time. I conclude my thesis with contributions in the domain of context-aware devices and explicit gesture-recognition systems

Capacitive Sensing and Communication for Ubiquitous Interaction and Environmental Perception

During the last decade, the functionalities of electronic devices within a living environment constantly increased. Besides the personal computer, now tablet PCs, smart household appliances, and smartwatches enriched the technology landscape. The trend towards an ever-growing number of computing systems has resulted in many highly heterogeneous human-machine interfaces. Users are forced to adapt to technology instead of having the technology adapt to them. Gathering context information about the user is a key factor for improving the interaction experience. Emerging wearable devices show the benefits of sophisticated sensors which make interaction more efficient, natural, and enjoyable. However, many technologies still lack of these desirable properties, motivating me to work towards new ways of sensing a user's actions and thus enriching the context. In my dissertation I follow a human-centric approach which ranges from sensing hand movements to recognizing whole-body interactions with objects. This goal can be approached with a vast variety of novel and existing sensing approaches. I focused on perceiving the environment with quasi-electrostatic fields by making use of capacitive coupling between devices and objects. Following this approach, it is possible to implement interfaces that are able to recognize gestures, body movements and manipulations of the environment at typical distances up to 50cm. These sensors usually have a limited resolution and can be sensitive to other conductive objects or electrical devices that affect electric fields. The technique allows for designing very energy-efficient and high-speed sensors that can be deployed unobtrusively underneath any kind of non-conductive surface. Compared to other sensing techniques, exploiting capacitive coupling also has a low impact on a user's perceived privacy. In this work, I also aim at enhancing the interaction experience with new perceptional capabilities based on capacitive coupling. I follow a bottom-up methodology and begin by presenting two low-level approaches for environmental perception. In order to perceive a user in detail, I present a rapid prototyping toolkit for capacitive proximity sensing. The prototyping toolkit shows significant advancements in terms of temporal and spatial resolution. Due to some limitations, namely the inability to determine the identity and fine-grained manipulations of objects, I contribute a generic method for communications based on capacitive coupling. The method allows for designing highly interactive systems that can exchange information through air and the human body. I furthermore show how human body parts can be recognized from capacitive proximity sensors. The method is able to extract multiple object parameters and track body parts in real-time. I conclude my thesis with contributions in the domain of context-aware devices and explicit gesture-recognition systems

Capacitive sensing and communication for ubiquitous interaction and environmental perception

Innerhalb der letzten Jahre haben sich die Funktionalitäten der Geräte in einer Wohnumgebung stark erweitert. Dieser Trend kann zu großen Teilen dem technischen Fortschritt in der Elektro- und Informationstechnik zugeschrieben werden. Im Laufe dieser Entwicklung wurden bestehende Geräte, wie bspw. Personal Computer, miniaturisiert, und neue Nutzungsszenarien entstanden. Durch die Verfügbarkeit von immer effizienteren Prozessoren und neuen energiesparenden Sensoren entwickelten sich neue Gerätekatgorien wie Smartwatches und Smartphones. Neben diesen vielen unterschiedlichen Geräten existieren ebenfalls viele heterogene Benutzungskonzepte. Die Nutzung der Geräte ist häufig mit Problemen innerhalb aller Altersklassen verbunden, da immer mehr Nutzungsarten verinnerlicht werden müssen. Obwohl die technischen Möglichkeiten moderner Geräte meist sehr groß sind, sind Nutzer oft nur in der Lage einen kleinen Anteil tatsächlich auszuschöpfen. Aufgrund dieser Probleme entstanden neue Interaktionsarten, bspw. basierend auf Gesten oder Sprache. Die damit verbundenen neuen Technologien haben ein gemeinsames Ziel - sie sollen Interaktion natürlicher und einfacher machen. Aber auch solche Interaktionsarten führen zu neuem Lernaufwand bei Nutzern und somit zunächst zu erhöhter Komplexität. Trotzdem können diese natürlicheren Formen der Mensch-Technik-Interaktion als ein Schritt in die richtige Richtung angesehen werden. Der Weg zu besser generalisierbarem und verständlichen Interaktionsdesign ist eine große Herausforderung für die Wissenschaft. Neben einer höheren Interoperabilität zwischen unterschiedlichen Geräten kann ein Verständnis des Nutzers und seiner aktuellen Situation die Interaktion mit einem technischen System wesentlich vereinfachen [Sch00]. Nach einem bekannten Artikel von Mark Weiser [Wei99] kann eine intelligente Umgebung, die die Nutzerwünsche erkennt und die Erfüllung dieser unterstützt, als Ziel angesehen werden. In einer solchen Welt integrieren sich Geräte unauffällig und eigenständig in das technische System. Somit verschwindet die Technologie von der Blickfläche und wird ein nicht unterscheidbarer Teil der Umgebung eines Nutzers. 15 Jahre nachdem diese Vision formuliert wurde, hat sie nichts von ihrer Relevanz verloren. Auch wenn einige Geräteklassen, wie Smartwatches, bereits sehr intelligent sind, ist die Entwicklung noch nicht in der breiten Masse der eingebetteten Systeme in einer Wohnumgebung angekommen. Einer der wichtigsten Faktoren, um Weisers Ziel zu erreichen, ist die Wahrnehmung des Nutzers und seiner Situation. Diese Wahrnehmung ermöglicht es, einen Kontext des emotionalen und physischen Zustandes zu konstruieren, was als erster Schritt zum Verständnis der Nutzerziele gesehen werden kann. Bei einem Menschen basiert die Wahrnehmung auf Sinnen, so auch bei einem technischen System. Um dies zu erreichen, können eine Vielzahl von Sensoren genutzt werden, die unterschiedlichste physikalische Größen messen. Zum Beispiel ist es möglich die physischen Aktivitäten einer Person, wie bspw. Laufen, mit Hilfe von Beschleunigungssensoren im Mobiltelefon zu messen. Aufbauend auf diesen Daten können dem Nutzer mögliche Reiserouten oder Termine dynamisch angezeigt werden. Das System hat somit einen Teil des Nutzerziels identifiziert und kann dynamisch Unterstützung bieten. Ein anderes Nutzungsszenario, das inzwischen weit verbreitet ist, ist das automatische Entsperren des Smartphones wenn das Gesicht des Nutzers in der Nähe ist. Die Wahl der jeweiligen Sensortechnik, oder auch Modalität, ist sehr schwierig, da unterschiedliche Faktoren miteinander abgewogen werden müssen. Während dieses Prozesses offenbaren alle Technologien eine Reihe von Vor- und Nachteilen, die sehr stark vom endgültigen Nutzungsfall abhängen. Die Erweiterung der Wahrnehmungsmöglichkeiten von bestehenden Sensoren findet in der Wissenschaft seit jeher große Aufmerksamkeit. Ein weiteres Ziel ist die Reduktion von Hemmnissen während des Designs von Sensorsystemen, wie bspw. die Verringerung des Energieverbrauchs oder des Platzbedarfs. Im ersten Teil dieser Arbeit erörtere ich technologieübergreifend Ansätze, um die Umgebung und einen Nutzer wahrzunehmen. Ich orientiere mich an drei Wahrnehmungszielen: Der Interaktion mit Oberflächen, der Erkennung von Körperbewegungen und der Erkennung von Interaktionen mit Objekten. Mit diesen Zielen betrachte ich unterschiedliche Sensortechnologien, wie Kameras, Ultraschallsensoren, Infrarotsensoren und Ansätze basierend auf elektromagnetischen Wellen. Alle Technologien haben ihre spezifischen Eigenarten, welche unter anderem in der Auflösung und Reichweite, im Energieverbrauch und in der Platzierung liegen. In meiner Arbeit konzentriere ich mich auf die Wahrnehmung eines Nutzers mit Hilfe von quasistatischen elektrischen Feldern oder auch kapazitive Sensorik. Zunächst erläutere ich die Funktionsweise kapazitiver Wahrnehmung im Detail, beginnend bei schwach elektrischen Fischen in der Natur bis hin zu modernen Gestenerkennungssystemen. Auf Basis dieser Technologie ist es möglich, Nutzerschnittstellen zu entwickeln, die in der Lage sind Gesten, Körperbewegungen und Manipulationen der Umgebung in bis zu 50 cm Entfernung zu erkennen. Im Gegensatz zu anderen Methoden, wie bspw. Kameras, ist kapazitive Sensorik nicht abhängig von Beleuchtung und visueller Verdeckung. Aufgrund der geringeren Auflösung haben diese Sensoren einen geringen Einfluss auf die gefühlte Privatsphäre des Nutzers. Kapazitive Sensoren sind sehr energieeffizient und können unauffällig unter allen nichtleitenden Materialien angebracht werden. Basierend auf dieser Modalität wurden Nutzerlokalisierungssysteme [VMV09, SL08], tragbare Aktivitätserkennungssysteme [CAL10, CGL 12] und intelligente Möbel [WKBS07b] realisiert. Wie bereits zuvor beschrieben, ist eine Wahrnehmung der Umgebung essenziell um die Interaktion mit Technik zu vereinfachen. Auf Basis von Informationen über den Nutzer können sich technische Systeme intelligent anpassen und automatische Entscheidungen treffen. Um dieses Ziel mit Hilfe von kapazitiver Sensorik zu erreichen, orientiere ich mich in den folgenden Kapiteln an drei Forschungsfragen: (1) Der Erweiterung kapazitiver Wahrnehmungsmethoden, (2) dem Erkennen von Körperteilen eines Nutzers auf Basis kapazitiver Sensoren, und (3) dem expliziten und impliziten Interaktionsdesign solcher Systeme. Die erste Forschungsfrage bearbeite ich mit einer neuen Plattform OpenCapSense zur Prototypenentwicklung mit Hilfe von kapazitiver Sensorik [GPBB 13]. OpenCapSense ist in der Lage, Körperteile in 35 cm mit einer Auflösung von ca. 1 cm zu erkennen. Es unterstützt zudem sehr hohe Aktualisierungsraten im Bereich von bis zu einem Kilohertz. Somit lassen sich schnelle Interaktionen, wie bspw. Stürze durch Personen oder durchgeführte Gesten, erfassen. Gegenüber einer bestehenden Plattform bietet OpenCapSense eine signifikant höhere zeitliche und räumliche Auflösung. Ich validiere OpenCapSense mit einigen Anwendungsbeispielen, wie der Sturzerkennung von Personen, einem Gestenerkennungsgerät oder einer interaktiven Kunstinstallation (gezeigt in Abbildung 0.1). Da OpenCapSense nicht in der Lage ist, Menschen und Objekte eindeutig zu identifizieren und sehr feine Manipulationen nicht detektiert werden, stelle ich mich der Forschungsfrage mit einem zweiten Beitrag. Ich untersuche das Konzept der kapazitiven Nahfeldkommunikation (CapNFC), um Informationen über Manipulationen und Identität von Objekten mit Hilfe von kapazitiver Kopplung zu übertragen. Die Umgebung eines Objektes kann somit als Informationsraum angesehen werden, in dem Nachrichten veröffentlicht werden können. Cap- NFC kombiniert Sensorik und Kommunikation in intelligenter Weise. Da der menschliche Körper einen Einfluss auf die kapazitive Übertragung hat, können bspw. Näherungen und Berührungen detektiert werden. Mit Hilfe von CapNFC ist es ebenfalls möglich, Informationen durch den menschlichen Körper zu senden. Insbesondere diese Kommunikationsmethode ist sehr innovativ, um intuitive und höchst interaktive Systeme zu designen. Die beiden wissenschaftlichen Beiträge zu dieser Forschungsfrage werden in den Kapiteln 3 und 4 vorgestellt. Innerhalb der zweiten Forschungsfrage konzentriere ich mich auf die Erkennung von Körperteilen oder abstrakt Objekten mit Hilfe von kapazitiven Sensoren. Hier existieren viele Ansätze zur diskreten Klassifikation von Sensorwerten, während Verfahren zur Extraktion von kontinuierliche Informationen weniger stark vertreten sind. Um Objekte mit kapazitiven Näherungssensoren zu erkennen, gibt es bereits einige Ansätze, die keine detaillierten Informationen über mehr als drei Freiheitsgerade eines Objektes erkennen können. So gibt es zum Beispiel aktuell kaum Methodik, um neben der 3D-Position das Öffnen und Schließen einer Hand zu erkennen. Mit Swiss-Cheese Extended stelle ich einen Verarbeitungsalgorithmus zur Objekterkennung vor [GPBKK13]. Der Algorithmus erkennt mehrere Objekte im Interaktionsbereich über einem Gerät und verfolgt diese während der Interaktion. Swiss-Cheese Extended nutzt einen Partikelfilter, um mehrere Hypothesen effizient und in Echtzeit evaluieren zu können. Die Methode wird mit einem eigens entwickelten kapazitiven Gestenerkennungssystem [GPB12] evaluiert. Der wissenschaftliche Beitrag findet sich in Kapitel 5. Die dritte Forschungsfrage zum Interaktionsdesign kapazitiver Systeme bearbeite ich zunächst aus impliziter Sicht in Kapitel 6. Hier ist das Ziel die Nutzersituation implizit zu erkennen, ohne dass der Nutzer direkt und willentlich mit einem System interagiert. Die Erkennung dieser Situation trägt somit zum Ausführungskontext des Systems bei und kann zu einer intelligenten Systemreaktion führen. Ein Unterbereich der impliziten Interaktion ist die Erkennung physischer Aktivitäten, welche auch als Aktivitätserkennung bezeichnet wird. Ich untersuche zunächst die Erkennung von Aktivitäten mit körpergetragenen kapazitiven Sensoren, die die Nähe und Natur von Gegenständen messen können [GPBB12]. Im Folgenden wende ich mich stationären Installationen mit Fokus auf intelligente Möbel zu. Ich evaluiere anhand eines augmentierten Sofas und eines Schreibtisches die Erkennung von Nutzerposen und Aktivitäten [GPBK 13, GPMB11]. Im Rahmen der gewollten, also expliziten Interaktion, setze ich mich mit der Nutzerfreundlichkeit kapazitiver Interaktionssystem auseinander. Insbesondere wenn Sensoren unauffällig in der Umgebung platziert werden, ist es für Nutzer häufig nicht ersichtlich, dass eine Interaktion möglich ist. Außerdem ist unklar, wie Interaktion und Systemreaktion zusammenhängen und welche Arten der Interaktion unterstützt werden. Mit Rainbowfish präsentiere ich ein kapazitives Gestenerkennungsgerät, welches mögliche Interaktionen auf der Oberfläche visualisiert [GPBW14a, GPBW 14b]. Somit können Gesten und Systemreaktionen angedeutet werden und dem Nutzer Rückmeldungen zu erfolgten Interaktionen bereitgestellt werden. Ich schließe meine Dissertation mit einer Zusammenfassung und Diskussion der behandelten Themen ab. Außerdem präsentiere ich einen Ausblick auf Arbeiten, die ich im Rahmen meiner zukünftigen wissenschaftlichen Arbeit weiter untersuchen möchte