Context-aware gestural interaction in the smart environments of the ubiquitous computing era

A thesis submitted to the University of Bedfordshire in partial fulfilment of the requirements for the degree of Doctor of PhilosophyTechnology is becoming pervasive and the current interfaces are not adequate for the interaction with the smart environments of the ubiquitous computing era. Recently, researchers have started to address this issue introducing the concept of natural user interface, which is mainly based on gestural interactions. Many issues are still open in this emerging domain and, in particular, there is a lack of common guidelines for coherent implementation of gestural interfaces. This research investigates gestural interactions between humans and smart environments. It proposes a novel framework for the high-level organization of the context information. The framework is conceived to provide the support for a novel approach using functional gestures to reduce the gesture ambiguity and the number of gestures in taxonomies and improve the usability. In order to validate this framework, a proof-of-concept has been developed. A prototype has been developed by implementing a novel method for the view-invariant recognition of deictic and dynamic gestures. Tests have been conducted to assess the gesture recognition accuracy and the usability of the interfaces developed following the proposed framework. The results show that the method provides optimal gesture recognition from very different view-points whilst the usability tests have yielded high scores. Further investigation on the context information has been performed tackling the problem of user status. It is intended as human activity and a technique based on an innovative application of electromyography is proposed. The tests show that the proposed technique has achieved good activity recognition accuracy. The context is treated also as system status. In ubiquitous computing, the system can adopt different paradigms: wearable, environmental and pervasive. A novel paradigm, called synergistic paradigm, is presented combining the advantages of the wearable and environmental paradigms. Moreover, it augments the interaction possibilities of the user and ensures better gesture recognition accuracy than with the other paradigms

Wearable chemo/bio-sensors for sweat sensing in sports applications: combining micro-fluidics and novel materials

In the last decade, we have witnessed an exponential growth in the area of clinical diagnostic but surprisingly little has been done on the development of wearable chemo/bio-sensors in the field of sports science. In particular, the use of wearable wireless sensors capable of analysing sweat during physical exercise can provide access to new information sources that can be used to optimise and manage athletes’ performance. Lab-on-a-Chip technology provides a fascinating opportunity for the development of such wearable sensors. In this thesis two different colorimetric wearable microfluidic devices for real- time pH sensing were developed and used during athlete training activity. In one case a textile-based microfluidic platform employing cotton capillarity to drive sweat toward the pH sensitive area is presented that avoids the use of bulky fluid handling apparatus, i.e. pumps. The second case presents a wearable micro-fluidic device based on the use of pH responsive ionogels to obtain real-time sweat pH measurements through photo analysis of their colour variation. The thesis also presents the first example of sweat lactate sensing using an organic electrochemical transistor incorporating an ionogel as solid-state electrolyte. In this chapter, optimization of the lactate oxidase stability when dissolved in number of hydrated ionic liquids is investigated. Finally, a new fabrication protocol for paper-based microfluidic technology is presented, which may have important implications for future applications such as low-cost diagnostics and chemical sensing technologies

Bereitstellung von Umgebungsinformationen und Positionsdaten für ortsbezogene Dienste in Gebäuden

Mit dem Aufkommen und der steigenden Verbreitung von Smartphones, haben ortsbezogene Dienste einen festen Platz im täglichen Leben vieler Nutzer erhalten. Dabei werden auf Basis des Aufenthaltsortes gezielt Informationen gefiltert, Umgebungsinformationen verfügbar gemacht oder Suchergebnisse nach Lokalität bewertet. Zudem werden bestimmte Dienste, wie mobile Routenfindung und Navigation, ermöglicht. Viele Dienste beziehen nicht nur die Position eines Nutzers mit ein, sondern erlauben es, die Position von Freunden anzuzeigen oder automatische Benachrichtigungen beim Betreten bestimmter Regionen zu erzeugen. Erfordert ein ortsbezogener Dienst eine hohe Positionsgenauigkeit, so wird die Position globale Satellitennavigationssysteme bestimmt. Auch in großen komplexen Gebäuden, wie Museen, Flughäfen oder Krankenhäusern, besteht Bedarf an ortsbezogenen Informationen. Beispiele hierfür sind die Suche nach einem speziellen Ausstellungsstück im Museum, die Navigation zum richtigen Gate am Flughafen oder das Treffen mit einem Freund im selben Gebäude. Solche ortsbezogene Dienste in Gebäuden werden im folgenden auch mit dem englischen Begriff Indoor-Location Based Services (I-LBS) bezeichnet. Sie vereinfachen in vielen Situationen unser Leben und werden zukünftig eine ähnliche Verbreitung wie herkömmliche ortbezogene Dienste erlangen. Derzeit existiert jedoch keine Lösung, die I-LBS flächendeckend ermöglicht. Dazu gibt es vor allem zwei Gründe: Zum einen gibt es im Gegensatz zu Außenbereichen keine allgemein verfügbare Kartenbasis. Die Baupläne sind oftmals unter Verschluss und eignen sich mehr für die Planung und Überwachung von Baumaßnahmen als für den semantischen Informationsgewinn. Zum anderen ist der Empfang von Satellitensignalen in Gebäuden so schlecht, dass damit im allgemeinen keine genügend genaue Position bestimmt werden kann. Eine alternative kostengünstige und überall verfügbare Positionsbestimmung von genügend hoher Genauigkeit existiert derzeit nicht. In dieser Arbeit werden Lösungsmöglichkeiten für beide Probleme vorgestellt und evaluiert, die einem Nutzer eine vergleichbare Dienstnutzung erlauben sollen, wie er es in Außenbereichen bereits gewöhnt ist. Anhand der Anforderungen von I-LBS und Ortungssystemen werden zwei verschiedene Umgebungsmodelle entwickelt. Eines basiert auf der Geography Markup Language (GML) und bietet eine flexible Vektor-basierte Repräsentation eines Gebäudes mit hierarchischen und Graph-basierten Elementen. Zudem wird die vollautomatische Erzeugung eines solchen Modells aus Bauplänen vorgestellt, die einen weiteren Schritt zur flächendeckenden Bereitstellung von Plänen für I-LBS darstellt. Das andere Modell basiert auf einer Bitmap als Raster-basierter Kartendarstellung, welche mithilfe von Bildbearbeitungsalgorithmen und Konventionen in der Farbgebung semantisch angereichert wird. Auch hier werden Möglichkeiten zur automatischen Erzeugung des semantischen Modells, beispielsweise aus abfotografierten Fluchtplänen, erörtert. In einem letzten Schritt werden beide Modelle in einem flexiblen hybriden Umgebungsmodell kombiniert, um Anfragen je nach Datenbasis möglichst effizient beantworten zu können. Die Positionsbestimmung in Gebäuden wird anhand von einigen Verbesserungen für Fingerprinting-Ansätze auf Smartphones behandelt. Das Fingerprinting basiert dabei entweder auf Kamerabildern oder auf WLAN-Signalen. Zudem werden zusätzliche Sensoren, wie Kompass und Beschleunigungssensor, zur Verbesserung der Genauigkeit und Robustheit hinzugenommen. Um die Positionsbestimmung für den Einsatz in I-LBS verfügbar zu machen, ist jedoch nicht nur eine hohe Genauigkeit, sondern vor allem eine große Flexibilität die Hauptanforderung. Zu diesem Zweck wurde ein Ansatz entwickelt, welcher ohne Nutzerinteraktion allein auf Basis von Kartenmaterial und inertialen Sensoren ein oder mehrerer Nutzer eine Fingerprint-Datenbank erzeugt, welche anderen Nutzern zur Verfügung gestellt werden kann. Mit dem Ziel der Kosten- und Komplexitätsreduktion, sowie der Lösung des Problems der Aktualität von Daten in Fingerprint-Datenbanken, hilft der Ansatz bei der automatischen flächendeckenden Ausbringung von Referenzdaten zur Positionsbestimmung. Um die Brücke zwischen I-LBS und LBS zu schlagen, reicht es allerdings nicht aus, beide Arten von Diensten getrennt zu betrachten. Eine nahtlose Dienstnutzung muss möglich sein und somit werden sowohl eine nahtlose Positionsbestimmung, als auch eine nahtlose Bereitstellung von Kartenmaterial notwendig. Zu diesem Zweck wurde ein Plattform entwickelt, welche auf Basis einer Sensorbeschreibungssprache automatisch die Auswahl und Kombination der zu nutzenden Sensoren zur Positionsbestimmung ermittelt. Zudem verfügt die Plattform über eine Komponente, die auf Basis der Positionsdaten passende Umgebungsmodelle zur Verfügung stellt und die Transformation von Positionsdaten zwischen verschiedenen Modellen ermöglicht.With the growing spread of smartphones, location based services (LBS) found their place in our every-day life. Location information is used for filtering relevant information or increasing the user's awareness of the surrounding environment. Some services such as navigation or friend spotter only become possible with the help of accurate and timely location information, which is offered by the Global Positioning System (GPS). Large and complex buildings such as museums, airports or hospitals offer also a plenty of opportunities for specialized Indoor-LBS (I-LBS). These indoor services can ease the our life in many situations and will spread as fast as their outdoor counterparts as soon as the remaining two obstacles are resolved. One obstacle is the limited availability of indoor map data. While national and private provider offer a full range of maps for streets, floor plans are often the intellectual property of the architect and neither publicly available nor in a format suitable for semantic information gain. Another problem is the shortage of accurate location information in indoor areas on smartphones. A cheap and globally available alternative to GPS does not yet exist. This thesis offers and evaluates approaches to solve both problems while offering users the same experience as they are accustomed from outdoor areas. First, the topic of indoor maps is discussed. Two different models with complementary strengths and weaknesses are introduced: One is based on the Geography Markup Language (GML) and offers a flexible vector-based representation of buildings combining hierarchical and graph-based components. The automated creation of such a semantic model from plain CAD-data is also presented as a step towards the provision of map data for indoor-LBS. The other model is based on bitmaps as grid representation of single floors which are semantically enriched with certain colors by image processing methods. Finally, both models are combined in a hybrid model for efficiently answering queries depending on the available data. For accurate indoor positioning different enhancements for fingerprinting systems are presented which work either with WLAN or images. Additional sensors such as compass or accelerometer are added for increased accuracy, precision and robustness. To make indoor positioning fit for indoor-LBS, not only a high accuracy but also a large flexibility is needed. For this reason it is proposed to automatically create a fingerprint database without manual interaction of any user. The approach is based on map knowledge and inertial sensors as an ingredient for crowd-sourced exhaustive provision of reference data. To bridge the gap between indoor- and outdoor-LBS it is not sufficient to look at both kinds of services separately. A seamless usage has to be provided concerning seamless positioning as well as the seamless provision of map data. This is achieved by a platform for hybrid positioning based on a sensor description language which determines the choice and combination of sensors based on the available sensors and user requirements. What is more, one component of the platform offers suitable environmental information based on the users' location and coordinate transformations between several representations or reference models