PLACID: un planificateur pour composer dynamiquement des Services IHM

National audienceDynamic Services Composition (DSC) aims at composing interactive \ systems from a set of available services corresponding \ to the available components. A component consists of a \ Functional Core and/or of a User Interface (UI) respectively \ providing computation and/or representation functions. In \ software engineering, a part of the literature focuses on the \ dynamic composition of computation services. Making the \ hypothesis that UI services can also be composed leads to a \ new research area in Human Computer Interaction: the dynamic \ composition of UI services. This paper presents a planning algorithm that aims to solve the DSC problem. This algorithm produce the task model of the composed UI allowing the user to achieve his/her goal.La Composition Dynamique de Services a pour but de composer un système interactif à partir d’un ensemble de services disponibles correspondant à des composants.Un composant est constitué d’une partie fonctionnelle et d’une partie Interface Homme-Machine (IHM). En Génie Logiciel, la grande majorité de la littérature se concentre sur la composition dynamique de services fonctionnels.Si l’on fait l’hypothèse qu’un service IHM peut aussi être composé, cela entraine une nouvelle problématique de recherche en Interaction Homme-Machine : la Composition Dynamique de Services IHM. Cet article présente un algorithme de planification permettant de résoudre le problème de la composition dynamique d’IHM pour produire le modèle de tâches de l’IHM composée permettant à l’utilisateur d’atteindre son objectif

Lifelog access modelling using MemoryMesh

As of very recently, we have observed a convergence of technologies that have led to the emergence of lifelogging as a technology for personal data application. Lifelogging will become ubiquitous in the near future, not just for memory enhancement and health management, but also in various other domains. While there are many devices available for gathering massive lifelogging data, there are still challenges to modelling large volume of multi-modal lifelog data. In the thesis, we explore and address the problem of how to model lifelog in order to make personal lifelogs more accessible to users from the perspective of collection, organization and visualization. In order to subdivide our research targets, we designed and followed the following steps to solve the problem: 1. Lifelog activity recognition. We use multiple sensor data to analyse various daily life activities. Data ranges from accelerometer data collected by mobile phones to images captured by wearable cameras. We propose a semantic, density-based algorithm to cope with concept selection issues for lifelogging sensory data. 2. Visual discovery of lifelog images. Most of the lifelog information we takeeveryday is in a form of images, so images contain significant information about our lives. Here we conduct some experiments on visual content analysis of lifelog images, which includes both image contents and image meta data. 3. Linkage analysis of lifelogs. By exploring linkage analysis of lifelog data, we can connect all lifelog images using linkage models into a concept called the MemoryMesh. The thesis includes experimental evaluations using real-life data collected from multiple users and shows the performance of our algorithms in detecting semantics of daily-life concepts and their effectiveness in activity recognition and lifelog retrieval

Tiedon visualisoinnin prosessi ja sen soveltaminen ammattikorkeakoulun opintoasiainhallintoon

Tässä tutkielmassa tarkastellaan tiedon visualisointia prosessinäkökulmasta. Tarkoituksena on luoda kokonaiskuva visualisointiprosessin eri vaiheista, niiden suhteista toisiinsa sekä eri tieteenaloilla tehtyjen tutkimuksien tulosten merkityksestä onnistuneen visualisoinnin syntymiseen. Tähän päämäärään pyritään tarkastelemalla aihepiiriä koskevaa eri alojen kirjallisuutta sekä tutustumalla tutkimuksissa esitettyihin visualisoinnin prosessimalleihin. Kirjallisuuden pohjalta tutkielmassa tehdään synteesi visualisointiprosessista, jonka pohjalta kehitetään lähestymistapa tiedon visualisointiin. Sen eri vaiheita käydään läpi vaihe vaiheelta käytännön sovellutusesimerkkien avulla. Tutkielmassa visualisointiprosessia sovelletaan käyttäjälähtöisen suunnittelun periaatteita käyttäen ammattikorkeakoulun opintoasiainhallintoa kohdealueena. Prosessin tavoitteena on visualisoida ammattikorkeakoulujen yhtä keskeisintä tuloksellisuusmittaria eli 55 opintopistettä lukuvuodessa suorittaneita opiskelijoita. Erilaisilla visualisoinneilla pyritään tuottamaan uutta ymmärrystä ilmiöstä kohdealueen asiantuntijoille

Modellgetriebene Entwicklung adaptiver, komponentenbasierter Mashup-Anwendungen

Mit dem Wandel des Internets zu einer universellen Softwareplattform sind die Möglichkeiten und Fähigkeiten von Webanwendungen zwar rasant gestiegen. Gleichzeitig gestaltet sich ihre Entwicklung jedoch zunehmend aufwändig und komplex, was dem Wunsch nach immer kürzeren Entwicklungszyklen für möglichst situative, bedarfsgerechte Lösungen entgegensteht. Bestehende Ansätze aus Forschung und Technik, insbesondere im Umfeld der serviceorientierten Architekturen und Mashups, werden diesen Problemen bislang nicht ausreichend gerecht. Deshalb werden in dieser Dissertation neue Konzepte für die modellgetriebene Entwicklung und Bereitstellung von Webanwendungen vorgestellt. Die zugrunde liegende Idee besteht darin, das Paradigma der Serviceorientierung auf die Präsentationsebene zu erweitern. So sollen erstmals – neben Daten- und Geschäftslogik – auch Teile der Anwendungsoberfläche in Form wiederverwendbarer Komponenten über Dienste bereitgestellt werden. Anwendungen sollen somit über alle Anwendungsebenen hinweg nach einheitlichen Prinzipien „komponiert“ werden können. Den ersten Schwerpunkt der Arbeit bilden die entsprechenden universellen Modellierungskonzepte für Komponenten und Kompositionen. Sie erlauben u. a. die plattformunabhängige Beschreibung von Anwendungen als Komposition der o. g. Komponenten. Durch die Abstraktion und entsprechende Autorenwerkzeuge wird die Entwicklung so auch für Domänenexperten bzw. Nicht-Programmierer möglich. Der zweite Schwerpunkt liegt auf dem kontextadaptiven Integrationsprozess von Komponenten und der zugehörigen, serviceorientierten Referenzarchitektur. Sie ermöglichen die dynamische Suche, Bindung und Konfiguration von Komponenten, d. h. auf Basis der o. g. Abstraktionen können genau die Anwendungskomponenten geladen und ausgeführt werden, die für den vorliegenden Nutzer-, Nutzungs- und Endgerätekontext am geeignetsten sind. Der dritte Schwerpunkt adressiert die Kontextadaptivität der kompositen Anwendungen in Form von Konzepten zur aspektorientierten Definition von adaptivem Verhalten im Modell und dessen Umsetzung zur Laufzeit. In Abhängigkeit von Kontextänderungen können so Rekonfigurationen von Komponenten, ihr Austausch oder Veränderungen an der Komposition, z.B. am Layout oder dem Datenfluss, automatisch durchgesetzt werden. Alle vorgestellten Konzepte wurden durch prototypische Implementierungen praktisch untermauert. Anhand diverser Anwendungsbeispiele konnten ihre Validität und Praktikabilität – von der Modellierung im Autorenwerkzeug bis zur Ausführung und dynamischen Anpassung – nachgewiesen werden. Die vorliegende Dissertation liefert folglich eine Antwort auf die Frage, wie zukünftige Web- bzw. Mashup-Anwendungen zeit- und kostengünstig entwickelt sowie zuverlässig und performant ausgeführt werden können. Die geschaffenen Konzepte bilden gleichermaßen die Grundlage für eine Vielzahl an Folgearbeiten.:Verzeichnisse vi Abbildungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii Verzeichnis der Codebeispiele . . . . . . . . . . . . . . . . . . . . . . . . . . ix Abkürzungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x 1 Einleitung 1 1.1 Problemdefinition, Thesen und Forschungsziele . . . . . . . . . . . . . . 3 1.1.1 Probleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.2 Thesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.1.3 Forschungsziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2 Abgrenzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.3 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2 Grundlagen, Szenarien und Herausforderungen 12 2.1 Grundlagen und Begriffsklärung . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.1 Komposite und serviceorientierte Webanwendungen . . . . . . . 13 2.1.2 Mashups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.3 Modellgetriebene Software-Entwicklung . . . . . . . . . . . . . . 17 2.1.4 Kontext und kontextadaptive Webanwendungen . . . . . . . . . 18 2.2 Szenarien und Problemanalyse . . . . . . . . . . . . . . . . . . . . . . . 20 2.2.1 Dienstkomposition zur Reiseplanung . . . . . . . . . . . . . . . . . 20 2.2.2 Interaktive Aktienverwaltung . . . . . . . . . . . . . . . . . . . . . 22 2.2.3 Adaptive Touristeninformation . . . . . . . . . . . . . . . . . . . . 23 2.3 Anforderungen und Kriterien der Analyse . . . . . . . . . . . . . . . . . . 25 2.3.1 Anforderungen an Komponenten- und Kompositionsmodell . . . 25 2.3.2 Anforderungen an die Laufzeitumgebung . . . . . . . . . . . . . 27 3 Stand der Forschung und Technik 30 3.1 SOA und Dienstkomposition zur Interaktion mit Diensten . . . . . . . . . 31 3.1.1 Statische Dienstkomposition . . . . . . . . . . . . . . . . . . . . . . 32 3.1.2 Dynamische Dienstauswahl und -Komposition . . . . . . . . . . . 33 3.1.3 Adaptionskonzepte für Dienstkompositionen . . . . . . . . . . . . 45 3.1.4 Interaktions- und UI-Konzepte für Dienstkompositionen . . . . . . 48 3.2 Web Engineering - Entwicklung interaktiver adaptiver Webanwendungen 50 3.2.1 Entwicklung von Hypertext- und Hypermedia-Anwendungen . . 51 3.2.2 Entwicklung von Mashup-Anwendungen . . . . . . . . . . . . . . 54 3.3 Zusammenfassung und Diskussion der Defizite existierender Ansätze . . 67 3.3.1 Probleme und Defizite aus dem Bereich der Dienstkomposition . 67 3.3.2 Probleme und Defizite beim Web- und Mashup-Engineering . . . 69 4 Universelle Komposition adaptiver Webanwendungen 73 4.1 Grundkonzept und Rollenmodell . . . . . . . . . . . . . . . . . . . . . . 74 4.2 Modellgetriebene Entwicklung kompositer Mashups . . . . . . . . . . . 75 4.2.1 Universelles Komponentenmodell . . . . . . . . . . . . . . . . . . 76 4.2.2 Belangorientiertes Kompositionsmodell . . . . . . . . . . . . . . . 76 4.3 Dynamische Integration und Laufzeitumgebung . . . . . . . . . . . . . 78 4.3.1 Kontextsensitiver Integrationsprozess für Mashup-Komponenten . 79 4.3.2 Referenzarchitektur zur Komposition und Ausführung . . . . . . . 80 4.3.3 Unterstützung von adaptivem Laufzeitverhalten in Mashups . . . 81 5 Belangorientierte Modellierung adaptiver, kompositer Webanwendungen 83 5.1 Ein universelles Komponentenmodell für Mashup-Anwendungen . . . . 84 5.1.1 Grundlegende Eigenschaften und Prinzipien . . . . . . . . . . . . 84 5.1.2 Komponententypen . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.1.3 Beschreibung von Komponenten . . . . . . . . . . . . . . . . . . 87 5.1.4 Nutzung der Konzepte zur Komponentenentwicklung . . . . . . . 99 5.2 Ein belangorientiertes Metamodell für interaktive Mashup-Anwendungen 100 5.2.1 Conceptual Model – Modellierung der Anwendungskonzepte . . 102 5.2.2 Communication Model – Spezifikation von Daten- und Kontrollfluss 107 5.2.3 Layout Model – Visuelle Anordnung von UI-Komponenten . . . . 114 5.2.4 Screenflow Model – Definition von Navigation und Sichten . . . . 115 5.3 Modellierung von adaptivem Verhalten . . . . . . . . . . . . . . . . . . 117 5.3.1 Adaptionstechniken für komposite Webanwendungen . . . . . . 117 5.3.2 Adaptivity Model – Modellierung von Laufzeitadaptivität . . . . . 119 5.4 Ablauf und Unterstützung bei der Modellierung . . . . . . . . . . . . . . 126 5.5 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 128 6 Kontextsensitiver Integrationsprozess und Kompositionsinfrastruktur 132 6.1 Ein kontextsensitiver Integrationsprozess zur dynamischen Bindung von Mashup-Komponenten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.1.1 Modellinterpretation oder -transformation . . . . . . . . . . . . . . 134 6.1.2 Suche und Matching . . . . . . . . . . . . . . . . . . . . . . . . . 135 6.1.3 Rangfolgebildung . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 6.1.4 Auswahl und Integration . . . . . . . . . . . . . . . . . . . . . . . . 145 6.2 Kompositionsinfrastruktur und Laufzeitumgebung . . . . . . . . . . . . . 146 6.2.1 Verwaltung von Komponenten und Domänenwissen . . . . . . . 146 6.2.2 Aufbau der Laufzeitumgebung (MRE) . . . . . . . . . . . . . . . . 148 6.2.3 Dynamische Integration und Verwaltung von Komponenten . . . 151 6.2.4 Kommunikationsinfrastruktur und Mediation . . . . . . . . . . . . . 155 6.3 Unterstützung von Adaption zur Laufzeit . . . . . . . . . . . . . . . . . . 162 6.3.1 Kontexterfassung, -modellierung und -verwaltung . . . . . . . . . 163 6.3.2 Ablauf der dynamischen Adaption . . . . . . . . . . . . . . . . . 168 6.3.3 Dynamischer Austausch von Komponenten . . . . . . . . . . . . 170 6.4 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 174 7 Umsetzung und Validierung der Konzepte 178 7.1 Realisierung der Modellierungsmittel . . . . . . . . . . . . . . . . . . . . 179 7.1.1 Komponentenbeschreibung in XML und OWL . . . . . . . . . . . 179 7.1.2 EMF-basiertes Kompositionsmodell . . . . . . . . . . . . . . . . . . 180 7.1.3 Modelltransformationen . . . . . . . . . . . . . . . . . . . . . . . . 182 7.1.4 Modellierungswerkzeug . . . . . . . . . . . . . . . . . . . . . . . . 183 7.2 Realisierung der Kompositions- und Laufzeitumgebung . . . . . . . . . . 185 7.2.1 Semantische Verwaltung und Discovery . . . . . . . . . . . . . . 185 7.2.2 Kompositions- bzw. Laufzeitumgebungen . . . . . . . . . . . . . . 192 7.2.3 Kontextverwaltung und Adaptionsmechanismen . . . . . . . . . 201 7.3 Validierung und Diskussion anhand der Beispielszenarien . . . . . . . . . 210 7.3.1 Reiseplanung mit TravelMash . . . . . . . . . . . . . . . . . . . . . 211 7.3.2 Aktienverwaltung mit StockMash . . . . . . . . . . . . . . . . . . . 214 7.3.3 Adaptive Touristeninformation mit TravelGuide . . . . . . . . . . . 216 7.3.4 Weitere Prototypen . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 7.4 Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . . . . . . 219 8 Zusammenfassung, Diskussion und Ausblick 226 8.1 Zusammenfassung der Kapitel und ihrer Beiträge . . . . . . . . . . . . . 227 8.2 Diskussion und Bewertung . . . . . . . . . . . . . . . . . . . . . . . . . . 231 8.2.1 Wissenschaftliche Beiträge . . . . . . . . . . . . . . . . . . . . . . 231 8.2.2 Einschränkungen und Grenzen . . . . . . . . . . . . . . . . . . . . 236 8.3 Laufende und zukünftige Arbeiten . . . . . . . . . . . . . . . . . . . . . 238 Anhänge 242 A.1 Komponentenbeschreibung in SMCDL . . . . . . . . . . . . . . . . . . . 242 A.2 Komponentenmodell in Form der MCDO . . . . . . . . . . . . . . . . . . 243 A.3 Kompositionsmodell in EMF . . . . . . . . . . . . . . . . . . . . . . . . . . 244 Verzeichnis eigener Publikationen 246 Webreferenzen 249 Literaturverzeichnis 25

Kontextsensitive Informationsvisualisierung mit kompositen Rich Internet Applications für Endnutzer

Das stetig wachsende Datenaufkommen - die weltweite Datenmenge verdoppelt sich alle zwei Jahre - ist eine wesentliche Herausforderung für den Menschen in allen Bereichen des beruflichen und privaten Alltags. Um trotzdem relevante Informationen zu identifizieren und auch zu verstehen, nehmen Techniken und Anwendungen zur InfoVis einen immer größeren Stellenwert ein. Leider hat sich die Vision der "InfoVis for and by the masses" aufgrund des notwendigen Daten-, Visualisierungs- und Programmierwissens noch nicht durchgesetzt. Zudem sind heutige InfoVis-Softwareanbieter mit dem Problem konfrontiert, verschiedenste Kontexte, wie Nutzergruppen oder Hard- und Softwareplattformen, unterstützen zu müssen. Ein möglicher Lösungsansatz für dieses Problem ist das Paradigma der kompositen Webanwendungen. Auf deren Basis können Daten und UI-Widgets je nach Anwendungsfall teils automatisch kombiniert werden. Dies erhöht die Wiederverwendbarkeit und spart Zeit sowie Entwicklungskosten. Unter Zuhilfenahme von (semantischen) Modellen ist es zudem möglich, eine komposite RIA an die vorliegende Situation zu adaptieren. Um dem Endanwender Zugang zu den kompositen RIA zu verschaffen, mangelt es jedoch an einem Integrationsprozess, der den speziellen Anforderungen der InfoVis gerecht wird. Diese Dissertation stellt deshalb neue Konzepte für einen ganzheitlichen Semantik-gestützten InfoVis-Prozess vor, der bspw. die Endnutzer-gerechte Filterung großer Datensätze, die kontextsensitive Auswahl von InfoVis-Komponenten, die Nutzerunterstützung bei der Exploration und Interpretation der Daten sowie die Gewinnung und Wiederverwendung von Visualisierungswissen adressiert. Zur Unterstützung des InfoVis-Prozesses werden weiterhin Konzepte für eine formale Wissensbasis mit Domänenwissen vorgeschlagen. Die modulare, mit W3C-Standards prototypisch realisierte Visualisierungsontologie definiert u.a. Konzepte und Relationen zu Daten, graphischen Vokabular, menschlicher Aktivität sowie veränderliches Faktenwissen. Ein weiterer, wesentlicher Beitrag der Arbeit liegt in der Architekturkonzeption für modellbasierte, komposite RIA für die InfoVis-Domäne, womit ein neues Anwendungsfeld des Software-Paradigmas erschlossen wird. Damit steht nun erstmals für eine komposite, webbasierte InfoVis-Lösung ein ganzheitliches Architekturkonzept zur Verfügung, das die Ausführbarkeit der Anwendungen in der heute existierenden, heterogenen Landschaft der (mobilen) Endgeräte gewährleisten kann. Durch die Implementierung entscheidender Architekturkonzepte sowie einer beispielhaften InfoVis-Anwendung für semantische Daten wurde die Tragfähigkeit der geschaffenen Konzepte nachgewiesen. Anhand einer Vielzahl von formativen sowie einer summativen Nutzerstudien konnte validiert werden, dass sich aus den neuen Konzepten Vorteile für den Endanwender bei der Erstellung einer InfoVis ergeben

Proposta de uso de estado emocional do indivíduo na automação de ambiente inteligente

A questão de pesquisa que este estudo pretende abordar visa melhorar a qualidade de vida dos usuários, especialmente os portadores de necessidades especiais, adaptando o ambiente ao seu conforto emocional. Nesse contexto, o objetivo da presente pesquisa é a elaboração de um ambiente inteligente controlado passivamente através do estado emocional do usuário, utilizando interface cérebro computador. De forma geral, espera-se com este estudo ser capaz de adaptar um sistema inteligente de acordo com a emoção objetivo, visando o aumentando do rendimento do indivíduo numa dada tarefa, auxiliando em tratamentos terapêuticos ou aumentando o seu conforto. Para validação do trabalho foi utilizada a interface cérebrocomputador da empresa Emotiv com o sistema de automação predial-residencial da empresa Home Systems, utilizando algoritmo genético para buscar a configuração adequada do ambiente tendo o nível de atenção como emoção objetivo. Os resultados preliminares dos nove testes realizados com seis indivíduos comprovam que é viável o controle de ambientes baseado no estado emocional dos usuários. Este trabalho situa-se na interdisciplinaridade de áreas como engenharia elétrica, computação, psicologia comportamental e tecnologias assistivas.The research question that this study aims to approach is to improve the quality of life of individuals with or without special needs, by adapting the environment to their emotional comfort. In this context, the goal of this research is to develop an intelligent system passively controlled trough brain-computer interface. In general, it is expected with this study to be able to adapt a smart environment according to the emotional target, aiming to increase the yield of a given individual task, assisting in therapeutics or increasing the individual’s comfort. In order to validate the experiment, Emotiv’s brain computer interface was used with Home Systems’ home automation system, using genetic algorithm to find the appropriate configuration of the environment and attention level as the emotional target. Preliminary results of the nine tests conducted on six subjects indicate that it is feasible to control a smart environment based on the emotional state of the user. This is an interdisciplinary work in areas such as electrical engineering, computer science, behavioral psychology and assistive technologies