Extending the Interaction Flow Modeling Language (IFML) for Model Driven Development of Mobile Applications Front End

International audienceFront-end design of mobile applications is a complex and multidisciplinary task, where many perspectives intersect and the user experience must be perfectly tailored to the application objectives. However, development of mobile user interactions is still largely a manual task, which yields to high risks of errors, inconsistencies and ine ciencies. In this paper we propose a model-driven approach to mobile application development based on the IFML standard. We propose an extension of the Interaction Flow Modeling Language tailored to mobile applications and we describe our implementation experience that comprises the development of automatic code generators for cross-platform mobile applications based on HTML5, CSS and JavaScript optimized for the Apache Cordova framework. We show the approach at work on a popular mobile application, we report on the application of the approach on an industrial application development project and we provide a productivity comparison with traditional approaches

Applying a model-based methodology to develop web-based systems of systems

Systems of Systems (SoS) are emerging applications composed by subsystems that interacts in a distributed and heterogeneous environment. Web-based technologies are a current trend to achieve SoS user interaction. Model Driven Web Engineering (MDWE) is the application of Model Driven Engineering (MDE) into the Web development domain. This paper presents a MDWE methodology to include Web-based interaction into SoS development. It's composed of ten models and seven model transformations and it's fully implemented in a support tool for its usage in practice. Quality aspects covered through the traceability from the requirements to the nal code are exposed. The feasibility of the approach is validated by its application into a real-world project. A preliminary analysis of potential benets (reduction of eort, time, cost; improve of quality; design vs code ratio, etc) is done by comparison to other project as an initial hypothesis for a future planned experimentation research.Ministerio de Economía, Industria y Competitividad TIN2013-46928-C3- 3-RMinisterio de Economía, Industria y Competitividad TIN2015-71938-RED

Selection Constructive based Hyper-heuristic for Dynamic Scheduling

A função de escalonamento desempenha um papel importante nos sistemas de produção. Os sistemas de escalonamento têm como objetivo gerar um plano de escalonamento que permite gerir de uma forma eficiente um conjunto de tarefas que necessitam de ser executadas no mesmo período de tempo pelos mesmos recursos. Contudo, adaptação dinâmica e otimização é uma necessidade crítica em sistemas de escalonamento, uma vez que as organizações de produção têm uma natureza dinâmica. Nestas organizações ocorrem distúrbios nas condições requisitos de trabalho regularmente e de forma inesperada. Alguns exemplos destes distúrbios são: surgimento de uma nova tarefa, cancelamento de uma tarefa, alteração na data de entrega, entre outros. Estes eventos dinâmicos devem ser tidos em conta, uma vez que podem influenciar o plano criado, tornando-o ineficiente. Portanto, ambientes de produção necessitam de resposta imediata para estes eventos, usando um método de reescalonamento em tempo real, para minimizar o efeito destes eventos dinâmicos no sistema de produção. Deste modo, os sistemas de escalonamento devem de uma forma automática e inteligente, ser capazes de adaptar o plano de escalonamento que a organização está a seguir aos eventos inesperados em tempo real. Esta dissertação aborda o problema de incorporar novas tarefas num plano de escalonamento já existente. Deste modo, é proposta uma abordagem de otimização – Hiper-heurística baseada em Seleção Construtiva para Escalonamento Dinâmico- para lidar com eventos dinâmicos que podem ocorrer num ambiente de produção, a fim de manter o plano de escalonamento, o mais robusto possível. Esta abordagem é inspirada em computação evolutiva e hiper-heurísticas. Do estudo computacional realizado foi possível concluir que o uso da hiper-heurística de seleção construtiva pode ser vantajoso na resolução de problemas de otimização de adaptação dinâmica.Scheduling plays an important role in manufacturing systems. It produces a scheduling plan, in order to share resources to produce several different products in the same time period. However, dynamic adaptation and optimization is a critical need in real-world manufacturing scheduling systems, since contemporary manufacturing organizations have a dynamic nature, where disturbances on working conditions and requirements occur on a continuous basis. Disturbances often arise unexpectedly, and can be for example: urgent job arrival, job cancelation, due date change, delay in the arrival, among others. These dynamic events must be taken into account, since they may have a major impact on the scheduling plan, they can disorder the plan making it ineffective. Therefore, manufacturing environments require immediate response to these dynamic events, using a real-time rescheduling method, in order to minimize the effect of such unexpected events in the performance of the production’ system. As result, scheduling systems should have the ability of automatically and intelligently maintain real-time adaptation and optimization to efficiently update the scheduling plan to the unexpected events. This way, the organization keeps clients satisfied and achieves its objectives (costs minimized and profits maximized). This dissertation addresses the problem of incorporating new tasks in a scheduling plan already generated by the scheduling system. Therefore, it proposes an optimization approach - Selection Constructive based Hyper-heuristic for Dynamic Scheduling - to deal with dynamic events that can occur over time in a manufacturing environment, with the main goal of maintaining the current scheduling plan feasible and most robust as possible. The development of this dynamic adaptation approach is inspired on evolutionary computation and hyper-heuristics. The viability of the proposed approach is tested by performing a set of experiments and analysing the results achieved. From the obtained results it is possible to conclude that the use of a selection constructive hyper-heuristic could be advantageous on solving dynamic adaptation optimization problems

KomBInoS - Modellgetriebene Entwicklung von multimodalen Dialogschnittstellen für Smart Services

Diese Arbeit ist angesiedelt im Kontext der drei Forschungsgebiete Smart Service Welt, Modellgetriebene Softwareentwicklung und Intelligente Benutzerschnittstellen. Das Ziel der Arbeit war die Entwicklung eines ganzheitlichen Ansatzes zur effizienten Erstellung von multimodalen Dialogschnittstellen für Smart Services. Um dieses Ziel zu erreichen, wurde mit KomBInoS ein umfassendes Rahmenwerk zur modellgetriebenen Erstellung solcher Benutzerschnittstellen entwickelt. Das Rahmenwerk besteht aus: (1) einer Metamodell-Architektur, welche sowohl eine modellgetriebene Entwicklung als auch die Komposition von multimodalen Dialogschnittstellen für Smart Services erlaubt, (2) einem methodischen Vorgehen, welches aus aufeinander abgestimmten Modelltransformationen, möglichen Kompositionsschritten und manuellen Entwicklungstätigkeiten besteht, sowie (3) einer integrierten Werkzeugkette als Implementierung der Methode. Es wurde außerdem eine cloud-fähige Laufzeitumgebung zur mobilen Nutzung der so erstellten Benutzerschnittstellen entwickelt. Als Proof-of-Concept werden acht Beispielanwendungen und Demonstratoren aus fünf Forschungsprojekten vorgestellt. Zusätzlich zur Smart Service Welt fand und findet KomBInoS auch Anwendung im Bereich der Industrie 4.0.This work is located in the context of the three research areas Smart Service World, Model-Driven Software Development and Intelligent User Interfaces. The aim of the work was to develop a holistic approach for the efficient creation of multimodal dialogue interfaces for Smart Services. To achieve this goal, KomBInoS was developed as a comprehensive framework for the model-driven creation of such user interfaces. The framework consists of: (1) a metamodel architecture that allows both model-driven development and the composition of multimodal dialogue interfaces for Smart Services, (2) a methodical approach consisting of coordinated model transformations, possible compositional steps and manual development activities, as well as (3) an integrated tool chain as an implementation of the method. Furthermore, a cloud-enabled runtime environment was developed for mobile use of the user interfaces created in this way. As proof-of-concept, eight sample applications and demonstrators from five research projects will be presented. In addition to the Smart Service Welt, KomBInoS was and is also used in the field of industry 4.0

Model-based operator guidance in interactive, semi-automated production processes

This contribution focuses on the task of guiding and supervision of technical processes realized by human operators. The review of publications of the last decades discloses that especially technical processes with strong interconnection of human operator and manufacturing process are not adequately addressed by the evolved automation approaches. Integrating human process knowledge and experience into the resulting automation system is still a major concern. Besides the introduction of automation in a handcrafting process that is increasing the overall system complexity, the design of the human-machine interface to the automation system is of central importance. Within this thesis, the trade-off between manual manufacturing and automation is addressed by a semi-automation approach. The application example is the no-bake molding process, a mold manufacturing process for casts that is traditionally handmade. Within this process the human operator plays a central role (i.e. knowledge and expertise), whereas the (intelligent) automation is carrying out physical operation, which is guided and supervised by the human operator. This is achieved by experimentally identified quality representing process variables that allow for in-process feedback to the human operator. Process guiding assistance is given using a formalization approach of the human-automation-interaction. By deducing situative information of interest from the resulting human-automation-system model with respect to the current process goal, the established process model is used for supervision and assistance of the overall process. The design of the human-machine-interface is based on a detailed analysis of the handcrafted process and is realized as a direct, intuitively usable, marker-based interaction technique. The integrated human-automation-system and the corresponding human-machine-interface with process guidance assistance functionality is initially evaluated. The results are discussed for the future work with respect to the individual, human operator-specific process understanding and process reproducibility.Diese Arbeit befasst sich mit Fachkraftaufgaben in der Führung und Überwachung von technischen Prozessen. Die Übersicht der Publikationen der letzten Jahrzehnte eröffnet, dass insbesondere technische Prozesse mit enger Verknüpfung von Mensch und Herstellungsprozess bei den entwickelten Automatisierungsansätzen nicht hinreichend berücksichtigt werden. Die Integration von Prozesswissen und -erfahrung in das resultierende Automatisierungssystem bleibt eine offene Fragestellung. Neben der Einführung von Automation in Handarbeitsprozesse, die die Komplexität des Gesamtsystems erhöhen, ist die Gestaltung der Mensch-Maschine-Schnittstelle zum Automatisierungssystem von zentraler Bedeutung. Der Konflikt zwischen Handarbeit und Automatisierung wird in dieser Arbeit durch die Einführung einer Teilautomatisierung gelöst. Das Anwendungsbeispiel ist das Kaltharzverfahren, ein traditionell in Handarbeit bewältigter Herstellungsprozess für Gussformen. In diesem Prozess spielt die Fachkraft eine zentrale Rolle (z. B. durch ihr Prozesswissen und ihre Expertise), während die (intelligente) Automatisierung –geführt und überwacht durch die Fachkraft– anfallende physische Aktionen ausführt. Dies wird durch experimentell ermit- telte qualitäts-beschreibende Prozessgrößen erreicht, die eine in-prozess Rückführung zum Bedienpersonal ermöglichen. Prozessführungsassistenz ist basierend auf die Formalisierung der Mensch-Automation-Interaktion gegeben. Durch die Bestimmung von situativen Informationen hoher Wichtigkeit aus dem resultierenden Mensch-Automation-System Modell bezogen auf das aktuelle Prozessziel, wird das bestehende Prozessmodell zur Überwachung und Prozessführungsassistenz des Gesamtprozesses genutzt. Die Gestaltung der Mensch-Maschine-Schnittstelle basiert auf einer detaillierten Analyse des Handarbeitsprozesses und ist als direkte, intuitiv bedienbare, markerbasierte Interaktionstechnik realisiert. Das integrierte Mensch-Automation-System sowie die zugehörige Mensch-Maschine-Schnittstelle inklusive Prozessführungsassistenzfunktionen wurden initial evaluiert. Die erzielten Ergebnisse werden hinsichtlich des individuellen, fachkraftabhängigen Prozesswissens und der Reproduzierbarkeit für den Ausblick diskutiert

Sistema Inteligente de Apoio ao Coach

O coaching é um processo que permite ajudar um ou mais indivíduos a definirem e saberem como concretizar os seus objetivos, sejam eles pessoais ou profissionais. Atualmente, existe um interesse e procura crescente de pessoas com experiência nesta área (designados por coaches) por parte de empresas, equipas desportivas, escolas e outras organizações, com a finalidade de obter um maior rendimento. De forma a ajudar os intervenientes no processo, este documento demonstra a necessidade de existir uma ferramenta de apoio que permite aos coaches gerirem melhor a sua atividade profissional. A pesquisa e estudo efetuados procuram responder a este caso, desenvolvendo um sistema informático inteligente de apoio ao coach dotado de uma interface centrada no utilizador. Antes de iniciar o desenvolvimento de um sistema inteligente é necessário realizar e apresentar um levantamento do estado da arte, mais concretamente sobre a interação homem-computador, modelação do perfil de utilizador e processo de coaching, que apresenta os fundamentos teóricos para a escolha da metodologia de desenvolvimento adequado. São apresentadas posteriormente as fases constituintes do modelo de desenvolvimento de interfaces escolhido, a engenharia de usabilidade, que se inicia com uma análise detalhada, permitindo de seguida uma estruturação dos conhecimentos obtidos e a aplicação de linhas de orientação estipuladas, finalizando com testes de utilização e respetivo feedback dos utilizadores. O protótipo desenvolvido distingue utilizadores com diferentes características, através de uma classificação por níveis e permite gerir todo o processo de coaching efetuado a outras pessoas ou ao próprio utilizador. O facto de existir uma classificação dos utilizadores faz com que a interação entre sistema e utilizadores seja diferente e adaptada às necessidades de cada um. O resultado dos testes de utilização com um caso prático e dos questionários efetuados permite detetar se o modelo foi bem-sucedido e funciona corretamente e o que é necessário alterar no futuro para facilitar a interação e satisfazer as necessidades de cada utilizador.Coaching is a process that helps one or more individuals to know how to define and achieve their goals, whether personal or professional. Nowadays, there is an increasing interest and demand for people with experience in this area (called coaches) from businesses, sports teams, schools and other organizations, in order to obtain a greater performance. In order to help those involved in the process, this document shows the need for a support tool that allows coaches to better manage their professional activity. The research and study conducted seek to meet this need, developing an intelligent computer system to support the coach enhanced with a user-centered interface. Before starting the development of an intelligent system it is necessary to conduct a survey of the state of the art, more specifically on human-computer interaction, user profile modeling and the coaching process, which presents the theoretical foundations for the choice of the appropriate development methodology. The constituent phases of the selected interfaces development model, usability engineering, are then presented, starting with a detailed analysis, allowing then a structuring of the acquired knowledge and an application of the laid down guidelines, concluded with user testing and feedback from respective users. The developed prototype distinguishes users with different characteristics through tiers and allows them to manage the whole process of coaching made either to someone else or to the user himself. The fact that there is a user classification makes the interaction between the system and the user different and adapted to the needs of each user. The result of usability testing with a case study and questionnaires conducted allows to detect if the model was successful and works properly and what is required to change in the future to facilitate interaction and meet the needs of each user

Entwicklung multipler Benutzerschnittstellen für eine Anwendung

Die stetig wachsende Zahl von mobilen Endgeräten und Konzepte wie "Designing for Peak Experience", führt unweigerlich zu einem Streben nach Anwendungen, welche für immer mehr verschiedene Nutzungskontexte Benutzerschnittstellen (UIs) bereitstellen. Die Nutzungskontexte unterscheiden sich in Bezug auf Plattformen und Geräte, Benutzergruppen und deren Ziele, sowie Randbedingungen wie z.B. die Umgebung während der Interaktion. Diese Dissertation stellt Konzepte bereit, welche den Entwickler bei der Erstellung solcher Multi-Benutzerschnittstellen (MBS) unterstützen und die Ausführung dieser ermöglichen. Dabei liegt ein erster wesentlicher Beitrag der vorliegenden Arbeit in der Begriffsbildung und Erhebung von Anforderungen, wobei sie weit über verwandte Arbeiten hinausgeht. Begriffe der Problem- sowie der Lösungsdomäne wurden im Kontext der verwandten Arbeiten untersucht; dabei wurden Inkonsistenzen festgestellt, insbesondere im Zusammenhang mit den Begriffen "Konkrete Benutzerschnittstelle (CUI)" und "Abstrakte Benutzerschnittstelle (AUI)". Diese Erkenntnisse hatten wesentlichen Einfluss auf die in dieser Arbeit entwickelten Konzepte. Insbesondere wurde die herkömmliche Dichotomie zwischen AUI und CUI aufgehoben und durch eine beliebige Zahl von Stufen zunehmend konkreter Beschreibungen von Benutzerschnittstellen ersetzt. Diese Neuerung prägt die vorliegende Arbeit und schlägt sich im Begriff der "Abstraktionsunabhängigen Benutzerschnittstelle (UUI)" nieder. Entsprechend den Anforderungen wurde ein Konzept entwickelt, welches aus i) einem Architekturmuster für MBS, ii) einer domänenspezifischen Sprache zur Beschreibung von MBS und iii) interaktiven sowie explorativen Unterstützungskonzepten besteht. Hierbei werden Modellierungstechniken für die UI-Struktur (bei z.B. grafischen UIs das Layout) mit Programmiertechniken für das UI-Verhalten verknüpft. Das Architekturmuster für MBS basiert auf dem Muster "Model View Controller (MVC)", welches um die Unterstützung mehrerer Varianten einer UI sowie die explizite Handhabung des Erbens von Verhalten erweitert wurde. Die im Rahmen der Arbeit ebenfalls entwickelte domänenspezifische Sprache (DSL) stellt Möglichkeiten zur Modellierung der MBS-Varianten und ihrer Verfeinerungsbeziehungen (Vererbung) untereinander bereit. Die verschiedenen Varianten einer MBS werden so in einer Baumstruktur (Verfeinerungsbaum) angeordnet, welche die Propagation einer Modifikation auf beliebig viele Varianten ermöglicht. Basierend auf dem Architekturmuster und der im Rahmen dieser Arbeit entwickelten Architektur wurden Unterstützungskonzepte entwickelt, welche auf einfache Nutzbarkeit durch den Entwickler ausgelegt sind. Explorative Unterstützungskonzepte machen den Entwicklungsstand der MBS transparent; sie visualisieren hierfür den Verfeinerungsbaum sowie Schnittstellen zwischen Verhalten und Struktur. Interaktive Unterstützungskonzepte dagegen ermöglichen die gleichzeitige Modifikation einer oder mehrerer Varianten der MBS. Zentral dabei ist der Interpreter, welcher Benutzerschnittstellenmodelle direkt zur Interaktion bringt; dies Konzept sieht auch den Ausbau des Interpreters zu einem WYSIWYG-artigen Editor vor. Modulare Adaptionskonzepte schließlich kapseln spezifische Anpassungen (z.B. Skalierungen) in einer einfach durch den Entwickler nutzbaren Weise. Die Konzepte wurden im Rahmen eines Forschungsprojekt mit Industriepartnern konkret eingesetzt, mit Hilfe einer prototypischen Realisierung, genannt Mapache. Eine entwickelte Infrastruktur unterstützt hierfür die Lauf- und Entwicklungszeit. Die in Eclipse realisierte Entwicklungsumgebung baut auf ihr auf und ermöglicht eine hoch integrierte Entwicklung Java basierter Multi-Benutzerschnittstellen. Abschließend wurden die entwickelten und realisierten Konzepte in einer Fallstudie des Projektes sowie einer Nutzerstudie evaluiert. Die Fallstudie zeigte, dass die erhobenen Anforderungen vom entwickelten Ansatz erfüllt werden. Die Nutzerstudie, durchgeführt in Form der sogenannten "Kooperativen Evaluation", ergab eine positive Bewertung des Ansatzes und zeigte Themen auf, welche bei der Anwendung des Ansatzes in der Praxis beachtet werden müssen. Wie erwartet, erwies sich die grundlegend neue Möglichkeit, Benutzerschnittstellen auf unterschiedlichen Abstraktionsgraden gleichzeitig zu bearbeiten, als äußerst hilfreich für die Entwicklung föderierter Benutzerschnittstellen. Insgesamt wurden Fortschritte im Bereich der Anforderungen Effizienz, Nutzbarkeit und Konsistenz gemacht. Die Qualität der Studie selbst geht über verwandte Arbeiten hinaus, weil zum Einen nur berufsmäßige Entwickler von Benutzerschnittstellen teilnahmen und zum Anderen die Wahl der Evaluationsmethode klar und transparent dargelegt wurde

Modellbasierte Generierung von Benutzungsoberflächen

Die Arbeit stellt einen integrierten Gesamtprozess zur modellgetriebenen Softwareentwicklung von Benutzungsschnittstellen und Geschäftslogik vor. Dazu notwendige und unterstützende Deklarationsmodelle, sowie Modelltransformationen für dieses Verfahren, werden entwickelt und präsentiert. Weiterhin werden Meta-Modelle für Aufbau und Wartung eines HCI-Patternkatalogs vorgestellt und zur Erstellung eines solchen Kataloges benutzt. Die darin enthaltenen Einträge werden in Bezug auf Ihre softwaretechnische Komponentisierbarkeit untersucht und klassifiziert.The thesis presents an integrated model-driven approach for developing software. This approach supports the generation of user interfaces, as well as artifacts of business logic. Suitable meta models and model transformations are developed and explained. Secondly, this thesis dwells on the topic of HCI patterns. It is researched how such patterns may be classified, componentized and made use of in a model-driven process. This work eventually yields a pattern language, whose entries are declared using state-of-the-art model-driven technologies