A Usability Evaluation Framework for

Currently, more than two billions people access the Web for various purposes. The majority are people without programming or modelling background. Part of these people (called end-users) also likes to create their own Web applications to meet their daily needs. Mashup Makers are tools to create such end-user’s Web applications. As such, Mashup Makers could become the dominant environment for end-user development of Web applications. Existing Mashup Makers promise that creating a Web Mashup is very easy and just a matter of a few mouse clicks. However, there is no evidence that this is indeed the case. On the contrary, research has already revealed usability problems with Mashup Makers. Therefore, this thesis concentrates on the usability of Mashup Makers as development environments for Web applications for end-users. Usability is a key issue for the success of software artifacts, and especially if the artifacts are intended for non-technical users. Therefore, we target the achievement of a consolidated approach, model, and framework for the evaluation of the usability of Mashup Makers for end-users. Such a framework will not only allow evaluating the usability of existing Mashup Makers, but it will also provide key issues concerning usability (ie usability impact factors) that developers of Mashup Makers and of other future end-user development tools can take into consideration when developing new tools

SCRAM-CK: applying a collaborative requirements engineering process for designing a web based e-science toolkit

This paper presents SCRAM–CK, a method to elicit requirements by means of strong user involvement supported by prototyping activities. The method integrates two existing approaches, SCRAM and CK theory. SCRAM provides the framework for requirements management, while CK theory provides a framework for reasoning about design and its evolution. The method is demonstrated with the definition and refining of requirements for the BioVeL web toolkit. The objective of BioVeL is to allow scientists to understand, run, modify and construct workflows for data analysis with minimal training using a web-based interface. The proposed method is supported by prototyping activities for gathering user feedback, and refining requirements and design proposals. Using this method, the prototypes evolved from simple workflow execution enablers to include more complex functionalities for reviewing, modifying and building workflows in later versions. This paper presents a contribution to the application of techniques for requirements engineering. SCRAM–CK is an amalgamated method that combines a user-centred continuous refinement approach with support for design evolution through prototyping. The paper also shows the influence of the requirements engineering process in the evolution of design proposals

HyDRA Hybrid workflow Design Recommender Architecture

Workflows are a way to describe a series of computations on raw e-Science data. These data may be MRI brain scans, data from a high energy physics detector or metric data from an earth observation project. In order to derive meaningful knowledge from the data, it must be processed and analysed. Workflows have emerged as the principle mechanism for describing and enacting complex e-Science analyses on distributed infrastructures such as grids. Scientific users face a number of challenges when designing workflows. These challenges include selecting appropriate components for their tasks, spec- ifying dependencies between them and selecting appropriate parameter values. These tasks become especially challenging as workflows become increasingly large. For example, the CIVET workflow consists of up to 108 components. Building the workflow by hand and specifying all the links can become quite cumbersome for scientific users.Traditionally, recommender systems have been employed to assist users in such time-consuming and tedious tasks. One of the techniques used by recommender systems has been to predict what the user is attempting to do using a variety of techniques. These techniques include using workflow se- mantics on the one hand and historical usage patterns on the other. Semantics-based systems attempt to infer a user’s intentions based on the available semantics. Pattern-based systems attempt to extract usage patterns from previously-constructed workflows and match those patterns to the workflow un- der construction. The use of historical patterns adds dynamism to the suggestions as the system can learn and adapt with “experience”. However, in cases where there are no previous patterns to draw upon, pattern-based systems fail to perform. Semantics-based systems, on the other hand infer from static information, so they always have something to draw upon. However, that information first has to be encoded into the semantic repository for the system to draw upon it, which is a time-consuming and tedious task in it self. Moreover, semantics-based systems do not learn and adapt with experience. Both approaches have distinct, but complementary features and drawbacks. By combining the two approaches, the drawbacks of each approach can be addressed.This thesis presents HyDRA, a novel hybrid framework that combines frequent usage patterns and workflow semantics to generate suggestions. The functions performed by the framework include; a) extracting frequent functional usage patterns; b) identifying the semantics of unknown components; and c) generating accurate and meaningful suggestions. Challenges to mining frequent patterns in- clude ensuring that meaningful and useful patterns are extracted. For this purpose only patterns that occur above a minimum frequency threshold are mined. Moreover, instead of just groups of specific components, the pattern mining algorithm takes into account workflow component semantics. This allows the system to identify different types of components that perform a single composite function. One of the challenges in maintaining a semantic repository is to keep the repository up-to-date. This involves identifying new items and inferring their semantics. In this regard, a minor contribution of this research is a semantic inference engine that is responsible for function b). This engine also uses pre-defined workflow component semantics to infer new semantic properties and generate more accurate suggestions. The overall suggestion generation algorithm is also presented.HyDRA has been evaluated using workflows from the Laboratory of Neuro Imaging (LONI) repos- itory. These workflows have been chosen for their structural and functional characteristics that help� to evaluate the framework in different scenarios. The system is also compared with another existing pattern-based system to show a clear improvement in the accuracy of the suggestions generated

Un método de evaluación de usabilidad de mashups basado en la composicionalidad de sus componentes

[ES] Los Mashups son una nueva generación de aplicaciones Web que integran componentes provistos por terceros desde la Web. La usabilidad en este tipo de aplicaciones es un factor muy importante ya que como en toda aplicación Web, este determina el éxito de la aplicación. Si bien se han planteado métodos de evaluación que permiten evaluar la usabilidad de aplicaciones Web en general, éstos no cubren las características inherentes a la composicionalidad de los Mashups. La presente tesina de máster pretende aportar un método de evaluación de la usabilidad de Mashups acorde con sus características propias de composicionalidad. El método está compuesto de un modelo de usabilidad y un proceso de evaluación que provee guías sobre la forma en la que el modelo de usabilidad puede ser usado para realizar evaluaciones específicas. Tanto el modelo de usabilidad como el proceso de evaluación están alineados con el último estándar ISO/IEC 25000 para la evaluación de la calidad de producto (SQuaRE) y ambos toman en cuenta la naturaleza composicional de los Mashups. El modelo de usabilidad descompone el concepto de usabilidad en sub-características y métricas genéricas. Estas métricas son aplicadas en la composición del producto final y el método de evaluación puede ser aplicado en cualquier estado del ciclo de vida de este tipo de aplicaciones, ya sea en la selección de los componentes, durante el proceso de composición o cuando el producto está listo para ser usado. Para apoyar esta propuesta se ha realizado un profundo estudio del estado del arte. Este estudio comprende dos mapeos sistemáticos: el primero abarca un estudio de la evaluación de la calidad de los Mashups y el segundo cubre las características de la composicionalidad envueltas en los Mashups. Los resultados obtenidos aportaron de una forma significativa en la definición del Modelo de Usabilidad de Mashups y posteriormente en el proceso de evaluación de usabilidad. Finalmente, se desarrollaron tres casos de estudio que muestran la viabilidad de nuestro enfoque. Estos casos de estudio muestran en detalle como el método de evaluación propuesto utiliza nuestro Modelo de Usabilidad para Mashups. Los resultados muestran que nuestra propuesta permite detectar problemas de usabilidad, los cuales una vez corregidos, permiten obtener Mashups más usables[EN] Mashups are the new-generation of Web applications that integrates third-party components from the Web. Usability in these applications is very important since their success depends on this quality factor. Although several methods have been proposed to evaluate the usability of Web applications in general, they do not cover the specific characteristics inherent to the compositionality of Mashups. This master thesis aims to provide a method for evaluating the usability of Mashups according to their specific characteristics of compositionality. The method is composed of a usability model and an evaluation process that provides guidelines on how the usability model can be used to perform specific evaluations. Both the usability model and the evaluation process are aligned with the latest ISO/IEC 25000 standard for software product quality evaluation (SQuaRE), and both take into account the compositional nature of mashups. The usability model breaks down the concept of usability into sub-characteristics, attributes and generic metrics. These metrics are applied to the final product composition and process evaluation method can be applied at any stage of the life cycle of this kind of applications (i.e., during the component selection, the composition process or when the product is ready for use. In order to support the foundation of this proposal, an in-depth study was performed about the state of art. This study comprises two systematic mappings: the first one covers the quality evaluation of Mashups, whereas the second one covers the compositionality features involved in Mashups. The obtained results were used as input in order to define both our Mashups Usability Model, and our usability evaluation process. Finally, we developed three case studies in order to show the feasibility of our approach. These case studies show in detail how the proposed evaluation method was followed by using our Mashup Usability Model. Results showed that our approach was able to detect usability problems, which once corrected, it allows obtaining more usable Mashups.Cedillo Orellana, IP. (2013). Un método de evaluación de usabilidad de mashups basado en la composicionalidad de sus componentes. http://hdl.handle.net/10251/37955Archivo delegad

Assistierte Ad-hoc-Entwicklung von kompositen Webanwendungen durch Nicht-Programmierer

Mit der steigenden Verfügbarkeit komponenten- und serviceorientiert bereitgestellter Ressourcen und Dienstleistungen entwickelt sich das Web zu einer geeigneten Plattform für vielfältige Anwendungsszenarien. Darauf aufbauend entstehen komposite Webanwendungen durch das Rekombinieren und Verknüpfen vorhandener Bausteine. Auf diese Weise kann ein funktionaler Mehrwert zur Lösung situationsspezifischer Problemstellungen erzielt werden. Zunehmend wird angestrebt, dass Endnutzer selbst als Anwendungsentwickler in Erscheinung treten. Dieses Prinzip, das End-User-Development, ist ökonomisch lukrativ, da Nischenanforderungen effizienter erfüllt werden können. Allerdings stehen dabei insbesondere Domänenexperten ohne Programmiererkenntnisse noch immer vor substantiellen Herausforderungen, wie der bedarfsgerechten Auswahl von Bausteinen und deren korrekten Komposition. Diese Dissertation stellt daher neue Methoden und Werkzeuge für das assistierte End-User-Development von kompositen Webanwendungen vor. Im Ergebnis entsteht das ganzheitliche Konzept einer Kompositionsplattform, die Nicht-Programmierer in die Lage versetzt, eigenständig Anwendungen bedarfsgerecht zu entwickeln und einzusetzen. Als zentrales Element existiert ein hochiteratives Vorgehensmodell, bei dem die Entwicklung und die Nutzung kompositer Webanwendungen weitgehend verschmelzen. Ein wesentliches Merkmal des Ansatzes ist, dass aus Nutzersicht sämtliche Aktivitäten auf fachlicher Ebene stattfinden, während die Kompositionsplattform die technische Umsetzung übernimmt und vor den Nutzern verbirgt. Grundlage hierfür sind Konzepte zur universellen Komposition und eine umfassende Modellbasis. Letztere umfasst semantikbasierte Beschreibungen von Komponenten sowie Kompositionsfragmenten und von deren Funktionalitäten (Capabilities). Weiterhin wird statistisches und semantisches Kompositionswissen sowie Nutzerfeedback modelliert. Darauf aufbauend werden neue, anwendungsunabhängige Mechanismen konzipiert. Hierzu zählt ein Empfehlungssystem, das prozessbegleitend Kompositionsschritte vorschlägt und das erstmals mit Empfehlungsstrategien in hohem Maße an seinen Einsatzkontext angepasst werden kann. Weiterhin sieht der Ansatz semantikbasierte Datenmediation und einen Algorithmus vor, der die Capabilities von Kompositionsfragmenten abschätzt. Diese Konzepte dienen schließlich als Basis für eine in sich zusammenhängende Werkzeugpalette, welche die Aktivitäten des Vorgehensmodells durchgehend unterstützt. Zum Beispiel assistiert ein Wizard Nicht-Programmierern bei der anforderungsgetriebenen Identifikation passender Kompositionsfragmente. Weitere konzipierte Hilfsmittel erlauben es Nutzern, Anwendungen live zu komponieren sowie anzupassen und deren Funktionsweise nachzuvollziehen bzw. zu untersuchen. Die Werkzeuge basieren maßgeblich auf Capabilities zur fachlichen Kommunikation mit Nutzern, als Kompositionsmetapher, zur Erklärung funktionaler Zusammenhänge und zur Erfassung von Nutzeranforderungen. Die Kernkonzepte wurden durch prototypische Implementierungen und praktische Erprobung in verschiedenen Anwendungsdomänen validiert. Zudem findet die Evaluation von Ansätzen durch Performanz-Messungen, Expertenbefragung und Nutzerstudien statt. Insgesamt zeigen die Ergebnisse, dass die Konzepte für die Zielgruppe nützlich sind und als tragfähig angesehen werden können.:1 Einleitung 1.1 Analyse von Herausforderungen und Problemen 1.1.1 Zielgruppendefinition 1.1.2 Problemanalyse 1.2 Thesen, Ziele, Abgrenzung 1.2.1 Forschungsthesen 1.2.2 Forschungsziele 1.2.3 Annahmen und Abgrenzungen 1.3 Aufbau der Arbeit 2 Grundlagen und Anforderungsanalyse 2.1 CRUISE – Architektur und Modelle 2.1.1 Komponentenmetamodell 2.1.2 Kompositionsmodell 2.1.3 Architekturüberblick 2.1.4 Fazit 2.2 Referenzszenarien 2.2.1 Ad-hoc-Erstellung einer CWA zur Konferenzplanung 2.2.2 Geführte Recherche nach einer CWA 2.2.3 Unterstützte Nutzung einer CWA 2.3 Anforderungen 3 Stand von Forschung und Technik 3.1 Kompositionsplattformen für EUD 3.1.1 Webservice-Komposition durch Endnutzer 3.1.2 Mashup-Komposition durch Endnutzer 3.1.3 Fazit 3.2 Empfehlungssysteme im Mashupkontext 3.2.1 Empfehlungsansätze in Kompositionsplattformen 3.2.2 Nutzerfeedback in Empfehlungssystemen 3.2.3 Fazit 3.3 Eingabe funktionaler Anforderungen 3.3.1 Textuelle Ansätze 3.3.2 Graphische Anfrageformulierung 3.3.3 Hierarchische und facettierte Suche 3.3.4 Assistenten und dialogbasierte Ansätze 3.3.5 Fazit 3.4 Ansätze zur Datenmediation 3.4.1 Ontology Mediation 3.4.2 Vertreter aus dem Bereich (Semantic) Web Services 3.4.3 Datenmediation in Mashup-Plattformen 3.4.4 Fazit 3.5 Fazit zum Stand von Forschung und Technik 4 Assistiertes EUD von CWA durch Nicht-Programmierer 4.1 Assistiertes EUD von Mashups 4.1.1 Modellebene 4.1.2 Basismechanismen 4.1.3 Werkzeuge 4.2 Grobarchitektur 5 Basiskonzepte 5.1 Grundlegende Modelle 5.1.1 Capability-Metamodell 5.1.2 Erweiterungen von Komponentenmodell und SMCDL 5.1.3 Nutzer- und Kontextmodell 5.1.4 Metamodell für kontextualisiertes Feedback 5.2 Semantische Datenmediation 5.2.1 Vorbetrachtungen und Definitionen 5.2.2 Techniken zur semantischen Datenmediation 5.2.3 Architektonische Implikationen und Abläufe 5.3 Ableiten von Capabilities 5.3.1 Anforderungen und verwandte Ansätze 5.3.2 Definitionen und Grundlagen 5.3.3 Übersicht über den Algorithmus 5.3.4 Detaillierter Ablauf 5.3.5 Architekturüberblick 5.4 Erzeugung eines Capability-Wissensgraphen 5.4.1 Struktur des Wissensgraphen 5.4.2 Instanziierung des Wissensgraphen 5.5 Zusammenfassung 6 Empfehlungssystem 6.1 Gesamtansatz im Überblick 6.2 Empfehlungssystemspezifische Metamodelle 6.2.1 Trigger-Metamodell 6.2.2 Pattern-Metamodell 6.3 Architektur und Abläufe des Empfehlungssystems 6.3.1 Ableitung von Pattern-Instanzen 6.3.2 Empfehlungsgründe identifizieren durch Trigger 6.3.3 Empfehlungen berechnen 6.3.4 Präsentation von Empfehlungen 6.3.5 Integration von Patterns 6.4 Zusammenfassung 7 Methoden zur Nutzerführung 7.1 Der Startbildschirm als zentraler Einstiegspunkt 7.2 Live-View 7.3 Capability-View 7.3.1 Interaktive Exploration von Capabilities 7.3.2 Kontextsensitive Erzeugung von Beschriftungen 7.3.3 Verknüpfen von Capabilities 7.3.4 Handhabung von Komponenten ohne UI 7.4 Wizard zur Eingabe funktionaler Anforderungen 7.5 Erklärungstechniken 7.5.1 Anforderungen und verwandte Ansätze 7.5.2 Kernkonzepte 7.5.3 Assistenzwerkzeuge 8 Implementierung und Evaluation 8.1 Umsetzung der Modelle und der Basisarchitektur 8.2 Realisierung der Mediationskonzepte 8.2.1 Erweiterung des Kompositionsmodells 8.2.2 Implementierung des Mediators 8.2.3 Evaluation und Diskussion 8.3 Algorithmus zur Abschätzung von Capabilities 8.3.1 Prototypische Umsetzung 8.3.2 Experten-Evaluation 8.4 Umsetzung des Empfehlungskreislaufes 8.4.1 Performanzbetrachtungen 8.4.2 Evaluation und Diskussion 8.5 Evaluation von EUD-Werkzeugen 8.5.1 Evaluation der Capability-View 8.5.2 Prototyp und Nutzerstudie des Wizards 8.5.3 Prototyp und Nutzerstudie zu den Erklärungstechniken 8.6 Fazit 9 Zusammenfassung, Diskussion und Ausblick 9.1 Zusammenfassung und Beiträge der Kapitel 9.2 Einschätzung der Ergebnisse 9.2.1 Diskussion der Erreichung der Forschungsziele 9.2.2 Diskussion der Forschungsthesen 9.2.3 Wissenschaftliche Beiträge 9.2.4 Grenzen der geschaffenen Konzepte 9.3 Laufende und weiterführende Arbeiten A Anhänge A.1 Richtlinien für die Annotation von Komponenten A.2 Fragebogen zur System Usability Scale A.3 Illustration von Mediationstechniken A.4 Komponentenbeschreibung in SMCDL (Beispiel) A.5 Beispiele zu Algorithmen A.5.1 Berechnung einer bestimmenden Entity A.5.2 Berechnung der Ähnlichkeit atomarer Capabilities A.6 Bewertung verwandter Ansätze Literaturverzeichnis Webreferenze