Automatically Generating Personalized User Interfaces with SUPPLE

Today's computer–human interfaces are typically designed with the assumption that they are going to be used by an able-bodied person, who is using a typical set of input and output devices, who has typical perceptual and cognitive abilities, and who is sitting in a stable, warm environment. Any deviation from these assumptions may drastically hamper the person's effectiveness—not because of any inherent barrier to interaction, but because of a mismatch between the person's effective abilities and the assumptions underlying the interface design. We argue that automatic personalized interface generation is a feasible and scalable solution to this challenge. We present our Supple system, which can automatically generate interfaces adapted to a person's devices, tasks, preferences, and abilities. In this paper we formally define interface generation as an optimization problem and demonstrate that, despite a large solution space (of up to 1017 possible interfaces), the problem is computationally feasible. In fact, for a particular class of cost functions, Supple produces exact solutions in under a second for most cases, and in a little over a minute in the worst case encountered, thus enabling run-time generation of user interfaces. We further show how several different design criteria can be expressed in the cost function, enabling different kinds of personalization. We also demonstrate how this approach enables extensive user- and system-initiated run-time adaptations to the interfaces after they have been generated. Supple is not intended to replace human user interface designers—instead, it offers alternative user interfaces for those people whose devices, tasks, preferences, and abilities are not sufficiently addressed by the hand-crafted designs. Indeed, the results of our study show that, compared to manufacturers' defaults, interfaces automatically generated by Supple significantly improve speed, accuracy and satisfaction of people with motor impairments.Engineering and Applied Science

Ability-Based Design: Concept, Principles and Examples

Current approaches to accessible computing share a common goal of making technology accessible to users with disabilities. Perhaps because of this goal, they may also share a tendency to centralize disability rather than ability. We present a refinement to these approaches called ability-based design that consists of focusing on ability throughout the design process in an effort to create systems that leverage the full range of human potential. Just as user-centered design shifted the focus of interactive system design from systems to users, ability-based design attempts to shift the focus of accessible design from disability to ability. Although prior approaches to accessible computing may consider users’ abilities to some extent, ability-based design makes ability its central focus. We offer seven ability-based design principles and describe the projects that inspired their formulation. We also present a research agenda for ability-based design.Engineering and Applied Science

Adaptive model-driven user interface development systems

Adaptive user interfaces (UIs) were introduced to address some of the usability problems that plague many software applications. Model-driven engineering formed the basis for most of the systems targeting the development of such UIs. An overview of these systems is presented and a set of criteria is established to evaluate the strengths and shortcomings of the state-of-the-art, which is categorized under architectures, techniques, and tools. A summary of the evaluation is presented in tables that visually illustrate the fulfillment of each criterion by each system. The evaluation identified several gaps in the existing art and highlighted the areas of promising improvement

Engineering Adaptive Model-Driven User Interfaces for Enterprise Applications

Enterprise applications such as enterprise resource planning systems have numerous complex user interfaces (UIs). Usability problems plague these UIs because they are offered as a generic off-the-shelf solution to end-users with diverse needs in terms of their required features and layout preferences. Adaptive UIs can help in improving usability by tailoring the features and layout based on the context-of-use. The model-driven UI development approach offers the possibility of applying different types of adaptations on the various UI levels of abstraction. This approach forms the basis for many works researching the development of adaptive UIs. Yet, several gaps were identified in the state-of-the-art adaptive model-driven UI development systems. To fill these gaps, this thesis presents an approach that offers the following novel contributions: - The Cedar Architecture serves as a reference for developing adaptive model-driven enterprise application user interfaces. - Role-Based User Interface Simplification (RBUIS) is a mechanism for improving usability through adaptive behavior, by providing end-users with a minimal feature-set and an optimal layout based on the context-of-use. - Cedar Studio is an integrated development environment, which provides tool support for building adaptive model-driven enterprise application UIs using RBUIS based on the Cedar Architecture. The contributions were evaluated from the technical and human perspectives. Several metrics were established and applied to measure the technical characteristics of the proposed approach after integrating it into an open-source enterprise application. Additional insights about the approach were obtained through the opinions of industry experts and data from real-life projects. Usability studies showed the approach’s ability to significantly improve usability in terms of end-user efficiency, effectiveness and satisfaction

Integration of Assistive Technologies into 3D Simulations: Exploratory Studies

Virtual worlds and environments have many purposes, ranging from games to scientific research. However, universal accessibility features in such virtual environments are limited. As the impairment prevalence rate increases yearly, so does the research interests in the field of assistive technologies. This work introduces research in assistive technologies and presents three software developments that explore the integration of assistive technologies within virtual environments, with a strong focus on Brain-Computer Interfaces. An accessible gaming system, a hands-free navigation software system, and a Brain-Computer Interaction plugin have been developed to study the capabilities of accessibility features within virtual 3D environments. Details of the specification, design, and implementation of these software applications are presented in the thesis. Observations and preliminary results as well as directions of future work are also included

A web transconding framework base on user behaviour evaluation

111 p.La Web está en constante crecimiento y cada vez son mas los servicios que se ofrecendesde la misma. Esto hace que la Web se esté convirtiendo en una herramienta básicapara la vida diaria [Wellman and Haythornthwaite, 2008]. Sin embargo, para que la webalcance su máximo potencial hay que afrontar algunos retos, tales como la diversidad deusuarios y de dispositivos [Shneiderman, 2000]. Cada persona es única y tiene diversashabilidades y preferencias. Además, en muchas ocasiones las necesidades de unapersona pueden ser contrapuestas a las necesidades de otras. Por ejemplo, una personacon ceguera necesita un tipo de página web lineal y sin imágenes, mientras que unapersona con problemas cognitivos necesita una web gráfica con el mínimo texto posible.La accesibilidad a la web se ha centrado principalmente en mejorar métodos dediseño y evaluación (a partir de pautas) que permitan crear nuevas páginas webaccesibles para todos. Sin embargo este enfoque no resuelve el acceso a las páginas queya han sido diseñadas sin tener en cuenta su accesibilidad. Además, dada la diversidadde usuarios y de dispositivos, incluso las páginas accesibles pueden presentar barreras ausuarios concretos utilizando determinados dispositivos.Como alternativa, el transcoding es una técnica que transforma páginas no accesiblesen accesibles de manera automática, sin necesidad de que intervenga el desarrollador dela página en la transformación [Asakawa and Takagi, 2008]. Además, durante elproceso de recodificación es posible aplicar técnicas de adaptación que permitan adaptarla página a las necesidades de los usuarios.Para que las adaptaciones automáticas sean adecuadas, es necesario conocer elpropósito de cada uno de los elementos que aparecen en la página web. Por ejemplo, sise trata de un menú, del contenido principal, o de una tabla, etc. Gracias a las websemántica y a los lenguajes de marcado tales como WAI-ARIA [2016] o HTML5[2016] es posible añadir etiquetas semánticas que permitan realizar las transformacionesadecuadamente.Por otro lado, para poder adaptar el contenido se requiere mucha más información.Por ejemplo, qué elementos pueden causar problemas, aprender cuales son lasestrategias de navegación los usuarios, etc. Existen diferentes maneras adquirir esteconocimiento, que además pueden servir para medir la accesibilidad, tales comoherramientas automáticas, evaluaciones de expertos o las evaluaciones de usuario.Las herramientas automáticas comprueban la accesibilidad o usabilidad en base a lasnormas de accesibilidad estándar, tales como las WCAG 2.0 [2016] sin intervenciónhumana. Pero este tipo de herramientas no pueden comprobar algunos tipo de pautas,por lo que es necesaria la participación de expertos que juzguen su cumplimiento.Por otro lado, en la evaluación llevada a cabo por expertos, el evaluador puede tomardiferentes roles: se puede poner en el papel del usuario, o bien puede evaluar losproblemas más comunes. La eficacia de estos métodos suele depender en gran medidadel conocimiento que tiene el evaluador sobre los usuarios, su contexto, lasherramientas Web, etc.Cuando el factor económico no es un problema, la evaluación con usuarios es lamejor opción. Con este método es posible detectar cuales son los problemas reales delos usuarios: es posible observar las estrategias de interacción de los usuarios y ademásmedir la accesibilidad de las páginas durante el uso. Es importante tener en cuenta queaunque una página sea ¿oficialmente¿ accesible, puede resultar que no lo es paradeterminadas personas, por diferentes causas, tales como necesidades especiales, nivelde experiencia y conocimiento, etc. [Vigo and Harper, 2013].En esta tesis se presenta un marco de trabajo que permite hacer accesibles las páginasweb previamente inaccesibles y, además, adecuarlas a las necesidades de cada persona.Para ello utilizamos técnicas de transcoding basadas en métodos de evaluación delcomportamiento del usuario.A partir del modelo conceptual propuesto, se han diseñado dos componentes: unaherramienta de transcoding, Model Access, y una herramienta para la realización de testremotos con usuarios con discapacidad, RemoTest.La aplicación de Model Access para el transcoding requiere:¿ páginas web que hayan sido marcadas con meta-datos semánticos, para lo quehemos utilizado una extensión desarrollada por nosostros del lenguaje demarcado WAI-ARIA¿ un conjunto de técnicas de adaptación, para lo que hemos hecho una selección apartir de la literatura y de nuestros propios test con usuarios reales.¿ un sistema de razonamiento que permita decidir qué técnicas de adaptaciónaplicar y a qué elementos anotados se pueden aplicar, para lo que hemosdiseñado una ontología específica.¿ un modelo que contenga las características del usuario (restricciones ypreferencias) y del dispositivo que está usando para acceder a la web.A partir de estos elementos, la herramienta de transcoding modifica el código de lapágina original (no accesible) para convertirla en una página accesible y adaptada a losrequisitos de cada usuario específico.RemoTestTanto el diseño de técnicas de adaptación, como la validación de las páginas generadas,o la creación de los modelos requieren la realización de test con usuarios. Para ello se hadesarrollado una herramienta de experimentación remota con participación de personascon discapacidad. Esta herramienta, utiliza el Lenguaje de Especificación Experimental(ESL) y el Lenguaje de Control de la Sesión Experimental (ESCL) que han sidodiseñados y especificados mediante lenguaje de marcado XML.RemoTest es una herramienta para llevar a cabo test de usuario con personas condiscapacidad de manera remota o local. RemoTest provee a los investigadores loselementos necesarios para diseñar, llevar a cabo y analizar experimentos con personascon discapacidad. Algunos de los posibles usos de la herramienta son: la evaluación dela accesibilidad y/o usabilidad de la páginas web, la evaluación de las adaptaciones, elanálisis del comportamiento del usuario, la creación de modelos válidos para elrazonamiento.Para poder llevar a cabo experimentos con personas con discapacidad, es necesariocumplir una serie de requisitos:¿ que las interfaces de la herramienta sean accesibles¿ que los usuario puedan especificar la tecnología de apoyo que usan y sus datosdemográficos¿ que puedan realizar ejercicios de entrenamiento previos a la sesión experimentaly puedan seleccionar las tareasCon estos objetivos en mente, y con la participación durante el desarrollo de personascon discapacidad, se creó RemoTest. La herramienta está compuesta por cuatromódulos, Módulo del Experimentador, Módulo Coordinador, Módulo del Participantey por el Módulo Visor de Resultados.Módulo del ExperimentadorEste módulo ayuda al investigador a diseñar un experimento mediante una interfazgráfica en unos sencillos pasos. Primero se debe especificar el tipo de experimento:Web o cuestionario. En el segundo se definen los estímulos, las tareas así como lasposibles dependencias entre las mismas. Para que tanto los cuestionarios creados comolas páginas de información sean accesibles, la herramienta requiere al investigador queintroduzca los textos o imágenes que sean necesarios.En el tercer paso, se define el procedimiento del experimento, el número de grupos,cual va a ser el orden de las tareas etc. Por último solo queda seleccionar los datos quese quieren recoger y seleccionar los participantes que formarán parte del estudio.Una vez recogida toda la información sobre el diseño del experimento se crea unfichero XML basado en el lenguaje de diseño experimental (ESL) que se envía almódulo coordinador.Módulo CoordinadorEl modulo coordinador cumple las siguientes funciones:¿ guardar los experimentos diseñados¿ crear los estímulos y pantallas de información¿ crear la sesión experimental para cada usuario en el lenguaje de control desesiones experimentales (ESCL)¿ guardar los datos recibidos del módulo participante¿ mantener la base de datos de participantes e investigadoresMódulo del ParticipanteEste módulo es el encargado de interpretar el lenguaje de control de la sesiónexperimental (ESCL) para llevar a cabo la sesión, presentado al participante losestímulos y páginas de información que sean necesarias. Además, el móduloparticipante, recoge los eventos generados por el usuario, como por ejemplo losproducidos por el movimiento del cursor, el teclado o los del propio navegador. Estoseventos son enviados al coordinador para su posterior análisis con el módulo visor deresultados.Módulo Visor de ResultadosEste es el módulo encargado de interpretar y calcular diferentes medidas de los datosrecogidos. La herramienta es capaz de calcular valores tales como la velocidad, ladistancia recorrida o la relación entre la distancia optima al objetivo y la recorrida por elcursor. Por otro lado, también realiza cálculos centrados en la usabilidad de la páginaweb. Como, por ejemplo, el tiempo requerido para realizar la tarea, si el usuario se haperdido navegando mientras realizaba la tarea, así como por qué zonas de la página hapasado el cursor.Para poder extraer medidas fiables del cursor es necesario usar algoritmos quepermitan dilucidar cuándo el usuario ha decidido mover el cursor para seleccionar elobjetivo. Esto es importante, ya que no siempre el usuario mueve el cursor para haceruna selección. Algunas personas mueven el cursor mientras leen, o se entretienen. Unelemento clave de estos algoritmos es diferenciar las pausas causadas por el no uso delratón, de las pausas causadas por las correcciones de la trayectoria del cursor. Laherramienta diseñada por nosotros, al contrario que los trabajos relacionados en laliteratura, calcula un valor para cada usuario con el objetivo de diferenciar los dos tiposde pausa.Model AccessModel Access es un sistema de transcoding que adapta páginas web anotadas medianteuna extensión del lenguaje de marcado WAI-ARIA. El sistema hace uso de unaontología para modelar el usuario, el dispositivo, la tecnología de apoyo, el sistema deanotación y las técnicas de adaptación.La potencia de los sistemas de adaptación depende en gran medida de el número detécnicas de adaptación que son capaces de aplicar. Por ello, se realizó una búsquedaintensiva en la literatura de las técnicas de adaptación que pudieran ayudar a laspersonas con necesidades especiales. Además, también se incluyeron otras técnicas deadaptación que surgieron de las necesidades que detectamos en los experimentosllevados a cabo anteriormente.Model Access está compuesto por cuatro módulos principales: el Módulo dePresentación, que se ejecuta en el cliente del usuario, y el Módulo de Adaptaciones, elMódulo Coordinador y la Base de Conocimiento, que se ejecutan en un servidorEn la figura 1 podemos observar, cómo es el proceso de transformación de unapágina web anotada y otra sin anotar pero con el lenguaje WAI-ARIA ya incluido. Elmódulo de presentación se encarga de recoger la página web a la que quiere ir el usuariopara enviársela al módulo del coordinador. Este consulta en la base de conocimientoqué adaptaciones son aplicables al usuario, el dispositivo, la tecnología de apoyo y lapágina web específicos. Esta información es enviada al módulo de adaptaciones queejecuta las adaptaciones pertinentes.Dado que la lógica de las adaptaciones se encuentra en la base de conocimiento, es muysencillo crear nuevas adaptaciones para nuevos usuarios sin que sea necesario realizarFigure 1. Arquitectura general y funcionamientocambios que en la base de conocimiento.AnotaciónUno de los problemas de los sistemas de transcoding es la necesidad de anotar loselementos de la interfaz para producir adaptaciones adecuadas. Al hacer uso de unaextensión de WAI-ARIA, las páginas que ya incluyen este lenguaje de marcado puedenser adaptadas, ya que un gran número de adaptaciones hace uso de los roles ypropiedades presentes en este lenguaje.Las páginas que no incluyen marcas WAI-ARIA se pueden anotar mediante loselementos (clases e ids) de la CSS de la página. Anotando unos poco elementos de laCSS de una página se puede conseguir la anotación de un sitio web entero, ya que elCSS suele ser común para todo el sitio web.EvaluacionesPara comprobar la utilidad de las herramientas desarrolladas y del modelo conceptual,se llevaron a cabo diferentes evaluaciones.En primer lugar se analizó la accesibilidad de la propia herramienta RemoTest y desu proceso de instalación con 36 personas, de las cuales el 36% tenían problemas demovilidad, el 27% eran ciegas, el 22% tenían baja visión, mientras que el resto no teníaninguna discapacidad.Para poder detectar los problemas que pudieran encontar los usuarios al navegar enla web, se llevaron a cabo dos evaluaciones con la herramienta RemoTest: una conpersonas con baja visión y otra con personas con movilidad reducida.De los resultados obtenidos en estas evaluaciones se crearon nuevas técnicas deadaptación. Además, también se realizaron cambios en la base de conocimiento usadapor Model Acess para adecuarse a las necesidades detectadas.Una vez que se actualizó Model Acess, se llevaron a cabo otras dos evaluaciones conpersonas con baja visión y con personas con movilidad reducida. En la primera de ellasse midió la eficacia de las adaptaciones hechas por Model Access para personas conbaja visión usando un PC. Mientras que en la segunda se pudo comprobar la eficacia delas adaptaciones y el funcionamiento de tres métodos de interacción alternativosdedicados a personas con movilidad reducida usando un dispositivo móvil táctil