Layered evaluation of interactive adaptive systems : framework and formative methods

Peer reviewedPostprin

Empowering Doctoral Candidates in Finding Relevant Concepts in a Literature Set

Research activity connects prior findings with new and emerging ideas in the hope of attracting attention of those in the community who are able to make some sort of profit from the application of those ideas. Finding relevant concepts from among the vast repository of already published ideas is an important challenge for all researchers. Nowadays, there is ample opportunity to take advantage of the empowering aspects of developments in information technology. In this study, we share some ideas to efficiently and effectively find relevant concepts in a given literature set. Our need was to find and tag predetermined concepts from among the scores of research articles that our literature search had delivered – necessarily this was a large enough task to warrant the development of some automated support to find and tag the relevant concepts. We had prior exposure to Adobe® Acrobat® Pro and noted that it provides superior ‘search and find’ facilities; we decided to trial this use for our purposes in the ‘Tribes and Cultures’ research project. We have devised and trialled a seven step, semi-automated method to assist in finding relevant concepts from within collections of research articles, retrieved as Portable Document Format (PDF) files, from bibliographic databases and digital libraries

The development of design guidelines for educational programming environments

Introductory programming courses at university are currently experiencing a significant dropout and failure rate. Whilst several reasons have been attributed to these numbers by researchers, such as cognitive factors and aptitude, it is still unclear why programming is a natural skill for some students and a cause of struggle for others. Most of the research in the computer science literature suggests that methods of teaching programming and students’ learning styles as reasons behind this trend. In addition to the choice of the first programming language taught. With the popularity of virtual learning environments and online courses, several instructors are incorporating these e-learning tools in their lectures in an attempt to increase engagement and achievement. However, many of these strategies fail as they do not use effective teaching practices or recognise the learning preferences exhibited by a diverse student population. Therefore this research proposes that combining multiple teaching methods to accommodate different learners' preferences will significantly improve performance in programming. To test the hypothesis, an interactive web based learning tool to teach Python programming language (PILeT) was developed. The tool’s novel contribution is that it offers a combination of pedagogical methods to support student’s learning style based on the Felder-Silverman model. First, PILeT was evaluated by both expert and representative users to detect any usability or interface design issues that might interfere with students’ learning. Once the problems were detected and fixed, PILeT was evaluated again to measure the learning outcomes that resulted from its use. The experimental results show that PILeT has a positive impact on students learning programming

Mastering the requirements analysis for communication-intensive websites

Web application development still needs to employ effective methods to accommodate some distinctive aspects of the requirements analysis process: capturing high-level communication goals, considering several user profiles and stakeholders, defining hypermedia-specific requirements (concerning navigation, content, information structure and presentation aspects), and reusing requirements for an effective usability evaluation. Techniques should be usable by both stakeholders and the design team, require little training effort, and show relative advantage to project managers. Over the last few years, requirements methodologies applied to web-based applications have considered mainly the transactional and operational aspects typical of traditional information systems. The communicational aspects of web sites have been neglected in regards to systematic requirements methods. This thesis, starting from key achievements in Requirements Engineering (hereafter RE), introduces a model (AWARE) for defining and analyzing requirements for web applications mainly conceived as strategic communication means for an institution or organization. The model extends traditional goal and scenario-based approaches for refining highlevel goals into website requirements, by introducing the analysis of ill-defined user goals, stakeholder communication goals, and a hypermedia requirement taxonomy to facilitate web conceptual design, and paving the way for a systematic usability evaluation. AWARE comprises a conceptual toolkit and a notation for effective requirements documentation. AWARE concepts and notation represent a useful communication and analysis conceptual tool that may support in the elicitation, negotiation, analysis and validation of requirements from the relevant stakeholders (users included). The empirical validation of the model is carried out in two ways. Firstly, the model has been employed in web projects on the field. These case studies and the lessons learnt will be presented and discussed to assess advantages and limits of the proposal. Secondly, a sample of web analysts and designers has been asked to study and apply the model: the feedback gathered is positive and encouraging for further improvement.Lo sviluppo di applicazioni web necessita di strumenti efficaci per gestire alcuni aspetti essenziali del processo di analisi dei requisiti: l'identificazione di obiettivi di comunicazione strategici, la presenza di una varietà di profili utente e di stakeholders, le definizione di requisiti ipermediali (riguardanti navigazione, interazione, contenuto e presentazione), e il riuso dei requisiti per una pianificazione efficace della valutazione dell'usabilità. Sono necessarie tecniche usabili sia dagli stakeholders che dai progettisti, che richiedono un tempo breve per essere appresi ed usati con efficacia, mostrando vantaggi significativi ai gestori di progetti complessi. La tesi definisce AWARE (Analysis of Web Application Requirements) - una metodologia per l'analisi dei requisiti specifica per la gestione di siti web (ed applicazioni interattive) con forti componenti comunicative. La metodologia estende le tecniche esistenti dell''analisi dei requisiti basate su approcci goal-oriented e scenario-based, introducendo una tassonomia di requisiti specifica per siti web (che permette di dare un input strutturato all'attività di progetazione), strumenti per l'identificazione e l'analisi di obiettivi ill-defined (generici o mal-definiti) e di obiettivi comunicativi e supporto metodologico per la valutazione dell'usabilità basata sui requisiti dell'applicazione. La metodologia AWARE è stata valutata sul campo attraverso progetti con professionisti del settore (web designers e IT managers), e grazie ad interventi di formazione in aziende specializzate nella comunicazione su web

The design and evaluation of non-visual information systems for blind users

This research was motivated by the sudden increase of hypermedia information (such as that found on CD-ROMs and on the World Wide Web), which was not initially accessible to blind people, although offered significant advantages over traditional braille and audiotape information. Existing non-visual information systems for blind people had very different designs and functionality, but none of them provided what was required according to user requirements studies: an easy-to-use non-visual interface to hypermedia material with a range of input devices for blind students. Furthermore, there was no single suitable design and evaluation methodology which could be used for the development of non-visual information systems. The aims of this research were therefore: (1) to develop a generic, iterative design and evaluation methodology consisting of a number of techniques suitable for formative evaluation of non-visual interfaces; (2) to explore non-visual interaction possibilities for a multimodal hypermedia browser for blind students based on user requirements; and (3) to apply the evaluation methodology to non-visual information systems at different stages of their development. The methodology developed and recommended consists of a range of complementary design and evaluation techniques, and successfully allowed the systematic development of prototype non-visual interfaces for blind users by identifying usability problems and developing solutions. Three prototype interfaces are described: the design and evaluation of two versions of a hypermedia browser; and an evaluation of a digital talking book. Recommendations made from the evaluations for an effective non-visual interface include the provision of a consistent multimodal interface, non-speech sounds for information and feedback, a range of simple and consistent commands for reading, navigation, orientation and output control, and support features. This research will inform developers of similar systems for blind users, and in addition, the methodology and design ideas are considered sufficiently generic, but also sufficiently detailed, that the findings could be applied successfully to the development of non-visual interfaces of any type

EWA - Evaluating web accessibility

Tese de mestrado em Engenharia Informática (Sistemas de Informação), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011A Web, como uma plataforma aberta para a produção e consumo de informação, é usada por vários tipos de pessoas, algumas com determinadas incapacidades. Os sítios Web devem ser desenvolvidos tendo em conta que a informação deve ser compreendida por todos, isto é, deve ser acessível. Para analisar se uma determinada páginaWeb é acessível, é necessário inspeccionar as suas tecnologias de front-end (por exemplo: HTML, CSS, Javascript) esta inspecção pode ser feita de acordo com regras específicas. Um processo de avaliação interessante diz respeito à utilização de ferramentas de acessibilidade que automaticamente inspeccionam uma página Web. A avaliação automática de acessibilidade pode ocorrer em vários ambientes de execução e pode ser realizada em HTML original ou transformado. O HTML original é o documento HTML inicial derivado do pedido HTTP. O HTML transformado resulta da aplicação das tecnologias de front-end no HTML original, como realizado pelo CSS e pelo Javascript/Ajax. Isto pode alterar substancialmente a estrutura do conteúdo, apresentação e capacidade de interacção propiciada por uma determinada página Web. Esta distinção entre as versões do HTML original e transformado de uma página Web é fundamental, porque é o HTML transformado que é apresentado e com que os utilizadores interagem no Web browser. Os processos existentes de avaliação automática, como os apresentados em [35, 34,37], normalmente ocorrem no HTML original. Desta forma, as conclusões sobre a qualidade da acessibilidade de uma página Web podem estar erradas ou incompletas. Neste trabalho realizou-se uma framework de avaliação de acessibilidade Web em diferentes ambientes, com o objectivo de compreender as suas semelhanças e diferenças a nível de acessibilidade. A arquitectura da framework de avaliação consiste em quatro principais componentes: Execution Environments, QualWeb evaluator, Techniques e Formatters. O QualWeb evaluator é responsável por realizar a avaliação da acessibilidade na páginaWeb usando os recursos fornecidos pelo componente das Techniques, que usa o componente Formatters para adequar os resultados em formatos de serialização específicos, tais como relatórios de erros. O QualWeb evaluator pode também ser usado independentemente dos vários em diferentes ambientes de execução (Execution Environments) Os Execution Environments são responsáveis pela transformação do documento HTML de uma página Web na sua representação equivalente numa árvore HTML DOM. O componente Techniques contém as técnicas de avaliação do front-end, optando-se por usar W3C WCAG 2.0 [17], porque é um dos mais importantes padrões de acessibilidade. A arquitectura foi pensada de forma a permitir a serialização dos resultados da avaliação em qualquer formato. Assim, as bibliotecas de formatação estão contidas dentro do componente Formatters. Foi utilizada a serialização EARL [9], porque é um formato padrão para relatórios de acessibilidade. Os resultados obtidos podem ser interpretados por qualquer ferramenta que use este formato, permitindo comparar os resultados desta ferramenta com os de outras. A qualquer altura pode ser adicionado outro tipo de formatação nos Formatters (por exemplo, relatórios em PDF). O componente Execution Environments representa os vários ambientes de execução e foram usados dois tipos: o Command Line e o Browser. O Command Line é o equivalente ao ambiente de execução normalmente utilizado para realização de testes automáticos, ou seja, o ambiente que fornece o HTML original. O Browser é o ambiente de exevuçao onde o HTML usado é o transformado. A arquitectura foi desenvolvida de forma a ser flexível e modular, sendo possível a qualquer momento a adição um novo módulo dentro dos componentes principais. Por exemplo: adição de um novo ambiente de execução, ou outro tipo de técnicas. Para se conseguir avaliar da mesma forma os ambientes de execução, a implementação foi realizada na linguagem de programação Javascript, porque é facilmente suportada nos dois ambientes. Esta implementação permite o estudo comparativo das diferenças da avaliação da acessibilidade Web em ambos. Foi também desenvolvida uma bateria de testes para se validar de forma sistemática as técnicas implementadas nos dois ambientes. Desta forma, os resultados obtidos para cada técnica foram validados, antes de o avaliador ser utilizado para testes mais complexos. Garantindo que os resultados obtidos posteriormente estariam correctos. Finalmente, foi realizado um estudo para se perceber se era realmente mais vantajosa a realização de avaliações de acessibilidade sobre o documento HTML transformado, em vez de no original. Foi avaliado um conjunto de páginas Web nos dos ambientes implementados. Com a comparação dos resultados obtidos nos dois ambientes conclui-se: que são detectados muito mais elementos no Browser e com isso conseguem-se obter mais resultados de acessibilidade neste ambiente; e que há uma diferença muito significativa na estrutura do HTML transformado e original. Pode assim afirmar-se, que há uma maisvalia significativa na realização deste tipo de avaliação de acessibilidade no Browser. No entanto, é importante considerar que as páginas Web são frequentemente compostas por templates. Os templates são adoptados para manter a uniformidade de distribuição, para tentar melhorar a navegação dos sítios Web e para manter objectivos das marcas. Hoje em dia, o desenvolvimento da Web é muito centrado na utilização de templates para facilitar a coerência, a implementação e a manutenção de recursos de um sítio Web. Foi determinado que 40-50% do conteúdo daWeb são templates [23]. Apesar desta ampla utilização de templates, as avaliações de acessibilidade avaliam as páginas como um todo, não procurando similaridades que se verificam devido à utilização dos templates. Esta forma de avaliação das páginas com um todo, faz com que os verdadeiros resultados de acessibilidade fiquem diluídos no meio de um grande número de resultados repetidos. Contudo, os templates podem ser uma mais-valia para que faz um sítioWeb, não sendo necessário corrigir o mesmo erro várias vezes, basta corrigi-lo uma vez que o próprio template propaga essa correcção por todo o sítio Web. Realizou-se por isso um algoritmo de detecção de templates, utilizando como base um algoritmo de detecção de matching já existente [14]. Este algoritmo detecta similaridades entre duas árvores HTML DOM. Para se perceber concretamente as semelhanças nos elementos HTML entre as páginas Web, efectuou-se um estudo para detecção dos templates em vários sítios Web. O processo utilizado consistiu nos seguintes passos: 1) detectar os templates entre várias páginas do mesmo sítio Web; 2) proceder à avaliação das páginas usando o nosso avaliador definido no inicio do trabalho; e finalmente, 3) separar os ficheiros EARL obtidos em dois ficheiros, um que continha a parte comum entre duas páginas e outro que continha a parte especifica, template set e specific set, respectivamente. Desta forma, determinou-se que aproximadamente 39% dos resultados de acessibilidade foram verificados nos templates. É uma percentagem bastante elevada de erros que pode ser corrigida de uma só vez. Com este trabalho foi então realizado: uma análise comparativa dos dois ambientes de execução; um algoritmo de detecção de templates que permitiu a criação de uma nova métrica de acessibilidade, que quantifica o trabalho necessário para reparar problemas de acessibilidade e que pode até ser utilizada como auxiliar de outras métricas; a arquitectura de um sistema de avaliação que pode ser executado em vários ambientes; um avaliador de acessibilidade Web baseado em WCAG 2.0, genérico o suficiente para permitir a utilização de quaisquer técnicas, formatadores ou ambientes de execução que se pretenda; e uma bateria de testes que permite a verificação dos resultados de acessibilidade da avaliação, de acordo com as técnicas escolhidas.The purpose of this work was to improve the automated Web accessibility evaluation, considering that: evaluation should target what the end users perceive and interact with; evaluation results should address accessibility problems in a focused, uncluttered, way; and results should reflect the quality adequately to the stakeholders. These considerations had the following goals: analyse the limitations of accessibility evaluation in two different execution environments; provide additional guidance to the developer in order to correct accessibility errors, that considers the use of templates in page development and avoid cluttering the relevant evaluation results; and define evaluation metrics that reflect more adequately the difficulty to repair Web sites’ problems. An accessibility evaluator, QualWeb, was implemented and it performs W3C WCAG 2.0 evaluations. Unlike most existing automatic evaluators, this approach performs evaluations on the HTML documents already processed, accessing content as presented to the user. The evaluator also allows the evaluation on unprocessed HTML documents, as traditionally done. The framework was designed to be flexible and modular, allowing easy addition of new components. The serialization chosen was EARL that can be interpreted by any tool understanding this standard format. To verify the correctness of the WCAG techniques implementation, a control test-bed of HTML documents was implemented, representing the most significant problems that should be detected. Results of the first experimental study confirmed that there are deep differences between the HTML DOM trees in the two types of evaluation. This shows that traditional evaluations do not present results coherent with what is presented to the users. It was also implemented a template detection algorithm allowing the adequate detailed and metric-based reporting of an accessibility evaluation. This form of reporting can be used by existing tools, which can become more helpful in producing accessibleWeb sites. Results from the second experimental study show that template-awareness may simplify assessment reporting, and approximately 39% of the results are reported at least twice, of which approximately 38% are errors that can be corrected once

The playthrough evaluation framework reliable usability evaluation for video games

This thesis presents the playthrough evaluation framework, a novel framework for the reliable usability evaluation of first-person shooter console video games. The framework includes playthrough evaluation, a structured usability evaluation method adapted from heuristic evaluation. Usability evaluation can help guide developers by pointing out design issues that cause users problems. However, usability evaluation methods suffer from the evaluator effect, where separate evaluations of the same data do not produce reliably consistent results. This can result in a number of undesirable consequences affecting issues such as: • Unreliable evaluation: Without reliable results, evaluation reports risk giving incorrect or misleading advice. • Weak methodological validation: Typically new methods (e.g., new heuristics) are validated against user tests. However, without a reliable means to describe observations, attempts to validate novel methods against user test data will also be affected by weak reliability. The playthrough evaluation framework addresses these points through a series of studies presenting the need for, and showing the development of the framework, including the following stages, 1. Explication of poor reliability in heuristic evaluation. 2. Development and validation of a reliable user test coding scheme. 3. Derivation of a novel usability evaluation method, playthrough evaluation. 4. Testing the method, quantifying results. Evaluations were conducted with 22 participants, on 3 first-person shooter action console video games, using two methodologies, heuristic evaluation and the novel playthrough evaluation developed in this thesis. Both methods proved effective, with playthrough evaluation providing more detailed analysis but requiring more time to conduct

A generic architecture for interactive intelligent tutoring systems

This thesis was submitted for the degree of Doctor of Philosophy and awarded by Brunel University, 07/06/2001.This research is focused on developing a generic intelligent architecture for an interactive tutoring system. A review of the literature in the areas of instructional theories, cognitive and social views of learning, intelligent tutoring systems development methodologies, and knowledge representation methods was conducted. As a result, a generic ITS development architecture (GeNisa) has been proposed, which combines the features of knowledge base systems (KBS) with object-oriented methodology. The GeNisa architecture consists of the following components: a tutorial events communication module, which encapsulates the interactive processes and other independent computations between different components; a software design toolkit; and an autonomous knowledge acquisition from a probabilistic knowledge base. A graphical application development environment includes tools to support application development, and learning environments and which use a case scenario as a basis for instruction. The generic architecture is designed to support client-side execution in a Web browser environment, and further testing will show that it can disseminate applications over the World Wide Web. Such an architecture can be adapted to different teaching styles and domains, and reusing instructional materials automatically can reduce the effort of the courseware developer (hence cost and time) in authoring new materials. GeNisa was implemented using Java scripts, and subsequently evaluated at various commercial and academic organisations. Parameters chosen for the evaluation include quality of courseware, relevancy of case scenarios, portability to other platforms, ease of use, content, user-friendliness, screen display, clarity, topic interest, and overall satisfaction with GeNisa. In general, the evaluation focused on the novel characteristics and performances of the GeNisa architecture in comparison with other ITS and the results obtained are discussed and analysed. On the basis of the experience gained during the literature research and GeNisa development and evaluation. a generic methodology for ITS development is proposed as well as the requirements for the further development of ITS tools. Finally, conclusions are drawn and areas for further research are identified