Measuring and comparing the reliability of the structured walkthrough evaluation method with novices and experts

Effective evaluation of websites for accessibility remains problematic. Automated evaluation tools still require a significant manual element. There is also a significant expertise and evaluator effect. The Structured Walkthrough method is the translation of a manual, expert accessibility evaluation process adapted for use by novices. The method is embedded in the Accessibility Evaluation Assistant (AEA), a web accessibility knowledge management tool. Previous trials examined the pedagogical potential of the tool when incorporated into an undergraduate computing curriculum. The results of the evaluations carried out by novices yielded promising, consistent levels of validity and reliability. This paper presents the results of an empirical study that compares the reliability of accessibility evaluations produced by two groups (novices and experts). The main results of this study indicate that overall reliability of expert evaluations was 76% compared to 65% for evaluations produced by novices. The potential of the Structured Walkthrough method as a useful and viable tool for expert evaluators is also examined. Copyright 2014 ACM

Guidance for the development of accessibility evaluation tools following the Unified Software Development Process

Automated and semi-automated accessibility evaluation tools are key to streamline the process of accessibility assessment, and ultimately ensure that software products, contents, and services meet accessibility requirements. Different evaluation tools may better fit different needs and concerns, accounting for a variety of corporate and external policies, content types, invocation methods, deployment contexts, exploitation models, intended audiences and goals; and the specific overall process where they are introduced. This has led to the proliferation of many evaluation tools tailored to specific contexts. However, tool creators, who may be not familiar with the realm of accessibility and may be part of a larger project, lack any systematic guidance when facing the implementation of accessibility evaluation functionalities. Herein we present a systematic approach to the development of accessibility evaluation tools, leveraging the different artifacts and activities of a standardized development process model (the Unified Software Development Process), and providing templates of these artifacts tailored to accessibility evaluation tools. The work presented specially considers the work in progress in this area by the W3C/WAI Evaluation and Report Working Group (ERT WG

Toward an integration of Web accessibility into testing processes

Proceedings of: 5th International Conference on Software Development and Technologies for Enhancing Accessibility and Fighting Info-exclusion, DSAI 2013. Took place in November 13-15, 2013, in Vigo, Spain. The event web site is http://dsai2013.utad.pt/The goal of this paper is to review the literature in order to understand the implications of accessibility testing processes with the objective to detect potential improvements and developments in the field. Thus, a brief review is presented of the fundamental test processes proposed by the International Software Testing Qualification Board (ISTQB) and the currently available literature about testing processes for evaluating the accessibility of web applications. The result of the review reflects an array of proposals to incorporate accessibility requirements and evaluation tools, but they do not describe a comprehensive testing process at each phase of the development lifecycle of accessible web applications.This research work is supported by the Research Network MAVIR (S2009/TIC-1542) and MULTIMEDICA project (TIN2010-20644-C03-01).Publicad

EWA - Evaluating web accessibility

Tese de mestrado em Engenharia Informática (Sistemas de Informação), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011A Web, como uma plataforma aberta para a produção e consumo de informação, é usada por vários tipos de pessoas, algumas com determinadas incapacidades. Os sítios Web devem ser desenvolvidos tendo em conta que a informação deve ser compreendida por todos, isto é, deve ser acessível. Para analisar se uma determinada páginaWeb é acessível, é necessário inspeccionar as suas tecnologias de front-end (por exemplo: HTML, CSS, Javascript) esta inspecção pode ser feita de acordo com regras específicas. Um processo de avaliação interessante diz respeito à utilização de ferramentas de acessibilidade que automaticamente inspeccionam uma página Web. A avaliação automática de acessibilidade pode ocorrer em vários ambientes de execução e pode ser realizada em HTML original ou transformado. O HTML original é o documento HTML inicial derivado do pedido HTTP. O HTML transformado resulta da aplicação das tecnologias de front-end no HTML original, como realizado pelo CSS e pelo Javascript/Ajax. Isto pode alterar substancialmente a estrutura do conteúdo, apresentação e capacidade de interacção propiciada por uma determinada página Web. Esta distinção entre as versões do HTML original e transformado de uma página Web é fundamental, porque é o HTML transformado que é apresentado e com que os utilizadores interagem no Web browser. Os processos existentes de avaliação automática, como os apresentados em [35, 34,37], normalmente ocorrem no HTML original. Desta forma, as conclusões sobre a qualidade da acessibilidade de uma página Web podem estar erradas ou incompletas. Neste trabalho realizou-se uma framework de avaliação de acessibilidade Web em diferentes ambientes, com o objectivo de compreender as suas semelhanças e diferenças a nível de acessibilidade. A arquitectura da framework de avaliação consiste em quatro principais componentes: Execution Environments, QualWeb evaluator, Techniques e Formatters. O QualWeb evaluator é responsável por realizar a avaliação da acessibilidade na páginaWeb usando os recursos fornecidos pelo componente das Techniques, que usa o componente Formatters para adequar os resultados em formatos de serialização específicos, tais como relatórios de erros. O QualWeb evaluator pode também ser usado independentemente dos vários em diferentes ambientes de execução (Execution Environments) Os Execution Environments são responsáveis pela transformação do documento HTML de uma página Web na sua representação equivalente numa árvore HTML DOM. O componente Techniques contém as técnicas de avaliação do front-end, optando-se por usar W3C WCAG 2.0 [17], porque é um dos mais importantes padrões de acessibilidade. A arquitectura foi pensada de forma a permitir a serialização dos resultados da avaliação em qualquer formato. Assim, as bibliotecas de formatação estão contidas dentro do componente Formatters. Foi utilizada a serialização EARL [9], porque é um formato padrão para relatórios de acessibilidade. Os resultados obtidos podem ser interpretados por qualquer ferramenta que use este formato, permitindo comparar os resultados desta ferramenta com os de outras. A qualquer altura pode ser adicionado outro tipo de formatação nos Formatters (por exemplo, relatórios em PDF). O componente Execution Environments representa os vários ambientes de execução e foram usados dois tipos: o Command Line e o Browser. O Command Line é o equivalente ao ambiente de execução normalmente utilizado para realização de testes automáticos, ou seja, o ambiente que fornece o HTML original. O Browser é o ambiente de exevuçao onde o HTML usado é o transformado. A arquitectura foi desenvolvida de forma a ser flexível e modular, sendo possível a qualquer momento a adição um novo módulo dentro dos componentes principais. Por exemplo: adição de um novo ambiente de execução, ou outro tipo de técnicas. Para se conseguir avaliar da mesma forma os ambientes de execução, a implementação foi realizada na linguagem de programação Javascript, porque é facilmente suportada nos dois ambientes. Esta implementação permite o estudo comparativo das diferenças da avaliação da acessibilidade Web em ambos. Foi também desenvolvida uma bateria de testes para se validar de forma sistemática as técnicas implementadas nos dois ambientes. Desta forma, os resultados obtidos para cada técnica foram validados, antes de o avaliador ser utilizado para testes mais complexos. Garantindo que os resultados obtidos posteriormente estariam correctos. Finalmente, foi realizado um estudo para se perceber se era realmente mais vantajosa a realização de avaliações de acessibilidade sobre o documento HTML transformado, em vez de no original. Foi avaliado um conjunto de páginas Web nos dos ambientes implementados. Com a comparação dos resultados obtidos nos dois ambientes conclui-se: que são detectados muito mais elementos no Browser e com isso conseguem-se obter mais resultados de acessibilidade neste ambiente; e que há uma diferença muito significativa na estrutura do HTML transformado e original. Pode assim afirmar-se, que há uma maisvalia significativa na realização deste tipo de avaliação de acessibilidade no Browser. No entanto, é importante considerar que as páginas Web são frequentemente compostas por templates. Os templates são adoptados para manter a uniformidade de distribuição, para tentar melhorar a navegação dos sítios Web e para manter objectivos das marcas. Hoje em dia, o desenvolvimento da Web é muito centrado na utilização de templates para facilitar a coerência, a implementação e a manutenção de recursos de um sítio Web. Foi determinado que 40-50% do conteúdo daWeb são templates [23]. Apesar desta ampla utilização de templates, as avaliações de acessibilidade avaliam as páginas como um todo, não procurando similaridades que se verificam devido à utilização dos templates. Esta forma de avaliação das páginas com um todo, faz com que os verdadeiros resultados de acessibilidade fiquem diluídos no meio de um grande número de resultados repetidos. Contudo, os templates podem ser uma mais-valia para que faz um sítioWeb, não sendo necessário corrigir o mesmo erro várias vezes, basta corrigi-lo uma vez que o próprio template propaga essa correcção por todo o sítio Web. Realizou-se por isso um algoritmo de detecção de templates, utilizando como base um algoritmo de detecção de matching já existente [14]. Este algoritmo detecta similaridades entre duas árvores HTML DOM. Para se perceber concretamente as semelhanças nos elementos HTML entre as páginas Web, efectuou-se um estudo para detecção dos templates em vários sítios Web. O processo utilizado consistiu nos seguintes passos: 1) detectar os templates entre várias páginas do mesmo sítio Web; 2) proceder à avaliação das páginas usando o nosso avaliador definido no inicio do trabalho; e finalmente, 3) separar os ficheiros EARL obtidos em dois ficheiros, um que continha a parte comum entre duas páginas e outro que continha a parte especifica, template set e specific set, respectivamente. Desta forma, determinou-se que aproximadamente 39% dos resultados de acessibilidade foram verificados nos templates. É uma percentagem bastante elevada de erros que pode ser corrigida de uma só vez. Com este trabalho foi então realizado: uma análise comparativa dos dois ambientes de execução; um algoritmo de detecção de templates que permitiu a criação de uma nova métrica de acessibilidade, que quantifica o trabalho necessário para reparar problemas de acessibilidade e que pode até ser utilizada como auxiliar de outras métricas; a arquitectura de um sistema de avaliação que pode ser executado em vários ambientes; um avaliador de acessibilidade Web baseado em WCAG 2.0, genérico o suficiente para permitir a utilização de quaisquer técnicas, formatadores ou ambientes de execução que se pretenda; e uma bateria de testes que permite a verificação dos resultados de acessibilidade da avaliação, de acordo com as técnicas escolhidas.The purpose of this work was to improve the automated Web accessibility evaluation, considering that: evaluation should target what the end users perceive and interact with; evaluation results should address accessibility problems in a focused, uncluttered, way; and results should reflect the quality adequately to the stakeholders. These considerations had the following goals: analyse the limitations of accessibility evaluation in two different execution environments; provide additional guidance to the developer in order to correct accessibility errors, that considers the use of templates in page development and avoid cluttering the relevant evaluation results; and define evaluation metrics that reflect more adequately the difficulty to repair Web sites’ problems. An accessibility evaluator, QualWeb, was implemented and it performs W3C WCAG 2.0 evaluations. Unlike most existing automatic evaluators, this approach performs evaluations on the HTML documents already processed, accessing content as presented to the user. The evaluator also allows the evaluation on unprocessed HTML documents, as traditionally done. The framework was designed to be flexible and modular, allowing easy addition of new components. The serialization chosen was EARL that can be interpreted by any tool understanding this standard format. To verify the correctness of the WCAG techniques implementation, a control test-bed of HTML documents was implemented, representing the most significant problems that should be detected. Results of the first experimental study confirmed that there are deep differences between the HTML DOM trees in the two types of evaluation. This shows that traditional evaluations do not present results coherent with what is presented to the users. It was also implemented a template detection algorithm allowing the adequate detailed and metric-based reporting of an accessibility evaluation. This form of reporting can be used by existing tools, which can become more helpful in producing accessibleWeb sites. Results from the second experimental study show that template-awareness may simplify assessment reporting, and approximately 39% of the results are reported at least twice, of which approximately 38% are errors that can be corrected once

Assessing the accessibility of E-learning

Equal participation for people with special needs is an important objective in education politics. Governments have a strong emphasis on enabling education for all citizens. The trend of using e-learning both for on campus and remote delivery of students has the potential of enabling new opportunities for people who previously faced challenges following education. On the other hand, providing online education bears the risk of creating new barriers. This paper examines different stages of providing educational content and delivering teaching material online. This is based on practical experiences from Noroff University College providing a bachelor degree in a security related area. Based on both practical experiences and state of the art literature review, we analyze potential accessibility barriers, and investigate how the barriers can be identified and removed based on state of the art accessibility measurement techniques. Consequently, this paper is a first step towards a methodology on assessing e-learning content based on accessibility. This methodology would assist others in obtaining an overview concerning the degree of accessibility of their own learning materials

How Could MOOCs Become Accessible? The Case of edX and the Future of Inclusive Online Learning

Massive Open Online Courses (MOOCs) have great potential to provide learning opportunities for people around the world. However, to reach their full potential, MOOCs need to meet the accessibility needs of diverse learners, with and without disabilities. In the literature review, we have found some published research on accessibility evaluations of MOOCs content and platforms, but we have not found published research on how to design existing and future MOOC platforms to assist authors in producing accessible content. The main purpose of this research is to contribute to the discussion about the future of inclusive online learning, by proposing a software design to incorporate features in MOOC platforms to enable, support and guide authors toward conceptualizing, designing, building and testing accessible MOOCs. We also present the results of an evaluation of the accessibility issues of Studio, the edX course-authoring software, based on ATAG 2.0.This work has been partially supported by the Prometeo Project by SENESCYT, Ecuadorian Government

Accessibility Variability Model: The UTPL MOOC Case Study

Several approaches to define Variability Models (VM) of non-functional requirements or quality attributes have been proposed. However, these approaches have focused on specific quality attributes rather than more general non-functional aspects established by standards such as ISO/IEC 25010 for software evaluation and quality. Thus, developing specific software products by selecting features and at the same time measuring the level of compliance with a standard/ guideline is a challenge. In this work, we present the definition of an accessibility VM based on the web content accessibility guides (WCAG) 2.1 W3C recommendation, to obtain a quantitative measure to improve or construct specific SPL products that require to be accessibility-aware. This paper is specially focused on illustrating the experience of measuring the accessibility in a software product line (SPL) in order to check if it is viable measuring products and recommending improvements in terms of features before addressing the construction of accessibility-aware products. The adoption of the VM accessibility has been putted into practice through a pilot case study, the MOOC (Massive Open Online Course) initiative of the Universidad Técnica Particular de Loja. The conduction of this pilot case study has allowed us to illustrate how it is possible to model and measure the accessibility in SPL using accessibility VM, as well as to recommend accessibility configuration improvements for the construction of new or updated MOOC platforms.Ministerio de Economía, Industria y Competitividad TIN2016- 79726-C2-1-RMinisterio de Ciencia, Innovación y Universidades RTI2018-101204-B-C22Agencia Estatal de Investigación TIN2017-90644-RED

Towards Design Theory for Accessible IT Artefacts

Accessibility in the use of information technology (IT) artefacts, such as websites, applications, and user interfaces, means that they are designed in such a way that people with the broadest range of abilities can use them. However, although accessibility is a human right, IT artefacts often remain inaccessible. Aside from the available accessibility guidelines, we need sufficient design theories that explicitly state how accessibility should be addressed and designed to develop accessible IT artefacts for all users. This dissertation summarises four articles that address this problem. These studies are conducted with qualitative approaches that include a narrative literature review, a systematic literature review and a design science method comprising a participatory design and interviews. The first article develops an explaining theory of accessibility to gain an understanding of the construct of accessibility, showing possible variables of human abilities, tasks and contexts and their relationships in IT use. The second article illustrates the factors in management, development, user, and IT artefact features, including the roles and actions that these domains have and how they affect the realisation of accessibility. The other two articles contribute to accessibility guidance to improve and support content creators’ text production and writing process of accessible online text in the web context. The dissertation underscores three key determinants of the knowledge of accessibility: (1) assumptions of users’ abilities; (2) users’ actual needs; and (3) factors in the development chain. The foregoing factors contribute to the knowledge of accessibility and would help researchers, particularly design scientists, form prescriptive knowledge for practitioners to achieve accessible IT artefacts. Thus, researchers could better identify the variables, relationships and affecting factors in human abilities, management, development, content creation, tasks, and contexts that need to be addressed when designing IT artefacts for certain tasks and use contexts.Informaatioteknologia-artefaktien (IT-artefaktien), kuten verkkosivustojen, sovellusten ja käyttöliittymien saavutettavuus tarkoittaa sitä, että ihmiset erilaisine ominaisuuksineen ja kykyineen voivat käyttää niitä. Vaikka saavutettavuus on ihmisoikeus, IT-artefaktit eivät kuitenkaan ole aina saavutettavia. Käytettävissä olevista saavutettavuusohjeista huolimatta tarvitsemme suunnitteluteorioita, jotka ohjaavat IT-artefaktien suunnittelua, jotta niistä tulisi saavutettavia kaikille IT-artefaktin käyttäjille. Tämä väitöskirja on yhteenveto neljästä artikkelista, jotka käsittelevät tätä ongelmaa. Tutkimukset ovat tehty laadullisilla menetelmillä, joihin on sisältynyt narratiivinen kirjallisuuskatsaus, systemaattinen kirjallisuuskatsaus sekä suunnittelutieteellinen menetelmä sisältäen osallistavan suunnittelun ja haastattelut. Ensimmäisessä artikkelissa kehitetään kuvaileva saavutettavuuden teoria, jolla saadaan käsitys saavutettavuuden rakenteesta ja joka näyttää mahdolliset muuttujat ihmisen kyvyissä, tehtävissä ja konteksteissa, sekä niiden väliset suhteet. Toinen artikkeli kuvaa saavutettavuuteen vaikuttavia tekijöitä johtamisen, kehityksen, käyttäjän ja IT-artefaktin ominaisuuksien näkökulmista, mukaan lukien roolit ja toimenpiteet, joita näillä kohteilla on. Kaksi muuta artikkelia kehittävät ohjeistuksen sisällöntuottajien työn tueksi saavutettavan verkkotekstin tuottamiseksi. Väitöskirjassa esitetään kolme ratkaisevaa tekijää saavutettavuuden tietämyksessä: (1) olettamukset käyttäjien kyvyistä (2) käyttäjien todelliset tarpeet ja (3) tekijät kehitysketjussa. Näiden tekijöiden tuntemus auttaa erityisesti suunnittelutieteilijöitä muodostamaan ohjaavaa tietoa ammattilaisille saavutettavien IT-artefaktien saavuttamiseksi. Täten tutkijat voivat paremmin tunnistaa muuttujat, niiden väliset suhteet ja saavutettavuuteen vaikuttavat tekijät, jotka liittyvät käyttäjän kykyihin, johtamiseen, kehittämiseen, sisällöntuottamiseen, tehtäviin ja kontekstiin, kun IT-artefaktia suunnitellaan tiettyä tehtävää ja käyttökontekstia varten.fi=vertaisarvioitu|en=peerReviewed

Auditing the accessibility of MOOCs: a four-component approach

This paper reports the design of a four-component audit to evaluate the accessibility of Massive Open Online Courses (MOOCs). The MOOC accessibility audit was designed as part of a research programme at The Open University (UK) that aimed to assess the current state of accessibility of MOOC platforms and resources, to uncover accessibility barriers, and to derive recommendations on how the barriers could be addressed. The audit is composed of four evaluation components: technical accessibility, user experience (UX), quality and learning design. The audit consists of four processes supported by checklists corresponding to each of the four components implemented via a heuristic evaluation approach, an evaluation technique from Human-Computer Interaction literatur