Developing Hera-FFX for WCAG 2.0

WCAG 2.0 was published in December 2008. It has many differences to WCAG 1.0 as to rationale, structure and content. Two years later there are still few tools supporting WCAG 2.0, and none of them fully mirrors the WCAG 2.0 approach organized around principles, guidelines, success criteria, situations and techniques. This paper describes the on-going development of an update to the Hera-FFX Firefox extension to support WCAG 2.0. The description is focused on the challenges that we have found and our resulting decisions

Hera-FFX: a Firefox add-on for Semi-automatic Web Accessibility Evaluation

Website accessibility evaluation is a complex task requiring a combination of human expertise and software support. There are several online and offline tools to support the manual web accessibility evaluation process. However, they all have some weaknesses because none of them includes all the desired features. In this paper we present Hera-FFX, an add-on for the Firefox web browser that supports semi-automatic web accessibility evaluation

Including accessibility in higher education curricula for ICT

This paper describes the successful experience carried out by professors of the CETTICO research group of the Technical University of Madrid to incorporate accessibility in the curricula of higher education in ICT in Spain. The paper covers the legal requirements to include accessibility in curricula in Spain, the courses and modules that we have been teaching through the years and the teaching techniques and tools that we have been using

Measuring and comparing the reliability of the structured walkthrough evaluation method with novices and experts

Effective evaluation of websites for accessibility remains problematic. Automated evaluation tools still require a significant manual element. There is also a significant expertise and evaluator effect. The Structured Walkthrough method is the translation of a manual, expert accessibility evaluation process adapted for use by novices. The method is embedded in the Accessibility Evaluation Assistant (AEA), a web accessibility knowledge management tool. Previous trials examined the pedagogical potential of the tool when incorporated into an undergraduate computing curriculum. The results of the evaluations carried out by novices yielded promising, consistent levels of validity and reliability. This paper presents the results of an empirical study that compares the reliability of accessibility evaluations produced by two groups (novices and experts). The main results of this study indicate that overall reliability of expert evaluations was 76% compared to 65% for evaluations produced by novices. The potential of the Structured Walkthrough method as a useful and viable tool for expert evaluators is also examined. Copyright 2014 ACM

Evaluating Conformance to WCAG 2.0: Open Challenges

Web accessibility for people with disabilities is a highly visible area of work in the field of ICT accessibility, including many policy activities in several countries. The commonly accepted guidelines for web accessibility (WCAG 1.0) were published in 1999 and have been extensively used by designers, evaluators and legislators. A new version of these guidelines (WCAG 2.0) was published in 2008. In this paper we point out the main challenges that WCAG 2.0 raises for web accessibility evaluators: the concept of "accessibility supported technologies"; success criteria testability; technique and failure openness, and the aggregation of partial results. We conclude the paper with some recommendations for the future

Continuous Ranking of Estonian Public Sector Web Sites With Respect to WCAG 2.0 Guidelines

Ligipääsetavus avaliku sektori veebilehtedele on hiljuti tunnistatud üheks eesmärgiks nii Euroopa liidu kui ka muude valitsuste poolt. Selleks, et ligipääsetavuse astet mõõta, on võetud mõõdupuuks WCAG 2.0 juhised, mille järgimise hindamine on pooleldi automatiseeritud. Kõikide kriteeriumite hindamine vajab siiski veel palju inimtööjõudu ja subjektiivsust. Inimressursi kokkuhoidmiseks piiratakse hindamine enamasti mõne leheküljeni iga domeeni kohta. Antud lõputöös püütakse parendada automatiseerimist: esiteks uuritakse inimhindajate strateegiat, teiseks analüüsitakse, kas suurema arvu lehtede hindamine ühes domeenis\n\rmõjutab lõplikku hinnangut. Eksperimentaalsed tulemused näitavad, et inimeste hindamine on lähemal pooleldi lubavale ja keelavale strateegiale.\n\rKõrgema arvu lehtede hindamine ei mõju positiivselt hindamise täpsusele võrreldes inimeste hinnangutega.Accessibility of public sector Web sites has been recently recognized as one of the objectives of governments of EU member states and countries\n\relsewhere. In order to measure in which extent the accessibility has been achieved, WCAG 2.0 guidelines have been adopted as a benchmark measure.\n\rAlthough conformance to the guidelines has been partially automated, there is still a lot of human effort and subjectivity involved in the evaluation process. Furthermore, due to human involvement, evaluation is mostly narrowed down to a limited set of Web pages of a domain under evaluation. This study aims to make another step toward evaluation automation by 1) reverse-engineering strategies of humans evaluators and 2) analyzing whether higher number of evaluated Web pages will have positive effect to the final ranking. The experimental results show that human ranking is closer to semi-permissive and restrictive evaluation strategies. Furthermore, we show that higher number of evaluated pages will not have positive impact on the evalution precision wrt human rankings

EWA - Evaluating web accessibility

Tese de mestrado em Engenharia Informática (Sistemas de Informação), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011A Web, como uma plataforma aberta para a produção e consumo de informação, é usada por vários tipos de pessoas, algumas com determinadas incapacidades. Os sítios Web devem ser desenvolvidos tendo em conta que a informação deve ser compreendida por todos, isto é, deve ser acessível. Para analisar se uma determinada páginaWeb é acessível, é necessário inspeccionar as suas tecnologias de front-end (por exemplo: HTML, CSS, Javascript) esta inspecção pode ser feita de acordo com regras específicas. Um processo de avaliação interessante diz respeito à utilização de ferramentas de acessibilidade que automaticamente inspeccionam uma página Web. A avaliação automática de acessibilidade pode ocorrer em vários ambientes de execução e pode ser realizada em HTML original ou transformado. O HTML original é o documento HTML inicial derivado do pedido HTTP. O HTML transformado resulta da aplicação das tecnologias de front-end no HTML original, como realizado pelo CSS e pelo Javascript/Ajax. Isto pode alterar substancialmente a estrutura do conteúdo, apresentação e capacidade de interacção propiciada por uma determinada página Web. Esta distinção entre as versões do HTML original e transformado de uma página Web é fundamental, porque é o HTML transformado que é apresentado e com que os utilizadores interagem no Web browser. Os processos existentes de avaliação automática, como os apresentados em [35, 34,37], normalmente ocorrem no HTML original. Desta forma, as conclusões sobre a qualidade da acessibilidade de uma página Web podem estar erradas ou incompletas. Neste trabalho realizou-se uma framework de avaliação de acessibilidade Web em diferentes ambientes, com o objectivo de compreender as suas semelhanças e diferenças a nível de acessibilidade. A arquitectura da framework de avaliação consiste em quatro principais componentes: Execution Environments, QualWeb evaluator, Techniques e Formatters. O QualWeb evaluator é responsável por realizar a avaliação da acessibilidade na páginaWeb usando os recursos fornecidos pelo componente das Techniques, que usa o componente Formatters para adequar os resultados em formatos de serialização específicos, tais como relatórios de erros. O QualWeb evaluator pode também ser usado independentemente dos vários em diferentes ambientes de execução (Execution Environments) Os Execution Environments são responsáveis pela transformação do documento HTML de uma página Web na sua representação equivalente numa árvore HTML DOM. O componente Techniques contém as técnicas de avaliação do front-end, optando-se por usar W3C WCAG 2.0 [17], porque é um dos mais importantes padrões de acessibilidade. A arquitectura foi pensada de forma a permitir a serialização dos resultados da avaliação em qualquer formato. Assim, as bibliotecas de formatação estão contidas dentro do componente Formatters. Foi utilizada a serialização EARL [9], porque é um formato padrão para relatórios de acessibilidade. Os resultados obtidos podem ser interpretados por qualquer ferramenta que use este formato, permitindo comparar os resultados desta ferramenta com os de outras. A qualquer altura pode ser adicionado outro tipo de formatação nos Formatters (por exemplo, relatórios em PDF). O componente Execution Environments representa os vários ambientes de execução e foram usados dois tipos: o Command Line e o Browser. O Command Line é o equivalente ao ambiente de execução normalmente utilizado para realização de testes automáticos, ou seja, o ambiente que fornece o HTML original. O Browser é o ambiente de exevuçao onde o HTML usado é o transformado. A arquitectura foi desenvolvida de forma a ser flexível e modular, sendo possível a qualquer momento a adição um novo módulo dentro dos componentes principais. Por exemplo: adição de um novo ambiente de execução, ou outro tipo de técnicas. Para se conseguir avaliar da mesma forma os ambientes de execução, a implementação foi realizada na linguagem de programação Javascript, porque é facilmente suportada nos dois ambientes. Esta implementação permite o estudo comparativo das diferenças da avaliação da acessibilidade Web em ambos. Foi também desenvolvida uma bateria de testes para se validar de forma sistemática as técnicas implementadas nos dois ambientes. Desta forma, os resultados obtidos para cada técnica foram validados, antes de o avaliador ser utilizado para testes mais complexos. Garantindo que os resultados obtidos posteriormente estariam correctos. Finalmente, foi realizado um estudo para se perceber se era realmente mais vantajosa a realização de avaliações de acessibilidade sobre o documento HTML transformado, em vez de no original. Foi avaliado um conjunto de páginas Web nos dos ambientes implementados. Com a comparação dos resultados obtidos nos dois ambientes conclui-se: que são detectados muito mais elementos no Browser e com isso conseguem-se obter mais resultados de acessibilidade neste ambiente; e que há uma diferença muito significativa na estrutura do HTML transformado e original. Pode assim afirmar-se, que há uma maisvalia significativa na realização deste tipo de avaliação de acessibilidade no Browser. No entanto, é importante considerar que as páginas Web são frequentemente compostas por templates. Os templates são adoptados para manter a uniformidade de distribuição, para tentar melhorar a navegação dos sítios Web e para manter objectivos das marcas. Hoje em dia, o desenvolvimento da Web é muito centrado na utilização de templates para facilitar a coerência, a implementação e a manutenção de recursos de um sítio Web. Foi determinado que 40-50% do conteúdo daWeb são templates [23]. Apesar desta ampla utilização de templates, as avaliações de acessibilidade avaliam as páginas como um todo, não procurando similaridades que se verificam devido à utilização dos templates. Esta forma de avaliação das páginas com um todo, faz com que os verdadeiros resultados de acessibilidade fiquem diluídos no meio de um grande número de resultados repetidos. Contudo, os templates podem ser uma mais-valia para que faz um sítioWeb, não sendo necessário corrigir o mesmo erro várias vezes, basta corrigi-lo uma vez que o próprio template propaga essa correcção por todo o sítio Web. Realizou-se por isso um algoritmo de detecção de templates, utilizando como base um algoritmo de detecção de matching já existente [14]. Este algoritmo detecta similaridades entre duas árvores HTML DOM. Para se perceber concretamente as semelhanças nos elementos HTML entre as páginas Web, efectuou-se um estudo para detecção dos templates em vários sítios Web. O processo utilizado consistiu nos seguintes passos: 1) detectar os templates entre várias páginas do mesmo sítio Web; 2) proceder à avaliação das páginas usando o nosso avaliador definido no inicio do trabalho; e finalmente, 3) separar os ficheiros EARL obtidos em dois ficheiros, um que continha a parte comum entre duas páginas e outro que continha a parte especifica, template set e specific set, respectivamente. Desta forma, determinou-se que aproximadamente 39% dos resultados de acessibilidade foram verificados nos templates. É uma percentagem bastante elevada de erros que pode ser corrigida de uma só vez. Com este trabalho foi então realizado: uma análise comparativa dos dois ambientes de execução; um algoritmo de detecção de templates que permitiu a criação de uma nova métrica de acessibilidade, que quantifica o trabalho necessário para reparar problemas de acessibilidade e que pode até ser utilizada como auxiliar de outras métricas; a arquitectura de um sistema de avaliação que pode ser executado em vários ambientes; um avaliador de acessibilidade Web baseado em WCAG 2.0, genérico o suficiente para permitir a utilização de quaisquer técnicas, formatadores ou ambientes de execução que se pretenda; e uma bateria de testes que permite a verificação dos resultados de acessibilidade da avaliação, de acordo com as técnicas escolhidas.The purpose of this work was to improve the automated Web accessibility evaluation, considering that: evaluation should target what the end users perceive and interact with; evaluation results should address accessibility problems in a focused, uncluttered, way; and results should reflect the quality adequately to the stakeholders. These considerations had the following goals: analyse the limitations of accessibility evaluation in two different execution environments; provide additional guidance to the developer in order to correct accessibility errors, that considers the use of templates in page development and avoid cluttering the relevant evaluation results; and define evaluation metrics that reflect more adequately the difficulty to repair Web sites’ problems. An accessibility evaluator, QualWeb, was implemented and it performs W3C WCAG 2.0 evaluations. Unlike most existing automatic evaluators, this approach performs evaluations on the HTML documents already processed, accessing content as presented to the user. The evaluator also allows the evaluation on unprocessed HTML documents, as traditionally done. The framework was designed to be flexible and modular, allowing easy addition of new components. The serialization chosen was EARL that can be interpreted by any tool understanding this standard format. To verify the correctness of the WCAG techniques implementation, a control test-bed of HTML documents was implemented, representing the most significant problems that should be detected. Results of the first experimental study confirmed that there are deep differences between the HTML DOM trees in the two types of evaluation. This shows that traditional evaluations do not present results coherent with what is presented to the users. It was also implemented a template detection algorithm allowing the adequate detailed and metric-based reporting of an accessibility evaluation. This form of reporting can be used by existing tools, which can become more helpful in producing accessibleWeb sites. Results from the second experimental study show that template-awareness may simplify assessment reporting, and approximately 39% of the results are reported at least twice, of which approximately 38% are errors that can be corrected once

Combination of automatic and manual testing for web accessibility

Master's thesis Information- and communication technology IKT590 - University of Agder 2018Web accessibility is an indispensable medium for online communication and digital inclusion nowadays. With the recent adoption of the Web Accessibility Directive making the Internet resources accessible has become a legal obligation and strikes a need for more detailed and reliable ways of web accessibility evaluation of the websites. Throughout the years, many tools have been developed for testing web accessibility as well as a plethora of metrics that are expected to convey the results. Unfortunately, in most cases the findings appear to be incomplete since the studies rely only on one testing method, i.e., automatic or manual. The study has set itself a goal to contribute with knowledge to solving three research questions. First, how to combine results from automated and manual evaluation of web accessibility? Second, how to express the integration results in a quantitative manner? Finally, what is the impact of the dynamic content on the integration results when the content of the website is frequently updated and personalized? This thesis proposes a novel approach to integration of manual and automated accessibility testing, where the results of the evaluations are combined on the basis of accessibility guidelines. Additionally, a quantitative metric – Union Score, together with a graphical visualization called Accessibility Pie Chart, are propounded, as the means for expressing the outcomes of the accessibility evaluation with use of the combined approach. The research has been grounded on the mixed-method approach and embedded the findings of the conducted interviews into a quantitative study. In order to find emphirically the most suitable method for combining manual and automated testing, fifteen web pages selected from two websites were chosen for evaluation with two testing tools: WTKollen Checker and WTKollen User-Testing Tool. The findings of the analysis show that WCAG 2.0 may serve as a bridge between manual and automated evaluation outcomes and result in an increased coverage of the Success Criteria. The proposed metric has been preliminarily validated with regard to its application for benchmarking purposes and supplemented with a graphical way of presenting accessibility testing results. Furthermore, it is concluded that the suggested integration approach can be deployed. Yet, the challenge of dynamic content evaluation requires more research attention. The study has contributed to the current state of knowledge about web accessibility evaluation and the results are expected to be used for implementation of the novel approach. For the future paths, a more extended study on the proposed metric’s properties is advised. Also, the importance of further research in the area of dynamic content evaluation is highlighted

R2WEB: repairing and evaluating rich web applications accessibility

Tese de mestrado em Engenharia Informática (Sistemas de Informação), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013QualWeb is an existing tool that evaluates Web pages’ compliance with WCAG 2.0 HTML techniques. We wanted to enhance this tool’s functions by adding a CSS module. For this we intend to create a CSS module, to extend the evaluation process, so that it evaluates HTML and stylesheets, but also to present the user solutions for every evaluation problem. In this report we present the different development stages that our CSS evaluation and repair module went through. We describe how we interpreted the WCAG 2.0 techniques and how we turned them into code; how we processed every CSS rule in a .html document and how we established the connection between the different HTML elements and their CSS rule; how we build the repair process itself and how we managed to present it in an online user interface. One of this stages includes an experimental study where we presented to a set of twenty Web developers, with different levels of HTML knowledge, our developments in order to obtain some feedback on how we were doing. In the corresponding chapter we describe our study and show how presenting repair suggestions for accessibility problems, helps users feel less lost and more self-assured when using our tool. These findings will build ground for a future complete repair module for QualWeb and open way for further enhancements of this Web Accessibility evaluation tool.A Web é hoje em dia a plataforma mais utilizadas para partilha de conhecimento e divulgação de serviços. A sua crescente importância nota-se aos mais diferentes níveis da nossa sociedade. Universidades, governos, empresas e outras entidades todas aproveitam da facilidade de chegar ao destinatário através da Web. No entanto, o problema surge dado o facto de que nem todos aqueles, a quem este conhecimento e estes serviços se destinam, têm as mesmas capacidades, cognitivas ou físicas. Grupos sociais de indivíduos com dificuldades cognitivas e físicas acabam por ficar à margem destas potencialidades da Web. Apesar de existirem já inúmeras tecnologias de ajuda para estas pessoas, como leitores de ecrã, etc., para que estas funcionem corretamente, é necessário que a informação seja disponibilizada adequadamente formatada. De forma a colmatar estas e outras situações existe a necessidade de normas cujo objectivo seja estandardizar conteúdos desenvolvidos para a Web. A acessibilidade Web é uma preocupação da qual surgem os princípios de inclusão social. E graças à qual, inúmera documentação e tecnologias, têm surgido de forma a colmatar este problema. Entre elas, tecnologias automáticas de avaliação e até de reparação de Acessibilidade Web. Contudo, muitas dessas tecnologias ainda não conseguem colmatar dificuldades que surgem do desenvolvimentos tecnológico da Web. Novas tecnologias, como Javascript, tornam os conteúdos Web em mais do que simples apresentações de texto. Conteúdos Web passam a ser dinâmicos, graças à execução ao de chamadas aos servidores, paralelas à apresentação das páginas Web. Estas interações com o servidor permitem a alteração dos conteúdo nas páginas Web. A avaliação da acessibilidade destes novos conteúdos dinâmicos, não pode ser verificada utilizando os mesmos padrões usados até agora. Caso isto aconteça estes avaliadores de conteúdos estáticos, podem levar a conclusões incompletas que podem mesmo ser incorretas. A ferramenta QualWeb é uma ferramenta de avaliação de Acessibilidade Web. No entanto, ao contrário das mencionadas anteriormente, recorrendo a tecnologias recentes, esta ferramenta permite avaliar aplicações Web dinâmicas. Avaliações de acessibilidade realizadas por esta ferramenta seguem normas internacionais WCAG 2.0 graças à implementação de um modulo de técnicas HTML. No entanto existe ainda espaço para expandir o âmbito desta ferramenta. As normas WCAG 2.0 englobam não apenas o HTML mas também um conjunto de outras tecnologias de entre as quais o CSS. Sendo que, com o crescimento da Web e da quantidade de conteúdos disponíveis online, maior atenção tem sido atribuída à utilização de estilos que possibilitam aos developers desenvolver conteúdos mais apelativos. Por este motivo a sua utilização tem aumentado e os CSS são hoje em dia, considerados como uma das tecnologias mais importantes para a Web. Data esta importância, este trabalho pretende expandir o funcionamento de ferramenta QualWeb, introduzindo lhe novas capacidades anívels dos CSS. Para isso incluímos um módulo de avaliação e reparação de CSS. Esta avaliação, tal como a já existente avaliação de HTML, segue as t´técnicas CSS WCAG 2.0. Não só nos preocupámos em manter a modularidade da ferramenta, mas também nos preocupámos em torna-la ainda mais flexível. As avaliações de HTML seguiam uma determinada forma de execução¸ ao de comprometia a flexibilidade da apresentação de resultados ao developer. Foi por este motivo que decidimos também alterar a perspectiva de apresentação dos resultados,. Esperamos assim melhorar o workflow do developer bem como, a sua experiencia com a nossa ferramenta. Considerando que a complexidade das páginaWeb tem vindo a aumentar, o tempo que um developer poderá eventualmente despender, analisando os seus conteúdos, segundo padrões de acessibilidade, pode ser considerável. De forma a mantermos os developers interessados nestes temas, sem que considerem estas verificações cansativas, é importante tornar a sua experiencia tao simples quando possível. é com este objectivo que surgem ferramentas de reparação de acessibilidade. No entanto, se já as avaliações de acessibilidade podem ser algo ambíguas, esta situação agrava-se na reparação. Reparar uma página Web requer um conhecimento relativamente da página bem como uma visão geral que muitas vezes as ferramentas automáticas não possuem. Por este motivo o que propomos neste trabalho são sugestões de reparação, apresentadas ao developer, de forma a que a ferramenta de forneça toda a informação necessária para reparar a acessibilidade dos seus conteúdos. Neste trabalho procedemos ao desenvolvimento de um módulo de reparação para as técnicas CSS desenvolvidas. O objectivo é acima de tudo, mostrar ao developer que pode tornar as suas páginas mais acessíveis, educando-o sobre como o fazer e despoletando o seu interesse explicando também porque o deve fazer. De forma a que toda esta informação possa ser divulgada, é necessário melhorar a interface da ferramenta QualWeb, desenvolvida paralelamente a este projecto. Desenvolveuse paralelamente a este trabalho uma interface para esta ferramenta, no entanto esta interface tem como objectivo apresentar uma versão anterior do QualWeb. De forma a conseguir disponibilizar todos os conteúdos desenvolvidos foi necessário melhorar essa interface introduzindo lhe novas funcionalidades. Todas estas componentes desenvolvidos, foram verificadas através de um corpus de teste. Para a avaliação desenvolvemos testes individuais, por técnica, e globais que simulavam a complexidade de uma páginaWeb real. Para a reparação, procedemos a reparação de algumas das mais utilizadas páginas Web, o que nos permitiu fazer uma analise critica às nossas implementações. Por fim, de forma a validar a interface e as reparações, procedemos a testes com utilizadores. Estes testes foram cruciais para o refinamento da nossa ferramenta, bem como para obtermos algumas conclusões interessantes no nosso trabalho. No final, conseguimos, como pretendíamos, melhorar a ferramenta QualWeb, tornando a ainda mais competitiva nesta área. Conseguimos também validar toda a implementação realizada dos diferentes componentes e tirámos conclusões bastante interessantes. Nomeadamente que o conhecimento de ferramentas deste género, a nível de estudantes de universidade não é muito elevado e que estas ferramentas podem desempenhar um papel interessante para alterar esta situação. Este trabalho ajudou também a pavimentar caminho para novas melhorias desta ferramenta de avaliação de Acessibilidade Web

A3 - avaliação automática de acessibilidade: técnicas e relatórios adequados aos novos desafios web

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Hoje em dia assiste-se à massificação na produção de conteúdos para a Web. Não existe nenhuma autoridade que dite quem pode ou não publicar conteúdos, comprometendo a qualidade destes. Por outro lado, um número crescente de pessoas, incluindo pessoas com necessidades especiais, acede à Web, pelo que é fundamental que os conteúdos sejam acessíveis. Este relatório visa descrever os objectivos e o trabalho desenvolvido no âmbito da tese de mestrado. Genericamente, o trabalho destina-se a estender uma ferramenta de avaliação de acessibilidade Web, o QualWeb, segundo as seguintes linhas fundamentais: 1) a implementação de mais técnicas WCAG 2.0, tendo em vista uma avaliação mais exaustiva; 2) a concepção e desenvolvimento de uma interface facilmente usável onde serão apresentados os resultados da avaliação, enriquecida com referências explícitas ao código Web que gerou a notificação de erro, alerta ou conformidade.Nowadays, we are witnessing a mass of production of web contents. There is no authority who oversees who can or cannot publish contents, compromising their quality. On the other hand, an increasing number of people, including people with special needs, access web, so it’s fundamental that contents are accessible. This report aims to describe the goals of the developed work in the scope of master thesis. Generically, the work aims to extend an automatic Web accessibility evaluation software, QualWeb, according to the following fundamental lines: 1) the implementation of more WCAG 2.0 techniques, in order to have a more thorough evaluation; 2) the conception and development of an easy to use interface, where the evaluation results will be presented, enriched with explicit references to the web code that generated the notification error, alert or compliance