Evaluating the mobile web accessibility of electronic text for print impaired people in higher education

The aim of this extended abstract is to demonstrate a framework that provides a novel solution for evaluating the mobile web accessibility of electronic text for print impaired people in Higher Education (HE). The current framework explores over 500 device settings. Furthermore, the scope of this research is outlined alongside two research questions. The paper then concludes by suggesting the potential impact this research could have on existing standards, the public availability of metadata and guidelines, and the automatic generation of personalised eTexts as per user need

Situational impairments to mobile interaction in cold environments

Abstract We evaluate the situational impairments caused by cold ambient temperature on fine-motor movement and vigilance during mobile interaction. For this purpose, we tested two mobile phone applications that measure fine motor skills and vigilance in controlled temperature settings. Our results show that cold adversely affected participants’ fine-motor skills performance, but not vigilance. Based on our results we highlight the importance of correcting measurements when investigating performance of cognitive tasks to take into account the physical element of the tasks. Finally, we identify a number of design recommendations from literature that can mitigate the adverse effect of cold ambiance on interaction with mobile devices

Empath-D: VR-based empathetic app design for accessibility

Singapore National Research Foundation under IDM Futures Funding Initiative; Ministry of Education, Singapore under its Academic Research Funding Tier

Using big data for customer centric marketing

This chapter deliberates on “big data” and provides a short overview of business intelligence and emerging analytics. It underlines the importance of data for customer-centricity in marketing. This contribution contends that businesses ought to engage in marketing automation tools and apply them to create relevant, targeted customer experiences. Today’s business increasingly rely on digital media and mobile technologies as on-demand, real-time marketing has become more personalised than ever. Therefore, companies and brands are striving to nurture fruitful and long lasting relationships with customers. In a nutshell, this chapter explains why companies should recognise the value of data analysis and mobile applications as tools that drive consumer insights and engagement. It suggests that a strategic approach to big data could drive consumer preferences and may also help to improve the organisational performance.peer-reviewe

Understanding gesture demands of touchscreen games to accommodate unconventional gamers

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2016Os dispositivos móveis tornaram-se uma parte importante das nossas interações diárias, e são usados para permanecer ligado com a família, os amigos e os colegas de trabalho. De acordo com um estudo realizado pela GSM Arena1, os principais motivos que levam pessoas a comprar telemóveis são para navegar na internet em qualquer lugar e em qualquer momento, usar redes sociais, desfrutar de jogos móveis, e para continuar a trabalhar depois de sair do escritório. Com a crescente popularidade de aplicações e jogos para dispositivos móveis como o Facebook, WhatsApp, Candy Crush e Angry Birds, existe um interesse global em fazer parte deste fenómeno social. Portanto, há uma necessidade de tornar esta tecnologia acessível a todos, tanto para aumentar lucros como responder à procura. Isto inclui tornar os telemóveis acessíveis a pessoas com vários tipos de deficiência: motora, visual, auditiva e / ou cognitiva. Nesta dissertação, vamos focar em deficiências motoras. Atualmente, as ferramentas de acessibilidade móveis mais utilizados são ferramentas ao nível de sistema, tais como a capacidade de ativar e desativar o Auto Rotate, o ajustamento da sensibilidade de atraso de toque e a disponibilidade de vários teclados, como o teclado de toque e teclado de reconhecimento de voz, por exemplo, proporcionando ao usuário mais opções de entrada de dados2. Estas ferramentas apoiam utilizadores com dificuldades motoras, todavia, continuam bastante limitados no que podem fazer com dispositivos móveis. Existe um setor em particular que tem sido demasiado complexo para endereçar: jogos móveis. De acordo com a Big Fish Games3, 59% dos norte-americanos jogaram videojogos em 2015. Esta vasta percentagem de jogadores demonstra a atual importância dos jogos na nossa sociedade. Os jogos enriquecem as nossas mentes e desenvolvem a nossa capacidade de resolução de problemas complexos, a nossa criatividade, a nossa coordenação óculo-manual e exercitam habilidades como foco, velocidade e pensamento flexível4. Eles são um dos meios mais eficazes de ensino, bem como uma fonte de estímulo mental e emocional. O principal conceito dos jogos, que é superar obstáculos para alcançar um objetivo, ensina lições importantes e faz entender o valor de trabalhar arduamente para superar desafios. Um dos aspetos mais importantes dos jogos é a interação social; permitem-nos socializar com outras pessoas, seja jogando com elas virtualmente ou no mesmo espaço físico. Permitem conhecer pessoas novas e fazer amigos, e fazem os seus jogadores sentir-se parte de uma comunidade. Estes benefícios não devem ser negadas a ninguém, o que torna a inclusão de todos de uma extrema importância. A acessibilidade de jogos móveis tem sido abordada de várias maneiras. No entanto, a maioria das soluções existentes são aplicadas diretamente no jogo, na fase de desenvolvimento. No entanto, a maioria dos desenvolvedores de jogos não levam a acessibilidade em conta, e vêem-no como um desperdício de dinheiro e recursos. Devido a isso, é difícil para pessoas com dificuldades motoras encontrar jogos que os incluam, apesar do facto de que eles constituem uma grande parte da população de jogadores. Em geral, eles jogam mais e por períodos mais longos de tempo. O investimento na criação de jogos acessíveis é pequeno em comparação com o grande aumento de lucros em que resultaria [15]. As abordagens para acessibilidade de jogos móveis são escassas, e os métodos existentes raramente são implementados. Existe ainda um grande espaço entre o que existe e o que é necessário. Este é um problema que deve ser resolvida de uma vez, devido ao facto de que milhões de pessoas estão a ser excluídos das comunidades de jogos e dos benefícios que eles proporcionam. Para resolver este problema, primeiro precisamos de ter uma visão clara dos requisitos de input dos jogos atuais e dos problemas que estes acarretam para pessoas com dificuldades motoras. Como os desenvolvedores de jogos têm liberdade para definir os seus próprios reconhecedores de gestos, existem inúmeras possibilidades de condições de jogo, o que leva à necessidade de uma análise aprofundada da questão. Para alcançar este objetivo, colecionamos dados de jogo dos 25 melhores jogos do Google Play, e analisamos os seus requisitos de input. Com esta análise, criamos um catálogo de gestos, que lista os gestos mais usados nestes jogos e parametriza os gestos de jogo, proporcionando-nos com detalhes como duração, velocidade e distância percorrida dos gestos. Caracterizamos e relacionamos os jogos de acordo com os seus gestos de jogo predominantes e com os requisitos de input, dando-nos assim uma visão geral dos jogos de hoje. No segundo estudo, analisamos a viabilidade destes gestos para pessoas de diferentes capacidades motoras. Realizamos este estudo com participantes sem dificuldades motoras, crianças, idosos e pessoas com deficiências motoras. Com isto, foi possível concluir quais os gestos que proporcionaram as maiores dificuldades, bem como recolher parâmetros de desempenho detalhados dos diferentes grupos. De seguida, comparamos os requisitos dos jogos com o desempenho de gestos de cada grupo, de modo a determinar quais os jogos jogáveis para pessoas de diferentes graus de mobilidade, e de modo a descobrir em detalhe quais os requisitos de gesto que eram demasiado altos, e porquê. Estes resultados permitiram-nos criar uma proposta para uma solução a acessibilidade impulsionado pela doação de dados por pessoas, na qual jogadores experientes doam os seus dados de jogo a uma comunidade online. Estes dados são analisados manualmente e são anotadas os gestos de jogo mais importantes. O sistema, em seguida, usa os sets de dados resultantes para adaptar o input de jogadores com dificuldades motoras, de acordo com um user model particular de cada pessoa, proporcionando assim uma adaptação de input personalizado. Assim como a adaptação de input, o sistema também proporciona adaptação de interface de jogo. Como prova de conceito, implementamos um protótipo da ferramenta de anotação de gestos, o que nos permite gravar uma sessão de jogo e anotar os gestos mais importantes da sessão, criando assim um set de dados para o jogo. Esta dissertação tem como principais contribuições: Conjunto abrangente de heurísticas da literatura, que avalia usabilidade, mobilidade, jogabilidade e interação dos jogos. Estas heurísticas foram utilizados para avaliar os jogos escolhidos para o primeiro estudo, no qual foram analisados os requisitos de input de jogos atuais. As três primeiras heurísticas foram retirados das heurísticas de jogabilidade dos jogos de Ponnada e Kannan [1]. As últimas heurísticas, que avaliam a interação do jogo, foram adicionados por nós para cobrir aspetos relacionados com gestos e input de jogos. Catálogo de Requisitos de jogo, com base nos resultados do nosso primeiro estudo. Este estudo analisou os dados de jogo dos 25 melhores jogos da loja do Google Play, jogadas por 25 participantes sem dificuldades motoras. Foram identificados os gestos mais usados em jogos atuais, e listamos os requisitos de input detalhados de cada jogo. Análise das capacidades de toque de participantes de diferentes graus de mobilidade, baseada no nosso primeiro estudo, e comparando o desempenho de gestos de jogadores sem dificuldades motoras com jogadores de vários graus de mobilidade: crianças, idosos e pessoas com deficiências motoras. Um conjunto abrangente de implicações de desenho para a criação de jogos acessíveis para jogadores com dificuldades motoras, mostrando como os desenvolvedores de jogos podem incluir mais jogadores no seu jogo. Em suma, estas implicações incluem evitar anúncios pop-up em jogos, não assumir que todos os jogadores têm as mesmas capacidades, permitir a personalização de input, oferecer flexibilidade de velocidade de jogo, tornar a área de rabisco menor, e oferecer alternativas para gestos de múltiplo toque. Uma proposta de solução de acessibilidade, que é criado com base em nossos resultados de estudos e pesquisa sobre temas relacionados. Esta solução é construída sobre a adaptação de jogos impulsionada pela doação de dados de jogo por pessoas, e explora a anotação de gestos de jogo e a adaptação de input e de interfaces de jogos. Com este trabalho, demonstramos os requisitos de input dos jogos atuais, as capacidades de input de pessoas de vários graus de mobilidade, avaliamos a jogabilidade de jogos atuais por pessoas de vários graus de mobilidade, e propusemos uma solução de acessibilidade, criando um protótipo como prova de conceito.Games enrich our minds and develop skills such as problem solving, creativity, focus and hand-eye coordination. They are one of the most effective teaching means, as well as a source of mental and emotional stimulus. One of the most important aspects of games is social interaction: they allow us to engage with each other socially, either by playing with others virtually or in the same room. They help us relate with others and feel like part of a community. These benefits should not be denied to anyone, making the inclusion of all of utmost importance. However, currently, players with less motor dexterity are not considered in the design process of mobile games, excluding them by being fast paced and requiring high touch precision and multi touch gestures. Mobile game accessibility approaches are still scarce, and the existing methods are rarely implemented into games; developers are not aware of the importance of accessibility, or do not know how to implement it. To understand the complete scope of this issue, we explore current games and their input demands, as well as the input abilities of unconventional gamers. In our first study, we create a catalogue of the most commonly used gestures and the specific demands of each game. We then use these results to perform a second study, in which we analyse gesture performance of people of varying abilities. Finally, we compare the results of both studies to determine the accessibility of current mobile games. We conclude that 48% of our game sample is not playable for motor impaired players. As a result of our research, we provide design implications and propose a human-powered, system-wide accessibility solution, which depends on crowdsourced gameplay data to adapt games to individual needs. As a proof of concept, we implement a prototype of a gameplay annotation tool

Towards More Accessible Android Applications : An Actionable Accessibility Checklist for Android Developers

Approximately 15% of the world's population has a disability or impairment. They need mobile applications to be developed with accessibility in mind to use them effectively. However, most mobile applications are not accessible because developers often lack the knowledge or skills to create them. Additionally, there are differences between operating systems, and Android apps have more accessibility issues compared to iOS. The goal of this master’s thesis is to understand how Android developers could develop more accessible apps than currently available. To reach this goal, the method of the study is design science research method. The outcome of this thesis is an artifact, a checklist for Android developers to use when developing an app to test app’s accessibility. For the development of the checklist prior research was used, and with its help, the first version of the checklist was created. The initial version was evaluated with interviews with five Android developers. Interview answers were analyzed with thematization. The results of the analysis contributed to a prototype, which was a website with the checklist and accompanying learning material and instructions. The usefulness and functionality of the prototype was tested with a questionnaire. The questions in the questionnaire were related to the usefulness of the checklist and how to improve the checklist. Thematization was used for the answers of the questionnaire as well. The analyzed answers were used for improving the prototype and constructing the final checklist. It consists of six themes, which all have from one to six checks. The themes were related to automated tools, visual elements like images, alternative ways of navigation, screen orientation, structure of the user interface, and screen magnification. In addition to these themes, the list has checks that might be out of the developer’s control, but worth checking. These checks are categorized into four themes: Visual elements like images, use of color, screen orientation, and audio- and video content. In addition to checks, the website with the checklist has instructions for conducting the checks, and additional material for learning about accessibility.Arvioilta 15 % maailman väestöstä on jonkinlainen vamma tai toimintarajoite. Jotta he pystyisivät käyttämään mobiilisovelluksia, täytyy sovellukset rakentaa saavutettavasti. Tällä hetkellä iso osa mobiilisovelluksista ei ole saavutettavia, ja yksi syy siihen on sovellusten kehittäjien osaamisen ja tiedon puute. Käyttöjärjestelmien välillä on eroja, ja kahdesta suosituimmasta mobiilikäyttöjärjestelmästä Android-sovelluksissa on selkeästi enemmän saavutettavuuspuutteita. Tämän tutkielman tavoitteena on ymmärtää, miten Android-kehittäjät voivat kehittää sovelluksia, jotka ovat saavutettavampia kuin nykyiset sovellukset. Tavoitteen saavuttamiseksi tutkimuksessa käytettiin suunnittelutieteellistä tutkimusmenetelmää, ja sen prosessimallia. Työn tuloksena syntyi tarkistuslista Android-sovelluksen testauslista, jonka avulla sovelluskehittäjä voi testata sovelluksensa saavutettavuuden eri aspekteja. Tarkistuslistan kehityksessä käytettiin hyväksi aikaisempaa tutkimusta, ja sen avulla luotiin listan ensimmäinen versio. Tämän jälkeen listan käytettävyyttä ja hyödyllisyyttä arvioitiin viiden Android-kehittäjän haastatteluilla. Haastattelut analysoitiin teemoittelun avulla. Analyysin pohjalta kehitettiin prototyyppi, sivusto, jolla tarkistuslista sekä sitä tukeva ohjeistusmateriaali on saatavilla. Tämän prototyypin hyödyllisyyttä ja toimivuutta testattiin kyselylomakkeen avulla, jossa Android-kehittäjiltä kysyttiin listan hyödyllisyydestä, ja siitä, miten sitä voisi parantaa. Tämäkin aineisto analysoitiin teemoittelun avulla. Näiden kehitysehdotusten perusteella luotiin lopullinen tarkistuslista, joka sisältää kuusi teemaa, joiden alla on yhdestä kuuteen tarkistuskohtaa. Nämä teemat liittyvät automatisoituihin työkaluihin, visuaalisiin elementteihin (kuten kuvat), erilaisiin tapoihin navigoida, näytön suuntaan, käyttöliittymän rakenteeseen sekä näytön kokoon ja sen suurentamiseen. Lisäksi listalla on neljä teemaa, joihin kehittäjä ei välttämättä pysty vaikuttamaan, mutta jotka kannattaa testata – etenkin jos niihin pystyy vaikuttamaan. Nämä teemat liittyvät osaltaan visuaalisiin elementteihin (kuten kuvat), värien käyttöön, näytön suuntaan sekä audio- ja videosisältöön. Tarkistuslistan lisäksi sivusto, jolla tarkistuslista esitellään, sisältää ohjeistuksen tarkistusten tekemiseen sekä lisämateriaalia saavutettavuudesta oppimiseen

Speech-Language Pathologists\u27 Practices and Attitudes Toward App Use in Therapy

Numerous national surveys have established that Americans of all ages are using mobile technologies (e.g. cell phones, smartphones, and tablets) more than ever before (Pew Research Center, 2018; American Academy of Pediatrics, 2016a; American Academy of Pediatrics, 2016b; Reid-Chassiakos et al., 2016; Tsetsi & Rains, 2016; Kabali et al., 2015). In the same vein, Morris, Jones, and Sweatman (2016) found that Americans with visual, hearing, motor, learning, and speech disabilities area also engaging with apps on smartphone and tablet technologies for vocational, educational, and social purposes. Developers of the iOS and Android operating systems have prioritized user-friendly design and accessibility features to improve access of mobile technologies to the greatest number of users (“Android Accessibility Help,” 2017; Apple, 2017). Rehabilitation professionals are interested in changing or modifying behaviors to help their clients meet therapy goals and access high quality of life outcomes. Multiple resources have supported that people form new behaviors and habits related to use of their smartphones (Peters, 2009; Wood & Neal, 2008; Oulasvirta, Rattenbury, Ma, & Raita, 2012); therefore, smartphone apps could possibly assist rehabilitation professionals when providing treatment to people with disabilities. Other survey-based studies of Occupational Therapists (OTs) (Kyaio, 2015) and Speech-Language Pathologists (SLPs) (Zajc, Istenic-Starcic, Lebenicnik, & Gacnik, 2018) have confirmed that app-based interventions and therapy tools have already infiltrated the field of rehabilitation (Peters, 2009; Wood & Neal, 2008; Oulasvirta et al., 2012), despite the lack of evidence establishing the efficacy of many app-based interventions (Newmann, 2017; Papadakis, Kalogiannakis, & Zaranis, 2017b; Schoen-Simmons, Paul, & Shic, 2016; Erickson, 2015; Stone-MacDonald, 2014). Collectively, these studies highlight the urgency of integrating evidence-based practice (EBP) into an SLP’s service delivery decisions related to app use, especially now that apps and mobile technologies are being developed and available for purchase by the public at unprecedented rates. The purpose of this study was to survey practicing, certified SLPs in the U.S.A. to examine current attitudes and opinions toward the use of apps for purposes related to speech-language therapy. This survey was conducted utilizing the Qualtrics survey platform to maximize data security, access data, and perform data analysis. The web-based survey consisted of 48 questions which were designed to (1) examine common trends in demographic features of SLPs who use apps in therapy, (2) examine the purposes for which apps were used and which skills SLPs targeted when using apps in therapy, (3) examine the variety of barriers which SLPs may face when using apps or mobile technologies in therapy, and (4) examine the factors which SLPs consider when purchasing apps. There were 228 SLPs who participated in the study. All had their certificate of clinical competence (CCC-SLP) or were currently in their clinical fellowship year (CFY-SLP) and practiced in the United States of America. Results of the study indicate that therapists of varying demographic features who see patients across pediatric and adult settings are using apps to target therapy goals. Clinical implications and directions for future research are discussed

Methods and metrics for the improvement of the interaction and the rehabilitation of cerebral palsy through inertial technology

Cerebral palsy (CP) is one of the most limiting disabilities in childhood, with 2.2 cases per 1000 1-year survivors. It is a disorder of movement and posture due to a defect or lesion of the immature brain during the pregnancy or the birth. These motor limitations appear frequently in combination with sensory and cognitive alterations generally result in great difficulties for some people with CP to manipulate objects, communicate and interact with their environment, as well as limiting their mobility. Over the last decades, instruments such as personal computers have become a popular tool to overcome some of the motor limitations and promote neural plasticity, especially during childhood. According to some estimations, 65% of youths with CP that present severely limited manipulation skills cannot use standard mice nor keyboards. Unfortunately, even when people with CP use assistive technology for computer access, they face barriers that lead to the use of typical mice, track balls or touch screens for practical reasons. Nevertheless, with the proper customization, novel developments of alternative input devices such as head mice or eye trackers can be a valuable solution for these individuals. This thesis presents a collection of novel mapping functions and facilitation algorithms that were proposed and designed to ease the act of pointing to graphical elements on the screen—the most elemental task in human-computer interaction—to individuals with CP. These developments were implemented to be used with any head mouse, although they were all tested with the ENLAZA, an inertial interface. The development of such techniques required the following approach: Developing a methodology to evaluate the performance of individuals with CP in pointing tasks, which are usually described as two sequential subtasks: navigation and targeting. Identifying the main motor abnormalities that are present in individuals with CP as well as assessing the compliance of these people with standard motor behaviour models such as Fitts’ law. Designing and validating three novel pointing facilitation techniques to be implemented in a head mouse. They were conceived for users with CP and muscle weakness that have great difficulties to maintain their heads in a stable position. The first two algorithms consist in two novel mapping functions that aim to facilitate the navigation phase, whereas the third technique is based in gravity wells and was specially developed to facilitate the selection of elements in the screen. In parallel with the development of the facilitation techniques for the interaction process, we evaluated the feasibility of use inertial technology for the control of serious videogames as a complement to traditional rehabilitation therapies of posture and balance. The experimental validation here presented confirms that this concept could be implemented in clinical practice with good results. In summary, the works here presented prove the suitability of using inertial technology for the development of an alternative pointing device—and pointing algorithms—based on movements of the head for individuals with CP and severely limited manipulation skills and new rehabilitation therapies for the improvement of posture and balance. All the contributions were validated in collaboration with several centres specialized in CP and similar disorders and users with disability recruited in those centres.La parálisis cerebral (PC) es una de las deficiencias más limitantes de la infancia, con un incidencia de 2.2 casos por cada 1000 supervivientes tras un año de vida. La PC se manifiesta principalmente como una alteración del movimiento y la postura y es consecuencia de un defecto o lesión en el cerebro inmaduro durante el embarazo o el parto. Las limitaciones motrices suelen aparecer además en compañía de alteraciones sensoriales y cognitivas, lo que provoca por lo general grandes dificultades de movilidad, de manipulación, de relación y de interacción con el entorno. En las últimas décadas, el ordenador personal se ha extendido como herramienta para la compensación de parte de estas limitaciones motoras y como medio de promoción de la neuroplasticidad, especialmente durante la infancia. Desafortunadamente, cerca de un 65% de las personas PC que son diagnosticadas con limitaciones severas de manipulación son incapaces de utilizar ratones o teclados convencionales. A veces, ni siquiera la tecnología asistencial les resulta de utilidad ya que se encuentran con impedimentos que hacen que opten por usar dispositivos tradicionales aun sin dominar su manejo. Para estas personas, los desarrollos recientes de ratones operados a través de movimientos residuales con la cabeza o la mirada podrían ser una solución válida, siempre y cuando se personalice su manejo. Esta tesis presenta un conjunto de novedosas funciones de mapeo y algoritmos de facilitaci ón que se han propuesto y diseñado con el ánimo de ayudar a personas con PC en las tareas de apuntamiento de objetos en la pantalla —las más elementales dentro de la interacción con el ordenador. Aunque todas las contribuciones se evaluaron con la interfaz inercial ENLAZA, desarrollada igualmente en nuestro grupo, podrían ser aplicadas a cualquier ratón basado en movimientos de cabeza. El desarrollo de los trabajos se resume en las siguientes tareas abordadas: Desarrollo de una metodología para la evaluación de la habilidad de usuarios con PC en tareas de apuntamiento, que se contemplan como el encadenamiento de dos sub-tareas: navegación (alcance) y selección (clic). Identificación de los tipos de alteraciones motrices presentes en individuos con PC y el grado de ajuste de éstos a modelos estándares de comportamiento motriz como puede ser la ley de Fitts. Propuesta y validación de tres técnicas de facilitación del alcance para ser implementadas en un ratón basado en movimientos de cabeza. La facilitación se ha centrado en personas que presentan debilidad muscular y dificultades para mantener la posición de la cabeza. Mientras que los dos primeros algoritmos se centraron en facilitar la navegación, el tercero tuvo como objetivo ayudar en la selección a través de una técnica basada en pozos gravitatorios de proximidad. En paralelo al desarrollo de estos algoritmos de facilitación de la interacción, evaluamos la posibilidad de utilizar tecnología inercial para el control de videojuegos en rehabilitación. Nuestra validación experimental demostró que este concepto puede implementarse en la práctica clínica como complemento a terapias tradicionales de rehabilitación de la postura y el equilibrio. Como conclusión, los trabajos desarrollados en esta tesis vienen a constatar la idoneidad de utilizar sensores inerciales para el desarrollo de interfaces de accesso alternativo al ordenador basados en movimientos residuales de la cabeza para personas con limitaciones severas de manipulación. Esta solución se complementa con algoritmos de facilitación del alcance. Por otra parte, estas soluciones tecnológicas de interfaz con el ordenador representan igualmente un complemento de terapias tradicionales de rehabilitación de la postura y el equilibrio. Todas las contribuciones se validaron en colaboración con una serie de centros especializados en parálisis cerebral y trastornos afines contando con usuarios con discapacidad reclutados en dichos centros.This thesis was completed in the Group of Neural and Cognitive Engineering (gNEC) of the CAR UPM-CSIC with the financial support of the FP7 Framework EU Research Project ABC (EU-2012-287774), the IVANPACE Project (funded by Obra Social de Caja Cantabria, 2012-2013), and the Spanish Ministry of Economy and Competitiveness in the framework of two projects: the Interplay Project (RTC-2014-1812-1) and most recently the InterAAC Project (RTC-2015-4327-1)Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Juan Manuel Belda Lois.- Secretario: María Dolores Blanco Rojas.- Vocal: Luis Fernando Sánchez Sante

Using brain-computer interaction and multimodal virtual-reality for augmenting stroke neurorehabilitation

Every year millions of people suffer from stroke resulting to initial paralysis, slow motor recovery and chronic conditions that require continuous reha bilitation and therapy. The increasing socio-economical and psychological impact of stroke makes it necessary to find new approaches to minimize its sequels, as well as novel tools for effective, low cost and personalized reha bilitation. The integration of current ICT approaches and Virtual Reality (VR) training (based on exercise therapies) has shown significant improve ments. Moreover, recent studies have shown that through mental practice and neurofeedback the task performance is improved. To date, detailed in formation on which neurofeedback strategies lead to successful functional recovery is not available while very little is known about how to optimally utilize neurofeedback paradigms in stroke rehabilitation. Based on the cur rent limitations, the target of this project is to investigate and develop a novel upper-limb rehabilitation system with the use of novel ICT technolo gies including Brain-Computer Interfaces (BCI’s), and VR systems. Here, through a set of studies, we illustrate the design of the RehabNet frame work and its focus on integrative motor and cognitive therapy based on VR scenarios. Moreover, we broadened the inclusion criteria for low mobility pa tients, through the development of neurofeedback tools with the utilization of Brain-Computer Interfaces while investigating the effects of a brain-to-VR interaction.Todos os anos, milho˜es de pessoas sofrem de AVC, resultando em paral isia inicial, recupera¸ca˜o motora lenta e condic¸˜oes cr´onicas que requerem re abilita¸ca˜o e terapia cont´ınuas. O impacto socioecon´omico e psicol´ogico do AVC torna premente encontrar novas abordagens para minimizar as seque las decorrentes, bem como desenvolver ferramentas de reabilita¸ca˜o, efetivas, de baixo custo e personalizadas. A integra¸c˜ao das atuais abordagens das Tecnologias da Informa¸ca˜o e da Comunica¸ca˜o (TIC) e treino com Realidade Virtual (RV), com base em terapias por exerc´ıcios, tem mostrado melhorias significativas. Estudos recentes mostram, ainda, que a performance nas tare fas ´e melhorada atrav´es da pra´tica mental e do neurofeedback. At´e a` data, na˜o existem informac¸˜oes detalhadas sobre quais as estrat´egias de neurofeed back que levam a uma recupera¸ca˜o funcional bem-sucedida. De igual modo, pouco se sabe acerca de como utilizar, de forma otimizada, o paradigma de neurofeedback na recupera¸c˜ao de AVC. Face a tal, o objetivo deste projeto ´e investigar e desenvolver um novo sistema de reabilita¸ca˜o de membros supe riores, recorrendo ao uso de novas TIC, incluindo sistemas como a Interface C´erebro-Computador (ICC) e RV. Atrav´es de um conjunto de estudos, ilus tramos o design do framework RehabNet e o seu foco numa terapia motora e cognitiva, integrativa, baseada em cen´arios de RV. Adicionalmente, ampli amos os crit´erios de inclus˜ao para pacientes com baixa mobilidade, atrav´es do desenvolvimento de ferramentas de neurofeedback com a utilizac¸˜ao de ICC, ao mesmo que investigando os efeitos de uma interac¸˜ao c´erebro-para-RV