Application of human machine interface research in powered wheelchair

Orientador: Franco Giuseppe DediniDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecanicaResumo: Há uma parcela da população que, por possuir severas limitações físicas e motoras, é inapta a utilizar cadeiras de rodas convencionais, manuais ou elétricas, bem como dispositivos de interface que não consideram as suas características particulares. Deste modo, este trabalho possui foco no desenvolvimento de interfaces e sistemas de navegação para cadeiras de rodas, provendo soluções para a inclusão deste grupo de usuários. Para isto, a revisão bibliográfica envolve três aspectos: as interfaces para usuários, os sistemas de navegação e a integração entre ambos. Primeiramente localiza-se a interface como parte da relação entre usuário e tarefa, para posteriormente restringir-se a interfaces para portadores de severas limitações físicas. Reconhecendo que determinados tipos de limitações de usuários demandam sistemas de navegação, estes são descritos na forma de exemplos de implementações. A revisão bibliográfica conclui com a descrição de métodos para a integração entre interface, navegação e controle da cadeira de rodas. Com base nesta pesquisa bibliográfica, desenvolveu-se um protocolo de integração e três tipos interfaces: controle de voz, filtragem do sinal de joystick para usuários com dificuldade em posicionar a mão, e controle por contrações musculares. A interface de reconhecimento de voz permitiu obter dois protótipos: um primeiro que utiliza um software comercial e um segundo em microcontrolador. A interface de filtragem do sinal do joystick foi prototipada virtualmente, demonstrando a resposta deste filtro a diferentes distúrbios. A interface que utiliza controle por contrações musculares foi implementada em protótipo funcional, por meio de um microcontrolador, e modularizada por meio do protocolo de integração desenvolvido. Este protocolo de integração foi testado em um kit de motorização com os módulos joystick, interface por contrações musculares e sonar, permitindo alternar, remover e inserir módulos sem a necessidade de reprogramaçãoAbstract: There is a part of population, with physical impairment, that cannot use conventional manual or powered wheelchair and kinds of interface with do not consider they own characteristics. To solve this problem, this work does a bibliographic review on wheelchair interfaces and navigation support, alloying development on solutions for inclusion of this users group. The bibliographic review embraces three aspects: interfaces and users, navigation support systems, and integration between navigation and interfaces. The first chapter, interfaces and users, localizes the interface as an medium between user and task, allowing to be more focused on next chapter: interfaces for wheelchair uses with severe impairment level. Recognizing about in some kind¿s of user impairment levels an adequate interface is not enough, navigation support systems are described. The bibliographic review concludes with a description about integration methods for interfaces, navigation support and wheelchair control. Based on this bibliographic review, an integration protocol and three interfaces have developed: voice control, joystick filtering for users with difficult on hand positioning, and muscular contraction control. The voice recognition interface allows creating two prototypes: one with commercial software, and a second using embedded microcontroller on wheelchair. The joystick filtering interface was virtually prototyped allowing response tests for different noisy sources. The muscular contraction interface has implemented as functional prototyping, by a microcontroller, and modularized by the developed modularization protocol. This protocol has tested in a wheelchair motorization kit with joystick, muscular contraction interface and auxiliary sonar modules, allowing inserting or removing then without any reprogramming needsMestradoMecanica dos Sólidos e Projeto MecanicoMestre em Engenharia Mecânic

Estudo e desenvolvimento de um sistema de reconhecimento de expressões faciais para controle de cadeira de rodas

Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Faculdade UnB Gama, 2019.A tecnologia tem sido cada vez mais utilizada em diversos âmbitos. E uma das áreas que pode agregar bastante para a sociedade atual consiste na tecnologia assistiva, a qual proporciona recursos que auxiliam pessoas com deficiência física. Considerando isso, esse trabalho tem o intuito de promover uma solução que melhore a locomoção de tetraplégicos, por meio da criação de uma interface de controle, para cadeira de rodas elétrica, utilizando visão computacional. À vista disso, foi elaborado um sistema apto para capturar imagens; realizar a detecção de face do usuário; efetuar a extração de características; captar expressões faciais dos olhos e boca, além de movimentos de inclinação da cabeça; e por fim, associá-los com comandos capazes de controlar a cadeira. Além disso, paralelamente, enviar os dados via serial para um microcontrolador e apresentar tais resultados em uma interface gráfica. Para isso, foram utilizadas as bibliotecas de visão computacional OpenCV e Dlib, a linguagem de programação Python e o framework para interface gráfica Tkinter. De modo que, obteve-se como resultado um sistema de reconhecimento em tempo real, para ambientes adequadamente luminosos, de quatro comandos: frente, trás, esquerda e direita. Diante disso, conclui-se que, apesar de melhorias serem necessárias, tal interface cumpre seu objetivo proposto.The technology has been more used in different scopes. One of the areas that can aggregate a lot for the current society consists in the assistive technology, which provides resources that help people with physical disability. Considering that, this work has the goal to promote a solution capable of improve tetraplegic’s locomotion, by creating an eletric wheelchair control interface based on computer vision. Then, it was elaborated a system able to capture images, to make the user’s face detection, to efetuate the feature extraction and to capture facial expressions from the eyes and mouth, also movements of head inclination. Finally, associating them with the comands that control the wheelchair. Futhermore, at the same time, sending this data via serial to a microcontroller and presenting this movements in a graphic interface. For this, it was used the computer vision libraries OpenCV and Dlib, with the programming language Python and the GUI framework Tkinter. So that in the end, it was obtained as result a recognize system in real time, that works on properly illuminated environments, with four commands: ahead, backwards, left and right. Consequently, it was concluded that, despite improvements are needed, this interface accomplishs its goal

Desenvolvimento de um protótipo e de metodologias de controlo de uma cadeira de rodas inteligente

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores. Faculdade de Engenharia. Universidade do Porto. 200

Protótipo de dispositivo de controle de ambiente por comando ocular

Trabalho de Conclusão de Curso (Graduação)No âmbito de Tecnologia Assistiva, o presente trabalho visa o desenvolvimento de um protótipo de dispositivo de controle de ambiente por comando ocular. Buscando uma forma de autonomia e praticidade à pessoas portadoras de deficiência, para que assim este protótipo de dispositivo possa ser uma maneira fácil de acionar dispositivos de uma residência, como uma televisão, uma lâmpada e, também, o acionamento de um sinal sonoro para que o cuidador da pessoa com limitação possa socorrê-lo. Desta forma, este trabalho de conclusão de curso é inserido na área de automação e na área de Tecnologia Assistiva. Este trabalho utilizará um sistema de infravermelho para que possa acionar os dispositivos remotamente e um sensor de rastreamento ocular, para que o usuário (pessoa portadora de alguma deficiência) possa controlar os comandos dos equipamentos com o direcionamento do olhar na tela de interface

Desenvolvimento de uma Interface Homem-maquina Aplicada a uma Cadeira de Rodas Robotica Por Meio de PDA

Nesta Dissertação de Mestrado, foi desenvolvido um sistema assistivo, composto por uma interface homem-máquina (IHM) e uma estação de monitoramento remoto, destinado ao indivíduo com severo comprometimento orgânico. A IHM pode ser acionada por meio de um apontador de cabeça, piscada de olhos, movimento do globo ocular, posição da íris captada por uma câmara de vídeo e sinais cerebrais. Essa IHM confere ao usuário um novo canal de comunicação, além de poder comandar uma cadeira de rodas robótica. Um PDA (do inglês Personal Digital Assistant), embarcado nessa cadeira, atua como interface gráfica, contendo opções de seleção pelo usuário, tais como sentido de movimento da cadeira, expressar necessidades, permitir comunicação textualmente ou levá-lo a pontos específicos de ambientes estruturados. Nessa última opção, um sistema de controle embarcado permite a navegação autônoma até o cômodo desejado, de acordo com a implementação de um controlador de posição com desvio de obstáculos. A interface com o usuário desenvolvida possui saída acústica e informa cada opção escolhida através de um sintetizador de voz, facilitando a comunicação com membros do convívio. A unidade de monitoramento é composta por um segundo PDA, de onde é possível monitorar, remotamente, informações da cadeira de rodas em ambiente estruturado, como posição e velocidade, enviar comandos direto aos motores, ou até mesmo selecionar pontos destinos desse ambiente e enviá-los ao sistema de navegação

Simulador para treinamento de cadeirantes em ambiente virtual acionado por comandos musculares e/ou visuais

The act of driving an electric-powered wheelchair seems, at first glance, a simple task to perform. In reality, however, the ability to conduct a wheelchair independently requires specific motor, visual and cognitive abilities, and attempting to perform such an act without adequate preparation and knowledge may pose a risk, not only for the user in question, but also to the individuals at close proximity. In this perspective, the present work proposes a tool for training and adaptation of users of electric-powered wheelchairs, a simulator aimed mainly at users with little experience with such device, through use of Virtual Reality. By using this simulator, it might be possible to assist in the process of adapting to the new technology and in acquiring knowledge of how to act in some situations, effectively preparing the new user how to deal with different contexts while driving his electric-powered wheelchair. For the development of this work, a survey was first made with experienced users of electric-powered wheelchairs to discover the main needs and difficulties in driving a wheelchair. After that, a virtual environment was created using the Unity 3D tool, in which three distinct scenarios were initially designed based on the survey results. As of the form of control, three different forms were adapted, so that the simulator also could be used for individuals with severe motor disabilities. Finally, it was done a case study with four users in order to evaluate the tool, both in terms of realism and immersion, as well as in practical utility. In the long term, it is expected that the tool can be used by individuals to train their ability to drive electric-powered wheelchairs effectively and in a completely safe environment.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorDissertação (Mestrado)O ato de conduzir uma cadeira de rodas motorizada parece, à primeira vista, uma atividade simples de se realizar. Na realidade, porém, a capacidade de conduzir uma cadeira de rodas de forma independente requer habilidades motoras, visuais e cognitivas específicas, sendo que a tentativa de realização de dito ato sem o preparo e conhecimento adequado pode vir a acarretar um risco, não só para o usuário em questão, mas também para os indivíduos ao redor do mesmo. Nessa perspectiva, o presente trabalho propõe uma ferramenta de treinamento e adaptação para usuários de cadeiras de rodas motorizadas, um simulador voltado principalmente para usuários com pouca experiência de uso com tal dispositivo, utilizando-se para isso de Realidade Virtual. Através do uso deste simulador, pode-se auxiliar no processo de adaptação da nova tecnologia e na aquisição de conhecimento de como agir em possíveis situações, efetivamente preparando o usuário para lidar com diferentes contextos durante a condução de sua cadeira de rodas motorizada. Para o desenvolvimento do trabalho, foi feita primeiro uma pesquisa com usuários experientes de cadeiras de rodas motorizadas para levantamento das principais necessidades e dificuldades na condução. Em seguida, foi criado um cenário virtual usando a ferramenta Unity 3D, no qual foram projetados inicialmente três cenários distintos baseados nos resultados da pesquisa. Como forma de controle, foram adaptadas três formas de controle distintas, para que o simulador pudesse ser utilizado também para indivíduos com deficiências motoras severas. Por fim, foi feito um estudo de caso com quatro usuários para avaliar a ferramenta, tanto em termos de realismo e imersão, quanto em utilidade prática. Em longo prazo, espera-se que a ferramenta possa ser utilizada por indivíduos para praticarem sua habilidade de condução de cadeiras de rodas motorizadas de forma efetiva e completamente segura

Implement mechatronics in a cephalic orthosis for children with cerebral palsy

Orientador: João Maurício RosárioDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecânicaResumo: Este estudo objetivou a elaboração de uma proposta mecatrônica em uma órtese cefálica, para crianças com paralisia cerebral, tetraparéticas, não deambulantes, entre 2 anos e 12 anos de idade. Para a fundamentação do mesmo realizou-se a revisão bibliográfica sobre o uso de órteses cefálicas e / ou outros recursos assistivos para facilitar o controle da cabeça nessas crianças, tendo em vista a importância sócio-educacional desse controle para o desenvolvimento integral e qualidade de vida de uma pessoa. Complementa-se essa fundamentação com a apresentação do estudo realizado em pesquisa experimental com essa órtese, em grupo controle de crianças, contextualizando seus resultados e examinando-se as hipóteses neuroplásticas para a compreensão dos ganhos demonstrados pela utilização da órtese. São também apresentadas as dificuldades encontradas no modelo mecânico, que resultaram na busca para a implementação mecatrônica. Através desta possibilidade vislumbra-se controlar a aplicabilidade da órtese e coletar dados das regulagens efetivadas na cabeça do usuário. Ampliando sua aplicação sugere-se a utilização desta órtese com uma cadeira motorizada, com comando mecatrônico integrado. Este estudo conclui a necessidade de realizar-se uma nova pesquisa para referendar se os resultados obtidos, até o presente momento com a órtese cefálica, confirmam e validam sua eficácia como agente terapêutico que promove controle motor voluntário de cabeça em crianças com paralisia cerebralAbstract: The purpose of this study was to elaborate a mechatronic proposal using a Cephalic Orthosis for children with Cerebral Palsy, quadriplegics, and non-ambulatories between the ages of two and 12. For the basis of said study, a revised bibliography about the use of the Cephalic Orthosis and/or other assistive resources was utilized to facilitate control over the heads of these children, taking into consideration the importance of the socio-educational aspects of this control to the development and quality of life of the individual as a whole. Experimental research with the Orthosis in a control group of children contextualizes and supports it's results through examining the neuro-plastics hypothesis for better comprehension of gains demonstrated by utilizing the Orthosis. Difficulties encountered when using this mechanical model are also presented, as well as the need to implement mechatronics. Through the possible use of the orthosis, the main goal is to ensure beneficial results and collect data of said results while regulating the changes made. In conclusion, this study shows the need for further research, in order to confirm if the up-to-date results obtained utilizing the Cephalic Orthosis confirms and validates its efficacy as a therapeutic agent, which promotes voluntary motor control of the head in children with Cerebral PalsyMestradoMecanica dos Sólidos e Projeto MecanicoMestra em Engenharia Mecânic

Solução Multimodal para Interação Com Dispositivos de Assistência e Comunicação

Pessoas com deficiência têm dificuldade de interagir com o ambiente onde vivem, devido às próprias limitações inerentes à sua deficiência. Atividades simples como ligar lâmpada, ventilador, televisão ou qualquer outro equipamento, de forma independente, pode ser impossível para esse grupo de pessoas. Este trabalho apresenta um sistema assistivo multimodal para controlar um ambiente inteligente por meio de sinais biológicos. Os usuários em potencial deste sistema são indivíduos com deficiências motoras graves, que desejam adquirir mais autonomia dentro do ambiente doméstico. Os sinais biológicos utilizados são sEMG, EOG e VOG. Isso possibilitou dois tipos de interação: uma empregando gestos faciais e movimento dos olhos, e a outra utilizando o rastreamento das fixações do olhar (eye/gaze tracking). Um diferencial importante deste trabalho é a utilização de dispositivos convencionais de baixo custo, fácil manuseio e de rápida configuração. No primeiro bloco de testes, o objetivo era avaliar o desempenho do sistema utilizando o Emotiv EPOC e o Eye Tracker, comparando a Taxa de Transferência de Informação (ITR) e a Utilidade (U) de ambas as Interfaces Humano-Máquina (IHM) desenvolvidas para controlar o Ambiente Inteligente. Para esses testes foram pré-estabelecidas cinco tarefas, as quais foram realizadas por dez voluntários. No segundo bloco de testes, o objetivo era avaliar a usabilidade (SUS) e o desempenho (GAS) do sistema do ponto de vista do usuário, utilizando o Eye Tracker em três aplicações diferentes: Controle do Ambiente Inteligente (AI), Comunicação Aumentativa e Alternativa (CAA) e Ambiente Virtual (AV). Os testes foram realizados por 17 voluntários (sendo dois com deficiência em todas as aplicações) e foram pré-estabelecidas 5, 5 e 18 tarefas para as três aplicações (AI, CAA e AV, respectivamente). Com relação aos resultados da avaliação de desempenho, observou-se que 15 dos 17 participantes obtiveram resultado esperado ou superior ao esperado logo na primeira utilização. Este resultado ainda pode ser melhorado, à medida que o participante obtiver maior familiaridade com o sistema

Avaliação de usabilidade de comando ocular de cadeira de rodas motorizada

Due to high rates of people with disabilities in Brazil, the demand for Assistive Technologies (ATs) in many fields has increased. However, some studies report that 30% of all purchased devices are abandoned. Some reasons, as lack of user involvement in the technology development, lack of training and changes in users' needs are mentioned. This research was focused on understand and how users and developers relate to ATs, identifying the priorities of each group and verifying if this divergence reflects in dropout rates. A command system for an electric-powered wheelchair using eye movement was developed for a public with severe physical disabilities, and a usability evaluation of this technology was performed. Through empirical evaluation methods (with users from the target group) and analytical methods (without the participation of the target group), many interface problems were found on the developed system, in which users found twelve problems, and developers, ten. To perform the heuristic evaluation (analytical method) few parameters for a complete evaluation was perceived. Thus, 25 heuristics were proposed to perform the evaluation. The selection of those heuristics had different weights for users and developers, judging on the degree of importance of each item for each group, and a divergence in prioritizing the 16 criteria (pvalue <0,05) was noticed, which indicates a difference in the way in which both groups relate to AT. Because of this difference in user and developer standpoint, it was concluded that it is important to consider the opinion of both groups and other professionals in the development of ATs to ensure that these comply with the expectations of all involved.Conselho Nacional de Desenvolvimento Científico e TecnológicoCoordenação de Aperfeiçoamento de Pessoal de Nível SuperiorFundação de Amparo a Pesquisa do Estado de Minas GeraisDissertação (Mestrado)Devido aos altos índices de pessoas com deficiência no Brasil, a demanda por Tecnologias Assistivas (TAs) em diversos campos aumentou. Porém, alguns estudos relatam que 30% de todos esses dispositivos de TAs adquiridos são abandonados. Alguns motivos, como falta de participação do usuário no desenvolvimento da tecnologia, ausência de treinamentos e alterações nas necessidades dos usuários são citados. Esta pesquisa procurou entender como usuários e desenvolvedores se relacionam com a TA, quais são as prioridades de cada grupo, e se essa divergência reflete nos índices de abandono. Neste trabalho, foi desenvolvido um sistema de comando de cadeira de rodas motorizada, baseado no movimento dos olhos, para atender o público que apresenta deficiência motora severa, e foi realizada uma avaliação de usabilidade do sistema. Por meio de métodos de avaliações empíricos (com usuários do público alvo) e analíticos (sem a participação do público alvo), diversos problemas de interface foram encontrados sobre o sistema desenvolvido, nos quais os usuários encontraram doze problemas, e os desenvolvedores dez. Para a realização da avaliação heurística (método analítico), foi percebida a existência de poucos parâmetros para uma avaliação completa. Assim, foram propostas 25 heurísticas para compor a avaliação. Esta proposta foi ponderada por usuários e desenvolvedores, devido ao grau de importância de cada item para cada grupo, e percebeu-se uma divergência na priorização de 16 critérios (pvalue <0,05), indicando uma diferença na forma que ambos os grupos se relacionam com a TA. Devido a essa diferença no ponto de vista de usuário e desenvolvedor concluiu-se que é importante considerar a opinião de ambos os grupos e demais profissionais, no desenvolvimento da TA, para garantir que a mesma esteja em conformidade com as expectativas de todos os envolvidos

Unidade de interação e controlo para uma cadeira de rodas elétrica automática

Num mundo onde cerca de 1% da população necessita de utilizar uma cadeira de rodas para a sua deslocação, a acessibilidade a este tipo de veículo no exterior ainda encontra-se num estado bastante precário. Falta de rampas nos passeios, buracos, caminhos em declive e determinados obstáculos como carros estacionados por cima do passeio, são alguns de muitos exemplos dos desafios que uma pessoa em cadeira de rodas enfrenta quando tenta deslocar-se no exterior, o que faz com que a autonomia e a segurança na condução de uma cadeira de rodas seja bastante reduzida, sendo por muitas vezes necessário recorrer de forma constante à ajuda de terceiros, que, por consequência, reduz a sua, já limitada, liberdade de locomoção. É com base nestes problemas que o projeto RevoChair surgiu. Este projeto consiste no desenvolvimento de um sistema para cadeira de rodas elétrica que permita ao utilizador movimentar-se no exterior automaticamente, sempre que possível, sem ter de se preocupar com os obstáculos a sua volta. Esta tese incide-se concretamente sobre três dos problemas do desenvolvimento deste projeto, a definição das componentes necessárias para a implementação do sistema, a forma como o utilizador interage com o sistema e a forma como os componentes comunicam entre si, tendo como foco a unidade de interação e a unidade de controlo responsável por gerir a comunicação entre os diversos componentes do sistema.In a world where 1% of the population have the need of using a wheelchair, the accessibility for this kind of transportation device is still very precarious. The lack of ramps in the sidewalk, holes on the path, sloping paths and certain obstacles such as parked cars over the sidewalk, are some of many examples of the challenges that a person in a wheelchair faces when trying to move outdoor, making the autonomy and safety of the user when driving a wheelchair to be greatly reduced, being often necessary to constantly resort to the help of others, which consequently reduces their already limited freedom of locomotion. It’s based on these problems that the project RevoChair was born. This project consists in the development of a system destined for electric wheelchair that allows the user to move outdoor automatically whenever possible without having to worry about the obstacles around him. This thesis specifically focuses on three of the issues faced in the development of this project, the definition of the components required to implement this system, how the user interacts with the system and how the components communicate with each other, focusing on the interaction unit and the control unit which is responsible for managing the communication between the various components of the system