MOBILE VOICE TO SIGN LANGUAGE SYSTEM

This report presents recent technologies using Mobile devices as a medium to interact between normal people and hearing disables people. This system is using Java mobile technologies to do voice processing on a mobile platform. This system will allow users to capture the voice match with appropriate sign. Voice recognition to control devices such as a robot already implemented in Java. Here some ideas to implement by using J2ME which is for small mobile devices to make it valuable for current situation or technology. There are at least 29 million people around the world who suffer from speech and hearing disabilities. It is somehow difficult for us to interact with them because of the unknown language used by them to communicate with each other. Sign language is a form of communication which is widely used by deaf and mute peoples. Thus, the only way of communication is learning their language which is sign language. As in the case in verbal language, sign language is differs from one region to another. However, when people using different signed languages meet, communication is significantly easier than when people of different language meet. Sign language, in this respect, gives access to an international deaf community to communicate. This report contains solution whereby one does not need to learn sign language to be able to communicate with the disabled. This system will convert the English language to sign language

Ubiquitous Smart Home System Using Android Application

This paper presents a flexible standalone, low-cost smart home system, which is based on the Android app communicating with the micro-web server providing more than the switching functionalities. The Arduino Ethernet is used to eliminate the use of a personal computer (PC) keeping the cost of the overall system to a minimum while voice activation is incorporated for switching functionalities. Devices such as light switches, power plugs, temperature sensors, humidity sensors, current sensors, intrusion detection sensors, smoke/gas sensors and sirens have been integrated in the system to demonstrate the feasibility and effectiveness of the proposed smart home system. The smart home app is tested and it is able to successfully perform the smart home operations such as switching functionalities, automatic environmental control and intrusion detection, in the later case where an email is generated and the siren goes on.Comment: 11 pages, 10 figure

Technology enhanced learning using humanoid robots

In this paper we present a mixture of technologies tailored for e-learning related to the Deep Learning, Sentiment Analysis, and Semantic Web domains, which we have employed to show four different use cases that we have validated in the field of Human-Robot Interaction. The approach has been designed using Zora, a humanoid robot that can be easily extended with new software behaviors. The goal is to make the robot able to engage users through natural language for different tasks. Using our software the robot can (i) talk to the user and understand their sentiments through a dedicated Semantic Sentiment Analysis engine; (ii) answer to open-dialog natural language utterances by means of a Generative Conversational Agent; (iii) perform action commands leveraging a defined Robot Action ontology and open-dialog natural language utterances; and (iv) detect which objects the user is handing by using convolutional neural networks trained on a huge collection of annotated objects. Each module can be extended with more data and information and the overall architectural design is general, flexible, and scalable and can be expanded with other components, thus enriching the interaction with the human. Different applications within the e-learning domains are foreseen: The robot can either be a trainer and autonomously perform physical actions (e.g., in rehabilitation centers) or it can interact with the users (performing simple tests or even identifying emotions) according to the program developed by the teachers

NFC-based user interface for smart environments

The physical support of a home automation system, joined with a simplified user-system interaction modality, may allow people affected by motor impairments or limitations, such as elderly and disabled people, to live safely and comfortably at home, by improving their autonomy and facilitating the execution of daily life tasks. The proposed solution takes advantage of the Near Field Communications technology, which is simple and intuitive to use, to enable advanced user interaction. The user can perform normal daily activities, such as lifting a gate or closing a window, through a device enabled to read NFC tags containing the commands for the home automation system. A passive Smart Panel is implemented, composed of multiple Near Field Communications tags properly programmed, to enable the execution of both individual commands and so-calledscenarios. The work compares several versions of the proposed Smart Panel, differing for interrogation and composition of the single command, number of tags, and dynamic user interaction model, at a parity of the number of commands to issue. Main conclusions are drawn from the experimental results, about the effective adoption of Near Field Communications in smart assistive environments

Towards a More Inclusive World: Enhanced Augmentative and Alternative Communication For People With Disabilities UsingAI and NLP

For people with verbal or cognitive impairments, engaging in conversation can be tiresome and time-consuming, limiting their educational, social, and career opportunities. Livox is a pictogram-based alternative communication application that empowers people with a wide range of visual and motor impairments to engage in conversations. This project incorporated a ML and NLP-based classifier to detect specific questions and present the most relevant pictograms to users. Our newly introduced classifier reduced the time and effort required to communicate by 68.5% and 56.4%, respectively compared to the standard application. These results show that our work is a step towards making the world a more inclusive place for those who are nonverbal and have motor skill challenges

Mobile system-wide assistive technology

Tese de mestrado em Engenharia Informática (Sistemas de Informação), Universidade de Lisboa, Faculdade de Ciências, 2014Hoje em dia o uso do telemóvel é fundamental em diversos aspetos da nossa vida. Tornou-se uma ferramenta essencial para a comunicação, convívio, consulta de informação e até mesmo para o entretenimento. Os telemóveis tornaram-se mais do que simples ferramentas para fazer chamadas e receber mensagens. Eles são os nossos assistentes pessoais, são a forma como nos mantemos em contacto com os nossos amigos e colegas, e muito mais. Infelizmente, os sistemas operativos destes dispositivos ainda apresentam muitas debilidades em termos de acessibilidade. No entanto, as suas capacidades representam uma enorme oportunidade na criação de tecnologias assistivas. Os sistemas operativos móveis não são suficientemente adaptáveis e configuráveis para pessoas com múltiplas deficiências poderem usufruir deles. Na verdade, nas últimas versões dos sistemas operativos móveis mais populares (iOS e Android) tem sido feito um esforço para incluir mais opções de acessibilidade. No, entanto ainda não são o suficiente para suportar todo o tipo de necessidades. Uma das abordagens possíveis para permitir o uso das aplicações por pessoas com deficiências passa pela criação de aplicações acessíveis. No entanto, esta abordagem não é escalável e enfrenta graves problemas. Ao fazermos apenas a aplicação acessível estamos a limitar o utilizador a apenas essa aplicação, em vez de estarmos a criar as ferramentas que permitem o controlo e acesso total do sistema á semelhança de um utilizador sem deficiência. Estas aplicações têm usualmente preços elevados, justificados pelo longo desenvolvimento em tecnologias que não serão usadas pelas massas. O problema das aplicações acessíveis é a especificidade da aplicação. Quando tornamos uma aplicação acessível a utilizadores cegos não estamos a torná-la acessível a utilizadores com deficiências motoras. O problema cresce quando começamos a ter em consideração utilizadores com múltiplas deficiências. A nível aplicacional é extremamente dispendioso criar uma aplicação acessível a utilizadores com múltiplas deficiências. A preocupação é: ao tornamos uma aplicação acessível vamos torná-la acessível a que conjunto de deficiências ou pessoas? Devido à enorme variedade de requisitos de acessibilidade, é necessário todo um sistema configurável e adaptável. Existem muitos estudos na área das tecnologias assistivas, a maioria delas tem como foco a acessibilidade do Desktop. É fundamental para a integração de pessoas com algum tipo de deficiência o acesso a um computador. Hoje em dia é necessário mais do que isso, é também necessário permitir o acesso ao telemóvel. Os smartphones têm imensas possibilidades de uso como tecnologias assistivas. Podem permitir desde o acesso á internet, ao controlo de uma cadeira de rodas, ou até ser um controlo remoto do ambiente em volta do individuo (televisão, ar condicionado, eletrodomésticos, etc). Atualmente, se desenvolvermos periféricos com o objetivo de controlar um smartphone vamos deparar-nos com uma enorme quantidade de restrições. Para desenvolver tecnologias assistivas realmente usáveis e abrangentes, é necessário ter acesso a dois níveis de controlo, nível aplicacional e nível de sistema. No entanto, nos dispositivos móveis não temos acesso ao nível de sistema, apenas os produtores do Sistema Operativo (SO) o têm. É necessário criar uma camada intermédia que consiga de alguma forma ter acesso a informações de sistema de forma a possibilitar um controlo preciso e fino sobre todos os eventos de entrada e saída de dados. Esta dissertação encontrou motivação no caso do Miguel. Miguel é um individuo com múltiplas deficiências que enfrenta severas dificuldades para interagir com o seu telemóvel. O trabalho desenvolvido foi em grande parte motivado pelas dificuldades diárias que ele enfrenta em manter-se socialmente ativo e com o maior nível de independência possível. Com as tecnologias atuais, o Miguel está debilitado e não consegue usufruir de todas as capacidades do seu dispositivo. Assim, estabelecemos como objetivos criar uma tecnologia que permitisse: controlo total a nível de sistema dos mecanismos de entrada; desenvolvimento ágil de tecnologias assistivas; suporte a utilização de tecnologias assistivas externas; criação de soluções extensíveis e adaptáveis; controlo sobre o conteúdo e navegação a nível de sistema. Nesta tese apresentamos SWAT, uma biblioteca extensível e adaptável que permite o acesso ao nível de sistema aos conteúdos e à informação dos eventos de entrada. A biblioteca foi desenvolvida para Android e providencia uma plataforma estável sobre a qual é possível estender e adaptar as suas capacidades. Com SWAT, os programadores têm a possibilidade de aceder a eventos de baixo nível e a funcionalidades que não teriam de outra forma. Este controlo permite superar as barreiras impostas pelo tradicional sistema operativo móvel e abre as portas à criação de tecnologias assistivas mais adaptáveis e baratas. A Biblioteca possui uma API (Interface de Programação de Aplicações) simples que providencia tudo o que é necessário para um fácil acesso a estas funcionalidades. Esta tese tem como principais contribuições: Biblioteca SWAT: permite a criação de tecnologias assistivas de forma rápida e eficaz, com controlo sobre o conteúdo e eventos de entrada de baixo nível. Macros assistivas: uma aplicação que permite gravar e reproduzir macros num sistema operativo móvel; Logger: um mecanismo de gravação a nível de sistema; Auto-Nav: um protótipo aplicacional que permite varrimento automático das opções disponíveis num telemóvel de forma a permitir o acesso via interruptor; Leitor de ecrã multi-toque: um leitor de ecrã que permite feedback auditivo de vários pontos em simultâneo. Com o objetivo de validar a biblioteca criada, apresentamos dois casos de estudo onde reportamos duas aplicações criadas recorrendo à mesma. A primeira tem como foco o caso do Miguel, um utilizador com múltipla deficiência. À data da introdução desta nova aplicação o Miguel apenas conseguia aceder a uma aplicação desenhada especificamente para ele e nada mais. Neste caso de estudo reportamos a tecnologia desenvolvida para permitir ao Miguel aceder a qualquer aplicação do sistema assim como uma avaliação informal com ele e os seus pais. No segundo caso de estudo validamos a biblioteca pela criação de um leitor de ecrã multi-toque a nível de sistema. Foi feito um estudo com 30 utilizadores cegos numa tarefa de entrada de texto onde resultados foram analisados e reportados. Os resultados obtidos sugerem que pessoas cegas podem beneficiar de interfaces que aproveitem de forma mais eficiente os ecrãs multi-toque e que aproximem o seu uso do já realizado em interfaces físicas (teclado tradicional). Com este trabalho, demonstramos as limitações impostas pelos sistemas operativos móveis na área de tecnologias assistivas. Desenvolvemos uma Biblioteca para dar resposta a estas restrições providenciando uma base de trabalho para futuras aplicações e tecnologias assistivas. Com os casos de estudo, mostrámos as capacidades do sistema desenvolvido. SWAT é uma biblioteca prometedora oriunda deste trabalho e começa a ter ramificações nesta e outras áreas de desenvolvimento.Mobile devices are a fundamental tool in different aspects of our lives. In the last decade, we have witnessed an explosion of the capabilities of our mobile devices. With these improvements, they became more valuable to us than the old house phones. They no longer serve only the purpose of making/receiving calls and text messages. They are our personal assistant, our way to connect to the social media, our multimedia entertainment and much more. Indeed, they are also, and increasingly more so, the prevalent communication artifact at one’s disposal. Mobile operating systems have evolved to provide increasing accessibility capabilities. However, mobile application developers are still restricted to deploy custom-made accessible applications or to extend limited and stereotyped accessibility services. In current mobile devices if we develop an external peripheral to control the device we will face several restrictions since there is not a system-wide service that a developer can access to create its own input method. A regular user has the ability to navigate and explore the device without limitations. In order to truly give disabled people the same features as other users have, we need to create a system-wide accessibility service that allows users to freely navigate and interact with their devices. Motivated by the limitations described above we set out to provide more control over the system input and output mechanisms to allow the creation of powerful system wide assistive technologies. We developed SWAT (System-wide Assistive Technologies) for the Android platform. To validate our system we performed one case study with a multi-impaired person and another one with 30 blind users. Results showed that SWAT enabled the creation of application tailored to their needs and thus fostering their inclusion

QuickTalk: An Association-Free Communication Method for IoT Devices in Proximity

Department of Computer Science and EngineeringIoT devices are in general considered to be straightforward to use. However, we find that there are a number of situations where the usability becomes poor. The situations include but not limited to the followings: 1) when initializing an IoT device, 2) when trying to control an IoT device which is initialized and registered by another person, and 3) when trying to control an IoT device out of many of the same type. We tackle these situations by proposing a new association-free communication method, QuickTalk. QuickTalk lets a user device such as a smartphone pinpoint and activate an IoT device with the help of an IR transmitter and communicate with the pinpointed IoT device through the broadcast channel of WiFi. By the nature of its association-free communication, QuickTalk allows a user device to immediately give a command to a specific IoT device in proximity even when the IoT device is uninitialized, unregistered to the control interface of the user, or registered but being physically confused with others. Our experiments of QuickTalk implemented on Raspberry Pi 2 devices show that the end-to-end delay of QuickTalk is supper bounded by 2.5 seconds and its median is only about 0.74 seconds. We further confirm that even when an IoT device has ongoing data sessions, QuickTalk can still establish a reliable communication channel to the IoT device with little impact to the ongoing sessions.ope

A taxonomy of cyber-physical threats and impact in the smart home

In the past, home automation was a small market for technology enthusiasts. Interconnectivity between devices was down to the owner’s technical skills and creativity, while security was non-existent or primitive, because cyber threats were also largely non-existent or primitive. This is not the case any more. The adoption of Internet of Things technologies, cloud computing, artificial intelligence and an increasingly wide range of sensing and actuation capabilities has led to smart homes that are more practical, but also genuinely attractive targets for cyber attacks. Here, we classify applicable cyber threats according to a novel taxonomy, focusing not only on the attack vectors that can be used, but also the potential impact on the systems and ultimately on the occupants and their domestic life. Utilising the taxonomy, we classify twenty five different smart home attacks, providing further examples of legitimate, yet vulnerable smart home configurations which can lead to second-order attack vectors. We then review existing smart home defence mechanisms and discuss open research problems

Quality assessment technique for ubiquitous software and middleware

The new paradigm of computing or information systems is ubiquitous computing systems. The technology-oriented issues of ubiquitous computing systems have made researchers pay much attention to the feasibility study of the technologies rather than building quality assurance indices or guidelines. In this context, measuring quality is the key to developing high-quality ubiquitous computing products. For this reason, various quality models have been defined, adopted and enhanced over the years, for example, the need for one recognised standard quality model (ISO/IEC 9126) is the result of a consensus for a software quality model on three levels: characteristics, sub-characteristics, and metrics. However, it is very much unlikely that this scheme will be directly applicable to ubiquitous computing environments which are considerably different to conventional software, trailing a big concern which is being given to reformulate existing methods, and especially to elaborate new assessment techniques for ubiquitous computing environments. This paper selects appropriate quality characteristics for the ubiquitous computing environment, which can be used as the quality target for both ubiquitous computing product evaluation processes ad development processes. Further, each of the quality characteristics has been expanded with evaluation questions and metrics, in some cases with measures. In addition, this quality model has been applied to the industrial setting of the ubiquitous computing environment. These have revealed that while the approach was sound, there are some parts to be more developed in the future