Step count and classification using sensor information fusion

In order to suppress the GNSS (Global Navigation Satellite System) limitation to track persons in indoor or in dense environments, a pedestrian inertial navigation system can be used. However, this type of systems have huge location estimation errors due to the Pedestrian Dead Reckoning (PDR) characteristics and the use of low-cost inertial sensors. To suppress some of these errors we propose a system that uses several sensors spread in person's body combined with information fusion techniques. Information fusion techniques provide lighter algorithms implementations, to count and classify the type of step, to run in mobile devices. Thus, improving pedestrian inertial navigation systems accuracy.This work is part-funded by ERDF - European Regional Development Fund through the COMPETE Programme (operational programme for competitiveness) and by National Funds through the FCT - Fundação para a Ciência e a Tecnologia (Portuguese Foundation for Science and Technology) within project FCOMP-01-0124- FEDER-028980 (PTDC/EEI-SII/1386/2012). Ricardo also acknowledge FCT for the support of his work through the PhD grant SFRH/DB/70248/2010.info:eu-repo/semantics/publishedVersio

Orientation system based on speculative computation and trajectory mining

Assistive technologies help users with disabilities (physical, sensory, intellectual) to perform tasks that were difficult or impossible to execute. Thus, the user autonomy is increased through this technology. Although some adaptation of the user might be needed, the effort should be minimum in order to use devices that convey assistive functionalities. In cognitive disabilities a common diminished capacity is orientation, which is crucial for the autonomy of an individual. There are several research works that tackle this problem, however they are essentially concerned with user guidance and application interface (display of information). The work presented herein aims to overcome these systems through a framework of Speculative Computation, which adds a prediction feature for the next move of the user. With an anticipation feature and a trajectory mining module the user is guided through a preferred path receiving anticipated alerts before a possible shift in the wrong direction.This work has been supported by COMPETE: POCI-01-0145-FEDER-007043 and FCT Fundaçãao para a Ciência e Tecnologia within the Project Scope: UID/CEC/00319/2013. The work of João Ramos is supported by a doctoral the FCT grant SFRH/BD/89530/2012. The work of Tiago Oliveira is also supported by the FCT grant with the reference SFRH/BD/85291/2012info:eu-repo/semantics/publishedVersio

Step Characterization using Sensor Information Fusion and Machine Learning

A pedestrian inertial navigation system is typically used to suppress the Global Navigation Satellite System limitation to track persons in indoor or in dense environments. However, low- cost inertial systems provide huge location estimation errors due to sensors and pedestrian dead reckoning inherent characteristics. To suppress some of these errors we propose a system that uses two inertial measurement units spread in person’s body, which measurements are aggregated using learning algorithms that learn the gait behaviors. In this work we present our results on using different machine learning algorithms which are used to characterize the step according to its direction and length. This characterization is then used to adapt the navigation algorithm according to the performed classifications

Orientation method for people with cognitive disabilities

Doctoral Thesis (Degree in Biomedical Engineering)Pessoas com incapacidade (física ou cognitiva) representam uma pequena percentagem da população de um país. No entanto, os custos de saúde inerentes a este grupo de pessoas são habitualmente elevados quando comparados com uma pessoa normal. Assim, é necessário encontrar soluções que ajudem no dia a dia destas pessoas. Aquando do diagnóstico de perdas cognitivas, se tal já não tiver ocorrido, o paciente pode ser impedido de viver sozinho e a presença de um cuidador poderá ser necessária. De forma a diminuir esta invasão de privacidade e permitir uma vida independente do paciente na sua própria casa é necessária adaptar a mesma ao conceito de casa inteligente, a qual permite que o cuidador aceda de forma remota e verifique o estado do utilizador. Porém, a casa inteligente não permite a monitorização do utilizador quando este se encontra no exterior. Assim, de forma a manter-se seguro, este pode tornar-se um prisioneiro da sua própria habitação. Para que a pessoa com perdas cognitiva tenha uma normal interação com a sociedade surge a necessidade de um sistema de orientação adaptável ao exterior e que esteja em conformidade com este grupo de utilizadores. Se se considerarem os dois principais sistemas operativos para dispositivos móveis (i.e., iOS e Android) existe um grande número de aplicações que guiam o utilizador até ao destino pretendido utilizando GPS. Porém, existem muito poucas que sejam adequadas para pessoas com incapacidade. Por outro lado, para além da capacidade de orientação, existe uma outra característica deveras significativa do ponto de vista do cuidador, a capacidade de localização que lhe permite o acesso de forma remota à localização do utilizador final. Esta característica é vital uma vez que os métodos tradicionais de orientação são realmente dispendiosos, levando os cuidadores a acompanhar os pacientes durante as suas deslocações. Desta forma, tanto o tempo como os recursos despendidos durante a aprendizagem são desperdiçados. Vários autores desenvolveram sistemas de orientação adaptados tendo em consideração as características e especificidades do utilizador. A principal preocupação centrava-se na interface do utilizador, uma vez que consideravam que os sistemas disponíveis eram demasiado complexos para serem utilizados por este tipo de indivíduos. O sistema desenvolvido (i.e., CogHelper) tem uma interface adaptada ao utilizador, a qual utiliza realidade aumentada para concretizar o processo de orientação. O sistema possui também a capacidade de localização em tempo real onde o(s) cuidador(es) podem monitorizar o utilizador final. O nosso principal objectivo não recaiu sobre a interface do utilizador, uma vez que esta já tinha sido previamente estudada, mas na forma como a informação era fornecida ao utilizador. Desta forma, o caminho selecionado para guiar o utilizador é adaptado às suas preferências. De forma a prevenir possíveis erros durante o percurso, o sistema calcula possíveis pontos nos quais o utilizador pode tomar uma decisão errada, e alertá-lo de forma a manter-se no caminho correto. Estas características baseiam-se num módulo de pattern mining (para fornecer o caminho adaptado) e numa abordagem de computação especulativa (para antecipar possíveis erros do utilizador).People with disabilities (physical or cognitive) represent a small percentage of a country population. However, the health costs are usually higher when compared to an ordinary person. Thus, one should seek solutions to help the day life of such group of people. When diagnosed with cognitive disabilities the patient may be prevented to live alone and a caregiver may be needed. To avoid this privacy invasion and enable the patient to live independently in his home, there is the need to adapt it to the concept of smart house, which enables the caregiver to remotely access and check the user status. However, the smart house is not able to monitor the user when he goes outside its premises. Thus, in order to keep the user safe, he may become a prisoner of his own home. To engage people with cognitive disabilities in a normal interaction with the surrounding environment there is the need of a portable orientation system that works outdoors and is adapted to this audience. If one look over the two main operative systems for mobile devices (i.e., iOS and Android) there is a huge number of applications that guides the user through GPS to the intended destination. However, there are just a few adapted to people with disabilities. Besides the orientation feature there is also another important one from the perspective of the caregivers, i.e., a localization feature which allows these second type of users to remotely access the main user location. This is specially important since traditional methods are very expensive, and due to this lack of information caregivers tend to be all the time with the patient during his journey. Thus, the effort and resources spent to teach the user are wasted. Different authors had developed adapted orientation systems considering the user specificities and characteristics. Their main concern was the user interface, since they considered that available systems were too complex to be used by these group of people. The system that was developed (i.e., CogHelper) has an adapted interface, which uses augmented reality to provide the orientation to the user. It has also a real-time localization feature where caregivers may know the user location. Our focus was not on the user interface, since it was already studied, but on how to provide the necessary information to the user. Thus, the path followed by the user is adapted to his preferences. In order to avoid mistakes during the traveling path, the system may calculate possible locations in which the user takes the wrong turn and alert him to keep on the correct path. These features are based on a pattern mining module (to provide the preferred path) and on a speculative computation approach (to anticipate possible user mistakes).The work of João Ramos is supported by a doctoral grant by FCT - Fundação para a Ciência e a Tecnologia (SFRH/BD/89530/2012)

Plataforma integradora de serviços em tempo real baseada em tecnologia OSGi

Dissertação de mestrado em Engenharia InformáticaEste projeto tem o objetivo principal de melhorar a qualidade de vida de pessoas idosas, com deficiências físicas ou psicológicas. Quando ficam em casa sozinhas são privadas de uma vida autónoma e ativa o que leva à necessidade de uma monitorização continua. Tendo em consideração a crescente disponibilidade de dispositivos interativos num ambiente doméstico abre-se uma porta para necessidade de sistemas de integração e fusão de sensores. Uma plataforma inteligente de monitorização capaz de comunicar com os vários dispositivos prova a sua utilidade ao ser capaz de tornar as pessoas mais autónomas proporcionando aos familiares e amigos mecanismos de monitorização ajustados conforme o perfil do utilizador em caso de ausência. Pretende-se desenvolver um sistema que possa ser implementado num dispositivo central que estabeleça a comunicação entre os diferentes dispositivos e sistemas electrónicos, seja capaz de integrar serviços em tempo real e registe o seu estado em determinado momento. Tem o intuito de aproveitar todos os aparelhos e serviços que as pessoas já possuem, evitando assim um gasto monetário exagerado tendo em conta o estado económico existente e a capacidade monetária dos utilizadores. Estes sistemas electrónicos ou dispositivos podem ser, por exemplo, um sistema de ar condicionado, capaz de adequar a temperatura à preferível pelo utilizador, ou um sistema de iluminação com capacidade de regular a intensidade da luz e assim reduzir nas despesas. Estes sistemas implicam uma melhoria em termos de qualidade de vida do utilizador ao providenciar automatismos inteligentes no seu dia-a-dia.This project has the main goal of improving the quality of live of elderly people with physical or psychological disabilities. When they stay at home alone they are deprived of an independent and active life and which leads to the need for continuous monitoring. Taking into account the increasing availability of interactive devices in a home environment, opens a door for the need of integration systems and sensor fusion. An intelligent monitoring platform capable of communicating with multiple devices proves its utility in being able to make people more autonomous, providing to the family and friends monitoring mechanisms adjusted as the user's profile in case of absence. The aim is to develop a system that can be implemented in a central device to establish communication between different electronic devices and systems, capable of integrating services in realtime and record their status. Aims to take advantage of all the devices and services that people already have, thus avoiding spending money exaggeratedly, given the existing economic and monetary capacity of users. These electronic systems or devices can be, for example, an air conditioning system capable of adjusting the temperature preferred by the user and lighting system capable of regulating the light intensity and thus reduce the costs. These systems imply an improvement in quality of life of the user by providing intelligent automation in their day-to-day.Fundação para a Ciência e a Tecnologia (FCT) - Projeto FCOMP-01-0124-FEDER-028980.Projeto CAMCoF - Context-aware Multimodal Communication Framework.FEDER através do Programa Operacional Fatores de Competitividade - COMPETE

Multi-Agent Systems

This Special Issue ""Multi-Agent Systems"" gathers original research articles reporting results on the steadily growing area of agent-oriented computing and multi-agent systems technologies. After more than 20 years of academic research on multi-agent systems (MASs), in fact, agent-oriented models and technologies have been promoted as the most suitable candidates for the design and development of distributed and intelligent applications in complex and dynamic environments. With respect to both their quality and range, the papers in this Special Issue already represent a meaningful sample of the most recent advancements in the field of agent-oriented models and technologies. In particular, the 17 contributions cover agent-based modeling and simulation, situated multi-agent systems, socio-technical multi-agent systems, and semantic technologies applied to multi-agent systems. In fact, it is surprising to witness how such a limited portion of MAS research already highlights the most relevant usage of agent-based models and technologies, as well as their most appreciated characteristics. We are thus confident that the readers of Applied Sciences will be able to appreciate the growing role that MASs will play in the design and development of the next generation of complex intelligent systems. This Special Issue has been converted into a yearly series, for which a new call for papers is already available at the Applied Sciences journal’s website: https://www.mdpi.com/journal/applsci/special_issues/Multi-Agent_Systems_2019

Cognitive assistance in intelligent environments

Tese de doutoramento em Engenharia BiomédicaCurrently society responds badly to some social issues. One of the problems lies on the society concept itself. The common pyramid describing the social strata does not reflect the new social reality, given that the elderly strata largely exceed the teenage strata. This fact also implies a change in terms of social and medical needs. Thus, a great number of medical services should be adapted to respond to the needs of the elderly people. In fact, any common family cannot take care of an elderly person and, in many cases they cannot also afford the required medical care. Having less time, and often, less money, a family cannot have their older relatives in their homes. In addition, the necessary support required to overcome the elderly limitations, makes it even more difficult. One solution could be that elderly people go to nursing homes or care centers. However, due to the overgrowth of the elderly community, geriatric units are not enough to take care of all those people. As a solution, technology can provide wellbeing and assistance in the elderly everyday life through personalized services at low cost. This thesis presents a cognitive assistant platform, named iGenda. A cognitive assistant provides numerous user oriented services, and it ubiquitously and transparently interacts directly with the user. Therefore, this research work has as motto: impacting the user’s life without causing an impact. It means that the platform aim is to influence the user’s life, by providing a greater quality of life, without being too complex to use. The answers to our society’s social and technological challenges are provided by the development of a platform that is intuitive to the user, cheap and able to be integrated in an Ambient Assisted Living ecosystem. Thus, this thesis presents a multi-agent, platform-independent architecture capable of intelligent scheduling. Being the cognitive assistant implemented in four case studies, namely: a sensor platform, a digital clinical guideline system, an orientation system based on augmented reality, and a fall detection application. These case studies validate the social and technological challenges, therefore the iGenda too. This is due to the complete integration with other systems, without major changes of the architecture and archetype.Atualmente, a sociedade debate-se com um problema para o qual não há uma solução simples. O problema reside na própria sociedade, mais especificamente no seu conceito. A pirâmide populacional clássica não retrata a sociedade como é atualmente, sendo que o número de idosos ultrapassa o número de jovens. Ora, este facto acarreta uma mudança nas necessidades sociais e cuidados médicos. Deste modo, um grande número de serviços médicos têm que ser reajustados para as necessidades das pessoas mais idosas. Com menos tempo e frequentemente sem dinheiro, a família não é capaz de ter um idoso na sua casa. Tendo em conta as limitações das pessoas idosas em termos de saúde, a incapacidade de assistir uma pessoa idosa é ainda maior. Uma possível solução é colocar os idosos em casas de repouso ou centros geriátricos. Contudo, devido ao crescimento da comunidade idosa, não existem unidades geriátricas suficientes para todas as pessoas. A tecnologia pode providenciar assistência e bem-estar na vida cotidiana de uma pessoa idosa, através de serviços personalizados de baixo custo, servindo como uma possível resposta aos problemas apresentados. Nesta tese apresenta-se o iGenda, como uma plataforma de desenvolvimento de assistentes cognitivos. Um assistente cognitivo que assegura vários serviços orientados ao utilizador, interagindo com o utilizador de forma ubíqua e transparente. Este trabalho de investigação tem como lema: mudar a vida do utilizador sem o mudar. Isto significa que a plataforma tem como objetivo mudar a vida do utilizador, ao proporcionar uma maior qualidade de vida, sem que o utilizador tenha dificuldade a adaptar-se ou a utilizar a plataforma. As respostas para os desafios sociais e tecnológicos apresentados pela nossa sociedade são fornecidas pelo desenvolvimento de uma plataforma intuitiva, barata e capaz de ser integrada num ecossistema de Ambient Assisted Living. Deste modo, o processo de agendamento inteligente é assegurado por uma arquitetura multiagente e independente de plataformas, apresentada nesta tese. Sendo que o assistente cognitivo é implementado em quatro casos de estudo: uma plataforma de sensores, um sistema digital de guias clínicos, um sistema de orientação baseado em realidade aumentada e um sistema de deteção de quedas. Estes casos de estudo validam os desafios sociais e tecnológicos, portanto validando também o iGenda. Isto verifica-se com a integração completa com outros sistemas, sem muitas alterações à arquitetura ou ao arquétip

Solução de navegação inercial para o sistema plasys

Neste trabalho faz-se uma pesquisa e análise dos conceitos associados à navegação inercial para estimar a distância percorrida por uma pessoa. Foi desenvolvida uma plataforma de hardware para implementar os algoritmos de navegação inercial e estudar a marcha humana. Os testes efetuados permitiram adaptar os algoritmos de navegação inercial para humanos e testar várias técnicas para reduzir o erro na estimativa da distância percorrida. O sistema desenvolvido é um sistema modular que permite estudar o efeito da inserção de novos sensores. Desta forma foram adaptados os algoritmos de navegação para permitir a utilização da informação dos sensores de força colocados na planta do pé do utilizador. A partir desta arquitetura foram efetuadas duas abordagens para o cálculo da distância percorrida por uma pessoa. A primeira abordagem estima a distância percorrida considerando o número de passos. A segunda abordagem faz uma estimação da distância percorrida com base nos algoritmos de navegação inercial. Foram realizados um conjunto de testes para comparar os erros na estimativa da distância percorrida pelas abordagens efetuadas. A primeira abordagem obteve um erro médio de 4,103% em várias cadências de passo. Este erro foi obtido após sintonia para o utilizador em questão. A segunda abordagem obteve um erro de 9,423%. De forma a reduzir o erro recorreu-se ao filtro de Kalman o que levou a uma redução do erro para 9,192%. Por fim, recorreu-se aos sensores de força que permitiram uma redução para 8,172%. A segunda abordagem apesar de ter um erro maior não depende do utilizador pois não necessita de sintonia dos parâmetros para estimar a distância para cada pessoa. Os testes efetuados permitiram, através dos sensores de força, testar a importância da força sentida pela planta do pé para aferir a fase do ciclo de marcha. Esta capacidade permite reduzir os erros na estimativa da distância percorrida e obter uma maior robustez neste tipo de sistemas.In this work is presented the research and the analysis of the inertial navigation concepts to estimate the distance travelled by a person. It was developed a hardware platform to implement the inertial navigation algorithms and study the human gait. The tests with the platform allowed adapting the inertial navigation algorithms to humans and to test several techniques to reduce the error in the estimation of the traveled distance. The developed system is a modular system which allows studying the effect of inclusion of new sensors. Thus the navigation algorithms have been adapted to use the information from force sensors placed in the foot of the user. Based on this architecture, it was used two approaches to calculate the distance traveled by a person. The first approach estimate the travelled distance based on the step cadence. The second approach estimate the travelled distance based on the inertial navigation algorithms. It was performed a series of tests to compare the errors in the estimation of the travelled distance for each approaches. The first approach achieved an average error of 4.103% in several step cadences. This error was obtained after tuning the algorithm to the user. The second approach achieved an average error of 9.423%. To reduce the error it was used the Kalman filter which led to a reduction of the error to 9.192%. Finally, it was addressed the force sensors which led to a reduction of the error to 8.172%. The second approach, despite having a higher error, is independent of the user and it does not require the tuning of the parameters to estimate distance for each person. The tests results show the importance of the force sensors placed on the plant of the foot to assess the phase of the gait cycle. This ability allows to reduce the errors in estimating the distance and increases robustness in such systems

All over the place localization system

The MAP-i Doctoral Programme in Informatics, of the Universities of Minho, Aveiro and PortoA localização é normalmente obtida utilizando um sistema de navegação baseado num ambiente estruturado. No entanto, estes sistemas não funcionam ou são difíceis de serem implantados em ambientes densos. Assim, considerando que as pessoas se deslocam geralmente a pé, neste trabalho é proposto um Sistema de Navigação Inercial para Pedestres (PINS). Nesta tese são identificadas as principais vantagens e desvantagens dos PINS, bem como, os algoritmos que estão na base destes sistemas. O objetivo é fornecer uma perspectiva abrangente sobre o que é necessário para desenvolver um PINS e quais os problemas encontrados mais frequentemente durante o seu desenvolvimento. São também identificados e comparados os sistemas e tecnologias mais importantes da literatura. Duas unidades de medição inercial foram desenvolvidas, sendo que os sensores inerciais foram combinados com sensores de força para melhorar a detecção das diferentes fases (fase de apoio e fase de balanço) da marcha humana, assim como, para ter uma informação mais precisa sobre a força de contacto. É muito importante que a fase de apoio seja devidamente detectada. Assim três diferentes algoritmos, utilizando diferentes sensores e métodos de fusão sensorial, são explicados e avaliados. A marcha humana representa um padrão que é repetido ao longo do tempo, o qual é aprendido utilizando algoritmos de aprendizagem com base nos dados obtidos pelas diferentes fontes de informação para realizar uma caracterização do passo. Esta caracterização leva a uma melhoria no desempenho do sistema, uma vez que os erros sistemáticos podem ser aprendidos, para depois serem corrigidos em tempo real. Como neste sistema existe mais do que uma fonte de informação, além das técnicas de fusão sensorial, são também aplicadas técnicas de fusão de informação. Depois dos dados serem obtidos com o equipamento desenvolvido, e do passo ser caracterizado com os dados aprendidos, são aplicados os algoritmos que fazem a estimativa do deslocamento. A arquitetura proposta é avaliada em quatro cenários de utilização real, dentro de um edifício, envolvendo diferentes tipos de caminhadas. Esta arquitectura levou a uma melhoria significativa da precisão da estimativa do deslocamento.Nowadays location information is typically obtained using a navigation system based on a structured environment. However, these systems do not work or are very difficult to be deployed in dense environments. Thus, considering that persons are usually on foot, in this work is proposed a Pedestrian Inertial Navigation System (PINS). In this thesis are identified the main advantages/disadvantages about PINS, as well as, the algorithms that are the base of this type of systems. It is provided a good insight about what is necessary to create a PINS and the problems that are encountered during its development. To complement these insights the fundamentals about Human Gait are presented, along with the main sensor and information fusion strategies used in this type of system. Also, the most important systems and technologies are identified and compared. Two inertial measurement units were developed, where the inertial sensors were combined with force sensors to improve the detection of different phases (stance and swing phase) of the human gait, as well as, to have proper information about the contact force. The stance phase is very important to be properly detected, therefore, three different algorithms using different sensors and sensor fusion methods are explained and evaluated. The human gait cycle represents a pattern that is a repeatable over time. Thus, this pattern is learned using machine learning algorithms, which are applied to the data obtained from the different data sources to perform a step characterization. This characterization leads to an improvement on the system’s performance, since the systematic errors can be learned to then be corrected in real-time. Since there is more than one source of information, besides sensor fusion techniques, it was also implemented an information fusion strategy. After collecting the data with the developed hardware and characterize the step according to the learned data, it is demonstrated the developed displacement estimation architecture. The proposed architecture and algorithms are evaluated through four real use case scenarios in a typical indoor environment involving different types of walking paths. This architecture led to a significant improvement on the displacement estimation accuracy.This work is funded by the ERDF (European Regional Development Fund) through the COMPETE Programme and by the Portuguese Government through the FCT (Portuguese Foundation for Science and Technology) within the doctoral grant SFRH/BD/70248/2010