Localisation of humans, objects and robots interacting on load-sensing floors

International audienceLocalisation, tracking and recognition of objects and humans are basic tasks that are of high value in applications of ambient intelligence. Sensing floors were introduced to address these tasks in a non-intrusive way. To recognize the humans moving on the floor, they are usually first localized, and then a set of gait features are extracted (stride length, cadence, pressure profile over a footstep). However, recognition generally fails when several people stand or walk together, preventing successful tracking. This paper presents a detection, tracking and recognition technique which uses objects' weight. It continues working even when tracking individual persons becomes impossible. Inspired by computer vision, this technique processes the floor pressure-image by segmenting the blobs containing objects, tracking them, and recognizing their contents through a mix of inference and combinatorial search. The result lists the probabilities of assignments of known objects to observed blobs. The concept was successfully evaluated in daily life activity scenarii, involving multi-object tracking and recognition on low resolution sensors, crossing of user trajectories, and weight ambiguity. This technique can be used to provide a probabilistic input for multi-modal object tracking and recognition systems

Continuous gait authentication techniques for mobile devices

Orientador: Anderson de Rezende RochaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Com a crescente utilização dos dispositivos móveis (e.g., smartphones), e suas tecnologias cada vez mais avançadas, tais dispositivos tornaram-se ubíquos e, muitas vezes, uma extensão de nós mesmos. Nesse sentido, por questões de segurança e privacidade, cresce constantemente a necessidade de proteção dos dados dos usuários nesses aparelhos móveis. Buscando resolver esse problema, vários destes dispositivos implementam políticas diversificadas de autenticação, em sua maioria, baseados em senhas ou características biométricas. No entanto, geralmente, a autenticação ocorre apenas uma vez, quando o usuário conecta-se ao aparelho, deixando os dados do usuário vulneráveis durante a utilização do mesmo. Dessa forma, neste trabalho, propomos técnicas para autenticação do usuário de forma contínua, utilizando como característica biométrica, seu modo de caminhar. Ao analisar o comportamento do usuário durante intervalos de tempo, visamos garantir maior segurança aos dados pessoais presentes nos dispositivos. As principais vantagens da autenticação contínua baseada no modo de caminhar são: (1) naturalidade ao indivíduo; (2) dificuldade intrínseca de falsificação; (3) ausência de necessidade de colaboração por parte do usuário, e; (4) ubiquidade e transparência durante todo o processo de autenticação. Utilizamos dados coletados por dois sensores: o acelerômetro, presente nos dispositivos móveis atuais; e o vetor de rotação, o qual não é um sensor físico mas, gerado a partir da fusão de sensores físicos como, acelerômetro, magnetômetro e/ou giroscópio. Para o processamento dos dados desses sensores, propomos diversas abordagens tanto para redução de ruídos e remoção de artefatos dos dados quanto para torná-los invariantes à posição do dispositivo e à direção de caminhada do usuário, culminando com a proposta de um novo sistema de coordenadas centrado no usuário. Também projetamos um classificador de caminhada de forma a garantir que não existam dados na etapa de reconhecimento que sejam de outras atividades. Além disso, investigamos métodos de descrição de sinais existentes na literatura para caracterização dos dados do usuário e, então, aplicamos abordagens de aprendizado de máquina para o processo de verificação do usuário (cenário 1:1). Por fim, analisamos alguns métodos para fusão temporal das classificações (late fusion) com o objetivo de garantir que a autenticação ocorra ao longo do tempo, ou seja, de forma contínua. Para validar as técnicas propostas, criamos uma base de dados com 50 usuários e duas sessões em dias diferentes para cada usuário com dados de acelerômetro e de vetor de rotação, sendo também uma contribuição desse trabalhoAbstract: Mobile devices are becoming ubiquitous and, sometimes, even extensions of ourselves. Therefore, concern about user privacy and security on these devices has grown significantly. In this vein, some mobile devices now implement various authentication protocols, most of them, based on passwords or biometric traits. However, usually the authentication happens just once, when the user starts interacting with the device. In this work, we propose continuous authentication techniques using gait as a biometric trait. We aim to ensure better personal data security through the analysis of the user walking behavior over time. The main advantages of the continuous gait authentication are: (1) it is natural individual and transparent to the individual; (2) it is difficult to spoof; and (3) it does not need user cooperation. We use data from two sensors: the accelerometer, which is a mobile device sensor; and the rotation vector, which is not a physical sensor but rather the result of combining data from different physical sensors such as the accelerometer, magnetometer and/or gyroscope. We propose approaches to process the data from these sensors that reduce the acquisition noise and possible artifacts, and turn the data invariant to the device's position and the user's movement direction. For that we propose a new coordinate system referred to as user-centric as opposed to the two common coordinate systems in user nowadays, the device and the world-coordinate systems. We also design and develop a walking classifier with the intention of guaranteeing that all data available for authentication refer to the walking activity. Moreover, we investigate signal characterization methods to properly describe the user data for further user verification on a $1:1$ setup. Finally, we analyze some methods for temporal fusion of the classifications (late fusion) in order to ensure that the authentication happens over time, i.e., continuous authentication. For the techniques validation, we create a dataset with 50 volunteers and two sessions in different days for each individual with accelerometer and rotation vector data. This dataset also is a contribution of this workMestradoCiência da ComputaçãoMestra em Ciência da Computação162026/2014-5, 133927/2016-4CNP