A System for the Measurement of the Subjective Visual Vertical Using a Virtual Reality Device

The Subjective Visual Vertical (SVV) is a common test for evaluating the perception of verticality. Altered verticality has been connected with disorders in the otolithic, visual or proprioceptive systems, caused by stroke, Parkinson’s disease or multiple sclerosis, among others. Currently, this test is carried out using a variety of specific, mostly homemade apparatuses that include moving planes, buckets, hemispheric domes or a line projected in a screen. Our aim is to develop a flexible, inexpensive, user-friendly and easily extensible system based on virtual reality for the measurement of the SVV and several related visual diagnostic tests, and validate it through an experimental evaluation. Our evaluation showed that the proposed system is suitable for the measurement of SVV in healthy subjects. The next step is to perform a more elaborated experimentation on patients and compare the results with the measurements obtained from traditional methods

An Efficient Fusion Scheme for Human Hand Trajectory Reconstruction Using Inertial Measurement Unit and Kinect Camera

The turn of 21st century has witnessed an evolving trend in wearable devices research and improvements in human-computer interfaces. In such systems, position information of human hands in 3-D space has become extremely important as various applications require knowledge of user’s hand position. A promising example of which is a wearable ring that can naturally and ubiquitously reconstruct handwriting based on motion of human hand in an indoor environment. A common approach is to exploit the portability and affordability of commercially available inertial measurement units (IMU). However, these IMUs suffer from drift errors accumulated by double integration of acceleration readings. This process accrues intrinsic errors coming from sensor’s sensitivity, factory bias, thermal noise, etc., which result in large deviation from position’s ground truth over time. Other approaches utilize optical sensors for better position estimation, but these sensors suffer from occlusion and environment lighting conditions. In this thesis, we first present techniques to calibrate IMU, minimizing undesired effects of intrinsic imperfection resided within cheap MEMS sensors. We then introduce a Kalman filter-based fusion scheme incorporating data collected from IMU and Kinect camera, which is shown to overcome each sensor’s disadvantages and improve the overall quality of reconstructed trajectory of human hands

Handwriting Recognition in Free Space Using WIMU-Based Hand Motion Analysis

We present a wireless-inertial-measurement-unit- (WIMU-) based hand motion analysis technique for handwriting recognition in three-dimensional (3D) space. The proposed handwriting recognition system is not bounded by any limitations or constraints; users have the freedom and flexibility to write characters in free space. It uses hand motion analysis to segment hand motion data from a WIMU device that incorporates magnetic, angular rate, and gravity sensors (MARG) and a sensor fusion algorithm to automatically distinguish segments that represent handwriting from nonhandwriting data in continuous hand motion data. Dynamic time warping (DTW) recognition algorithm is used to recognize handwriting in real-time. We demonstrate that a user can freely write in air using an intuitive WIMU as an input and hand motion analysis device to recognize the handwriting in 3D space. The experimental results for recognizing handwriting in free space show that the proposed method is effective and efficient for other natural interaction techniques, such as in computer games and real-time hand gesture recognition applications

Developing of Inertial-Measurement-Unit-Based Trajectory Reconstruction Algorithm for Studying Pneumatic Conveying

Numerically simulating granular materials’ dynamics during pneumatic conveying is a great challenge for today’s researchers. Existing mathematical models of granular flow have limitations that make it difficult to obtain good agreement between simulations and experimental results. In this thesis, a portable sensor, known as an inertial-measurement-unit (IMU), is used as a new tool to study pneumatic conveying particle dynamics at a relatively low conveying velocity (or dense- phase flow) in horizontal gas-solid two-phase pipe flow. In order to get useful information, an IMU-based trajectory reconstruction algorithm has been developed. The algorithm uses the quaternion method to realize coordinate transfer between local and IMU frames, and an extended Kalman filter to filter the Gaussian white noise. The sensor’s dynamics information, such as global acceleration, is obtained by analysis of IMU data and is available for future research. The IMU- based trajectory reconstruction algorithm is verified by an experiment that imitates the motion of the IMU inside the pipe during pneumatic conveying. The IMU-based trajectory reconstruction algorithm shows accuracy on trajectory reconstruction results. The techniques that have been developed in this work are shown to provide a new inexpensive and straight-forward method with which to study particle dynamics

Multi-Sensor Inertial Measurement System for Analysis of Sports Motion

A portable motion analysis system that can accurately measure body movement kinematics and kinetics has the potential to benefit athletes and coaches in performance improvement and injury prevention. In addition, such a system can allow researchers to collect data without limitations of time and location. In this dissertation, a portable multi-sensor human motion analysis algorithm is been developed based on inertial measurement technology. The algorithm includes a newly designed coordinate flow chart analysis method to systematically construct rotation matrices for multi-Inertial Measurement Unit (IMU) application. Using this system, overhead throwing is investigated to reconstruct arm trajectory, arm rotation velocities, as well as torque and force imposed on the elbow and shoulder. Based on this information, different motion features can be established, such as kinematic chain timing as demonstrated in this work. Human subject experiments are used to validate the functionality of the method and the accuracy of the kinematics reconstruction results. Single axis rotation rig experiments are used to shown that this multi-IMU system and algorithm provides an improved in accuracy on arm rotation calculation over the conventional video camera based motion capture system. Finally, a digital filter with switchable cut-off frequency is developed and demonstrated in its application to the IMU-based sports motion signals. The switchable filter method is not limited only to IMUs, but may be applied to any type of motion sensing technology. With the techniques developed in this work, it will be possible in the near future to use portable and accurate sports motion analysis systems in training, rehabilitation and scientific research on sports biomechanics

Doctor of Philosophy

dissertationThe need for position and orientation information in a wide variety of applications has led to the development of equally varied methods for providing it. Amongst the alternatives, inertial navigation is a solution that o ffers self-contained operation and provides angular rate, orientation, acceleration, velocity, and position information. Until recently, the size, cost, and weight of inertial sensors has limited their use to vehicles with relatively large payload capacities and instrumentation budgets. However, the development of microelectromechanical system (MEMS) inertial sensors now o ers the possibility of using inertial measurement in smaller, even human-scale, applications. Though much progress has been made toward this goal, there are still many obstacles. While operating independently from any outside reference, inertial measurement su ers from unbounded errors that grow at rates up to cubic in time. Since the reduced size and cost of these new miniaturized sensors comes at the expense of accuracy and stability, the problem of error accumulation becomes more acute. Nevertheless, researchers have demonstrated that useful results can be obtained in real-world applications. The research presented herein provides several contributions to the development of human-scale inertial navigation. A calibration technique allowing complex sensor models to be identified using inexpensive hardware and linear solution techniques has been developed. This is shown to provide significant improvements in the accuracy of the calibrated outputs from MEMS inertial sensors. Error correction algorithms based on easily identifiable characteristics of the sensor outputs have also been developed. These are demonstrated in both one- and three-dimensional navigation. The results show significant improvements in the levels of accuracy that can be obtained using these inexpensive sensors. The algorithms also eliminate empirical, application-specific simplifications and heuristics, upon which many existing techniques have depended, and make inertial navigation a more viable solution for tracking the motion around us

Metrics to Evaluate Human Teaching Engagement From a Robot's Point of View

This thesis was motivated by a study of how robots can be taught by humans, with an emphasis on allowing persons without programming skills to teach robots. The focus of this thesis was to investigate what criteria could or should be used by a robot to evaluate whether a human teacher is (or potentially could be) a good teacher in robot learning by demonstration. In effect, choosing the teacher that can maximize the benefit to the robot using learning by imitation/demonstration. The study approached this topic by taking a technology snapshot in time to see if a representative example of research laboratory robot technology is capable of assessing teaching quality. With this snapshot, this study evaluated how humans observe teaching quality to attempt to establish measurement metrics that can be transferred as rules or algorithms that are beneficial from a robot’s point of view. To evaluate teaching quality, the study looked at the teacher-student relationship from a human-human interaction perspective. Two factors were considered important in defining a good teacher: engagement and immediacy. The study gathered more literature reviews relating to further detailed elements of engagement and immediacy. The study also tried to link physical effort as a possible metric that could be used to measure the level of engagement of the teachers. An investigatory experiment was conducted to evaluate which modality the participants prefer to employ in teaching a robot if the robot can be taught using voice, gesture demonstration, or physical manipulation. The findings from this experiment suggested that the participants appeared to have no preference in terms of human effort for completing the task. However, there was a significant difference in human enjoyment preferences of input modality and a marginal difference in the robot’s perceived ability to imitate. A main experiment was conducted to study the detailed elements that might be used by a robot in identifying a “good” teacher. The main experiment was conducted in two subexperiments. The first part recorded the teacher’s activities and the second part analysed how humans evaluate the perception of engagement when assessing another human teaching a robot. The results from the main experiment suggested that in human teaching of a robot (human-robot interaction), humans (the evaluators) also look for some immediacy cues that happen in human-human interaction for evaluating the engagement

Online signature verification algorithms and development of signature international standards

The science of biometrics is based on discovering the identities of human beings by investigating their physical and behavioural traits. Of the many different biometric traits, i.e. fingerprint, iris, vascular, etc... the handwritten signature is still one of the most accepted techniques. Advancing progress in identification applications has led to widespread demand for new generation ID documents, such as electronic passports and citizen cards, which contain additional biometric information required for more accurate user recognition. This can be achieved by embedding dynamic signature features within the documentation. However, this would result in two significant drawbacks that must be addressed, these are: Memory Capacity and Computational Load. These problems and the increasing demand for standardized biometric verifications systems have motivated the research work performed in this Thesis. In order to achieve this, an attempt to reduce the information involved in verification processes is performed using feature selection criteria of the signature biometric data. Such reduced information content not only satisfies the memory capacity restrictions but also provides much more efficient use of the verification algorithms. In particular, two novel methods in the signature context, based on Principal Component Analysis and Hellinger Distance, are proposed here. The performance of the optimized features set obtained has been analyzed using two different verification algorithms. By reducing the sample size it has been observed that the error rates are maintained sufficiently low and the results obtained are in agreement with the current state of the art for signature techniques. It will be shown that in some cases that feature selection does not provide an adequate reduction solution, where a different strategy has been analyzed to achieve the aforementioned problems. A direct consequence of the widespread nature of biometric verification has led to demands for standardized protocols to improve interoperability. The work presented throughout this Thesis has considered current ISO/IEC signature standard data formats. It has been observed that the current compact data formats, 19794-7 Compact Format and 19794-11, do not meet the requirements of modern data formats. In particular, 19794-7 Compact Format, although having good compression ratios, has been found to imply an inadmissible loss in information. This problem has been solved by defining a new near-lossless compression data format based on lossless compression algorithms, and proposing different enhanced strategies to store signature data. This new data format achieves the same compression ratio, but without losing any relevant information. In addition, the problems found in the 19794-11CD2 regarding the lack of compression and information loss have been addressed. A new data format structure has been proposed, where the lack of compression is solved by reducing the data stored, avoiding duplicated data and providing a new singular point definition. This new structure has provided improved compression ratios, and, at the same time, carries more information. The two new data format definitions were presented to the ISO/IEC SC37 WG3 experts and accepted as the new third subformat “Compression Format” within the 19794-7 and the new committee draft for the 197974-11 CD3. ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------En la sociedad actual existe la necesidad de verificar la identidad de usuarios de una manera automática y segura, sobre todo teniendo en cuenta las nuevas posibilidades que el comercio electrónico ha originado. Desgraciadamente todas estas nuevas posibilidades electrónicas de acceso a distintos servicios, también han incrementado las probabilidades de actividades delictivas como la usurpación de identidad. La biometría ha demostrado ser una tecnología válida para la verificación de identidades, ya que ofrece un alto nivel de seguridad a la vez que resulta cómoda al usuario. De hecho su uso ya ha sido probado con éxito para tales fines en distintos contextos, siendo uno de los más comunes y conocidos su aplicación en la nueva generación de documentos de identidad electrónicos, tales como el Documento Nacional de Identidad Electrónico (DNIe) así como en los nuevos pasaportes electrónicos. Estas nuevas generaciones de documentos de identidad incorporan técnicas biométricas que permiten a los usuarios la autenticación de su identidad en procesos remotos. Junto con estas ventajas de la tecnología biométrica, la capacidad de almacenamiento y procesado de datos por parte de los nuevos documentos de identidad hace posible la incorporación de la información dinámica que posee la firma manuscrita. Esta información puede ser utilizada para la verificación de la identidad de los usuarios de una manera muy familiar, ya que el uso de la firma manuscrita para la verificación de identidades está muy extendido. No obstante, a la hora de incluir esta información dentro de este tipo de dispositivos, se deben tener en cuenta dos limitaciones significativas. En primer lugar, hay que examinar las necesidades de almacenamiento indispensables para guardar los datos obtenidos de la firma manuscrita capturada así como para el patrón del usuario. En segundo lugar, hay que considerarla baja potencia de cálculo de estos dispositivos a la hora de desarrollar algoritmos de verificación. Del mismo modo, se debe tener en cuenta que los documentos de identidad se diseñan para ser usados en una gran variedad de escenarios, tanto a nivel nacional como internacional. Por esta razón el uso de normas internacionales que garanticen su interoperabilidad se hace un requisito indispensable. Partiendo de lo expuesto anteriormente, la presente Tesis Doctoral se ha centrado en mejorar la viabilidad de sistemas automáticos de verificación de firma dinámica manuscrita en entornos con fuertes limitaciones tanto en capacidad de almacenamiento de datos como en capacidad de computación. A su vez, se ha llevado a cabo un análisis exhaustivo de los actuales formatos de datos definidos en las norma internacional “19794 Biometric data interchange formats” existentes para firma manuscrita dinámica (parte 7 y 11 de esta norma), para contrastar como pueden llegar a afectar dichos formatos al rendimiento de los algoritmos de verificación. Los aspectos anteriormente indicados sobre las necesidades de almacenamiento y de computación han sido abordados a través de técnicas de selección de características probadas en dos implementaciones de algoritmos de verificación de firma basados en Modelado de Mezcla de Gausianas (designado por sus siglas en inglés “GMM”) y Alineamiento Dinámico Temporal (designado por sus siglas en inglés “DTW”). En concreto, las técnicas de selección de características empleadas han sido el Ratio de Fisher (cuyas siglas en inglés son FR), el Análisis de Componentes Principales (cuyas siglas en inglés son PCA), la combinación de ambas y por último, la distancia de Hellinger (cuyas siglas en inglés son HD). La primera de ellas es una técnica muy extendida en la literatura de firma manuscrita, mientras que las otros dos, PCA y HD, no se ha encontrado ninguna constancia de haber sido utilizada anteriormente en entornos de firma manuscrita. Los resultados han desvelado que la técnica PCA genera una selección de características más óptima que la técnica FR, mejorando las tasas de error de los algoritmos utilizados. Además, la combinación de esta técnica (PCA) con la técnica FR ha obtenido mejores resultados que aplicadas de manera individual. Por su parte, HD también ha demostrado su utilidad en el ámbito de la firma manuscrita dinámica, obteniendo mejores resultados que las técnicas expuestas anteriormente sobre todo en el caso del algoritmo DTW en el que el solapamiento de distribuciones de las características entre firmas genuinas y las firmas falsas es bajo. A la vista de estos resultados, con las técnicas de selección de características propuestas se ha logrado cumplir con los objetivos de reducir las necesidades tanto de espacio de almacenamiento como de capacidad computacional, manteniendo tasas de error acordes con el estado del arte. Cabe destacar que para el algoritmo GMM desarrollado se han propuesto dos vectores de características, uno formado por 28 elementos y otro de tan solo 13 elementos para entornos con limitaciones más extremas. A su vez, el algoritmo GMM implementado también ha demostrado ser robusto frente al número de funciones Gausianas que lo forman, obteniendo resultados en línea con el estado del arte para combinaciones de sólo cuatro funciones Gausianas. Estos dos resultados (el bajo número de elementos en el vector de características y el bajo número de funciones Gausianas) conllevan que tanto el modelo de usuario, como las firmas capturadas, requieran un mínimo espacio de almacenamiento. Del mismo modo, hacen que la carga computacional sea mucho menor que la de los algoritmos basados en GMM publicados con anterioridad. Con respecto al algoritmo DTW planteado, se ha propuesto un vector de características formado tan solo por seis elementos, obteniendo de nuevo bajas tasas de error tanto para falsificaciones aleatorias, como, especialmente, para falsificaciones entrenadas. Estos resultados una vez más muestran que las técnicas de selección de características han respondido satisfactoriamente. Pero a pesar de que el número de elementos del vector de características es muy bajo, no se han podido reducir las necesidades ni de espacio, ni de complejidad de cálculo, dado que para el algoritmo DTW todavía se incluye información de la presión. Sin embargo, estos objetivos han sido cubiertos mediante el análisis efectuado en relación con el número de puntos que se requieren para el almacenamiento tanto de las firmas capturas como para el del patrón de usuario. Las pruebas realizadas han puesto de manifiesto que submuestreando las firmas capturadas de manera que estén formadas sólo por 256 puntos, es suficiente para asegurar que los niveles de error obtenidos por los algoritmos se mantengan en niveles dentro del estado del arte de los algoritmos DTW. Incluso, bajando el número de puntos hasta la cifra de 128 se ha visto que aún se consiguen tasas de error aceptables. Además del estudio a nivel algorítmico de la viabilidad de implementación de algoritmos de firma manuscrita dinámica, esta Tesis Doctoral se ha también se ha enfocado en la mejora de las actuales normas internacionales de formato de datos existentes para firma manuscrita dinámica, teniendo por objetivo incrementar sus posibilidades de uso en dispositivos tales como documentos de identidad. Inicialmente, se ha realizado un estudio de la viabilidad del uso de estas normas internacionales (proyectos 19794-7 y 19794-11 del subcomité SC37 dentro de la organización ISO/IEC) en cuanto a tamaño de la muestra examinando varias bases de datos públicas de firma dinámica. De este análisis se ha concluido que el formato compacto definido en el proyecto 19794-7 presenta un ratio de compresión del 56% comparado con el formato completo. Por otro lado, el proyecto 19794-11 que se definía como un formato de compresión de datos para firma manuscrita, presentó ratios de compresión negativos, indicando que en lugar de tener un menor tamaño de muestra, este formato incrementa el tamaño en comparación con las firmas almacenadas siguiendo el formato completo 19794-7. A su vez, se ha mostrado como la compresión de datos, tanto en el formato compacto 19794-7 como en el formato 19794-11, tiene un impacto en el rendimiento de los algoritmos, incrementando sus tasas de error. Esto es debido a la información que se pierde en el proceso de compresión de los datos. Para resolver la perdida de rendimiento de los algoritmos cuando se usa el formato de datos compacto definido dentro del proyecto 19794-7, se han presentado dos nuevos formatos de datos. Estos formatos , denominados formatos de datos comprimidos, se basan en algoritmos de compresión de datos sin pérdida de información. Se ha llevado a cabo la evaluación de distintos algoritmos de estas características, así como distintas opciones de reordenación de los datos de la firma manuscrita para maximizar la compresión obtenida gracias a los algoritmos de compresión. Dentro de los formatos de datos sugeridos, se ha planteado un formato de datos comprimido que presenta los mismos ratios de compresión que el formato compacto 19794-7, pero sin incurrir en ninguna pérdida de datos, por lo que no presenta ningún impacto en las tasas de error de los algoritmos de verificación. Asimismo, también se ha propuesto un formato de datos comprimido con mínima perdida de información, mejorando las tasas de compresión, sin influir de nuevo en el rendimiento de los algoritmos de verificación. Este formato comprimido de datos con reducidas pérdidas tiene además la capacidad de ajustar el nivel de información perdida, lo que resulta una importante característica teniendo en cuenta las espectaculares resoluciones (tanto espaciales como temporales) que los dispositivos de captura presentan en la actualidad. Estas altas resoluciones conllevan un aumento importante en el tamaño de las muestras capturas, que puede ser minimizado con el uso de este formato comprimido con pérdidas. Ambos formatos de datos comprimidos, con y sin perdidas, fueron presentados a la comunidad internacional dentro del subcomité ISO/IEC SC37, proponiendo su inclusión en el proyecto 19794-7. Esta petición fue aceptada por los expertos internacionales de firma manuscrita, convirtiéndose el formato de datos comprimidos en el tercer subformato dentro de esta norma internacional. La publicación de esta norma con la inclusión de las contribuciones mencionadas está planificada para el año 2012. Con respecto al proyecto 19794-11CD2, se analizó el uso de una nueva estructura de datos que solucionara los problemas de la falta de compresión a través de la eliminación de información duplicada, almacenando menos datos y redefiniendo los puntos singulares en los que está basada la segmentación. Además, para aumentar aún más las tasas de compresión obtenidas, diferentes estrategias de eliminación de puntos espurios fueron tratadas. A su vez, para mejorar la calidad de la información almacenada dentro de este formato de datos, se ha estudiado la posibilidad de recrear los datos contenidos en el formato completo partiendo de los datos almacenados en esta parte 19794-11. Mediante estos análisis, se han obtenido tasas de compresión menores que los presentados por el formato compacto 19794-7. Esta nueva definición para el proyecto 19794-11 también se presentó al subcomité SC37, siendo igualmente aceptada por los expertos internacionales en firma manuscrita y adoptada en la nueva revisión del proyecto 19794-11CD3. La publicación de este proyecto como norma internacional se espera para 2013

Système de navigation hybride GPS/INS à faible coût pour la navigation robuste en environnement urbain

Les systèmes de guidage actuellement utilisés pour la navigation automobile sont principalement basés sur l’utilisation autonome d’un récepteur GPS. Ces systèmes présentent néanmoins des pertes de performances importantes lorsqu'ils sont soumis à un environnement difficile. Afin de répondre à cette problématique, plusieurs auteurs proposent l'intégration des systèmes GPS et INS à l’intérieur d’un seul système hybride. Toutefois, l’utilisation de capteurs inertiels à faible coût demeure encore aujourd’hui le principal obstacle à la commercialisation de ces systèmes hybrides GPS/INS étant donné le manque de calibration ainsi que la nature hautement stochastique des erreurs de mesure de ces capteurs. Ce mémoire propose la réalisation d’un système de navigation hybride GPS/INS à faible coût pour la navigation robuste en environnement difficile. Les résultats obtenus démontrent que l’utilisation d’un tel modèle permet d’améliorer considérablement la stabilité de la solution de navigation en canyon urbain sévère comparativement à l’utilisation autonome d’un récepteur GPS. Il a également été démontré que la méthode d’intégration par couplage serré permettrait une diminution de l’ordre de 40% des erreurs de positionnement en environnement difficile comparativement à la méthode d’intégration par couplage lâche. Cet ouvrage propose également la mise en place d’une nouvelle approche pour la calibration des capteurs inertiels. Cette méthode basée sur l’utilisation d’un filtre de Kalman étendu permet d’obtenir des performances équivalentes aux méthodes itératives classiques tout en facilitant l’implémentation de la procédure de calibration à l’intérieur d’un système temps réel. L’impact de la calibration des capteurs sur la solution de navigation a été évalué et les résultats obtenus démontrent qu’une calibration adéquate permettrait de réduire de plus de 50% les erreurs de positionnement, de vitesse et d’orientation en canyon urbain sévère. Par la suite, une étude du comportement stochastique des capteurs inertiels à faible coût basée sur l’analyse de la variance d’Allan et de la fonction d’autocorrélation des mesures a été réalisée. Cette étude a permis d’identifier et de quantifier les erreurs présentes sur les mesures de manière à développer un modèle d’estimation adéquat. Il a été démontré que l’utilisation d’un tel modèle permet une diminution supplémentaire des erreurs de positionnement en canyon urbain de l’ordre de 10%. Finalement, une méthode de détermination de l’orientation d’une centrale inertielle à faible coût basée principalement sur l’utilisation des mesures de magnétomètres a été réalisée Des essais ont démontré que l’utilisation de cette méthode permet d’obtenir l’orientation du véhicule avec une précision d’environ 5°