Distortion Correction for Non-Planar Deformable Projection Displays through Homography Shaping and Projected Image Warping

Video projectors have advanced from being tools for only delivering presentations on flat or planar surfaces to tools for delivering media content in such applications as augmented reality, simulated sports practice and invisible displays. With the use of non-planar surfaces for projection comes geometric and radiometric distortions. This work dwells on correcting geometric distortions occurring when images or video frames are projected onto static and deformable non-planar display surfaces. The distortion-correction process involves (i) detecting feature points from the camera images and creating a desired shape of the undistorted view through a 2D homography, (ii) transforming the feature points on the camera images to control points on the projected images, (iii) calculating Radial Basis Function (RBF) warping coefficients from the control points, and warping the projected image to obtain an undistorted image of the projection on the projection surface. Several novel aspects of this work have emerged and include (i) developing a theoretical framework that explains the cause of distortion and provides a general warping pattern to be applied to the projection, (ii) carrying out the distortion-correction process without the use of a distortion-measuring calibration image or structured light pattern, (iii) carrying out the distortioncorrection process on a projection display that deforms with time with a single uncalibrated projector and uncalibrated camera, and (iv) performing an optimisation of the distortioncorrection processes to operate in real-time. The geometric distortion correction process designed in this work has been tested for both static projection systems in which the components remain fixed in position, and dynamic projection systems in which the positions of components or shape of the display change with time. The results of these tests show that the geometric distortion-correction technique developed in this work improves the observed image geometry by as much as 31% based on normalised correlation measure. The optimisation of the distortion-correction process resulted in a 98% improvement of its speed of operation thereby demonstrating the applicability of the proposed approach to real projection systems with deformable projection displays

Data analytics for image visual complexity and kinect-based videos of rehabilitation exercises

With the recent advances in computer vision and pattern recognition, methods from these fields are successfully applied to solve problems in various domains, including health care and social sciences. In this thesis, two such problems, from different domains, are discussed. First, an application of computer vision and broader pattern recognition in physical therapy is presented. Home-based physical therapy is an essential part of the recovery process in which the patient is prescribed specific exercises in order to improve symptoms and daily functioning of the body. However, poor adherence to the prescribed exercises is a common problem. In our work, we explore methods for improving home-based physical therapy experience. We begin by proposing DyAd, a dynamically difficulty adjustment system which captures the trajectory of the hand movement, evaluates the user's performance quantitatively and adjusts the difficulty level for the next trial of the exercise based on the performance measurements. Next, we introduce ExerciseCheck, a remote monitoring and evaluation platform for home-based physical therapy. ExerciseCheck is capable of capturing exercise information, evaluating the performance, providing therapeutic feedback to the patient and the therapist, checking the progress of the user over the course of the physical therapy, and supporting the patient throughout this period. In our experiments, Parkinson patients have tested our system at a clinic and in their homes during their physical therapy period. Our results suggests that ExerciseCheck is a user-friendly application and can assist patients by providing motivation, and guidance to ensure correct execution of the required exercises. As the second application, and within computer vision paradigm, we focus on visual complexity, an image attribute that humans can subjectively evaluate based on the level of details in the image. Visual complexity has been studied in psychophysics, cognitive science, and, more recently, computer vision, for the purposes of product design, web design, advertising, etc. We first introduce a diverse visual complexity dataset which compromises of seven image categories. We collect the ground-truth scores by comparing the pairwise relationship of images and then convert the pairwise scores to absolute scores using mathematical methods. Furthermore, we propose a method to measure the visual complexity that uses unsupervised information extraction from intermediate convolutional layers of deep neural networks. We derive an activation energy metric that combines convolutional layer activations to quantify visual complexity. The high correlations between ground-truth labels and computed energy scores in our experiments show superiority of our method compared to the previous works. Finally, as an example of the relationship between visual complexity and other image attributes, we demonstrate that, within the context of a category, visually more complex images are more memorable to human observers

Proceedings of the 2011 Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory

This book is a collection of 15 reviewed technical reports summarizing the presentations at the 2011 Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory. The covered topics include image processing, optical signal processing, visual inspection, pattern recognition and classification, human-machine interaction, world and situation modeling, autonomous system localization and mapping, information fusion, and trust propagation in sensor networks

Drawing, Handwriting Processing Analysis: New Advances and Challenges

International audienceDrawing and handwriting are communicational skills that are fundamental in geopolitical, ideological and technological evolutions of all time. drawingand handwriting are still useful in defining innovative applications in numerous fields. In this regard, researchers have to solve new problems like those related to the manner in which drawing and handwriting become an efficient way to command various connected objects; or to validate graphomotor skills as evident and objective sources of data useful in the study of human beings, their capabilities and their limits from birth to decline

Online signature verification algorithms and development of signature international standards

The science of biometrics is based on discovering the identities of human beings by investigating their physical and behavioural traits. Of the many different biometric traits, i.e. fingerprint, iris, vascular, etc... the handwritten signature is still one of the most accepted techniques. Advancing progress in identification applications has led to widespread demand for new generation ID documents, such as electronic passports and citizen cards, which contain additional biometric information required for more accurate user recognition. This can be achieved by embedding dynamic signature features within the documentation. However, this would result in two significant drawbacks that must be addressed, these are: Memory Capacity and Computational Load. These problems and the increasing demand for standardized biometric verifications systems have motivated the research work performed in this Thesis. In order to achieve this, an attempt to reduce the information involved in verification processes is performed using feature selection criteria of the signature biometric data. Such reduced information content not only satisfies the memory capacity restrictions but also provides much more efficient use of the verification algorithms. In particular, two novel methods in the signature context, based on Principal Component Analysis and Hellinger Distance, are proposed here. The performance of the optimized features set obtained has been analyzed using two different verification algorithms. By reducing the sample size it has been observed that the error rates are maintained sufficiently low and the results obtained are in agreement with the current state of the art for signature techniques. It will be shown that in some cases that feature selection does not provide an adequate reduction solution, where a different strategy has been analyzed to achieve the aforementioned problems. A direct consequence of the widespread nature of biometric verification has led to demands for standardized protocols to improve interoperability. The work presented throughout this Thesis has considered current ISO/IEC signature standard data formats. It has been observed that the current compact data formats, 19794-7 Compact Format and 19794-11, do not meet the requirements of modern data formats. In particular, 19794-7 Compact Format, although having good compression ratios, has been found to imply an inadmissible loss in information. This problem has been solved by defining a new near-lossless compression data format based on lossless compression algorithms, and proposing different enhanced strategies to store signature data. This new data format achieves the same compression ratio, but without losing any relevant information. In addition, the problems found in the 19794-11CD2 regarding the lack of compression and information loss have been addressed. A new data format structure has been proposed, where the lack of compression is solved by reducing the data stored, avoiding duplicated data and providing a new singular point definition. This new structure has provided improved compression ratios, and, at the same time, carries more information. The two new data format definitions were presented to the ISO/IEC SC37 WG3 experts and accepted as the new third subformat “Compression Format” within the 19794-7 and the new committee draft for the 197974-11 CD3. ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------En la sociedad actual existe la necesidad de verificar la identidad de usuarios de una manera automática y segura, sobre todo teniendo en cuenta las nuevas posibilidades que el comercio electrónico ha originado. Desgraciadamente todas estas nuevas posibilidades electrónicas de acceso a distintos servicios, también han incrementado las probabilidades de actividades delictivas como la usurpación de identidad. La biometría ha demostrado ser una tecnología válida para la verificación de identidades, ya que ofrece un alto nivel de seguridad a la vez que resulta cómoda al usuario. De hecho su uso ya ha sido probado con éxito para tales fines en distintos contextos, siendo uno de los más comunes y conocidos su aplicación en la nueva generación de documentos de identidad electrónicos, tales como el Documento Nacional de Identidad Electrónico (DNIe) así como en los nuevos pasaportes electrónicos. Estas nuevas generaciones de documentos de identidad incorporan técnicas biométricas que permiten a los usuarios la autenticación de su identidad en procesos remotos. Junto con estas ventajas de la tecnología biométrica, la capacidad de almacenamiento y procesado de datos por parte de los nuevos documentos de identidad hace posible la incorporación de la información dinámica que posee la firma manuscrita. Esta información puede ser utilizada para la verificación de la identidad de los usuarios de una manera muy familiar, ya que el uso de la firma manuscrita para la verificación de identidades está muy extendido. No obstante, a la hora de incluir esta información dentro de este tipo de dispositivos, se deben tener en cuenta dos limitaciones significativas. En primer lugar, hay que examinar las necesidades de almacenamiento indispensables para guardar los datos obtenidos de la firma manuscrita capturada así como para el patrón del usuario. En segundo lugar, hay que considerarla baja potencia de cálculo de estos dispositivos a la hora de desarrollar algoritmos de verificación. Del mismo modo, se debe tener en cuenta que los documentos de identidad se diseñan para ser usados en una gran variedad de escenarios, tanto a nivel nacional como internacional. Por esta razón el uso de normas internacionales que garanticen su interoperabilidad se hace un requisito indispensable. Partiendo de lo expuesto anteriormente, la presente Tesis Doctoral se ha centrado en mejorar la viabilidad de sistemas automáticos de verificación de firma dinámica manuscrita en entornos con fuertes limitaciones tanto en capacidad de almacenamiento de datos como en capacidad de computación. A su vez, se ha llevado a cabo un análisis exhaustivo de los actuales formatos de datos definidos en las norma internacional “19794 Biometric data interchange formats” existentes para firma manuscrita dinámica (parte 7 y 11 de esta norma), para contrastar como pueden llegar a afectar dichos formatos al rendimiento de los algoritmos de verificación. Los aspectos anteriormente indicados sobre las necesidades de almacenamiento y de computación han sido abordados a través de técnicas de selección de características probadas en dos implementaciones de algoritmos de verificación de firma basados en Modelado de Mezcla de Gausianas (designado por sus siglas en inglés “GMM”) y Alineamiento Dinámico Temporal (designado por sus siglas en inglés “DTW”). En concreto, las técnicas de selección de características empleadas han sido el Ratio de Fisher (cuyas siglas en inglés son FR), el Análisis de Componentes Principales (cuyas siglas en inglés son PCA), la combinación de ambas y por último, la distancia de Hellinger (cuyas siglas en inglés son HD). La primera de ellas es una técnica muy extendida en la literatura de firma manuscrita, mientras que las otros dos, PCA y HD, no se ha encontrado ninguna constancia de haber sido utilizada anteriormente en entornos de firma manuscrita. Los resultados han desvelado que la técnica PCA genera una selección de características más óptima que la técnica FR, mejorando las tasas de error de los algoritmos utilizados. Además, la combinación de esta técnica (PCA) con la técnica FR ha obtenido mejores resultados que aplicadas de manera individual. Por su parte, HD también ha demostrado su utilidad en el ámbito de la firma manuscrita dinámica, obteniendo mejores resultados que las técnicas expuestas anteriormente sobre todo en el caso del algoritmo DTW en el que el solapamiento de distribuciones de las características entre firmas genuinas y las firmas falsas es bajo. A la vista de estos resultados, con las técnicas de selección de características propuestas se ha logrado cumplir con los objetivos de reducir las necesidades tanto de espacio de almacenamiento como de capacidad computacional, manteniendo tasas de error acordes con el estado del arte. Cabe destacar que para el algoritmo GMM desarrollado se han propuesto dos vectores de características, uno formado por 28 elementos y otro de tan solo 13 elementos para entornos con limitaciones más extremas. A su vez, el algoritmo GMM implementado también ha demostrado ser robusto frente al número de funciones Gausianas que lo forman, obteniendo resultados en línea con el estado del arte para combinaciones de sólo cuatro funciones Gausianas. Estos dos resultados (el bajo número de elementos en el vector de características y el bajo número de funciones Gausianas) conllevan que tanto el modelo de usuario, como las firmas capturadas, requieran un mínimo espacio de almacenamiento. Del mismo modo, hacen que la carga computacional sea mucho menor que la de los algoritmos basados en GMM publicados con anterioridad. Con respecto al algoritmo DTW planteado, se ha propuesto un vector de características formado tan solo por seis elementos, obteniendo de nuevo bajas tasas de error tanto para falsificaciones aleatorias, como, especialmente, para falsificaciones entrenadas. Estos resultados una vez más muestran que las técnicas de selección de características han respondido satisfactoriamente. Pero a pesar de que el número de elementos del vector de características es muy bajo, no se han podido reducir las necesidades ni de espacio, ni de complejidad de cálculo, dado que para el algoritmo DTW todavía se incluye información de la presión. Sin embargo, estos objetivos han sido cubiertos mediante el análisis efectuado en relación con el número de puntos que se requieren para el almacenamiento tanto de las firmas capturas como para el del patrón de usuario. Las pruebas realizadas han puesto de manifiesto que submuestreando las firmas capturadas de manera que estén formadas sólo por 256 puntos, es suficiente para asegurar que los niveles de error obtenidos por los algoritmos se mantengan en niveles dentro del estado del arte de los algoritmos DTW. Incluso, bajando el número de puntos hasta la cifra de 128 se ha visto que aún se consiguen tasas de error aceptables. Además del estudio a nivel algorítmico de la viabilidad de implementación de algoritmos de firma manuscrita dinámica, esta Tesis Doctoral se ha también se ha enfocado en la mejora de las actuales normas internacionales de formato de datos existentes para firma manuscrita dinámica, teniendo por objetivo incrementar sus posibilidades de uso en dispositivos tales como documentos de identidad. Inicialmente, se ha realizado un estudio de la viabilidad del uso de estas normas internacionales (proyectos 19794-7 y 19794-11 del subcomité SC37 dentro de la organización ISO/IEC) en cuanto a tamaño de la muestra examinando varias bases de datos públicas de firma dinámica. De este análisis se ha concluido que el formato compacto definido en el proyecto 19794-7 presenta un ratio de compresión del 56% comparado con el formato completo. Por otro lado, el proyecto 19794-11 que se definía como un formato de compresión de datos para firma manuscrita, presentó ratios de compresión negativos, indicando que en lugar de tener un menor tamaño de muestra, este formato incrementa el tamaño en comparación con las firmas almacenadas siguiendo el formato completo 19794-7. A su vez, se ha mostrado como la compresión de datos, tanto en el formato compacto 19794-7 como en el formato 19794-11, tiene un impacto en el rendimiento de los algoritmos, incrementando sus tasas de error. Esto es debido a la información que se pierde en el proceso de compresión de los datos. Para resolver la perdida de rendimiento de los algoritmos cuando se usa el formato de datos compacto definido dentro del proyecto 19794-7, se han presentado dos nuevos formatos de datos. Estos formatos , denominados formatos de datos comprimidos, se basan en algoritmos de compresión de datos sin pérdida de información. Se ha llevado a cabo la evaluación de distintos algoritmos de estas características, así como distintas opciones de reordenación de los datos de la firma manuscrita para maximizar la compresión obtenida gracias a los algoritmos de compresión. Dentro de los formatos de datos sugeridos, se ha planteado un formato de datos comprimido que presenta los mismos ratios de compresión que el formato compacto 19794-7, pero sin incurrir en ninguna pérdida de datos, por lo que no presenta ningún impacto en las tasas de error de los algoritmos de verificación. Asimismo, también se ha propuesto un formato de datos comprimido con mínima perdida de información, mejorando las tasas de compresión, sin influir de nuevo en el rendimiento de los algoritmos de verificación. Este formato comprimido de datos con reducidas pérdidas tiene además la capacidad de ajustar el nivel de información perdida, lo que resulta una importante característica teniendo en cuenta las espectaculares resoluciones (tanto espaciales como temporales) que los dispositivos de captura presentan en la actualidad. Estas altas resoluciones conllevan un aumento importante en el tamaño de las muestras capturas, que puede ser minimizado con el uso de este formato comprimido con pérdidas. Ambos formatos de datos comprimidos, con y sin perdidas, fueron presentados a la comunidad internacional dentro del subcomité ISO/IEC SC37, proponiendo su inclusión en el proyecto 19794-7. Esta petición fue aceptada por los expertos internacionales de firma manuscrita, convirtiéndose el formato de datos comprimidos en el tercer subformato dentro de esta norma internacional. La publicación de esta norma con la inclusión de las contribuciones mencionadas está planificada para el año 2012. Con respecto al proyecto 19794-11CD2, se analizó el uso de una nueva estructura de datos que solucionara los problemas de la falta de compresión a través de la eliminación de información duplicada, almacenando menos datos y redefiniendo los puntos singulares en los que está basada la segmentación. Además, para aumentar aún más las tasas de compresión obtenidas, diferentes estrategias de eliminación de puntos espurios fueron tratadas. A su vez, para mejorar la calidad de la información almacenada dentro de este formato de datos, se ha estudiado la posibilidad de recrear los datos contenidos en el formato completo partiendo de los datos almacenados en esta parte 19794-11. Mediante estos análisis, se han obtenido tasas de compresión menores que los presentados por el formato compacto 19794-7. Esta nueva definición para el proyecto 19794-11 también se presentó al subcomité SC37, siendo igualmente aceptada por los expertos internacionales en firma manuscrita y adoptada en la nueva revisión del proyecto 19794-11CD3. La publicación de este proyecto como norma internacional se espera para 2013

Visual Analysis of Large, Time-Dependent, Multi-Dimensional Smart Sensor Tracking Data

Technological advancements over the past decade have increased our ability to collect data to previously unimaginable volumes [Kei02]. Understanding temporal patterns is key to gaining knowledge and insight. However, our capacity to store data now far exceeds the rate at which we are able to understand it [KKEM10]. This phenomenon has led to a growing need for advanced solutions to make sense and use of an ever-increasing data space. Abstract temporal data provides additional challenges in its, representation, size, and scalability, high dimensionality, and unique structure.One instance of such temporal data is acquired from smart sensor tags attached to freely roaming animals recording multiple parameters at infra-second rates which are becoming commonplace, and are transforming biologists understanding of the way wild animals behave.The excitement at the potential inherent in sophisticated tracking devices has, however, been limited by a lack of available software to advance research in the field. This thesis introduces methodologies to deal with the problem of the analysis of the large, multi-dimensional, time-dependent data acquired. Interpretation of such data is complex and currently limits the ability of biologists to realise the value of their recorded information.We present several contributions to the field of time-series visualisation, that is, the visualisation of ordered collections of real value data attributes at successive points in time sampled at uniform time intervals. Traditionally, time-series graphs have been used for temporal data. However, screen resolution is small in comparison to the large information space commonplace today. In such cases, we can only render a proportion of the data.It is widely accepted that the effective interpretation of large temporal data sets requires advanced methods and interaction techniques. In this thesis, we address these issues to enhance the exploration, analysis, and presentation of time-series data for movement ecologists in their smart sensor data analysis

Biometric Systems

Because of the accelerating progress in biometrics research and the latest nation-state threats to security, this book's publication is not only timely but also much needed. This volume contains seventeen peer-reviewed chapters reporting the state of the art in biometrics research: security issues, signature verification, fingerprint identification, wrist vascular biometrics, ear detection, face detection and identification (including a new survey of face recognition), person re-identification, electrocardiogram (ECT) recognition, and several multi-modal systems. This book will be a valuable resource for graduate students, engineers, and researchers interested in understanding and investigating this important field of study

Key body pose detection and movement assessment of fitness performances

Motion segmentation plays an important role in human motion analysis. Understanding the intrinsic features of human activities represents a challenge for modern science. Current solutions usually involve computationally demanding processing and achieve the best results using expensive, intrusive motion capture devices. In this thesis, research has been carried out to develop a series of methods for affordable and effective human motion assessment in the context of stand-up physical exercises. The objective of the research was to tackle the needs for an autonomous system that could be deployed in nursing homes or elderly people's houses, as well as rehabilitation of high profile sport performers. Firstly, it has to be designed so that instructions on physical exercises, especially in the case of elderly people, can be delivered in an understandable way. Secondly, it has to deal with the problem that some individuals may find it difficult to keep up with the programme due to physical impediments. They may also be discouraged because the activities are not stimulating or the instructions are hard to follow. In this thesis, a series of methods for automatic assessment production, as a combination of worded feedback and motion visualisation, is presented. The methods comprise two major steps. First, a series of key body poses are identified upon a model built by a multi-class classifier from a set of frame-wise features extracted from the motion data. Second, motion alignment (or synchronisation) with a reference performance (the tutor) is established in order to produce a second assessment model. Numerical assessment, first, and textual feedback, after, are delivered to the user along with a 3D skeletal animation to enrich the assessment experience. This animation is produced after the demonstration of the expert is transformed to the current level of performance of the user, in order to help encourage them to engage with the programme. The key body pose identification stage follows a two-step approach: first, the principal components of the input motion data are calculated in order to reduce the dimensionality of the input. Then, candidates of key body poses are inferred using multi-class, supervised machine learning techniques from a set of training samples. Finally, cluster analysis is used to refine the result. Key body pose identification is guaranteed to be invariant to the repetitiveness and symmetry of the performance. Results show the effectiveness of the proposed approach by comparing it against Dynamic Time Warping and Hierarchical Aligned Cluster Analysis. The synchronisation sub-system takes advantage of the cyclic nature of the stretches that are part of the stand-up exercises subject to study in order to remove out-of-sequence identified key body poses (i.e., false positives). Two approaches are considered for performing cycle analysis: a sequential, trivial algorithm and a proposed Genetic Algorithm, with and without prior knowledge on cyclic sequence patterns. These two approaches are compared and the Genetic Algorithm with prior knowledge shows a lower rate of false positives, but also a higher false negative rate. The GAs are also evaluated with randomly generated periodic string sequences. The automatic assessment follows a similar approach to that of key body pose identification. A multi-class, multi-target machine learning classifier is trained with features extracted from previous motion alignment. The inferred numerical assessment levels (one per identified key body pose and involved body joint) are translated into human-understandable language via a highly-customisable, context-free grammar. Finally, visual feedback is produced in the form of a synchronised skeletal animation of both the user's performance and the tutor's. If the user's performance is well below a standard then an affine offset transformation of the skeletal motion data series to an in-between performance is performed, in order to prevent dis-encouragement from the user and still provide a reference for improvement. At the end of this thesis, a study of the limitations of the methods in real circumstances is explored. Issues like the gimbal lock in the angular motion data, lack of accuracy of the motion capture system and the escalation of the training set are discussed. Finally, some conclusions are drawn and future work is discussed

Fehlerkaschierte Bildbasierte Darstellungsverfahren

Creating photo-realistic images has been one of the major goals in computer graphics since its early days. Instead of modeling the complexity of nature with standard modeling tools, image-based approaches aim at exploiting real-world footage directly,as they are photo-realistic by definition. A drawback of these approaches has always been that the composition or combination of different sources is a non-trivial task, often resulting in annoying visible artifacts. In this thesis we focus on different techniques to diminish visible artifacts when combining multiple images in a common image domain. The results are either novel images, when dealing with the composition task of multiple images, or novel video sequences rendered in real-time, when dealing with video footage from multiple cameras.Fotorealismus ist seit jeher eines der großen Ziele in der Computergrafik. Anstatt die Komplexität der Natur mit standardisierten Modellierungswerkzeugen nachzubauen, gehen bildbasierte Ansätze den umgekehrten Weg und verwenden reale Bildaufnahmen zur Modellierung, da diese bereits per Definition fotorealistisch sind. Ein Nachteil dieser Variante ist jedoch, dass die Komposition oder Kombination mehrerer Quellbilder eine nichttriviale Aufgabe darstellt und häufig unangenehm auffallende Artefakte im erzeugten Bild nach sich zieht. In dieser Dissertation werden verschiedene Ansätze verfolgt, um Artefakte zu verhindern oder abzuschwächen, welche durch die Komposition oder Kombination mehrerer Bilder in einer gemeinsamen Bilddomäne entstehen. Im Ergebnis liefern die vorgestellten Verfahren neue Bilder oder neue Ansichten einer Bildsammlung oder Videosequenz, je nachdem, ob die jeweilige Aufgabe die Komposition mehrerer Bilder ist oder die Kombination mehrerer Videos verschiedener Kameras darstellt