Affective Computing for Emotion Detection using Vision and Wearable Sensors

The research explores the opportunities, challenges, limitations, and presents advancements in computing that relates to, arises from, or deliberately influences emotions (Picard, 1997). The field is referred to as Affective Computing (AC) and is expected to play a major role in the engineering and development of computationally and cognitively intelligent systems, processors and applications in the future. Today the field of AC is bolstered by the emergence of multiple sources of affective data and is fuelled on by developments under various Internet of Things (IoTs) projects and the fusion potential of multiple sensory affective data streams. The core focus of this thesis involves investigation into whether the sensitivity and specificity (predictive performance) of AC, based on the fusion of multi-sensor data streams, is fit for purpose? Can such AC powered technologies and techniques truly deliver increasingly accurate emotion predictions of subjects in the real world? The thesis begins by presenting a number of research justifications and AC research questions that are used to formulate the original thesis hypothesis and thesis objectives. As part of the research conducted, a detailed state of the art investigations explored many aspects of AC from both a scientific and technological perspective. The complexity of AC as a multi-sensor, multi-modality, data fusion problem unfolded during the state of the art research and this ultimately led to novel thinking and origination in the form of the creation of an AC conceptualised architecture that will act as a practical and theoretical foundation for the engineering of future AC platforms and solutions. The AC conceptual architecture developed as a result of this research, was applied to the engineering of a series of software artifacts that were combined to create a prototypical AC multi-sensor platform known as the Emotion Fusion Server (EFS) to be used in the thesis hypothesis AC experimentation phases of the research. The thesis research used the EFS platform to conduct a detailed series of AC experiments to investigate if the fusion of multiple sensory sources of affective data from sensory devices can significantly increase the accuracy of emotion prediction by computationally intelligent means. The research involved conducting numerous controlled experiments along with the statistical analysis of the performance of sensors for the purposes of AC, the findings of which serve to assess the feasibility of AC in various domains and points to future directions for the AC field. The AC experiments data investigations conducted in relation to the thesis hypothesis used applied statistical methods and techniques, and the results, analytics and evaluations are presented throughout the two thesis research volumes. The thesis concludes by providing a detailed set of formal findings, conclusions and decisions in relation to the overarching research hypothesis on the sensitivity and specificity of the fusion of vision and wearables sensor modalities and offers foresights and guidance into the many problems, challenges and projections for the AC field into the future

Analysis and automatic identification of spontaneous emotions in speech from human-human and human-machine communication

383 p.This research mainly focuses on improving our understanding of human-human and human-machineinteractions by analysing paricipants¿ emotional status. For this purpose, we have developed andenhanced Speech Emotion Recognition (SER) systems for both interactions in real-life scenarios,explicitly emphasising the Spanish language. In this framework, we have conducted an in-depth analysisof how humans express emotions using speech when communicating with other persons or machines inactual situations. Thus, we have analysed and studied the way in which emotional information isexpressed in a variety of true-to-life environments, which is a crucial aspect for the development of SERsystems. This study aimed to comprehensively understand the challenge we wanted to address:identifying emotional information on speech using machine learning technologies. Neural networks havebeen demonstrated to be adequate tools for identifying events in speech and language. Most of themaimed to make local comparisons between some specific aspects; thus, the experimental conditions weretailored to each particular analysis. The experiments across different articles (from P1 to P19) are hardlycomparable due to our continuous learning of dealing with the difficult task of identifying emotions inspeech. In order to make a fair comparison, additional unpublished results are presented in the Appendix.These experiments were carried out under identical and rigorous conditions. This general comparisonoffers an overview of the advantages and disadvantages of the different methodologies for the automaticrecognition of emotions in speech

SHELDON Smart habitat for the elderly.

An insightful document concerning active and assisted living under different perspectives: Furniture and habitat, ICT solutions and Healthcare

Sensory and methodological aspects in biomechanical research of postural control and clinical fields of application

The human senses constitute a highly complex system based on various sensory organs, afferent pathways, and central processing locations, which allow us to interact with the environment, but also with ourselves. A further domain is important to achieve this interaction: the motor system, which allows linguistic communication and locomotion, for example. It becomes evident that sensory receptors work as a source of information to initiate, optimize, or cease motor activity. One generic term for such sensory sources is the somatosensory system, which is mainly based on receptors located in muscles, tendons, and the skin (cutaneous sensitivity). In this regard, it has been shown that cutaneous sensitivity contributes to human balance regulation. However, there are still debates concerning the exact role of plantar (foot sole) receptor inputs in particular, and how their isolated contribution to, e.g., balance regulation may be assessed accordingly. To investigate the interaction between plantar cutaneous sensitivity and human balance capabilities, several aspects need to be considered which are still controversial and inconclusive in the scientific community. For example, when assessing cutaneous vibration sensitivity, it is well-known that increasing vertical forces of the contactor toward the skin usually result in improved sensitivity. However, it has not been profoundly investigated whether assessing plantar vibratory sensitivity differs when comparing a standing or sitting posture, which obviously involves different contactor forces. In addition, many studies implementing cutaneous sensitivity show certain limitations with respect to adequate data analyses. A similar aspect also applies when assessing balance performance: devices allowing an investigation of dynamic balance performance (induced by unexpected platform perturbations while standing, for example) have only been partially investigated with regard to their biomechanical quality criteria, such as reliability. With these considerations in mind, the present doctoral thesis is based on five published studies. Study 1 investigates if plantar sensitivity is influenced by different body positions when collecting data. Study 2 asks how to appropriatly analze plantar sensitivity data. Study 3 examines the reliability of dynamic balance responses using the so-called Posturomed device, and Study 4 identifies the isolated role of plantar inputs on balance responses, when an acute sensory manipulation is induced that exclusively affects plantar aspects. Ultimately, clinical fields of application (based on the previous four studies) are highlighted in Study 5. The main findings of the first four studies can be summarized as follows. First, higher contact forces when standing compared to sitting did not influence plantar sensitivity. This is an important finding, as plantar sensitivity tests (often performed during sitting) may, hence, be brought into context with balance tests usually performed during standing. Second, plantar sensitivity data are shown to exhibit heteroscedasticity, meaning that the measurement error increases as the values increase. In Study 2, we provided an easy-to-follow example for how to account for heteroscedasticity by logarithmizing the raw data, and how to control whether this approach was successful in eliminating heteroscedasticity. Third, dynamic balance responses assessed via the Posturomed device exhibit an overall good reliability. Occasional significant differences were shown to be clinically non-relevant, identified by root mean square error calculations. Fourth, a permanent plantar sensory manipulation (hypothermia) was successfully achieved and maintained throughout data collection. Study 4 showed that the reduced plantar sensory input due to the hypothermic manipulation was compensated during more unchallenging balance conditions (standing still). There was no full compensation during more challenging balance conditions (unexpected platform perturbations during standing), however, with the body reacting with cautious motor behavior. This became evident by decreased outcome measures following hypothermic plantar sensory manipulation. These four studies shed further light onto investigations combining sensory and motor tests, especially with regard to physiological and methodological aspects that should be considered when analyzing and interpreting associated data. Finally, this doctoral thesis also provides an example of identifying clinical fields of application concerning sensory-focused research. In Study 5, we highlight the role of sensory research in the (early) diagnosis of diseases associated with cognitive decline. For this purpose, various instruments such as sensory tests or coordinative motor tests are implemented. Preliminary results suggest that not only classical cognitive parameters and questionnaires should be used to identify and better understand cognitive decline.Die menschlichen Sinne stellen ein sehr komplexes System dar, welches auf verschiedenen sensorischen Organen, afferenten Leitungsbahnen und zentralen Verarbeitungsstellen basiert und es uns ermöglicht, mit der Umwelt, aber auch mit uns selbst, zu interagieren. Dahingehend ist eine weitere wichtige Domäne wichtig, um diese Interaktion zu bewerkstelligen: das motorische System, welches etwa eine sprachliche Kommunikation oder auch die Fortbewegung ermöglicht. Es wird somit offensichtlich, dass sensorische Rezeptoren eine Informationsquelle darstellen, um motorische Aktivität zu initiieren, zu optimieren oder zu beenden. Ein grundlegender Terminus für solch sensorische Quellen ist das somatosensorische System, welches überwiegend auf Rezeptoren in Muskulatur, Sehnen und der Haut (kutane Sensibilität) beruht. Diesbezüglich wurde bereits aufgezeigt, dass die kutane Sensibilität einen Beitrag bei der menschlichen Gleichgewichtsregulation leistet. Allerdings existieren dabei nachwievor Diskussionen in Bezug auf die genaue Bedeutung plantarer (die Fußsohle betreffend) Rezeptor-Inputs und inwieweit deren isolierte Bedeutung bei der Gleichgewichtsregulation entsprechend ermittelt werden kann. Um die Interaktion zwischen der kutanen Sensorik der Fußsohle und der menschlichen Gleichgewichtsfähigkeit zu erforschen, sollten verschiedene Aspekte berücksichtigt werden, welche nachwievor kontrovers und nicht eindeutig in der Wissenschaft diskutiert werden. Bei Erhebungen der kutanen Vibrationssensibilität, als Beispiel, ist bereits bekannt, dass erhöhte Vertikalkräfte, mit denen der Vibrationsstößel gegen die Haut appliziert ist, generell zu einer verbesserten Sensibilität/Sensorik führen. Allerdings wurde noch nicht klar erforscht, ob sich die plantare Vibrationssensibilität zwischen einer stehenden und sitzenden Haltung der Probanden/innen unterscheidet, wobei hier natürlich unterschiedliche Vertikalkräfte der Stößel wahrscheinlich sind. Darüber hinaus zeigen viele Studien, welche die Hautsensibilität untersuchen, gewisse Limitierungen in Bezug auf eine adäquate Datenanalyse. Ein sehr ähnlicher Aspekt trifft auch auf die Evaluierung der Gleichgewichtsfähigkeit zu: Messgeräte, welche dabei eine Erfassung der dynamischen Gleichgewichtsfähigkeit zulassen (z.B. eingeleitet durch unerwartete Plattform-Perturbationen während des Stehens), wurden bisher nur teilweise auf die biomechanischen Gütekriterien hin untersucht, wie etwa die Reliabilität. Aufgrund dieser Überlegungen basiert die vorliegende Dissertation auf fünf publizierten Studien, welche folgende Aspekte untersuchten: Wird die plantare Sensibilität durch verschiedene Körperpositionen während der Datenaufnahme beeinflusst (Studie 1)? Wie können plantare Sensibilitätsdaten angemessen analysiert werden (Studie 2)? Darüber hinaus wurde ebenso untersucht, inwiefern das sogenannte 'Posturomed'-Messgerät bei der Beurteilung dynamischer Gleichgewichtsantworten reliable Messwerte liefert (Studie 3). Ferner wurde in Studie 4 untersucht, inwiefern isoliert plantare Inputsignale bei Gleichgewichtsantworten relevant sind (anhand einer akuten sensorischen Manipulation, welche ausschließlich die Fußsohle betrifft). In Studie 5 werden konkrete klinische Anwendungsbeispiele aufgrund der vier hier vorgestellten Studien aufgezeigt. Die Hauptergebnisse der ersten vier Studien können wie folgt zusammengefasst werden: Erstens, höhere vertikale Kontaktkräfte während des Stehens verglichen mit sitzenden Positionen führten zu keinen Unterschieden bzgl. der plantaren Sensibilität. Dies ist eine wichtige Erkenntnis, da plantare Sensorikmessungen (oft während des Sitzens durchgeführt) dadurch in Kontext mit Gleichgewichtstests gebracht werden können, welche normalerweise im Stehen erfolgen. Zweitens, Daten der plantaren Sensorik zeigten Heteroskedastizität, was bedeutet, dass sich der Messfehler mit Größenzunahme der Messwerte ebenso erhöht. Wir konnten in Studie 2 ein leicht zu erschließendes Beispiel aufzeigen, wie das Problem der Heteroskedastizität durch eine Logarithmierung der Rohdaten behandelt werden konnte und wie kontrolliert werden konnte, ob diese Behandlung erfolgreich war. Drittens, die dynamischen Gleichgewichtsantworten, welche mittels des 'Posturomed' ermittelt wurden, zeigen insgesamt eine gute Reliabilität. Gelegentlich auftretende signifikante Unterschiede wurden anhand von Berechnungen der Wurzel der mittleren Fehlerquadratsumme (root mean square error, RMSE) als klinisch nicht relevant eingestuft. Viertens, eine anhaltende plantar-sensorische Manipulation (Hypothermie) wurde erfolgreich eingeleitet und während der Datenerhebung aufrecht erhalten. Studie 4 zeigte ferner, dass die hypothermisch eingeleiteten reduzierten plantaren Sensorik-Inputs während der eher nicht herausfordernden quasi-statischen Gleichgewichtsbedingungen (einfaches aufrechtes Stehen) kompensiert werden konnten. Während der herausfordernden Gleichgewichtskonditionen (unerwartete Perturbationen der Plattform während des Stehens) hingegen wurde keine vollständige Kompensation erreicht. Allerdings reagierten die Probanden mit einem vorsichtigen motorischen Verhalten. Dies wurde durch die reduzierten Ergebnisparameter infolge der plantaren hypothermischen Manipulation ersichtlich. Die vier hier genannten Studien zeigen weitere Erkenntnisse in Bezug auf Forschungsaktivitäten, welche sensorische und motorische Tests vereinen. Dies trifft speziell in Hinblick auf physiologische und methodologische Aspekte zu, welche bei der Analyse und Interpretation derartiger Daten in Betracht gezogen werden sollten. Zuletzt bietet diese Arbeit auch ein Beispiel dafür, welche klinischen Anwendungsfelder im Bereich der sensorisch-fokussierten Forschung identifiziert werden können. In Studie 5 wird dafür die Bedeutung sensorischer Forschung bei der (Früh-) Diagnose von Erkrankungen aufgezeigt, welche mit kognitiven Einschränkungen in Verbindung gebracht werden. Für diesen Zweck werden verschiedene Instrumente eingebracht, wie etwa sensorische oder koordinativ-motorische Tests. Vorläufige Ergebnisse deuten dabei bereits an, dass nicht nur die klassischen kognitiven Parameter und Fragebögen bei der Identifizierung oder zum Zwecke des besseren Verstehens kognitiven Verfalls einbezogen werden sollten