A biologically inspired system for action recognition

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2007.Includes bibliographical references (p. 51-58).We present a biologically-motivated system for the recognition of actions from video sequences. The approach builds on recent work on object recognition based on hierarchical feedforward architectures and extends a neurobiological model of motion processing in the visual cortex. The system consists of a hierarchy of spatio-temporal feature detectors of increasing complexity: an input sequence is first analyzed by an array of motion-direction sensitive units which, through a hierarchy of processing stages, lead to position-invariant spatio-temporal feature detectors. We experiment with different types of motion-direction sensitive units as well as different system architectures. Besides, we find that sparse features in intermediate stages outperform dense ones and that using a simple feature selection approach leads to an efficient system that performs better with far fewer features. We test the approach on different publicly available action datasets, in all cases achieving the best results reported to date.by Hueihan Jhuang.S.M

Perception of biological motion by form analysis

Detection of other living beings’ movements is a fundamental property of the human visual system. Viewing their movements, categorizing their actions, and interpreting social behaviors like gestures constitutes a framework of our everyday lives. These observed actions are complex and differences among them are rather subtle. However, humans recognize these actions without ma jor efforts and without being aware of the complexity of the observed tasks. In point-light walkers, the visual information about the human body is reduced to only a handful point-lights placed on the ma jor joints of the otherwise invisible body. But even this sparse information does not effectively reduce humans’ abilities to perceive the performed actions. Neurophysiological and neuroimaging studies suggested that the movement of the human body is represented in specific brain areas. Nonetheless, the underlying network is still issue of controversial discussion. To investigate the role of form information, I developed a model and conducted psychophysical experiments using point-light walkers. A widely accepted theory claims that in point-light walkers, form information is decreased to a non-usable minimum and, thus, the perception of biological motion is driven by the analysis of motion signals. In my study, I could show that point-light walker indeed contain useful form information. Moreover, I could show that temporal integration of this information is sufficient to explain results from psychophysical, neurophysiological, and neuroimaging studies. In opposition to the standard models of biological motion perception, I could also show that all results can be explained without the analysis of local motion signals

Verbal and nonverbal communication in schizophrenia - New insights from uni- and multimodal brain imaging

Socio-cognitive symptoms represent prominent and often strongly impairing deficits in patients with schizophrenia and they are tightly intertwined with dysfunctional communicative representations or systems. In particular, deficient verbal and nonverbal social information processing is associated with decreased functional outcome and prominent difficulties in everyday social interactions. Some specific aspects of verbal and nonverbal communication in schizophrenia have been thoroughly assessed by previous studies, particularly semantic priming at word level (verbal-cognitive domain) as well as face and facial emotion recognition (nonverbal-affective domain) and rather broad sociocognitive functions including Theory of Mind (ToM). However, only very little is known about disease-related alterations in more complex language functions, such as pragmatic (e.g. non-literal) language comprehension, or emotion processing from social cues other than the face, such as human body language. To this end, the present dissertation intended to investigate neurophysiological correlates of verbal and nonverbal socio-communicative (dys)functions in schizophrenia that have so far been rarely investigated using functional imaging, namely pragmatic language (verbalcognitive domain, 2 studies) and emotional body language (nonverbal-affective domain, 2 studies) processing. Neurophysiological activity was assessed by means of functional nearinfrared spectroscopy (fNIRS) measurements, either applied alone (unimodal imaging) or combined with electroencephalography (EEG; multimodal imaging). These specific neuroimaging methods have been chosen because they are characterised by high ecological validity and a relatively high flexibility regarding their applicability in varying contexts, implying a great potential of these techniques to assess social communicative functions in schizophrenia that are highly relevant for everyday social interactions. Taken together, the results obtained in the four studies revealed 1) that fNIRS measurements – either unimodally applied or combined with EEG – are useful to detect cortical activation associated with verbal-cognitive and nonverbal-affective information processing. 2) Patients with schizophrenia show significant alterations in these neurophysiological processes along with impaired recognition of pragmatic language (verbal-cognitive domain) and emotional body language (nonverbal-affective domain). The findings complement previous studies on more commonly assessed sociocommunicative dysfunctions in schizophrenia (altered semantic priming and facial expression perception). The present work provides a holistic overview over different social communication dysfunctions that may be apparent in patients suffering from schizophrenia and their accessibility via fNIRS and EEG-fNIRS measurements, respectively. Hereby, all project parts focused on an innovative implementation of neuroimaging methods that may be particularly promising for future directions in neuropsychiatric research. The findings are discussed in the light of contemporary models of pragmatic language comprehension as well as nonverbal social information processing. Moreover, they are integrated into current concepts of schizophrenia, particularly with respect to etiological models and neurocognitive frameworks as well as the endophenotype concept.Sozial-kognitive Symptome stellen ein markantes und häufig stark beeinträchtigendes Defizit von Patienten mit schizophrener Erkrankung dar, welches eng mit Dysfunktionen in Kommunikation und Interaktion verknüpft ist. Hierbei sind insbesondere Einschränkungen in der Verarbeitung verbal und nonverbal dargebotener sozialer Information mit einem verminderten generellen Funktionsniveau sowie deutlichen Schwierigkeiten bei alltäglichen sozialen Interaktionen assoziiert. Einige spezifische Teilbereiche verbaler und nonverbaler Kommunikation bei Schizophrenie wurden bereits in früheren Studien zum Teil ausführlich untersucht, wie beispielsweise semantische Bahnung (Priming) auf Wortebene (verbalkognitive Ebene), (emotionale) Gesichtsverarbeitung (nonverbal-affektive Ebene) sowie weniger scharf umgrenzte sozial-kognitive Funktionen einschließlich Theory of Mind (ToM). Bislang ist jedoch wenig bekannt über störungsbezogene Veränderungen komplexer Sprachverarbeitung, wie pragmatisches (z. B. nicht-wörtlich gemeintes) Sprachverstehen, oder der Verarbeitung von Emotionen auf Basis sozialer Reize, die nicht auf Gesichter beschränkt sind, wie beispielsweise menschliche Körpersprache. Die vorliegende Dissertation befasst sich daher mit der Untersuchung neurophysiologischer Korrelate solcher verbaler und nonverbaler kommunikativer (Dys-)Funktionen bei Schizophrenie, die bislang nur wenig mittels funktioneller Bildgebung untersucht worden sind. Hierbei werden zum einen pragmatische Sprache (verbal-kognitive Ebene) und zum anderen emotionale Körpersprache (nonverbal-affektive Ebene) fokussiert. Die Erfassung neurophysiologischer Aktivität erfolgt mithilfe der Methode der funktionellen Nahinfrarot-Spektroskopie (fNIRS), welche hierbei entweder allein (unimodale Messungen) oder in Kombination mit Elektroenzephalographie (EEG, multimodale Messungen) zum Einsatz kommt. Diese bildgebenden Verfahren wurden insbesondere aufgrund ihrer hohen ökologischen Validität und flexiblen Anwendbarkeit in verschiedensten Untersuchungs-Situationen ausgewählt, welche ein hohes Potential beider Methoden zur validen und ökonomischen Untersuchung alltagsrelevanter kommunikativer Funktionen bei Schizophrenie nahe legen. Zusammengefasst ergaben die in den vier Studien erbrachten Ergebnisse folgendes Bild: (1) fNIRS Messungen, sowohl uni- als auch multimodal (hier: in Kombination mit EEG) angewendet, bilden eine nützliche Methode zur realitätsnahen Erfassung kortikaler Aktivierung, die mit verbal-kognitiver und nonverbal-affektiver Informationsverarbeitung in Zusammenhang stehen. (2) Patienten mit Schizophrenie zeigen signifikante Veränderungen dieser neurophysiologischen Prozesse, welche behavioral mit einem verminderten pragmatischem Sprachverstehen (verbal-kognitive Ebene) sowie Einschränkungen im Erkennen emotionaler Körpersprache (nonverbal-affektive Ebene) einhergehen. Diese Befunde ergänzen frühere Studien zu weniger komplexen, aber bislang häufiger untersuchten sozio-kommunikativen Dysfunktionen bei Schizophrenie (z. B. verändertes semantisches Priming sowie beeinträchtigte Verarbeitung von Gesichtsausdrücken). Die Befunde werden vor dem Hintergrund theoretischer Modelle zum pragmatischen Sprachverstehen sowie der Verarbeitung nonverbaler sozialer Information diskutiert. Darüber hinaus werden die Ergebnisse in aktuelle Konzepte der Schizophrenie integriert, insbesondere im Hinblick auf äthiologische Modelle und neurokognitive Erklärungsansätze der Erkrankung. Zudem wird eine Einordnung der hier untersuchten kommunikativen Funktionen in das Endophänotypenkonzept versucht