Formalizing spatiotemporal knowledge in remote sensing applications to improve image interpretation

Technological tools allow the generation of large volumes of data. For example satellite images aid in the study of spatiotemporal phenomena in a range of disciplines such as urban planning environmental sciences and health care. Thus remote-sensing experts must handle various and complex image sets for their interpretations. The GIS community has undertaken significant work in describing spatiotemporal features and standard specifications nowadays provide design foundations for GIS software and spatial databases. We argue that this spatiotemporal knowledge and expertise would provide invaluable support for the field of image interpretation. As a result we propose a high level conceptual framework based on existing and standardized approaches offering enough modularity and adaptability to represent the various dimensions of spatiotemporal knowledge

Système neuronal pour réponses à des questions de compréhension de scène auditives

Le présent projet introduit la tâche "réponse à des questions à contenu auditif" (Acoustic Question Answering-AQA) dans laquelle un agent intelligent doit répondre à une question sur le contenu d'une scène auditive. Dans un premier temps, une base de donnée (CLEAR) comprenant des scènes auditives ainsi que des paires question-réponse pour chacune d'elles est mise sur pied afin de permettre l'entraînement de systèmes à base de neurones. Cette tâche étant analogue à la tâche "réponse à des questions à contenu visuel" (Visual Question Answering-VQA), une étude préliminaire est réalisé en utilisant un réseau de neurones (FiLM) initialement développé pour la tâche VQA. Les scènes auditives sont d'abord transformées en représentation spectro-temporelle afin d'être traitées comme des images par le réseau FiLM. Cette étude a pour but de quantifier la performance d'un système initialement conçu pour des scènes visuelles dans un contexte acoustique. Dans la même lignée, une étude de l'efficacité de la technique visuelle de cartes de coordonnées convolutives (CoordConv) lorsqu'appliquée dans un contexte acoustique est réalisée. Finalement, un nouveau réseau de neurones adapté au contexte acoustique (NAAQA) est introduit. NAAQA obtient de meilleures performances que FiLM sur la base de donnée CLEAR tout en étant environ 7 fois moins complexe

Using space to think

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Architecture, 2002.Includes bibliographical references (p. 63-67).This thesis is proposing a research direction of using computation to help people fully take advantage of spatial cognition in thinking process. As our most important form of information processing spatial cognition provides thinking what logical and verbal means are inferior at. But without external aid, its application is tremendously constrained. Computation could play a role in circumventing those constraints and bridging out the strength of spatial cognition in thinking process. This could augment our of thinking ability and reform our mind.by Xiaohua Sun.S.M