From motion perception to Bob Dylan.: A Cognitivist attentional semantics of directionals

Directionals like from New York, through the tunnel, into the dark represent a major class of spatial expressions, typically associated with locomotion (verbs). Semantically, many of their aspects are notoriously difficult to characterize, among them their characteristics (classification, typology), their relation to locatives (e. g. in New York, in the tunnel, in the dark), and their composition with verbs (especially in non-locomotion contexts). Cognitively, there is a big theoretical gap to fill between aspects of low-level motion perception and the conception of static situations in terms of non-actual (loco)motion. This paper first critically discusses Zwarts’ explicit formal account of directionals, then introduces a Cognitivist attentional semantics and finally applies the Cognitivist approach to directionals. It will be shown that attention-based conceptual representations are necessary components in directional semantics and explanatory for the mentioned aspects.Directionals like from New York, through the tunnel, into the dark represent a major class of spatial expressions, typically associated with locomotion (verbs). Semantically, many of their aspects are notoriously difficult to characterize, among them their characteristics (classification, typology), their relation to locatives (e. g. in New York, in the tunnel, in the dark), and their composition with verbs (especially in non-locomotion contexts). Cognitively, there is a big theoretical gap to fill between aspects of low-level motion perception and the conception of static situations in terms of non-actual (loco)motion. This paper first critically discusses Zwarts’ explicit formal account of directionals, then introduces a Cognitivist attentional semantics and finally applies the Cognitivist approach to directionals. It will be shown that attention-based conceptual representations are necessary components in directional semantics and explanatory for the mentioned aspects

Theory as political technology

This is the accepted version of the following book review Ash Amin and Nigel Thrift, Arts of the Political: New Openings for the Left, Durham NC: Duke University Press, 2013. ISBN 978-0-8223-5401-7 in Antipode available at http://antipodefoundation.org/book-reviews/Copyright © 2013 Antipode FoundationBook Revie

Knowledge representation and exploitation for interactive and cognitive robots

L'arrivée des robots dans notre vie quotidienne fait émerger le besoin pour ces systèmes d'avoir accès à une représentation poussée des connaissances et des capacités de raisonnements associées. Ainsi, les robots doivent pouvoir comprendre les éléments qui composent l'environnement dans lequel ils évoluent. De plus, la présence d'humains dans ces environnements et donc la nécessité d'interagir avec eux amènent des exigences supplémentaires. Ainsi, les connaissances ne sont plus utilisées par le robot dans le seul but d'agir physiquement sur son environnement mais aussi dans un but de communication et de partage d'information avec les humains. La connaissance ne doit plus être uniquement compréhensible par le robot lui-même mais doit aussi pouvoir être exprimée. Dans la première partie de cette thèse, nous présentons Ontologenius. C'est un logiciel permettant de maintenir des bases de connaissances sous forme d'ontologie, de raisonner dessus et de les gérer dynamiquement. Nous commençons par expliquer en quoi ce logiciel est adapté aux applications d'interaction humain-robot (HRI), notamment avec la possibilité de représenter la base de connaissances du robot mais aussi une estimation des bases de connaissances des partenaires humains ce qui permet d'implémenter les mécanismes de théorie de l'esprit. Nous poursuivons avec une présentation de ses interfaces. Cette partie se termine par une analyse des performances du système ainsi développé. Dans une seconde partie, cette thèse présente notre contribution à deux problèmes d'exploration des connaissances: l'un ayant trait au référencement spatial et l'autre à l'utilisation de connaissances sémantiques. Nous commençons par une tâche de description d'itinéraires pour laquelle nous proposons une ontologie permettant de décrire la topologie d'environnements intérieurs et deux algorithmes de recherche d'itinéraires. Nous poursuivons avec une tâche de génération d'expression de référence. Cette tâche vise à sélectionner l'ensemble optimal d'informations à communiquer afin de permettre à un auditeur d'identifier l'entité référencée dans un contexte donné. Ce dernier algorithme est ensuite affiné pour y ajouter les informations sur les activités passées provenant d'une action conjointe entre un robot et un humain, afin de générer des expressions encore plus pertinentes. Il est également intégré à un planificateur de tâches symbolique pour estimer la faisabilité et le coût des futures communications. Cette thèse se termine par la présentation de deux architectures cognitives, la première utilisant notre contribution concernant la description d'itinéraire et la seconde utilisant nos contributions autour de la Génération d'Expression de Référence. Les deux utilisent Ontologenius pour gérer la base de connaissances sémantique. À travers ces deux architectures, nous présentons comment nos travaux ont amené la base de connaissances a progressivement prendre un rôle central, fournissant des connaissances à tous les composants du système.As robots begin to enter our daily lives, we need advanced knowledge representations and associated reasoning capabilities to enable them to understand and model their environments. Considering the presence of humans in such environments, and therefore the need to interact with them, this need comes with additional requirements. Indeed, knowledge is no longer used by the robot for the sole purpose of being able to act physically on the environment but also to communicate and share information with humans. Therefore knowledge should no longer be understandable only by the robot itself, but should also be able to be narrative-enabled. In the first part of this thesis, we present our first contribution with Ontologenius. This software allows to maintain knowledge bases in the form of ontology, to reason on them and to manage them dynamically. We start by explaining how this software is suitable for \acrfull{hri} applications. To that end, for example to implement theory of mind abilities, it is possible to represent the robot's knowledge base as well as an estimate of the knowledge bases of human partners. We continue with a presentation of its interfaces. This part ends with a performance analysis, demonstrating its online usability. In a second part, we present our contribution to two knowledge exploration problems around the general topic of spatial referring and the use of semantic knowledge. We start with the route description task which aims to propose a set of possible routes leading to a target destination, in the framework of a guiding task. To achieve this task, we propose an ontology allowing us to describe the topology of indoor environments and two algorithms to search for routes. The second knowledge exploration problem we tackle is the \acrfull{reg} problem. It aims at selecting the optimal set of piece of information to communicate in order to allow a hearer to identify the referred entity in a given context. This contribution is then refined to use past activities coming from joint action between a robot and a human, in order to generate new kinds of Referring Expressions. It is also linked with a symbolic task planner to estimate the feasibility and cost of future communications. We conclude this thesis by the presentation of two cognitive architectures. The first one uses the route description contribution and the second one takes advantage of our Referring Expression Generation contribution. Both of them use Ontologenius to manage the semantic Knowledge Base. Through these two architectures, we present how our contributions enable Knowledge Base to gradually take a central role, providing knowledge to all the components of the architectures

Rôle des ontologies en ingénierie des EIAH : cas d'un système d'assistance au design pédagogique

Cette thèse illustre le rôle que l'Ingénierie Ontologique (IO) peut jouer dans les Environnements Informatiques pour l'Apprentissage Humain (EIAH). Même si ce rôle touche à la fois la conception et la diffusion de l'apprentissage, nous nous attardons sur son rôle dans la conception. Nous montrons alors comment il vise à combler un manque, celui de l'assistance aux concepteurs.\ud Notre but est donc de faire la preuve de la contribution possible de l'IO dans l'ingénierie des EIAH, et pour illustrer cette preuve, nous prenons l'assistance aux concepteurs pédagogiques comme exemple de situation où l'IO est utile. Nous abordons le problème, en le posant de la façon suivante: Comment assister les concepteurs pédagogiques dans leur tâche parfois complexe de design pédagogique (DP), alors que les systèmes auteurs ne leur offrent pas l'assistance nécessaire pour concevoir des scénarios sémantiquement corrects, c'est-à-dire des scénarios valides du point de vue des Théories et Paradigmes d'Apprentissage, d'Enseignement et de Design pédagogique (TPAED), ni le moyen de procéder à une telle validation sémantique? Nous montrons que la cause principale de ce manque dans les systèmes auteurs (incluant les systèmes orientés pédagogie, orientés performance, hypermédias, adaptatifs et collaboratifs et Web, pour n'en nommer que quelques-uns) est leur faible représentation explicite du DP et des TPAED dans leur modèle pédagogique. Nous privilégions une approche d'IO basée sur le Web sémantique afin de profiter des technologies bien établies et standardisées qui en découlent, à savoir les langages Web basés sur la syntaxe XML, les services Web et les annotations sémantiques. Pour mettre en oeuvre notre thèse, nous proposons la conception d'un système d'aide permettant d'apporter au concepteur pédagogique l'assistance dont il a besoin lors de l'utilisation de tout système auteur. Nous nommons ce système CIAO, ce qui signifie qu'il s'agit d'un système d'aide à la Conception Intelligemment Assistée par des Ontologies. CIAO exploite une ontologie formalisant les TPAED, dont nous assurons la construction selon une approche d'IO que nous proposons. Les services offerts au concepteur sont assurés grâce à des règles de validation syntaxique et sémantique que nous avons créées et intégrées à CIAO. Quelle que soit la situation dans laquelle l'IO est utilisée, il s'agit d'un processus complexe qu'il faut avant tout développer de façon méthodologique. Cette thèse apporte aussi une solution sur cet aspect méthodologique de l'IO, puisque nous proposons une Méthode Intégrée d'IO appelée, MI2O. Cette méthode est dite intégrée parce qu'elle tient compte des points forts des principales méthodes d'IO et du standard du génie logiciel IEEE 1074-1995 (l'ontologie étant considérée comme un produit du génie logiciel).\ud Notre contribution peut se résumer ainsi: (1) La méthode MI2O, utilisée pour construire l'Ontologie des Théories et Paradigmes d'Apprentissage, d'Enseignement et de Design pédagogique ou OTPAED ; (2) L'OTPAED, une contribution originale pouvant être exploitée par tous les systèmes auteurs d'EIAH ; (3) Le système CIAO, un système réactif d'assistance en design pédagogique qui donne, entre autres, du conseil pour la conception des scénarios pédagogiques syntaxiquement/sémantiquement valides selon une théorie déterminée. Ainsi, il offre une validation flexible de scénarios selon les standards du DP (par ex. IMS Learning Design) et selon les TPAED. Le prototype que nous avons développé tend à montrer le potentiel de l'IO en contexte de DP en illustrant (à travers plusieurs scénarios d'utilisation de CIAO) comment des ontologies peuvent être exploitées pour assister le concepteur pédagogique; (4) Les règles de validation syntaxiques et sémantiques de CIAO. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Environnement interactif pour l'apprentissage humain, Ingénierie ontologique, Intelligence artificielle dans l'éducation, Méthodologie, Ontologie, Représentation des connaissances, Système auteur, Système tutoriel intelligent, Théories et paradigmes de l'apprentissage, de l'enseignement et du design pédagogique