A Cognitive Science Based Machine Learning Architecture

In an attempt to illustrate the application of cognitive science principles to hard AI problems in machine learning we propose the LIDA technology, a cognitive science based architecture capable of more human-like learning. A LIDA based software agent or cognitive robot will be capable of three fundamental, continuously active, humanlike learning mechanisms:\ud 1) perceptual learning, the learning of new objects, categories, relations, etc.,\ud 2) episodic learning of events, the what, where, and when,\ud 3) procedural learning, the learning of new actions and action sequences with which to accomplish new tasks. The paper argues for the use of modular components, each specializing in implementing individual facets of human and animal cognition, as a viable approach towards achieving general intelligence

Test moment determination design in active robot learning

A thesis submitted to the University of Bedfordshire, in fulfilment of the requirements for the degree of Master of Science by researchIn recent years, service robots have been increasingly used in people's daily live. These robots are autonomous or semiautonomous and are able to cooperate with their human users. Active robot learning (ARL) is an approach to the development of beliefs for the robots on their users' intention and preference, which is needed by the robots to facilitate the seamless cooperation with humans. This approach allows a robot to perform tests on its users and to build up the high-order beliefs according to the users' responses. This study carried out primary research on designing the test moment determination component in ARL framework. The test moment determination component is used to decide right moment of taking a test action. In this study, an action plan theory was suggested to synthesis actions into a sequence, that is, an action plan, for a given task. All actions are defined in a special format of precondition, action, post-condition and testing time. Forward chaining reasoning was introduced to establish connection between the actions and to synthesis individual actions into an action plan, corresponding to the given task. A simulation environment was set up where a human user and a service robot were modelled using MATLAB. Fuzzy control was employed for controlling the robot to carry out the cooperative action. In order to examine the effect of test moment determination component, simulations were performed to execute a scenario where a robot passes on an object to a human user. The simulation results show that an action plan can be formed according to provided conditions and executed by simulated models properly. Test actions were taken at the moment determined by the test moment determination component to find the human user's intention

Méthodes d'apprentissage inspirées de l'humain pour un tuteur cognitif artificiel

Les systèmes tuteurs intelligents sont considérés comme un remarquable concentré de technologies qui permettent un processus d'apprentissage. Ces systèmes sont capables de jouer le rôle d'assistants voire même de tuteur humain. Afin d'y arriver, ces systèmes ont besoin de maintenir et d'utiliser une représentation interne de l'environnement. Ainsi, ils peuvent tenir compte des évènements passés et présents ainsi que de certains aspects socioculturels. Parallèlement à l'évolution dynamique de l'environnement, un agent STI doit évoluer en modifiant ses structures et en ajoutant de nouveaux phénomènes. Cette importante capacité d'adaptation est observée dans le cas de tuteurs humains. Les humains sont capables de gérer toutes ces complexités à l'aide de l'attention et du mécanisme de conscience (Baars B. J., 1983, 1988), et (Sloman, A and Chrisley, R., 2003). Toutefois, reconstruire et implémenter des capacités humaines dans un agent artificiel est loin des possibilités actuelles de la connaissance de même que des machines les plus sophistiquées. Pour réaliser un comportement humanoïde dans une machine, ou simplement pour mieux comprendre l'adaptabilité et la souplesse humaine, nous avons à développer un mécanisme d'apprentissage proche de celui de l'homme. Ce présent travail décrit quelques concepts d'apprentissage fondamentaux implémentés dans un agent cognitif autonome, nommé CTS (Conscious Tutoring System) développé dans le GDAC (Dubois, D., 2007). Nous proposons un modèle qui étend un apprentissage conscient et inconscient afin d'accroître l'autonomie de l'agent dans un environnement changeant ainsi que d'améliorer sa finesse. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Apprentissage, Conscience, Agent cognitif, Codelet

The use of emotions in the implementation of various types of learning in a cognitive agent

Les tuteurs professionnels humains sont capables de prendre en considération des événements du passé et du présent et ont une capacité d'adaptation en fonction d'événements sociaux. Afin d'être considéré comme une technologie valable pour l'amélioration de l'apprentissage humain, un agent cognitif artificiel devrait pouvoir faire de même. Puisque les environnements dynamiques sont en constante évolution, un agent cognitif doit pareillement évoluer et s'adapter aux modifications structurales et aux phénomènes nouveaux. Par conséquent, l'agent cognitif idéal devrait posséder des capacités d'apprentissage similaires à celles que l'on retrouve chez l'être humain ; l'apprentissage émotif, l'apprentissage épisodique, l'apprentissage procédural, et l'apprentissage causal. Cette thèse contribue à l'amélioration des architectures d'agents cognitifs. Elle propose 1) une méthode d'intégration des émotions inspirée du fonctionnement du cerveau; et 2) un ensemble de méthodes d'apprentissage (épisodique, causale, etc.) qui tiennent compte de la dimension émotionnelle. Le modèle proposé que nous avons appelé CELTS (Conscious Emotional Learning Tutoring System) est une extension d'un agent cognitif conscient dans le rôle d'un tutoriel intelligent. Il comporte un module de gestion des émotions qui permet d'attribuer des valences émotionnelles positives ou négatives à chaque événement perçu par l'agent. Deux voies de traitement sont prévues : 1) une voie courte qui permet au système de répondre immédiatement à certains événements sans un traitement approfondis, et 2) une voie longue qui intervient lors de tout événement qui exige la volition. Dans cette perspective, la dimension émotionnelle est considérée dans les processus cognitifs de l'agent pour la prise de décision et l'apprentissage. L'apprentissage épisodique dans CELTS est basé sur la théorie du Multiple Trace Memory consolidation qui postule que lorsque l'on perçoit un événement, l'hippocampe fait une première interprétation et un premier apprentissage. Ensuite, l'information acquise est distribuée aux différents cortex. Selon cette théorie, la reconsolidation de la mémoire dépend toujours de l'hippocampe. Pour simuler de tel processus, nous avons utilisé des techniques de fouille de données qui permettent la recherche de motifs séquentiels fréquents dans les données générées durant chaque cycle cognitif. L'apprentissage causal dans CELTS se produit à l'aide de la mémoire épisodique. Il permet de trouver les causes et les effets possibles entre différents événements. Il est mise en œuvre grâce à des algorithmes de recherche de règles d'associations. Les associations établies sont utilisées pour piloter les interventions tutorielles de CELTS et, par le biais des réponses de l'apprenant, pour évaluer les règles causales découvertes. \ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : agents cognitifs, émotions, apprentissage épisodique, apprentissage causal

LIDA: A Systems-level Architecture for Cognition, Emotion, and Learning

Abstract-We describe a cognitive architecture (LIDA) that affords attention, action selection and human-like learning intended for use in controlling cognitive agents that replicate human experiments as well as performing real-world tasks. LIDA combines sophisticated action selection, motivation via emotions, a centrally important attention mechanism, and multimodal instructionalist and selectionist learning. Empirically grounded in cognitive science and cognitive neuroscience, the LIDA architecture employs a variety of modules and processes, each with its own effective representations and algorithms. LIDA has much to say about motivation, emotion, attention, and autonomous learning in cognitive agents. In this paper we summarize the LIDA model together with its resulting agent architecture, describe its computational implementation, and discuss results of simulations that replicate known experimental data. We also discuss some of LIDA's conceptual modules, propose non-linear dynamics as a bridge between LIDA's modules and processes and the underlying neuroscience, and point out some of the differences between LIDA and other cognitive architectures. Finally, we discuss how LIDA addresses some of the open issues in cognitive architecture research

Tuning and verifying a psychologically plausible cognitive architectureusing LIDA-based cognitive software agents

Diese Arbeit beschreibt einen Ansatz, die Plausibilität der kognitiven Architektur LIDA (Learning Intelligent Distribution Agent) zu untermauern. Zunächst wird eine Korrelation zwischen LIDA’s internen Prozessen und neuronalen Vorgängen hergestellt, und LIDA’s Parameter werden mithilfe von Daten aus publizierten neurowissenschaftlichen Untersuchungen angepasst. Außerdem wird das Modell durch zwei neuartige Komponenten erweitert, um eine größere Auswahl an kognitiven Aufgaben modellieren zu können: durch ein auf translationsinvarianter Merkmalsextraktion beruhendes visuelles Objekterkennungssystem, und durch ein Aufmerksamkeitsmodell, das auf dem Locus Coeruleus / Noradrenalin System beruht. Drei auf dem erweiterten LIDA-Modell basierende kognitive Softwareagenten werden beschrieben und ihr Verhalten mit Daten menschlicher Versuchspersonen verglichen: ein Softwareagent, der ein einfaches Reaktionszeitexperiment reproduziert; ein Agent, der ein Experiment zur Untersuchung der Wahrnehmungskontinuität bei Menschen modelliert; und schließlich ein Agent, der ein Aufmerksamkeitsblinzeln-Experiment durchführt. Die Arbeit zeigt, dass LIDA-basierte Softwareagenten fähig sind, menschliche Versuchsdaten zu reproduzieren; und unterstreicht die Plausibilität der kognitiven Architektur LIDA basierend auf der Korrelation ihrer Mechanismen und Prozessen im menschlichen Gehirn, und auf dem von den kognitiven Softwareagenten erfolgreich reproduziertem menschlichen Verhalten.This thesis describes an approach to provide evidence that the LIDA (Learning Intelligent Distribution Agent) cognitive architecture models basic human cognitive processes. The computational LIDA architecture’s processes are correlated with neural processes and its parameters are adjusted using brain-related evidence. The model is also extended by an invariant feature detection-based visual object recognition system, and a novel attentional mechanism based on a model of the locus coeruleus – norepinephrine system in the brain, to facilitate computational modeling of a wider range of cognitive tasks than was possible before. Three LIDA-based cognitive software agents are also described and compared with human behavioral data, modeling three different psychological paradigms: a simple reaction time experiment, a perceptual continuity experiment and a visual attentional blink task. The thesis shows that the LIDA-based agents are capable of accurately reproducing human data, and argues in favor of psychological - and, in most cases, also neuroscientific – plausibility of the LIDA cognitive architecture, based on the correlation of its mechanisms to processes in the human brain, and based on the successfully reproduced behavioral data falling naturally out of the same computational model, using the same parameter set

A Cognitive Neuroscience-inspired Codelet-based Cognitive Architecture For The Control Of Artificial Creatures With Incremental Levels Of Machine Consciousness

The advantages given by machine consciousness to the control of software agents were reported to be very appealing. The main goal of this work is to develop artificial creatures, controlled by cognitive architectures, with different levels of machine consciousness. To fulfil this goal, we propose the application of cognitive neuroscience concepts to incrementally develop a cognitive architecture following the evolutionary steps taken by the animal brain. The triune brain theory proposed by MacLean and also Arrabale's ConsScale will serve as roadmaps to achieve each developmental stage, while iCub - a humanoid robot and its simulator - will serve as a platform for the experiments. A completely codelet-based system "Core" has been implemented, serving the whole architecture.4350Anderson, J.R., Bothell, D., Byrne, M.D., Douglass, S., Lebiere, C., Qin, Y., An integrated theory of the mind (2004) Psychological Review, 111 (4), pp. 1036-1060. , DOI 10.1037/0033-295X.111.4.1036Arrabales, R., Ledezma, A., Sanchis, A., A Cognitive approach to multimodal attention (2009) Journal of Physical Agents, 3 (1), pp. 53-63Arrabales, R., Ledezma, A., Sanchis, A., Assessing and characterizing the cognitive power of machine consciousness implementations (2009) AAAI Fall Symposium Series, , 2009Arrabales, R., Ledezma, A., Sanchis, A., Towards conscious-like behavior in computer game characters (2009) Computational Intelligence and Games, 2009, CIG 2009, pp. 217-224. , IEEE Symposium on, IEEEArrabales, R., Ledezma, A., Sanchis, A., ConsScale, A pragmatic scale for measuring the level of consciousness in artificial agents (2010) Journal of Consciousness Studies, 17 (3-4), pp. 131-164. , (34)Arrabales, R., Ledezma, A., Sanchis, A., The cognitive development of machine consciousness implementations (2010) International Journal of Machine Consciousness, 2 (2), p. 213Baars, B.J., (1988) A Cognitive Theory of Consciousness, , Cambridge Univ PressBaars, B.J., Theatre of consciousness, global work space theory, a rigorous scientific theory of consciousness (1996) Journal of Consciousness Studies, 4 (1), pp. 292-309Baars, B.J., Franklin, S., How conscious experience and working memory interact (2003) Trends in Cognitive Sciences, 7 (4), pp. 166-172. , DOI 10.1016/S1364-6613(03)00056-1Baars, B.J., Franklin, S., Consciousness is computational: The lida model of global workspace theory (2009) International Journal of Machine Consciousness, 1, p. 23. , (2009Baars, B.J., Gage, N.M., (2010) Cognition, Brain, and Consciousness: Introduction to Cognitive Neuroscience, , Academic PressBaddeley, A., Working memory and language: An overview (2003) Journal of Communication Disorders, 36 (3), pp. 189-208. , DOI 10.1016/S0021-9924(03)00019-4Brooks, R.A., Intelligence without representation (1991) Artificial Intelligence, 47, pp. 139-159. , (1-31-3)Dennett, D.C., (1991) Conciousness Explained, , Back Bay BooksD'Mello, S.K., Franklin, S., Ramamurthy, U., Baars, B.J., A cognitive science based machine learning architecture (2006) AAAI 2006 Spring Symposium Series Sponsor: American Association for Artificial Intelligence, , Stanford University, Palo Alto, California, USADoerner, K., Gutjahr, W.J., Hartl, R.F., Strauss, C., Stummer, C., Pareto ant colony optimization: A metaheuristic approach to multiobjective portfolio selection (2004) Annals of Operations Research, 131 (1-4), pp. 79-99. , DOI 10.1023/B:ANOR.0000039513.99038.c6, Meta-Heuristics - Theory, Applications and SoftwareEdelman, D.B., Baars, B.J., Seth, A.K., Identifying hallmarks of consciousness in non-mammalian species (2005) Consciousness and Cognition, 14 (1), pp. 169-187. , DOI 10.1016/j.concog.2004.09.001, Neurobiology of Animal ConsciousnessEdelman, G.M., (2004) Wider than the Sky: The Phenomenal Gift of Consciousness, , Yale Univ PrFranklin, S., (1997) Artificial Minds, , The MIT PressFranklin, S., Baars, B.J., Ramamurthy, U., Ventura, M., The role of consciousness in memory (2005) Brains, Minds and Media, 1 (1), p. 38Franklin, S., Graesser, A., Is it an agent, or just a program? : A taxonomy for autonomous agents (1997) Intelligent Agents III Agent Theories, Architectures, and Languages, pp. 21-35Fuster, J.M., (2008) The Prefrontal Cortex, , Academic PressGoleman, D., (2006) Emotional Intelligence, , Bantam Dell Pub GroupHaikonen, P.O., (2007) Robot Brains: Circuits and Systems for Conscious Machines, , Wiley-InterscienceHaykin, S., (1999) Neural Networks: A Comprehensive Foundation, , Prentice Hall, 2 ed. ednHofstadter, D.R., Mitchell, M., The copycat project: A model of mental fluidity and analogy-making (1994) Advances in Connectionist and Neural Computation Theory, 2, pp. 31-112. , In Holyoak, K.J & Barnden, J.A. (Eds)Holland, J.H., (1992) Adaptation in Natural and Artificial Systems, , Cambridge, MA: MIT PressLaird, J.E., Extending the soar cognitive architecture (2008) Proceeding of the 2008 Conference on Artificial General Intelligence 2008: Proceedings of the First AGI Conference, pp. 224-235. , Amsterdam: IOS PressLangley, P., Laird, J.E., Rogers, S., Cognitive architectures: Research issues and challenges (2009) Cognitive Systems Research, 10 (2), pp. 141-160Maclean, P.D., Brain evolution relating to family, play, and the separation call (1985) Archives of General Psychiatry, 42 (4), p. 405Maclean, P.D., (1990) The Triune Brain in Evolution: Role in Paleocerebral Functions, , NY: SpringerMetta, G., Sandini, G., Vernon, D., Natale, L., Nori, F., The iCub humanoid robot: An open platform for research in embodied cognition (2008) Proceedings of the 8th Workshop on Performance Metrics for Intelligent Systems, pp. 50-56. , ACMNegatu, A.S., Franklin, S., An action selection mechanism for conscious software agents 1 (2000) Cognitive Science Quarterly, pp. 1-21Rodriguez, F., Galvan, F., Ramos, F., Castellanos, E., Garcia, G., Covarrubias, P., A cognitive architecture based on neuroscience for the control of virtual 3D human creatures (2010) Brain Informatics: International Conference, (BI-2010), p. 328Silva, R.C.M., Gudwin, R.R., An introductory experiment with a conscious-based autonomous vehicle (2010) Proceedings of ROBOCONTROL 2010 - IV Workshop in Applied Robotics and Automation, pp. 1-9Suman, B., Kumar, P., A survey of simulated annealing as a tool for single and multiobjective optimization (2005) Journal of Oper Res Soc, 57, pp. 1143-1160Sun, R., The importance of cognitive architectures: An analysis based on CLARION (2007) Journal of Experimental and Theoretical Artificial Intelligence, 19 (2), pp. 159-193. , DOI 10.1080/09528130701191560, PII 780395031Tononi, G., Consciousness as integrated information: A provisional manifesto (2008) The Biological Bulletin, 215 (3), pp. 216-242Vernon, D., Metta, G., Sandini, G., The iCub cognitive architecture: Interactive development in a humanoid robot (2007) 2007 IEEE 6th International Conference on Development and Learning, pp. 122-12