Elman neural networks and time integration for object recognition

We consider a system based on an Elman network for a categorization task. Four objects are investigated by an automa walking around in circles. The shapes are derived from four version of a cross: square, thick cross, critical cross and thin cross. Therefore, the input of the system is represented by the distance-wave relieved by the sensor at each step. We let several parameters vary: starting point and speed of the automa walk, radius of the circle and size of the shape. The system is trained using a back-propagation algorithm. We describe the complete setup of the parameters and noises, which the automa will have to face for the prediction/categorization task

Coordinamento distribuito mediante auto-organizzazione

La robotica collettiva ? una disciplina in rapida espansione nel campo della robotica bio-ispirata (Bonabeau et al., 1999; Grabowski, 2003). Un tema di grande interesse della robotica collettiva ? il problema del coordinamento distribuito di robot che debbono realizzare compiti collettivi (Baldassarre et al., 2002; Ijspeert et al., 2001). Il coordinamento distribuito richiede che vari aspetti dell?azione di gruppo, come i ruoli dei singoli robot, la sincronizzazione delle singole attivit?, l?organizzazione spaziale, siano il risultato di un processo di auto-organizzazione piuttosto che il frutto delle decisioni centralizzate di pochi robot capi. In alcuni compiti, il coordinamento distribuito presenta notevoli vantaggi rispetto al coordinamento centralizzato, ad esempio: a) resistenza ai guasti dei singoli robot; b) ridotti bisogni di comunicazione; c) semplicit? dei singoli robot in termini di sensori, effettori, e capacit? computazionali. Il coordinamento distribuito ? centrale anche per lo studio di comportamenti di gruppo negli animali. Negli insetti sociali, ad esempio, delle semplici regole di azione seguite dai singoli animali pu? portare a comportamenti collettivi complessi come la formazione di strutture tridimensionali (Anderson et al., 2002), la costruzione collettiva di nidi (Camazine et al., 2001), il trasporto collettivo di cibo (Kube and Bonabeau, 1998). Questi comportamenti tendono a basarsi su meccanismi auto-organizzativi (Camazine et al., 2001) come feedback positivi (es.: ?fai ci? che fa la maggioranza?) o feedback negativi (es. ?non eseguire pi? un comportamento se un certo stimolo va sotto una certa soglia?). Questi meccanismi sono anche importanti per l?auto-organizzazione di gruppi di animali pi? complessi (ad esempio i babbuini usano dei ?grugniti di movimento? per coordinare la transizione del gruppo dal riposo al movimento, Seyfarth and Cheney, 2003) e, spesso inconsapevolmente, per l?uomo (si consideri il coordinamento distribuito degli agenti economici realizzato attraverso i mercati ed i prezzi, Von Hayek, 1945). Il lavoro presentato qui dovrebbe contribuire ad approfondire la conoscenza dei meccanismi auto-organizzativi generali che possono essere alla base di questi diversi comportamenti. Questo lavoro ? stato condotto nell?ambito del progetto Swarm-bots finanziato dalla Commissione Europea (finanziamento IST-2000-31010, v. anche Dorigo et al., in press). Il progetto ha come obiettivo la costruzione ed il controllo di robot in grado di agganciarsi fisicamente tra loro mediante una pinza in modo da formare gruppi in grado di fare cose che non possono essere fatte da singoli robot. La ricerca qui presentata si ? concentrata sul problema della navigazione collettiva in un?arena bidimensionale. In particolare, partendo da gruppi formati da quattro-dieci robot assemblati manualmente, l?obiettivo ? stato quello di produrre un sistema di controllo dei robot stessi che consentisse un movimento coerente e coordinato dell?intero gruppo. L?idea esplorata per raggiungere questo obiettivo ? stata quella di utilizzare il principio auto-organizzativo del feedback positivo mediante l?utilizzo di uno speciale sensore chiamato ?sensore di trazione?, di un sistema di controllo dei robot costituito da una semplice rete neurale a due strati, e di un processo evolutivo per la ricerca dei pesi della rete. Il feedback positivo ? un meccanismo di auto-organizzazione che consente ad un insieme di agenti di convergere su una stessa scelta tra diverse scelte possibili. Esso ? basato sul fatto che quando ogni agente tende ad imitare altri agenti del gruppo, o comportamenti medi di gruppo, il comportamento di tutti gli agenti si uniforma rapidamente

Metodi evolutivi per il controllo di gruppi di robot simulati: emergenza di ruoli dinamici di leader e follower.

La ricerche di intelligenza artificiale sui comportamenti di agenti autonomi diretti alla soluzione di compiti collettivi hanno spesso utilizzato metodi dove il sistema di controllo ? programmato direttamente dal ricercatore (es. Reynolds, 1993). Riteniamo che questo tipo di approccio abbia due gravi limitazioni. La prima ? che programmare direttamente il sistema di controllo pu? risultare estremamente difficile in quanto ? difficile prevedere e capire gli effetti che le scelte effettuate hanno sul comportamento del gruppo. Ci? avviene in quanto la catena causale controllo-comportamento di gruppo passa attraverso interazioni dinamiche molto complesse tra i sistemi di controllo, i sensori gli effettori ed i corpi di pi? agenti e l?ambiente. La seconda ? che, per motivi analoghi, il ricercatore solitamente non riesce ad individuare e sfruttare le opportunit? costituite da eventuali forme di auto-organizzazione del sistema collettivo da controllare. Questa ricerca mostra che l?utilizzo di tecniche evolutive (Nolfi e Floreano, 2000) pu? risolvere entrambi questi problemi in quanto l?evoluzione ? basata sulla produzione ?cieca? di sistemi di controllo e sulla loro selezione a posteriori in base al successo complessivo nella soluzione del problema affrontato (Baldassarre et al.). Finora l?approccio evolutivo ? stato applicato a problemi di intelligenza artificiale collettiva con scenari dove vengono utilizzati agenti simulati con sistemi percettivi e motori astratti o poco realistici (Werner e Dyer, 1993; Ward et al., 2001). Raramente sono stati utilizzati robot reali, e, quando ci? ? stato fatto, i problemi affrontati richiedevano solo un blando co-ordinamento tra i robot (Martinoli, 1999). Questa ricerca intende superare anche queste limitazioni

Measuring coordination as entropy decrease in groups of linked simulated robots

Although most interesting work in distributed coordination of groups of robot has been based on self-organizing principles, the self-organizing principles used have usually not been clearly isolated and quantitatively described. The goal of this paper is to study in detail the particular example of distributed coordination described in Baldassarre et al. (2004, in press) in order to identify the principles of self-organization at the basis of the observed collective behavior, and describe them quantitatively. The distributed coordination problem studied here is a coordinated motion task. In this task, groups of physically linked simulated robots, each endowed with a very simple sensory system that allows each robot to sense the motion of linked robots, have to move away from an initial position in any direction as fast as possible. In this scenario, the success of the group depends on the capacity of its members to select a common direction of motion. Since the robots do not have a leader and do not possess dedicated communication channels, the common direction of motionhas to emerge from the physical interactions of the robots themselves. Evolutionary techniques were used to evolve the neural-network controller of the robots to check if this automatic search process was capable of producing robots capable of harmonizing their motion on the basis of self-organizing principles. Previous work [Baldassarre et al. 2004, Baldassarre et al. in press] showed these groups of evolved robots are able to negotiate and converge toward a common direction of movement on the basis of a combination of a conformist tendency, that is a tendency to conform to the average direction of movement of the group, and of an autonomous tendency of each robot to move straight. In this paper we show that it is possible to measure the increasing organization of the group on the basis of Boltzmann entropy, and to use this measure to identify and describe the effects of the operation of the positive feedback mechanism that is at the basis of the observed evolved groups\u27 behavior

Evolution of collective behaviour in a team of physically linked robots

In this paper we address the problem of how a group of four assembled simulated robots forming a linear structure can co-ordinate and move as straight and as fast as possible. This problem is solved in a rather simple and effective way by providing the robots with a sensor that detects the direction and intensity of the traction that the turret exerts on the chassis of each robot and by evolving their neural controllers. We also show how the evolved robots are able to generalize their ability in rather different circumstance by: (a) producing coordinated movements in teams with varying size, topology, and type of links; (b) displaying individual or collective obstacle avoidance behaviors when placed in an environment with obstacles; (c) displaying object pushing/pulling behavior when connected to or around a given object

Coordination and behavior integration in cooperating simulated robots.

This paper shows how a group of evolved physically-linked robots are able to display a variety of highly coordinated basic behaviours (coordinated motion coordinated obstacle avoidance, coordinated light approaching) and to integrate such behaviours into a single coherent behaviour. In this way the group is capable of searching and approaching a light target in an environment scattered with obstacles, furrows, and holes and of dynamically changing its shape in order to pass through narrow passages. The paper analyses in detail the emerged basic behaviours and shows how the coordination of the group relies upon robust self-organising principles based on a traction sensor that allows the single robots to perceive the "average" direction of motion of the rest of the group

Conformismo ed indipendenza sociale per il controllo di robot simulati in compiti collettivi.

Negli ultimi anni l?intelligenza artificiale ha iniziato a dedicare notevole attenzione allo studio di comportamenti collettivi di agenti artificiali. Spesso il mondo animale ? stato la fonte di ispirazione primaria per la formulazione di meccanismi di controllo degli agenti stessi (Reynolds, 1993; Werner e Dyer, 1993; Ward et al., 2001). Questa ricerca ? stata motivata dall?intento di utilizzare il mondo delle relazioni sociali umane come universo da cui attingere idee per risolvere compiti di intelligenza artificiale collettiva. La ricerca si ? focalizzata sulla possibilit? di utilizzare meccanismi di conformismo sociale per consentire il coordinamento dell?azione di alcuni robot simulati, e meccanismi di indipendenza sociale (qui intesa come tendenza opposta al conformismo) per la soluzione di compiti dove sono presenti forze che si oppongono all?azione di gruppo

A Bayesian model for a Pavlovian-instrumental transfer hypothesis

A Pavlovian conditioned stimulus (CS) associated with a reward can enhance an instrumental response directed to the same or other rewards. This effect is called Pavlovian-instrumental transfer (PIT). In recent years, lesion studies using rats have gained insight into its neural substrates dissociating between specific PIT (where CS and instrumental response share the same reward) and general PIT (where they do not) (Corbit and Balleine, 2005, 2011). Despite these advances, the functional differences between specific and general PIT and how Pavlovian cues interact with instrumental response are still not clear. Here we try to explain Pavlovian-instrumental transfer effects by using a latent causes Bayesian model. Previous work in the Pavlovian conditioning literature (Courville et al., 2005) suggests that during Pavlovian conditioning rats do not simply learn associations between two events (CS and reward); instead, they actually try to figure out the real hidden causes behind them by constructing a latent cause model. We expanded that view to include instrumental actions and so explain the interactions between Pavlovian conditioning and instrumental conditioning. Our model correctly reproduces both the presence of specific and general PIT and the absence of general PIT when the CS is associated to the reward of another instrumental action. By framing the PIT effects explanation in Bayesian terms, our model offers a new integrated view on their functional mechanisms and new testable predictions

Comparison of genetic algorithms used to evolve specialisation in groups of robots

This paper investigates the role of genetic algorithms in determining which kind of specialisation emerges in decentralised simulated teams of robots controlled by evolved neural networks. As shown in previous works, different tasks may be better solved by robots specialized in a particular manner. However it was not clarified how much the genetic algorithm used might drive the evolution of one kind of specialisation or another: this is the goal of this paper. The study is conducted by evolving teams of robots that have to solve two different tasks that are better accomplished by using different types of specialisation (innate versus situated). Results suggest that the type of genetic algorithm employed plays a major role in determining how robots specialize and in most of the cases the algorithms used tend to always yield the same specialization. Only one of the algorithms tested led to the emergence of the most suitable kind of specialisation for each one of the two tasks

The relationship between specific Pavlovian instrumental transfer and instrumental reward probability

Goal-directed behavior is influenced by environmental cues: in particular, cues associated with a reward can bias action choice toward actions directed to that same reward. This effect is studied experimentally as specific Pavlovian-instrumental transfer (specific PIT). We have investigated the hypothesis that cues associated to an outcome elicit specific PIT by rising the estimates of reward probability of actions associated to that same outcome. In other words, cues reduce the uncertainty on the efficacy of instrumental actions. We used a human PIT experimental paradigm to test the effects of two different instrumental contingencies: one group of participants had a 33% chance of being rewarded for each button press, while another had a 100% chance. The group trained with 33% reward probability showed a stronger PIT effect than the 100% group, in line with the hypothesis that Pavlovian cues linked to an outcome work by reducing the uncertainty of receiving it. The 100% group also showed a significant specific PIT effect, highlighting additional factors that could contribute to specific PIT beyond the instrumental training contingency. We hypothesize that the uncertainty about reward delivery due to testing in extinction might be one of these factors. These results add knowledge on how goal-directed behavior is influenced by the presence of environmental cues associated with a reward: such influence depends on the probability that we have to reach a reward, namely when there is less chance of getting a reward we are more influenced by cues associated with it, and vice versa