Evolution of behaviour trees for collective transport with robot swarms

Swarm robotics, inspired by natural swarms, studies how simple robots with only local sensing capabilities and no centralised control may cooperate to achieve a common goal in a robust, flexible and scalable way. A robotic system with such properties constitutes an interesting alternative to the platforms currently used in warehouses and distribution plants, where workers are at risk of injury and the space and budget available for complex infrastructure is limited. Swarm behaviours are emergent, which makes the task of designing the controllers of the individual robots particularly challenging. In this work, we propose a method for a swarm of industrial robots to collectively transport items that are too heavy for a single agent to carry. We use artificial evolution to evolve behaviour tree controllers for the swarm agents and we conceive a decentralised coordination strategy based on local messaging. The method is developed and tested in a simulated environment, using a combination of freely available open source libraries. The results show that a homogeneous swarm equipped with our solution is able to successfully find the items placed in the environment and transport them back to a nest region. We suggest further tuning of the evolutionary parameters and the introduction of noise in the simulator in order to improve the observed performance of the controllers in simulation and their expected performance the real worldObjectius de Desenvolupament Sostenible::9 - Indústria, Innovació i Infraestructur

An adaptation reference-point-based multiobjective evolutionary algorithm

The file attached to this record is the author's final peer reviewed version. The Publisher's final version can be found by following the DOI link.It is well known that maintaining a good balance between convergence and diversity is crucial to the performance of multiobjective optimization algorithms (MOEAs). However, the Pareto front (PF) of multiobjective optimization problems (MOPs) affects the performance of MOEAs, especially reference point-based ones. This paper proposes a reference-point-based adaptive method to study the PF of MOPs according to the candidate solutions of the population. In addition, the proportion and angle function presented selects elites during environmental selection. Compared with five state-of-the-art MOEAs, the proposed algorithm shows highly competitive effectiveness on MOPs with six complex characteristics

Toward Future Automatic Warehouses: An Autonomous Depalletizing System Based on Mobile Manipulation and 3D Perception

This paper presents a mobile manipulation platform designed for autonomous depalletizing tasks. The proposed solution integrates machine vision, control and mechanical components to increase flexibility and ease of deployment in industrial environments such as warehouses. A collaborative robot mounted on a mobile base is proposed, equipped with a simple manipulation tool and a 3D in-hand vision system that detects parcel boxes on a pallet, and that pulls them one by one on the mobile base for transportation. The robot setup allows to avoid the cumbersome implementation of pick-and-place operations, since it does not require lifting the boxes. The 3D vision system is used to provide an initial estimation of the pose of the boxes on the top layer of the pallet, and to accurately detect the separation between the boxes for manipulation. Force measurement provided by the robot together with admittance control are exploited to verify the correct execution of the manipulation task. The proposed system was implemented and tested in a simplified laboratory scenario and the results of experimental trials are reported

Enhancing human motion perception in model predictive motion cueing algorithm

In this research, the predictive motion cueing algorithm has been optimized for improving a human driver sensation based on the mathematical model. The Model Predictive Control cost function and the prediction and control horizons are optimized. The future trajectory is predicted by artificial intelligence and the related control actions are applied beforehand in real-time

Extraction d'informations spatio-temporelles du mouvement avec un réseau de neurones à spike : application sur une tâche de prédiction de trajectoire de balles

L'intelligence artificielle regroupe l'ensemble des techniques et théories permettant à un système artificiel d'agir de façon dite intelligente, c'est-à-dire comme un humain ou un animal le ferait. Ce domaine de recherche a fait récemment l'objet de grandes avancées qui ont permis de surpasser de nombreuses méthodes de traitement de l'information. Plus particulièrement pour la catégorie des réseaux de neurones qui ont fait preuve de performances impressionnantes et d'une forte capacité à s'adapter à différents cas d'usages. Ces réseaux de neurones cherchent à imiter le fonctionnement des neurones du cerveau humain et peuvent apprendre des données qui leur sont fournies pour répondre à différents problèmes. Cet attrait pour ces méthodes s'est notamment amplifié ces dernières années avec l'arrivée des réseaux de neurones artificiels profonds et notamment dans le domaine du traitement de l'information visuelle avec les réseaux de neurones convolutionnels. Cependant, la quête de puissance des DNNs et CNNs les ont amenée à s'éloigner de leur inspiration biologique initiale. Ainsi, les réseaux de neurones artificiels ne ressemblent désormais plus au fonctionnement du cerveau humain, consomment beaucoup d'énergie et nécessitent de nombreuses données pour les entraîner. Une réponse à ces différents problèmes a été proposée et celle-ci vient encore une fois du biomimétisme. En effet, celle-ci consiste à s'inspirer de la méthode de communication de l'information des neurones. Les réseaux de neurones à spike se sont alors développés. Considérés comme la troisième génération de réseaux de neurones, ils utilisent les spikes pour transmettre l'information entre les neurones, qui sont des événements binaires et inscrits temporellement, contrairement aux ANNs qui utilisaient des valeurs analogiques et continues. Le développement des SNNs s'est accompagné de l'utilisation de la règle d'apprentissage Spike-Timing-Dependent-Plasticity (STDP), qui a pour particularité d'être bio-inspirée, d'utiliser l'information temporelle contenue dans les spikes et d'être non-supervisée. De nouveaux capteurs et cartes neuromorphiques ont ensuite émergé permettant de profiter pleinement des avantages présentés par les SNNs et par le traitement de l'information événementielle de façon plus générale. De récentes études ont montré que les SNNs pouvaient extraire de l'information à partir d'information visuelle sur des images ou en utilisant des caméras événementielles. L'objectif de cette thèse est d'utiliser et d'adapter une nouvelle caméra événementielle développée par l'entreprise Yumain à Dijon pour effectuer de l'analyse et de la prédiction de trajectoires de balles dans un contexte sportif. En effet, la capacité de prédiction est primordiale dans le sport afin d'anticiper le comportement de l'adversaire ou la trajectoire d'un ballon. Les experts sportifs notamment, présentent de fortes capacités de prédiction dans leur sport de prédilection. Ainsi l'objectif est d'évaluer la capacité de notre solution à prédire la trajectoire d'un ballon et de comparer les performances avec des participants experts ou non en sport de balle, nécessitant une anticipation de la trajectoire de la balle. Ce manuscrit de thèse reviendra donc dans un premier temps sur l'état de l'art actuel des traitements événementiels, dont notamment les SNNs et les caméras asynchrones événementielles. La caméra NeuroSoc sera ensuite présentée, ainsi que le SNN utilisé durant cette thèse. Puis nous montrerons que ce type de SNN permet d'extraire de l'information à partir de spikes générés par de l'information visuelle, que ce soit sur des simulations ou depuis des acquisitions réelles. Ainsi, nous montrerons que l'information extraite permet de prédire la trajectoire de la balle et que cette prédiction est plus précise que celles effectuées par des participants humains. Enfin, quelques limites de la caméra NeuroSoc utilisée durant cette thèse seront exposés, ainsi que des propositions pour améliorer cette dernière.Artificial intelligence covers all the techniques and theories that enable an artificial system to act in a so-called intelligent way, i.e., as a human or an animal would. This field of research has recently made significant progress which have enabled it to surpass many information processing methods. Specifically, the category of artificial neural networks (ANN) has shown impressive capabilities and strong abilities to adapt to different use cases. These neural networks seek to mimic the processing of neurons in the human brain and can learn from provided data to solve various tasks. This attraction for these methods has notably increased in recent years with the arrival of deep neural networks (DNN), notably in visual information processing with convolutional neural networks (CNN). However, the methods currently used by DNNs and CNNs no longer mimic the human brain's processing, use a lot of energy, and require a lot of data to train them. An answer to these different limits has been proposed. This one comes from bio-mimicry, once again, as it consists of being inspired by the information communication method of neurons. Spiking neural networks (SNN) were then developed. Considered as the third generation of neural networks, they use spikes (action potentials) to transmit information between neurons, which are binary events with a temporal information, as opposed to ANNs that used analog and continuous values. The development of SNNs was accompanied by the spike timing dependant plasticity (STDP) learning rule. This one has the particularity of being bio-inspired, using the temporal information contained in the spikes and being unsupervised. New sensors and neuromorphic chips have emerged to take full advantage of the benefits offered by SNNs and event-driven information processing more generally. Recent studies have shown that SNNs can extract information from visual stimuli on images or by using event-driven cameras. The objective of this thesis is to use and adapt a new event-driven camera developed by the company Yumain, located in Dijon, to perform analysis and prediction of ball trajectories in a sports context. Indeed, the ability of prediction is essential while practicing sport in order to anticipate the opponent's behavior or the trajectory of a ball. Sports experts, particularly, have strong predictive skills in their favorite sport. Thus the objective is to evaluate the capacity of our solution on the ball's trajectory prediction task and compare the performances with expert and/or non-expert participants. Fisrt of all, this thesis manuscript will review the current state of the art of event-driven processing, including event-driven cameras and asynchronous cameras. Then, the NeuroSoc camera will be presented, along with the SNN used during this thesis. Afterward, we will show that this type of camera allows extracting information from spikes generated by visual information, either on simulations or from real acquisitions. Thus, we will show that the extracted information allows predicting the ball's trajectory and that this prediction is more accurate than those made by human participants. Finally, some limitations of the NeuroSoc camera used during this thesis will be presented, along with some proposals to improve it

Υπολογιστικές Μελέτες σε Συζευγμένους με G-Πρωτεΐνες Υποδοχείς (GPCRs)

Στα πλαίσια της παρούσας διατριβής μελετήθηκε εκτενώς, με υπολογιστικές μεθόδους, η πολύ ενδιαφέρουσα υπεροικογένεια των GPCRs, καθώς και οι G-πρωτεΐνες. Αναπτύχθηκαν δύο μέθοδοι: Η μέθοδος GPCRpipe (http://bioinformatics.biol.uoa.gr/GPCRpipe/) χαρακτηρίζει πρωτεΐνες ως πιθανούς GPCRs με μόνη πληροφορία την αλληλουχία, και στηρίζεται σε ειδικά μοτίβα που περιγράφονται από pHMMs της βάσης Pfam, καθώς και σε ένα HMM το οποίο έχει κατασκευαστεί ειδικά για τους GPCRs και επιτρέπει την πρόγνωση της ακριβούς τους τοπολογίας. Η μέθοδος GprotPRED ( http://bioinformatics.biol.uoa.gr/GprotPRED/) σχεδιάστηκε για να εντοπίζει με ταχύτητα και αξιοπιστία G-πρωτεΐνες με μόνη πληροφορία την αλληλουχία τους. Ειδικότερα, με τα ειδικά κατασκευασμένα pHMMs που περιλαμβάνει, μπορεί να εντοπίσει Gα υπομονάδες και μάλιστα να τις ταξινομήσει στις τέσσερις βασικές οικογένειες που συναντώνται στα θηλαστικά (Gs, Gi/o, Gq/11, G12/13), ενώ, με τα δύο ειδικά κατασκευασμένα, από την εργασία μας, pHMMs για τη β και τη γ υπομονάδα, ο εντοπισμός G-πρωτεϊνών είναι ολοκληρωμένος. Ο τεράστιος όγκος δεδομένων που αφορούν τους συζευγμένους με G-πρωτεΐνες υποδοχείς οδήγησε στη δημιουργία δύο νέων βάσεων δεδομένων: Η Human-gpDB είναι διαθέσιμη στον ιστότοπο http://bioinformatics.biol.uoa.gr/human_gpdb/ και περιλαμβάνει πληροφορίες για ανθρώπινους GPCRs, G-πρωτεΐνες και εκτελεστές και τις μεταξύ τους αλληλεπιδράσεις. Η PLHG-DB (http://bioinformatics.bio.uoa.gr/plhg_db/) περιλαμβάνει τους πεπτιδικούς υποκαταστάτες των ανθρώπινων GPCRs. Συγκεκριμένα, πληροφορίες που αφορούν την ακολουθία του πεπτιδικού υποκαταστάτη, συχνά τη λειτουργία αυτού, το προπεπτίδιο από το οποίο προέρχεται, καθώς και πληροφορίες για την αλληλεπίδραση με τον υποδοχέα, όλα συνοδευόμενα από αντίστοιχες βιβλιογραφικές αναφορές, παρέχονται στο χρήστη. Στη συνέχεια, μελετήθηκαν τόσο οι δομές όσο και οι αλληλουχίες των G-πρωτεϊνών, και αναγνωρίστηκαν στην επιφάνεια των Gα υπομονάδων μια σειρά από περιοχές και κατάλοιπα που μπορούν σε πολλές περιπτώσεις να αλληλεπιδράσουν τόσο με GPCRs όσο και με εκτελεστές. Η σύγκριση της αλληλουχίας και της δομής αυτών των περιοχών ανάμεσα σε διαφορετικές Gα υπομονάδες υποδεικνύει πως η ετερογένειά τους μπορεί να επηρεάσει τις αλληλεπιδράσεις τους με εκτελεστές και ίσως με υποδοχείς. Τέλος, η αξιοσημείωτη ετερογένεια των ηλεκτροστατικών ιδιοτήτων, η συμπληρωματικότητά τους με τις ηλεκτροστατικές ιδιότητες των αντίστοιχων αλληλεπιδρώντων μορίων, αλλά και η ενεργειακή ανάλυση των συμπλόκων τους, προτείνουν πως το ηλεκτροστατικό δυναμικό είναι ίσως καθοριστικής σημασίας παράγοντας στις αλληλεπιδράσεις των G-πρωτεϊνών. Τέλος, μελετήθηκαν οι παρερμηνεύσιμοι SNPs των ανθρώπινων GPCRs υποδοχέων της Κατηγορίας Α και η συσχέτισή τους με ασθένειες. Συγκεντρώθηκαν 650 ανθρώπινοι, class A GPCRs, από τις βάσεις δεδομένων UniProtKB/SwissProt και RefSeq, και 21746 παρερμηνεύσιμοι SNPs που εντοπίστηκαν σε αυτούς μέσω των βάσεων dbSNP, UniProtKB/SwissProt, SNPdbe και ClinVar. Ύστερα από στατιστική μελέτη, εντοπίσαμε μία «προτίμηση» εμφάνισής τους σε συγκεκριμένες τοπολογικές περιοχές (ενδοκυττάριοι βρόχοι), ενώ σε κάποιες άλλες υπάρχει στατιστικά μειωμένη εμφάνιση αυτών (διαμεμβρανικά τμήματα). Για 39 από τους υποδοχείς βρέθηκαν 441 παρερμηνεύσιμοι SNPs οι οποίοι σχετίζονται με ασθένειες. Σε αυτό το σύνολο έγινε οπτικοποίηση των SNPs σε διαγράμματα δευτεροταγούς δομής και σε τρισδιάστατα μοντέλα και παρατηρήθηκε σε συγκεκριμένους υποδοχείς μια «συγκέντρωση» των πολυμορφισμών σε ορισμένες περιοχές στο χώρο.In the context of this thesis, using computational methods, we studied extensively, the very interesting superfamily of GPCRs and their partners, G-proteins. Two methods were developed: GPCRpipe (http://bioinformatics.biol.uoa.gr/GPCRpipe/) characterizes proteins as probable GPCRs, using only their sequence as input. It is based on specific patterns described by Pfam pHMMs and on a specially designed by our work GPCR specific HMM, which allows the prediction of their topology. GprotPRED (http://bioinformatics.biol.uoa.gr/GprotPRED/) was designed to accurately detect G-proteins with solely their sequence as input. Using the specific pHMMs that were built, it detects Gα proteins, and classifies them in the four basic mammal families (Gs, Gi/o, Gq/11, G12/13). Moreover, with two additional pHMMs for the β and γ subunits, identification of G-proteins is complete. The sheer volume of data on G-coupled protein receptors led to the creation of two new databases: Human-gpDB is available at http://bioinformatics.biol.uoa.gr/human_gpdb/ and contains information regarding human GPCRs, G-proteins, effectors and their interactions. PLHG-DB http://bioinformatics.bio.uoa.gr/plhg_db/) includes all peptide ligands of human GPCRs. Specifically, information on the sequence of the peptide ligand, its function, the precursor protein and the interaction with the respective receptor, all accompanied by the respective citations, is presented to the user. We analyzed the structures and amino acid sequences of G-proteins and identified certain surfaces of Gα subunits that may, in many cases, participate in binding both receptors and effectors. The differences displayed in the sequence and structure of these sites may perhaps account for Gα specificity towards their binding partners. Furthermore, the diversity in the electrostatic potential of Gα surfaces, combined with observed electrostatic properties of various effectors and RGS structures, suggests that electrostatic complementarity is, most probably, an important factor in the regulation of effectors by G-proteins, as well as Gα interactions with RGS proteins. Finally, we studied all missense SNPs on human, class A GPCRs and their associations with diseases. A set of 650 human class A GPCRs from UniProtKB/SwissProt and RefSeq databases along with 21746 missense SNPs through dbSNP, UniProtKB/SwissProt, SNPdbe and ClinVar was created. Using statistical analysis, a tendency for the SNPs to be more abundant in some domains (cytoplasmic loops), and less abundant in others (transmembrane segments) was observed. Consolidation of the data disclosed a total of 441 SNPs, located in 39 receptors, which were found to have a clinical impact or/and an association with disease. For these receptors, both secondary structure diagrams and 3D models were created and all SNPs were mapped on them. In some of the constructed models, pathogenic SNPs tend to accumulate in certain regions