A Bio-inspired architecture for adaptive quadruped locomotion over irregular terrain

Tese de doutoramento Programa Doutoral em Engenharia Electrónica e de ComputadoresThis thesis presents a tentative advancement on walking control of small quadruped and humanoid position controlled robots, addressing the problem of walk generation by combining dynamical systems approach to motor control, insights from neuroethology research on vertebrate motor control and computational neuroscience. Legged locomotion is a complex dynamical process, despite the seemingly easy and natural behavior of the constantly present proficiency of legged animals. Research on locomotion and motor control in vertebrate animals from the last decades has brought to the attention of roboticists, the potential of the nature’s solutions to robot applications. Recent knowledge on the organization of complex motor generation and on mechanics and dynamics of locomotion has been successfully exploited to pursue agile robot locomotion. The work presented on this manuscript is part of an effort on the pursuit in devising a general, model free solution, for the generation of robust and adaptable walking behaviors. It strives to devise a practical solution applicable to real robots, such as the Sony’s quadruped AIBO and Robotis’ DARwIn- OP humanoid. The discussed solutions are inspired on the functional description of the vertebrate neural systems, especially on the concept of Central Pattern Generators (CPGs), their structure and organization, components and sensorimotor interactions. They use a dynamical systems approach for the implementation of the controller, especially on the use of nonlinear oscillators and exploitation of their properties. The main topics of this thesis are divided into three parts. The first part concerns quadruped locomotion, extending a previous CPG solution using nonlinear oscillators, and discussing an organization on three hierarchical levels of abstraction, sharing the purpose and knowledge of other works. It proposes a CPG solution which generates the walking motion for the whole-leg, which is then organized in a network for the production of quadrupedal gaits. The devised solution is able to produce goal-oriented locomotion and navigation as directed through highlevel commands from local planning methods. In this part, active balance on a standing quadruped is also addressed, proposing a method based on dynamical systems approach, exploring the integration of parallel postural mechanisms from several sensory modalities. The solutions are all successfully tested on the quadruped AIBO robot. In the second part, is addressed bipedal walking for humanoid robots. A CPG solution for biped walking based on the concept of motion primitives is proposed, loosely based on the idea of synergistic organization of vertebrate motor control. A set of motion primitives is shown to produce the basis of simple biped walking, and generalizable to goal-oriented walking. Using the proposed CPG, the inclusion of feedback mechanisms is investigated, for modulation and adaptation of walking, through phase transition control according to foot load information. The proposed solution is validated on the humanoid DARwIn-OP, and its application is evaluated within a whole-body control framework. The third part sidesteps a little from the other two topics. It discusses the CPG as having an alternative role to direct motor generation in locomotion, serving instead as a processor of sensory information for a feedback based motor generation. In this work a reflex based walking controller is devised for the compliant quadruped Oncilla robot, to serve as purely feedback based walking generation. The capabilities of the reflex network are shown in simulations, followed by a brief discussion on its limitations, and how they could be improved by the inclusion of a CPG.Esta tese apresenta uma tentativa de avanço no controlo de locomoção para pequenos robôs quadrúpedes e bipedes controlados por posição, endereçando o problema de geração motora através da combinação da abordagem de sistemas dinâmicos para o controlo motor, e perspectivas de investigação neuroetologia no controlo motor vertebrado e neurociência computacional. Andar é um processo dinâmico e complexo, apesar de parecer um comportamento fácil e natural devido à presença constante de animais proficientes em locomoção terrestre. Investigação na área da locomoção e controlo motor em animais vertebrados nas últimas decadas, trouxe à atenção dos roboticistas o potencial das soluções encontradas pela natureza aplicadas a aplicações robóticas. Conhecimento recente relativo à geração de comportamentos motores complexos e da mecânica da locomoção tem sido explorada com sucesso na procura de locomoção ágil na robótica. O trabalho apresentado neste documento é parte de um esforço no desenho de uma solução geral, e independente de modelos, para a geração robusta e adaptável de comportamentos locomotores. O foco é desenhar uma solução prática, aplicável a robôs reais, tal como o quadrúpede Sony AIBO e o humanóide DARwIn-OP. As soluções discutidas são inspiradas na descrição funcional do sistema nervoso vertebrado, especialmente no conceito de Central Pattern Generators (CPGs), a sua estrutura e organização, componentes e interacção sensorimotora. Estas soluções são implementadas usando uma abordagem em sistemas dinâmicos, focandos o uso de osciladores não lineares e a explorando as suas propriedades. Os tópicos principais desta tese estão divididos em três partes. A primeira parte explora o tema de locomoção quadrúpede, expandindo soluções prévias de CPGs usando osciladores não lineares, e discutindo uma organização em três níveis de abstracção, partilhando as ideias de outros trabalhos. Propõe uma solução de CPG que gera os movimentos locomotores para uma perna, que é depois organizado numa rede, para a produção de marcha quadrúpede. A solução concebida é capaz de produzir locomoção e navegação, comandada através de comandos de alto nível, produzidos por métodos de planeamento local. Nesta parte também endereçado o problema da manutenção do equilíbrio num robô quadrúpede parado, propondo um método baseado na abordagem em sistemas dinâmicos, explorando a integração de mecanismos posturais em paralelo, provenientes de várias modalidades sensoriais. As soluções são todas testadas com sucesso no robô quadrupede AIBO. Na segunda parte é endereçado o problema de locomoção bípede. É proposto um CPG baseado no conceito de motion primitives, baseadas na ideia de uma organização sinergética do controlo motor vertebrado. Um conjunto de motion primitives é usado para produzir a base de uma locomoção bípede simples e generalizável para navegação. Esta proposta de CPG é usada para de seguida se investigar a inclusão de mecanismos de feedback para modulação e adaptação da marcha, através do controlo de transições entre fases, de acordo com a informação de carga dos pés. A solução proposta é validada no robô humanóide DARwIn-OP, e a sua aplicação no contexto do framework de whole-body control é também avaliada. A terceira parte desvia um pouco dos outros dois tópicos. Discute o CPG como tendo um papel alternativo ao controlo motor directo, servindo em vez como um processador de informação sensorial para um mecanismo de locomoção puramente em feedback. Neste trabalho é desenhado um controlador baseado em reflexos para a geração da marcha de um quadrúpede compliant. As suas capacidades são demonstradas em simulação, seguidas por uma breve discussão nas suas limitações, e como estas podem ser ultrapassadas pela inclusão de um CPG.The presented work was possible thanks to the support by the Portuguese Science and Technology Foundation through the PhD grant SFRH/BD/62047/2009

Motion representation with spiking neural networks for grasping and manipulation

Die Natur bedient sich Millionen von Jahren der Evolution, um adaptive physikalische Systeme mit effizienten Steuerungsstrategien zu erzeugen. Im Gegensatz zur konventionellen Robotik plant der Mensch nicht einfach eine Bewegung und führt sie aus, sondern es gibt eine Kombination aus mehreren Regelkreisen, die zusammenarbeiten, um den Arm zu bewegen und ein Objekt mit der Hand zu greifen. Mit der Forschung an humanoiden und biologisch inspirierten Robotern werden komplexe kinematische Strukturen und komplizierte Aktor- und Sensorsysteme entwickelt. Diese Systeme sind schwierig zu steuern und zu programmieren, und die klassischen Methoden der Robotik können deren Stärken nicht immer optimal ausnutzen. Die neurowissenschaftliche Forschung hat große Fortschritte beim Verständnis der verschiedenen Gehirnregionen und ihrer entsprechenden Funktionen gemacht. Dennoch basieren die meisten Modelle auf groß angelegten Simulationen, die sich auf die Reproduktion der Konnektivität und der statistischen neuronalen Aktivität konzentrieren. Dies öffnet eine Lücke bei der Anwendung verschiedener Paradigmen, um Gehirnmechanismen und Lernprinzipien zu validieren und Funktionsmodelle zur Steuerung von Robotern zu entwickeln. Ein vielversprechendes Paradigma ist die ereignis-basierte Berechnung mit SNNs. SNNs fokussieren sich auf die biologischen Aspekte von Neuronen und replizieren deren Arbeitsweise. Sie sind für spike- basierte Kommunikation ausgelegt und ermöglichen die Erforschung von Mechanismen des Gehirns für das Lernen mittels neuronaler Plastizität. Spike-basierte Kommunikation nutzt hoch parallelisierten Hardware-Optimierungen mittels neuromorpher Chips, die einen geringen Energieverbrauch und schnelle lokale Operationen ermöglichen. In dieser Arbeit werden verschiedene SNNs zur Durchführung von Bewegungss- teuerung für Manipulations- und Greifaufgaben mit einem Roboterarm und einer anthropomorphen Hand vorgestellt. Diese basieren auf biologisch inspirierten funktionalen Modellen des menschlichen Gehirns. Ein Motor-Primitiv wird auf parametrische Weise mit einem Aktivierungsparameter und einer Abbildungsfunktion auf die Roboterkinematik übertragen. Die Topologie des SNNs spiegelt die kinematische Struktur des Roboters wider. Die Steuerung des Roboters erfolgt über das Joint Position Interface. Um komplexe Bewegungen und Verhaltensweisen modellieren zu können, werden die Primitive in verschiedenen Schichten einer Hierarchie angeordnet. Dies ermöglicht die Kombination und Parametrisierung der Primitiven und die Wiederverwendung von einfachen Primitiven für verschiedene Bewegungen. Es gibt verschiedene Aktivierungsmechanismen für den Parameter, der ein Motorprimitiv steuert — willkürliche, rhythmische und reflexartige. Außerdem bestehen verschiedene Möglichkeiten neue Motorprimitive entweder online oder offline zu lernen. Die Bewegung kann entweder als Funktion modelliert oder durch Imitation der menschlichen Ausführung gelernt werden. Die SNNs können in andere Steuerungssysteme integriert oder mit anderen SNNs kombiniert werden. Die Berechnung der inversen Kinematik oder die Validierung von Konfigurationen für die Planung ist nicht erforderlich, da der Motorprimitivraum nur durchführbare Bewegungen hat und keine ungültigen Konfigurationen enthält. Für die Evaluierung wurden folgende Szenarien betrachtet, das Zeigen auf verschiedene Ziele, das Verfolgen einer Trajektorie, das Ausführen von rhythmischen oder sich wiederholenden Bewegungen, das Ausführen von Reflexen und das Greifen von einfachen Objekten. Zusätzlich werden die Modelle des Arms und der Hand kombiniert und erweitert, um die mehrbeinige Fortbewegung als Anwendungsfall der Steuerungsarchitektur mit Motorprimitiven zu modellieren. Als Anwendungen für einen Arm (3 DoFs) wurden die Erzeugung von Zeigebewegungen und das perzeptionsgetriebene Erreichen von Zielen modelliert. Zur Erzeugung von Zeigebewegun- gen wurde ein Basisprimitiv, das auf den Mittelpunkt einer Ebene zeigt, offline mit vier Korrekturprimitiven kombiniert, die eine neue Trajektorie erzeugen. Für das wahrnehmungsgesteuerte Erreichen eines Ziels werden drei Primitive online kombiniert unter Verwendung eines Zielsignals. Als Anwendungen für eine Fünf-Finger-Hand (9 DoFs) wurden individuelle Finger-aktivierungen und Soft-Grasping mit nachgiebiger Steuerung modelliert. Die Greif- bewegungen werden mit Motor-Primitiven in einer Hierarchie modelliert, wobei die Finger-Primitive die Synergien zwischen den Gelenken und die Hand-Primitive die unterschiedlichen Affordanzen zur Koordination der Finger darstellen. Für jeden Finger werden zwei Reflexe hinzugefügt, zum Aktivieren oder Stoppen der Bewegung bei Kontakt und zum Aktivieren der nachgiebigen Steuerung. Dieser Ansatz bietet enorme Flexibilität, da Motorprimitive wiederverwendet, parametrisiert und auf unterschiedliche Weise kombiniert werden können. Neue Primitive können definiert oder gelernt werden. Ein wichtiger Aspekt dieser Arbeit ist, dass im Gegensatz zu Deep Learning und End-to-End-Lernmethoden, keine umfangreichen Datensätze benötigt werden, um neue Bewegungen zu lernen. Durch die Verwendung von Motorprimitiven kann der gleiche Modellierungsansatz für verschiedene Roboter verwendet werden, indem die Abbildung der Primitive auf die Roboterkinematik neu definiert wird. Die Experimente zeigen, dass durch Motor- primitive die Motorsteuerung für die Manipulation, das Greifen und die Lokomotion vereinfacht werden kann. SNNs für Robotikanwendungen ist immer noch ein Diskussionspunkt. Es gibt keinen State-of-the-Art-Lernalgorithmus, es gibt kein Framework ähnlich dem für Deep Learning, und die Parametrisierung von SNNs ist eine Kunst. Nichtsdestotrotz können Robotikanwendungen - wie Manipulation und Greifen - Benchmarks und realistische Szenarien liefern, um neurowissenschaftliche Modelle zu validieren. Außerdem kann die Robotik die Möglichkeiten der ereignis- basierten Berechnung mit SNNs und neuromorpher Hardware nutzen. Die physikalis- che Nachbildung eines biologischen Systems, das vollständig mit SNNs implementiert und auf echten Robotern evaluiert wurde, kann neue Erkenntnisse darüber liefern, wie der Mensch die Motorsteuerung und Sensorverarbeitung durchführt und wie diese in der Robotik angewendet werden können. Modellfreie Bewegungssteuerungen, inspiriert von den Mechanismen des menschlichen Gehirns, können die Programmierung von Robotern verbessern, indem sie die Steuerung adaptiver und flexibler machen

The Benefit of Combining Neuronal Feedback and Feed-Forward Control for Robustness in Step Down Perturbations of Simulated Human Walking Depends on the Muscle Function

It is often assumed that the spinal control of human locomotion combines feed-forward central pattern generation with sensory feedback via muscle reflexes. However, the actual contribution of each component to the generation and stabilization of gait is not well understood, as direct experimental evidence for either is difficult to obtain. We here investigate the relative contribution of the two components to gait stability in a simulation model of human walking. Specifically, we hypothesize that a simple linear combination of feedback and feed-forward control at the level of the spinal cord improves the reaction to unexpected step down perturbations. In previous work, we found preliminary evidence supporting this hypothesis when studying a very reduced model of rebounding behaviors. In the present work, we investigate if the evidence extends to a more realistic model of human walking. We revisit a model that has previously been published and relies on spinal feedback control to generate walking. We extend the control of this model with a feed-forward muscle activation pattern. The feed-forward pattern is recorded from the unperturbed feedback control output. We find that the improvement in the robustness of the walking model with respect to step down perturbations depends on the ratio between the two strategies and on the muscle to which they are applied. The results suggest that combining feed-forward and feedback control is not guaranteed to improve locomotion, as the beneficial effects are dependent on the muscle and its function during walking

Neuro-musculoskeletal Models: A Tool to Study the Contribution of Muscle Dynamics to Biological Motor Control

Das Verständnis der Prinzipien, die menschlichen Bewegungen zugrunde liegen, ist die Basis für die Untersuchung der Entstehung gesunder Bewegungen und, was noch wichtiger ist, der Entstehung motorischer Störungen aufgrund neurodegenerativer Erkrankungen oder anderer pathologischer Zustände. Dieses Verständnis zu erlangen ist jedoch herausfordernd, da menschliche Bewegung das Ergebnis eines komplexen, dynamischen Zusammenspiels von biochemischen und biophysikalischen Prozessen im Bewegungsapparat und den hierarchisch organisierten neuronalen Kontrollstrukturen ist. Um die Wechselwirkungen dieser Strukturen zu untersuchen, bieten Computersimulationen, die mathematische Modelle des muskuloskelettalen Systems mit Modellen seiner neuronalen Kontrolle kombinieren, ein nützliches Werkzeug. In diesen Simulationen können einzelne Prozesse oder ganze Funktionseinheiten deaktiviert oder gestört werden, um die Auswirkungen dieser Veränderungen auf die vorhergesagten Bewegungen zu untersuchen. Die Plausibilität der zugrundeliegenden Modelle kann durch den Vergleich der Simulationen mit Daten aus Humanexperimenten und biologisch inspirierten Robotermodellen beurteilt werden. Das Ziel dieser Arbeit war es, neuro-muskuloskelettale Modelle als Hilfsmittel zur Untersuchung von Konzepten der biologischen Bewegungskontrolle zu verwenden. Von besonderem Interesse war der Beitrag der Muskeldynamik zur Kontrolle, d.h. wie die intrinsischen muskuloskelettalen Eigenschaften die motorische Kontrolle vereinfachen, ohne die motorische Genauigkeit zu beeinträchtigen. Zusätzlich wurde der Einfluss propriozeptiver Reflexmechanismen in verschiedenen Szenarien getestet. Die verwendeten neuro-muskuloskelettalen Modelle sind eine Kombination von Mehrkörpermodellen der Muskel-Skelett-Struktur des Armes oder des ganzen Körpers mit einem biologisch inspirierten hybriden Gleichgewichtspunkt-Kontrollmodell. In einer Simulationsstudie stellten wir fest, dass unser Armmodell realistische Reaktionen auf externe mechanische Störungen für zielgerichtete Bewegungen mit einem Freiheitsgrad vorhersagt. Auf dieser Grundlage simulierten wir die Anwendung von tragbaren Assistenzgeräten zur Kompensation unerwünschter Hypermetrie, d.h. einer überschießenden Reaktion bei zielgerichteten Bewegungen im Zusammenhang mit zerebellärer Ataxie und anderen neurodegenerativen Erkrankungen. Wir fanden heraus, dass einfache mechanische Hilfsmittel ausreichend sein können, um die Hypermetrien auf ein normales Niveau zu reduzieren. Wir stellten jedoch auch fest, dass die Größe des Drehmoments und der Kraft, die zur Kompensation der Störung erforderlich sind, möglicherweise deutlich unterschätzt wird, wenn die Muskel-Sehnen-Eigenschaften im Modell nicht berücksichtigt werden. Die Ergebnisse dieser beiden Studien bestätigten die Hypothese aus der Literatur, dass die Morphologie des Muskel-Skelett-Systems signifikant zur Bewegung beiträgt und somit deren Kontrolle vereinfacht. Deshalb haben wir einen informationstheoretischen Ansatz verwendet, um diesen Beitrag für zielgerichtete und oszillatorische Armbewegungen mit zwei Freiheitsgraden zu charakterisieren. Die Ergebnisse bestätigten, dass die unteren Kontrollebenen, einschließlich der Muskeln und ihrer Aktivierungsdynamik, wichtige Beiträge zur gesamten Kontrollhierarchie leisten. Beispielsweise führt ein einfaches, stückweise konstantes Muskelstimulationssignal, das nur wenig Information enthält, zu einer geschmeidigen Bewegung. Der physiologische Detailgrad, der in unseren Muskel-Skelett-Modellen enthalten ist, ermöglicht nicht nur die Untersuchung von Theorien zur motorischen Kontrolle, sondern auch die Untersuchung von Größen wie inneren Kräften in Muskeln und Gelenken, die experimentell normalerweise nicht zugänglich sind. Diese Größen sind zum Beispiel in der Ergonomie und für die Entwicklung von Assistenzgeräten von Bedeutung. In einer Ganzkörpersimulationsstudie untersuchten wir den Beitrag des Dehnungsreflexes zu den resultierenden Muskelkräften bei einer aktiven externen Repositionierung des Hüftgelenkes für einen großen Bereich von Bewegungsgeschwindigkeiten. Wir fanden heraus, dass der relative Kraftbeitrag des Feedback-Mechanismus vom modellierten kognitiven Zustand abhängig ist und einen nicht vernachlässigbaren Beitrag leistet, insbesondere bei hohen Repositionsgeschwindigkeiten. Die Gesamtheit unserer Ergebnisse zeigt, dass die Eigenschaften des Bewegungsapparates signifikant zur Erzeugung und Kontrolle von Bewegung beitragen und es daher wichtig ist, sie bei der Modellierung der menschlichen Bewegung zu berücksichtigen. Daher sprechen die Ergebnisse für die Kombination eines physiologisch fundierten biomechanischen und biochemischen Modells des Bewegungsapparates mit biologisch inspirierten Konzepten der motorischen Kontrolle. Diese Computersimulationen haben sich als ein nützliches Werkzeug zum Verständnis der Prozesse erwiesen, die der Erzeugung gesunder und pathologisch beeinträchtigter menschlicher Bewegungen zugrunde liegen.Understanding the principles underlying human movement is the basis for investigating the generation of healthy movements and, more importantly, the origins of motor disorders due to neurodegenerative diseases or other pathological conditions. However, gaining this understanding is challenging since human motion is the result of a complex, dynamic interplay of biochemical and biophysical processes in the musculoskeletal system and the hierarchically organized neuronal control structures. To study the interactions of these structures, computer simulations that combine mathematical models of the musculoskeletal system with models of its neuronal control provide a useful tool. In these simulations, single processes or whole functional units can be disabled or perturbed to study the effects of these changes on the predicted movements. The plausibility of the underlying models can be assessed by comparing the simulations with data from human experiments and biologically inspired robotic models. The purpose of this work was to use neuro-musculoskeletal models as tools to study concepts of biological motor control. Of particular interest was the contribution of muscle dynamics to the control, i.e. how the intrinsic musculoskeletal properties simplify motor control without compromising motor accuracy. Additionally, the influence of proprioceptive reflex mechanisms was tested in different scenarios. The neuro-musculoskeletal models that were used are a combination of multibody musculoskeletal models of the arm or the whole body with a biologically inspired hybrid equilibrium-point controller. In a simulation study, we found that our arm model predicts realistic reactions to external mechanical perturbations while performing one-degree-of-freedom goal-directed movements. Based on this, we simulated the application of wearable assistive devices to compensate for unwanted hypermetria, i.e. an overshooting response in goal-directed movements associated with cerebellar ataxia and other neurodegenerative disorders. We found that simple mechanical devices may be sufficient to reduce the hypermetria to a normal level. However, we also observed that the magnitude of torque and power that is required to compensate for the disorder may be significantly underestimated if muscle-tendon characteristics are not considered in the computational model. The results of these two studies confirmed the hypothesis from literature that the morphology of musculoskeletal systems significantly contributes to the movement and thus simplifies its control. Therefore, we made use of the information-theoretic approach of quantifying morphological computation to characterize this contribution for goal-directed and oscillatory arm movements with two degrees of freedom. The results asserted that the lower levels of control, including the muscles and their activation dynamics, make important contributions to the overall control hierarchy. For example, a simple piecewise constant muscle stimulation signal that contains only little information results in a smooth movement. The level of physiological detail that is included in our musculoskeletal models does not only allow for the examination of motor control theories but also makes it possible to study quantities like internal forces in muscles and joints, usually not experimentally accessible. These quantities are relevant, for example, in ergonomics and for the development of assistive devices. In a whole-body simulation study, we investigated the contribution of the stretch reflex to the resulting muscle forces during active external repositioning of the hip joint for a large range of movement velocities. We found that, depending on the modeled cognitive state, the relative force contribution of the feedback mechanism is not negligible, especially for high repositioning velocities. The entirety of our results shows that the properties of the musculoskeletal system significantly contribute to the generation and control of movement and, thus, it is important to take them into account when modeling human movement. Therefore, the results advocate the combination of a physiologically well-founded biomechanical and biochemical model of the musculoskeletal system with biologically inspired concepts of motor control. These computer simulations have proven to be a useful tool towards the comprehension of the processes underlying the generation of healthy and pathologically impaired human movements

Neural Circuit Architectural Priors for Embodied Control

Artificial neural networks for motor control usually adopt generic architectures like fully connected MLPs. While general, these tabula rasa architectures rely on large amounts of experience to learn, are not easily transferable to new bodies, and have internal dynamics that are difficult to interpret. In nature, animals are born with highly structured connectivity in their nervous systems shaped by evolution; this innate circuitry acts synergistically with learning mechanisms to provide inductive biases that enable most animals to function well soon after birth and learn efficiently. Convolutional networks inspired by visual circuitry have encoded useful biases for vision. However, it is unknown the extent to which ANN architectures inspired by neural circuitry can yield useful biases for other AI domains. In this work, we ask what advantages biologically inspired ANN architecture can provide in the domain of motor control. Specifically, we translate C. elegans locomotion circuits into an ANN model controlling a simulated Swimmer agent. On a locomotion task, our architecture achieves good initial performance and asymptotic performance comparable with MLPs, while dramatically improving data efficiency and requiring orders of magnitude fewer parameters. Our architecture is interpretable and transfers to new body designs. An ablation analysis shows that constrained excitation/inhibition is crucial for learning, while weight initialization contributes to good initial performance. Our work demonstrates several advantages of biologically inspired ANN architecture and encourages future work in more complex embodied control.Comment: NeurIPS 202

Pattern Generation for Rough Terrain Locomotion with Quadrupedal Robots:Morphed Oscillators & Sensory Feedback

Animals are able to locomote on rough terrain without any apparent difficulty, but this does not mean that the locomotor system is simple. The locomotor system is actually a complex multi-input multi-output closed-loop control system. This thesis is dedicated to the design of controllers for rough terrain locomotion, for animal-like quadrupedal robots. We choose the problem of blind rough terrain locomotion as the target of experiments. Blind rough terrain locomotion requires continuous and momentary corrections of leg movements and body posture, and provides a proper testbed to observe the interaction of different mod- ules involved in locomotion control. As for the specific case of this thesis, we have to design rough terrain locomotion controllers that do not depend on the torque-control capability, have limited sensing, and have to be computationally light, all due to the properties of the robotics platform that we use. We propose that a robust locomotion controller, taking into account the aforementioned constraints, is constructed from at least three modules: 1) pattern generators providing the nominal patterns of locomotion; 2) A posture controller continuously adjusting the attitude of the body and keeping the robot upright; and 3) quick reflexes to react to unwanted momentary events like stumbling or an external force impulse. We introduce the framework of morphed oscillators to systematize the design of pattern gen- erators realized as coupled nonlinear oscillators. Morphed oscillators are nonlinear oscillators that can encode arbitrary limit cycle shapes and simultaneously have infinitely large basins of attraction. More importantly, they provide dynamical systems that can assume the role of feedforward locomotion controllers known as Central Pattern Generators (CPGs), and accept discontinuous sensory feedback without the risk of producing discontinuous output. On top of the CPG module, we add a kinematic model-based posture controller inspired by virtual model control (VMC), to control the body attitude. Virtual model control produces forces, and through the application of the Jacobian transpose method, generates torques which are added to the CPG torques. However, because our robots do not have a torque- control capability, we adapt the posture controller by producing task-space velocities instead of forces, thus generating joint-space velocity feedback signals. Since the CPG model used for locomotion generates joint velocities and accepts feedback without the fear of instability or discontinuity, the posture control feedback is easily integrated into the CPG dynamics. More- over, we introduce feedback signals for adjusting the posture by shifting the trunk positions, which directly update the limit cycle shape of the morphed oscillator nodes of the CPG. Reflexes are added, with minimal complexity, to react to momentary events. We implement simple impulse-based feedback mechanisms inspired by animals and successful rough terrain robots to 1) flex the leg if the robot is stumbling (stumbling correction reflex); 2) extend the leg if an expected contact is missing (leg extension reflex); or 3) initiate a lateral stepping sequence in response to a lateral external perturbation. CPG, posture controller, and reflexes are put together in a modular control architecture alongside additional modules that estimate inclination, control speed and direction, maintain timing of feedback signals, etc. [...

Maturational constraints for motor learning in high-dimensions: the case of biped walking

International audienceThis paper outlines a new developmental approach to motor learning in very high-dimensions, applied to learning biped locomotion in humanoid robots. This approach relies on the formal modeling and coupling of several advanced mechanisms inspired from human development for actively controlling the growth of complexity and harnessing the curse of dimensionality: 1) Maturational constraints for the progressive release of new degrees of freedoms and progressive increase their explorable ranges; 2) Motor synergies; 3) Morphological computation; 4) Social Guidance. An experimental setup involving a simulated version of the Acroban Humanoid robot is presented