Torque Controlled Locomotion of a Biped Robot with Link Flexibility

When a big and heavy robot moves, it exerts large forces on the environment and on its own structure, its angular momentum can varysubstantially, and even the robot's structure can deform if there is a mechanical weakness. Under these conditions, standard locomotion controllers can fail easily. In this article, we propose a complete control scheme to work with heavy robots in torque control. The full centroidal dynamics is used to generate walking gaits online, link deflections are taken into account to estimate the robot posture and all postural instructions are designed to avoid conflicting with each other, improving balance. These choices reduce model and control errors, allowing our centroidal stabilizer to compensate for the remaining residual errors. The stabilizer and motion generator are designed together to ensure feasibility under the assumption of bounded errors. We deploy this scheme to control the locomotion of the humanoid robot Talos, whose hip links flex when walking. It allows us to reach steps of 35~cm, for an average speed of 25~cm/sec, which is among the best performances so far for torque-controlled electric robots.Comment: IEEE-RAS International Conference on Humanoid Robots (Humanoids 2022), IEEE, Nov 2022, Ginowan, Okinawa, Japa

Whole Body Model Predictive Control with a Memory of Motion: Experiments on a Torque-Controlled Talos

This paper presents the first successful experiment implementing whole-body model predictive control with state feedback on a torque-control humanoid robot. We demonstrate that our control scheme is able to do whole-body target tracking, control the balance in front of strong external perturbations and avoid collision with an external object. The key elements for this success are threefold. First, optimal control over a receding horizon is implemented with Crocoddyl, an optimal control library based on differential dynamics programming, providing state-feedback control in less than 10 msecs. Second, a warm start strategy based on memory of motion has been implemented to overcome the sensitivity of the optimal control solver to initial conditions. Finally, the optimal trajectories are executed by a low-level torque controller, feedbacking on direct torque measurement at high frequency. This paper provides the details of the method, along with analytical benchmarks with the real humanoid robot Talos

Application de méthodes de contrôle prédictif corps complet à la locomotion bipède

National audienceHumanoid robotics has been a very active field of research for the past decades, with important contributions in various scientific areas such as control engineering, biomechanics, computer science and mathematics. Nevertheless, performing reliable biped locomotion in generic environments still remains a challenge due to the real-time constraints and non-convexity of the problem. Because of previous technological limits, early works on walking robots have relied on template models and simplified dynamics. Given the steady increase in hardware computing capacities, complex control designs taking into account the whole-body dynamics of the system is becoming possible. On the other hand, predictive control algorithms based on trajectory optimization over a given preview window are proven to be a viable and robust solution for agile locomotion.This thesis aims at implementing a whole-body predictive control framework for generic locomotion on real-world torque-controlled humanoid robots. Our controller was systematically tested on the torque-controlled robot Talos, a heavy humanoid platform with 32 actuated joints. Given the high complexity of the model, the computation frequency of our optimization solver cannot match the low-level control frequency of current robotics systems. To mitigate this issue, a first order feedback policy based on the solver sensitivities has been designed to approximate the high-level optimal command at the actuation frequency. In a second step, a 3-D walking controller for uneven terrain crossing is introduced and discussed. Two different heuristics were used to compute feet trajectories during locomotion: one based on pre-computed splines and one leveraging a height map of the environment that penalizes the flying foot velocity with respect to its height. The second heuristic allows to reduce the feet impedance and to perform push recovery in real time. Both heuristics have been combined with a high-level contact planner that generates optimal contact sequences in cluttered environments. Finally, to overcome the inherent non-convexity of planning scenarios with obstacles, a memory of motion was used to warm-start the solver and speed up its convergence.Depuis plusieurs décennies, la robotique humanoïde s'est révélée être un domaine de recherche très actif avec des contributions importantes dans divers domaines scientifiques tels que l’ingénierie de contrôle, la biomécanique, l’informatique et les mathématiques. Néanmoins, parvenir à générer une locomotion bipède fiable dans des environnements génériques reste un défi en raison des contraintes temps réel du système et de la non-convexité du problème. A cause des limites technologiques présentes il y a quarante ans, les premiers travaux sur les robots marcheurs se sont appuyés sur des modèles et des dynamiques simplifiées. Compte tenu de l’augmentation constante des capacités de calcul de nos ordinateurs, des schémas de contrôle plus complexes tenant compte de la dynamique du corps complet deviennent possibles. D’autre part, les algorithmes de contrôle prédictif basés sur l’optimisation de la trajectoire future s'imposent de plus en plus comme une option viable et robuste pour la locomotion agile.Cette thèse vise à mettre en oeuvre une approche corps complet de la locomotion bipède à travers le prisme des méthodes de contrôle predictif. L'approche a été implémentée sur le robot Talos, un humanoïde lourd contrôlé en couple et possédant 32 joints actionnés. Compte tenu de la grande complexité du modèle, la fréquence de recalcul de notre solveur optimal est trop faible par rapport à celle du contrôle de bas niveau des plateformes robotiques actuelles. Pour atténuer ce problème, une politique de rétroaction de premier ordre basée sur les sensibilités du solveur a été conçue afin d'approximer la commande optimale à la fréquence des actionneurs. Dans un deuxième temps, un contrôleur de marche adapté à la locomotion en terrain accidenté est introduit puis discuté. Deux heuristiques différentes ont été utilisées pour calculer les trajectoires des pieds pendant la marche: la première est basée sur des splines pré-définies, la seconde utilise une carte de hauteur de l’environnement qui pénalise la vitesse du pied en vol par rapport à sa hauteur. La seconde heuristique permet de réduire l’impédance des pieds et d’effectuer des mouvements de rééquilibre après poussée en temps réel. Les deux heuristiques ont été combinées avec un planificateur de contact de haut niveau capable de définir des séquences de contact optimaux dans des environnements encombrés. Enfin, pour surmonter la non-convexité inhérente aux scénarios de planification comportant des obstacles, une mémoire du mouvement a été implémenter pour initialiser le solveur et accélérer sa convergence

A whole-body predictive control approach to biped locomotion

Depuis plusieurs décennies, la robotique humanoïde s'est révélée être un domaine de recherche très actif avec des contributions importantes dans divers domaines scientifiques tels que l’ingénierie de contrôle, la biomécanique, l’informatique et les mathématiques. Néanmoins, parvenir à générer une locomotion bipède fiable dans des environnements génériques reste un défi en raison des contraintes temps réel du système et de la non-convexité du problème. A cause des limites technologiques présentes il y a quarante ans, les premiers travaux sur les robots marcheurs se sont appuyés sur des modèles et des dynamiques simplifiées. Compte tenu de l’augmentation constante des capacités de calcul de nos ordinateurs, des schémas de contrôle plus complexes tenant compte de la dynamique du corps complet deviennent possibles. D’autre part, les algorithmes de contrôle prédictif basés sur l’optimisation de la trajectoire future s'imposent de plus en plus comme une option viable et robuste pour la locomotion agile.Cette thèse vise à mettre en oeuvre une approche corps complet de la locomotion bipède à travers le prisme des méthodes de contrôle predictif. L'approche a été implémentée sur le robot Talos, un humanoïde lourd contrôlé en couple et possédant 32 joints actionnés. Compte tenu de la grande complexité du modèle, la fréquence de recalcul de notre solveur optimal est trop faible par rapport à celle du contrôle de bas niveau des plateformes robotiques actuelles. Pour atténuer ce problème, une politique de rétroaction de premier ordre basée sur les sensibilités du solveur a été conçue afin d'approximer la commande optimale à la fréquence des actionneurs. Dans un deuxième temps, un contrôleur de marche adapté à la locomotion en terrain accidenté est introduit puis discuté. Deux heuristiques différentes ont été utilisées pour calculer les trajectoires des pieds pendant la marche: la première est basée sur des splines pré-définies, la seconde utilise une carte de hauteur de l’environnement qui pénalise la vitesse du pied en vol par rapport à sa hauteur. La seconde heuristique permet de réduire l’impédance des pieds et d’effectuer des mouvements de rééquilibre après poussée en temps réel. Les deux heuristiques ont été combinées avec un planificateur de contact de haut niveau capable de définir des séquences de contact optimaux dans des environnements encombrés. Enfin, pour surmonter la non-convexité inhérente aux scénarios de planification comportant des obstacles, une mémoire du mouvement a été implémenter pour initialiser le solveur et accélérer sa convergence.Humanoid robotics has been a very active field of research for the past decades, with important contributions in various scientific areas such as control engineering, biomechanics, computer science and mathematics. Nevertheless, performing reliable biped locomotion in generic environments still remains a challenge due to the real-time constraints and non-convexity of the problem. Because of previous technological limits, early works on walking robots have relied on template models and simplified dynamics. Given the steady increase in hardware computing capacities, complex control designs taking into account the whole-body dynamics of the system is becoming possible. On the other hand, predictive control algorithms based on trajectory optimization over a given preview window are proven to be a viable and robust solution for agile locomotion.This thesis aims at implementing a whole-body predictive control framework for generic locomotion on real-world torque-controlled humanoid robots. Our controller was systematically tested on the torque-controlled robot Talos, a heavy humanoid platform with 32 actuated joints. Given the high complexity of the model, the computation frequency of our optimization solver cannot match the low-level control frequency of current robotics systems. To mitigate this issue, a first order feedback policy based on the solver sensitivities has been designed to approximate the high-level optimal command at the actuation frequency. In a second step, a 3-D walking controller for uneven terrain crossing is introduced and discussed. Two different heuristics were used to compute feet trajectories during locomotion: one based on pre-computed splines and one leveraging a height map of the environment that penalizes the flying foot velocity with respect to its height. The second heuristic allows to reduce the feet impedance and to perform push recovery in real time. Both heuristics have been combined with a high-level contact planner that generates optimal contact sequences in cluttered environments. Finally, to overcome the inherent non-convexity of planning scenarios with obstacles, a memory of motion was used to warm-start the solver and speed up its convergence

Application de méthodes de contrôle prédictif corps complet à la locomotion bipède

National audienceHumanoid robotics has been a very active field of research for the past decades, with important contributions in various scientific areas such as control engineering, biomechanics, computer science and mathematics. Nevertheless, performing reliable biped locomotion in generic environments still remains a challenge due to the real-time constraints and non-convexity of the problem. Because of previous technological limits, early works on walking robots have relied on template models and simplified dynamics. Given the steady increase in hardware computing capacities, complex control designs taking into account the whole-body dynamics of the system is becoming possible. On the other hand, predictive control algorithms based on trajectory optimization over a given preview window are proven to be a viable and robust solution for agile locomotion.This thesis aims at implementing a whole-body predictive control framework for generic locomotion on real-world torque-controlled humanoid robots. Our controller was systematically tested on the torque-controlled robot Talos, a heavy humanoid platform with 32 actuated joints. Given the high complexity of the model, the computation frequency of our optimization solver cannot match the low-level control frequency of current robotics systems. To mitigate this issue, a first order feedback policy based on the solver sensitivities has been designed to approximate the high-level optimal command at the actuation frequency. In a second step, a 3-D walking controller for uneven terrain crossing is introduced and discussed. Two different heuristics were used to compute feet trajectories during locomotion: one based on pre-computed splines and one leveraging a height map of the environment that penalizes the flying foot velocity with respect to its height. The second heuristic allows to reduce the feet impedance and to perform push recovery in real time. Both heuristics have been combined with a high-level contact planner that generates optimal contact sequences in cluttered environments. Finally, to overcome the inherent non-convexity of planning scenarios with obstacles, a memory of motion was used to warm-start the solver and speed up its convergence.Depuis plusieurs décennies, la robotique humanoïde s'est révélée être un domaine de recherche très actif avec des contributions importantes dans divers domaines scientifiques tels que l’ingénierie de contrôle, la biomécanique, l’informatique et les mathématiques. Néanmoins, parvenir à générer une locomotion bipède fiable dans des environnements génériques reste un défi en raison des contraintes temps réel du système et de la non-convexité du problème. A cause des limites technologiques présentes il y a quarante ans, les premiers travaux sur les robots marcheurs se sont appuyés sur des modèles et des dynamiques simplifiées. Compte tenu de l’augmentation constante des capacités de calcul de nos ordinateurs, des schémas de contrôle plus complexes tenant compte de la dynamique du corps complet deviennent possibles. D’autre part, les algorithmes de contrôle prédictif basés sur l’optimisation de la trajectoire future s'imposent de plus en plus comme une option viable et robuste pour la locomotion agile.Cette thèse vise à mettre en oeuvre une approche corps complet de la locomotion bipède à travers le prisme des méthodes de contrôle predictif. L'approche a été implémentée sur le robot Talos, un humanoïde lourd contrôlé en couple et possédant 32 joints actionnés. Compte tenu de la grande complexité du modèle, la fréquence de recalcul de notre solveur optimal est trop faible par rapport à celle du contrôle de bas niveau des plateformes robotiques actuelles. Pour atténuer ce problème, une politique de rétroaction de premier ordre basée sur les sensibilités du solveur a été conçue afin d'approximer la commande optimale à la fréquence des actionneurs. Dans un deuxième temps, un contrôleur de marche adapté à la locomotion en terrain accidenté est introduit puis discuté. Deux heuristiques différentes ont été utilisées pour calculer les trajectoires des pieds pendant la marche: la première est basée sur des splines pré-définies, la seconde utilise une carte de hauteur de l’environnement qui pénalise la vitesse du pied en vol par rapport à sa hauteur. La seconde heuristique permet de réduire l’impédance des pieds et d’effectuer des mouvements de rééquilibre après poussée en temps réel. Les deux heuristiques ont été combinées avec un planificateur de contact de haut niveau capable de définir des séquences de contact optimaux dans des environnements encombrés. Enfin, pour surmonter la non-convexité inhérente aux scénarios de planification comportant des obstacles, une mémoire du mouvement a été implémenter pour initialiser le solveur et accélérer sa convergence

Application de méthodes de contrôle prédictif corps complet à la locomotion bipède

National audienceHumanoid robotics has been a very active field of research for the past decades, with important contributions in various scientific areas such as control engineering, biomechanics, computer science and mathematics. Nevertheless, performing reliable biped locomotion in generic environments still remains a challenge due to the real-time constraints and non-convexity of the problem. Because of previous technological limits, early works on walking robots have relied on template models and simplified dynamics. Given the steady increase in hardware computing capacities, complex control designs taking into account the whole-body dynamics of the system is becoming possible. On the other hand, predictive control algorithms based on trajectory optimization over a given preview window are proven to be a viable and robust solution for agile locomotion.This thesis aims at implementing a whole-body predictive control framework for generic locomotion on real-world torque-controlled humanoid robots. Our controller was systematically tested on the torque-controlled robot Talos, a heavy humanoid platform with 32 actuated joints. Given the high complexity of the model, the computation frequency of our optimization solver cannot match the low-level control frequency of current robotics systems. To mitigate this issue, a first order feedback policy based on the solver sensitivities has been designed to approximate the high-level optimal command at the actuation frequency. In a second step, a 3-D walking controller for uneven terrain crossing is introduced and discussed. Two different heuristics were used to compute feet trajectories during locomotion: one based on pre-computed splines and one leveraging a height map of the environment that penalizes the flying foot velocity with respect to its height. The second heuristic allows to reduce the feet impedance and to perform push recovery in real time. Both heuristics have been combined with a high-level contact planner that generates optimal contact sequences in cluttered environments. Finally, to overcome the inherent non-convexity of planning scenarios with obstacles, a memory of motion was used to warm-start the solver and speed up its convergence.Depuis plusieurs décennies, la robotique humanoïde s'est révélée être un domaine de recherche très actif avec des contributions importantes dans divers domaines scientifiques tels que l’ingénierie de contrôle, la biomécanique, l’informatique et les mathématiques. Néanmoins, parvenir à générer une locomotion bipède fiable dans des environnements génériques reste un défi en raison des contraintes temps réel du système et de la non-convexité du problème. A cause des limites technologiques présentes il y a quarante ans, les premiers travaux sur les robots marcheurs se sont appuyés sur des modèles et des dynamiques simplifiées. Compte tenu de l’augmentation constante des capacités de calcul de nos ordinateurs, des schémas de contrôle plus complexes tenant compte de la dynamique du corps complet deviennent possibles. D’autre part, les algorithmes de contrôle prédictif basés sur l’optimisation de la trajectoire future s'imposent de plus en plus comme une option viable et robuste pour la locomotion agile.Cette thèse vise à mettre en oeuvre une approche corps complet de la locomotion bipède à travers le prisme des méthodes de contrôle predictif. L'approche a été implémentée sur le robot Talos, un humanoïde lourd contrôlé en couple et possédant 32 joints actionnés. Compte tenu de la grande complexité du modèle, la fréquence de recalcul de notre solveur optimal est trop faible par rapport à celle du contrôle de bas niveau des plateformes robotiques actuelles. Pour atténuer ce problème, une politique de rétroaction de premier ordre basée sur les sensibilités du solveur a été conçue afin d'approximer la commande optimale à la fréquence des actionneurs. Dans un deuxième temps, un contrôleur de marche adapté à la locomotion en terrain accidenté est introduit puis discuté. Deux heuristiques différentes ont été utilisées pour calculer les trajectoires des pieds pendant la marche: la première est basée sur des splines pré-définies, la seconde utilise une carte de hauteur de l’environnement qui pénalise la vitesse du pied en vol par rapport à sa hauteur. La seconde heuristique permet de réduire l’impédance des pieds et d’effectuer des mouvements de rééquilibre après poussée en temps réel. Les deux heuristiques ont été combinées avec un planificateur de contact de haut niveau capable de définir des séquences de contact optimaux dans des environnements encombrés. Enfin, pour surmonter la non-convexité inhérente aux scénarios de planification comportant des obstacles, une mémoire du mouvement a été implémenter pour initialiser le solveur et accélérer sa convergence

First Order Approximation of Model Predictive Control Solutions for High Frequency Feedback

International audienceThe lack of computational power on mobile robots is a well-known challenge when it comes to implementing a realtime MPC scheme to perform complex motions. Currently the best solvers are barely able to reach 100Hz for computing the control of a whole-body legged model, while modern robots are expecting new torque references in less than 1ms. This problem is usually tackled by using a handcrafted low-level tracking control whose inputs are the low-frequency trajectory computed by the MPC. We show that a linear state feedback controller naturally arises from the optimal control formulation and can be used directly in the low-level control loop along with other sensitivities of relevant time-varying parameters of the problem. When the optimal control problem is solved by DDP, this linear controller can be computed for cheap as a by-product of the backward pass, and corresponds in part to the classical Riccati gains. A side effect of our proposition is to show that Riccati gains are valuable assets that must be used to achieve an efficient control and that they are not stiffer than the optimal control scheme itself. We propose a complete implementation of this idea on a full-scale humanoid robot and demonstrate its importance with real experiments on the robot Talos

First Order Approximation of Model Predictive Control Solutions for High Frequency Feedback

The lack of computational power on mobile robots is a well-known challenge when it comes to implementing a realtime MPC scheme to perform complex motions. Currently the best solvers are barely able to reach 100Hz for computing the control of a whole-body legged model, while modern robots are expecting new torque references in less than 1ms. This problem is usually tackled by using a handcrafted low-level tracking control whose inputs are the low-frequency trajectory computed by the MPC. We show that a linear state feedback controller naturally arises from the optimal control formulation and can be used directly in the low-level control loop along with other sensitivities of relevant time-varying parameters of the problem. When the optimal control problem is solved by DDP, this linear controller can be computed for cheap as a by-product of the backward pass, and corresponds in part to the classical Riccati gains. A side effect of our proposition is to show that Riccati gains are valuable assets that must be used to achieve an efficient control and that they are not stiffer than the optimal control scheme itself. We propose a complete implementation of this idea on a full-scale humanoid robot and demonstrate its importance with real experiments on the robot Talos

Introducing Force Feedback in Model Predictive Control

International audienceIn the literature about model predictive control (MPC), contact forces are planned rather than controlled. In this paper, we propose a novel paradigm to incorporate effort measurements into a predictive controller, hence allowing to control them by direct measurement feedback. We first demonstrate why the classical optimal control formulation, based on position and velocity state feedback, cannot handle direct feedback on force information. Following previous approaches in force control, we then propose to augment the classical formulations with a model of the robot actuation, which naturally allows to generate online trajectories that adapt to sensed position, velocity and torques. We propose a complete implementation of this idea on the upper part of a real humanoid robot, and show through hardware experiments that this new formulation incorporating effort feedback outperforms classical MPC in challenging tasks where physical interaction with the environment is crucial