Vision-based interface for grasping intention detection and grip selection : towards intuitive upper-limb assistive devices

Assistive devices for indivuals with upper-limb movement often lack controllability and intuitiveness, in particular for grasping function. In this work, we introduce a novel user interface for grasping movement control in which the user delegates the grasping task decisions to the device, only moving their (potentially prosthetic) hand toward the targeted object

Représentation de la tâche en contrôle moteur humain : objectifs séquentiels et horizon glissant permettent une modélisation concise de l'adaptation motrice

Le contrôle moteur humain est un processus complexe régissant une grande variété de tâches volontaires (posture, écriture...) tout en présentant des caractéristiques persistantes (structure de variabilité, segmentation du mouvement...). Plusieurs théories ont apporté une meilleure compréhension des mécanismes sous-jacents à la richesse du comportement moteur, mais n'ont pas fourni un cadre unifié pour la production du mouvement humain. Une telle théorie computationnelle générale a été formulée par E. Guigon et repose sur trois principes de modélisation : une politique de contrôle optimal universelle, un contrôle avec horizon glissant, et une représentation de la tâche par via-points, mis à jour à fréquence fixe. Dans cette thèse, nous montrons que contrairement à leur caractère apparemment contraignant, la combinaison de ces principes offre des prédictions puissantes, apportant un éclairage sur le contrôle moteur et ses bases neuronales. D’abord, à la lumière de données expérimentales, nous proposons une nouvelle vision de l'adaptation motrice aux perturbations dynamiques, la situant au niveau de la représentation de la tâche (sélection du but) plutôt que du contrôle (sélection d'action). Puis, nous montrons que le principe d'horizon glissant étend la stationnarité des solutions optimales et permet une représentation neuronale simple du contrôleur universel : un petit réseau neuronal entraîné sur des données simulées a rendu compte de propriétés de motoneurones corticaux décrites dans la littérature. De plus, nous avons exploré les différences entre contrôle en force et en position, ainsi que la co-contraction et son évolution temporelle pendant les mouvements.Human motor control is a complex process ruling over vast variety of voluntary tasks (posture, reaching, writing…) while presenting persistent characteristics (coordination, structure of variability, movement segmentation…). Several theories brought better understanding of the mechanisms underlying the richness of motor behavior, yet failing to provide a unified framework for the production of human movement. Such a general computational theory was formulated by E. Guigon and relies on three modelling principles: a universal optimal feedback control policy, control with a receding time horizon, and task representation by a series of via-points updated at fixed frequency. In this thesis, we show that contrary to their appearing constraining nature, the combination of these principles offers powerful predictions, providing insights on the functioning of motor control and its neural bases. First, under the light of experimental data, we propose a novel view on motor adaptation to dynamic perturbations, casting it at the task representation level (goal selection) rather than at the control level (action selection). Second, we show that the receding horizon fundamental principle extends the stationary property of optimal solutions and allows for a simple neural representation of the universal controller: a small neural network (a Multi Layer Perceptron with two hidden layers) trained on simulated data accounted for multiple properties of cortical motoneurons described in the literature. Additionally, we briefly explored within our framework the differences between force control and position control tasks as well as co-contraction and its temporal evolution during movements

Représentation de la tâche en contrôle moteur humain : objectifs séquentiels et horizon glissant permettent une modélisation concise de l'adaptation motrice

Human motor control is a complex process ruling over vast variety of voluntary tasks (posture, reaching, writing…) while presenting persistent characteristics (coordination, structure of variability, movement segmentation…). Several theories brought better understanding of the mechanisms underlying the richness of motor behavior, yet failing to provide a unified framework for the production of human movement. Such a general computational theory was formulated by E. Guigon and relies on three modelling principles: a universal optimal feedback control policy, control with a receding time horizon, and task representation by a series of via-points updated at fixed frequency. In this thesis, we show that contrary to their appearing constraining nature, the combination of these principles offers powerful predictions, providing insights on the functioning of motor control and its neural bases. First, under the light of experimental data, we propose a novel view on motor adaptation to dynamic perturbations, casting it at the task representation level (goal selection) rather than at the control level (action selection). Second, we show that the receding horizon fundamental principle extends the stationary property of optimal solutions and allows for a simple neural representation of the universal controller: a small neural network (a Multi Layer Perceptron with two hidden layers) trained on simulated data accounted for multiple properties of cortical motoneurons described in the literature. Additionally, we briefly explored within our framework the differences between force control and position control tasks as well as co-contraction and its temporal evolution during movements.Le contrôle moteur humain est un processus complexe régissant une grande variété de tâches volontaires (posture, écriture...) tout en présentant des caractéristiques persistantes (structure de variabilité, segmentation du mouvement...). Plusieurs théories ont apporté une meilleure compréhension des mécanismes sous-jacents à la richesse du comportement moteur, mais n'ont pas fourni un cadre unifié pour la production du mouvement humain. Une telle théorie computationnelle générale a été formulée par E. Guigon et repose sur trois principes de modélisation : une politique de contrôle optimal universelle, un contrôle avec horizon glissant, et une représentation de la tâche par via-points, mis à jour à fréquence fixe. Dans cette thèse, nous montrons que contrairement à leur caractère apparemment contraignant, la combinaison de ces principes offre des prédictions puissantes, apportant un éclairage sur le contrôle moteur et ses bases neuronales. D’abord, à la lumière de données expérimentales, nous proposons une nouvelle vision de l'adaptation motrice aux perturbations dynamiques, la situant au niveau de la représentation de la tâche (sélection du but) plutôt que du contrôle (sélection d'action). Puis, nous montrons que le principe d'horizon glissant étend la stationnarité des solutions optimales et permet une représentation neuronale simple du contrôleur universel : un petit réseau neuronal entraîné sur des données simulées a rendu compte de propriétés de motoneurones corticaux décrites dans la littérature. De plus, nous avons exploré les différences entre contrôle en force et en position, ainsi que la co-contraction et son évolution temporelle pendant les mouvements

Vision-based interface for grasping intention detection and grip selection : towards intuitive upper-limb assistive devices

International audienceAssistive devices for indivuals with upper-limb movement often lack controllability and intuitiveness, in particular for grasping function. In this work, we introduce a novel user interface for grasping movement control in which the user delegates the grasping task decisions to the device, only moving their (potentially prosthetic) hand toward the targeted object

Description of the experiment.

A. Experimental setup. (left) Top view. The small open circle is the start position and the large open circle the target position. The black circle is the robot handle. The elongated open rectangle is a top view of a monitor. (right) Front view. The start position, target position, and visual feedback of hand position (black circle) are shown on the monitor. The black rectangle is the robot handle. The scales are not respected. B. Simulated velocity-dependent force field. A minimum-jerk velocity profile with a 0.3 m/s peak was multiplied by a 5 N/m force field. Vertical scale: 0.01 m. Horizontal scale: 1 N. C. Experimental protocol. The force field level (null or CW) is indicated by the horizontal black (baseline block), gray (before-effect and adaptation blocks) or green (adapted and after-effect blocks) thick line segments. The vertical line segments indicate catch trials: unexpected CW force field in the before-effect block (red); unexpected null force field in the adaptation block (gray) and in the after-effect block (blue). Only the colored trials (black: baseline; red: before-effect; green: adapted; blue: after-effect) were analyzed. D. Graphical definition of the trajectory angle. At one point along the trajectory (open square), the trajectory angle is the angle between start position/target position direction (dashed line) and the tangent to the trajectory (thick line).</p

Participants whose behavior is incompatible with the reoptimization model.

Same format as in Fig 5. For bf10, the dotted lines correspond, from bottom to top, to substantial =, anecdotal =, anecdotal≠, and substantial≠. (PDF)</p

Data of participant P5.

Same organization as Fig 5 with C, D, E, F corresponding to E, F, G, H.</p

Participants whose behavior is partially compatible with the reoptimization model.

Same format as S3 Fig. (PDF)</p

Parametric study of the model: influence of boundary conditions.

A. Mean and 25–75 percentiles of positive acceleration peaks for baseline (black) and before-effect (red) trajectories for different boundary conditions at via-points: p: only position; pv: position and velocity; pva: position, velocity and activation; pvae: position, velocity, activation and excitation. B. Same as A for jerk. (PDF)</p