Continuous goal-directed actions: advances in robot learning

Robot Programming by Demonstration (PbD) has several limitations. This thesis proposes a solution to the shortcomings of PbD with an inspiration on Goal-Directed imitation applied to robots. A framework for goal imitation, called Continuous Goal-Directed Actions (CGDA), has been designed and developed. This framework provides a mechanism to encode actions as changes in the environment. CGDA learns the objective of the action, beyond the movements made to perform it. With CGDA, an action such as “painting a wall” can be learned as “the wall changed its color a 50% from blue to red”. Traditional robot imitation paradigms such as PbD would learn the same action as ”move joint i 30 degrees, then joint j 43 degrees...”. This thesis’ main contribution is innovative in providing a framework able to measure and generalize the effects of actions. It also innovates by creating metrics to compare and reproduce goal-directed actions. Reproducing actions encoded in terms of goals allows a robot-configuration independence when reproducing tasks. This innovation allows to circumvent the correspondence problem (adapting the kinematic parameters from humans to robots). CGDA can complement current kinematic-focused paradigms, such as PbD, in robot imitation. CGDA action encoding is centered on the changes an action produces on the features of objects altered during the action. The features can be any measurable characteristic of the objects such as color, area, form, etc. By tracking object features during human action demonstrations, a high dimensional feature trajectory is created. This trajectory represents a finely-grained sequence of object temporal states during the action. This trajectory is the main resource for the generalization, recognition and execution of actions in CGDA. Around this presented framework, several components have been added to facilitate and improve the imitation. Naïve implementations of robot learning frameworks usually assume that all the data from the user demonstrations has been correctly sensed and is relevant to the task. This assumption proves wrong in most human-demonstrated learning scenarios. This thesis presents an automatic demonstration and feature selection process to solve this issue. This machine learning pipeline is called Dissimilarity Mapping Filtering (DMF). DMF can filter both irrelevant demonstrations and irrelevant features. Once an action is generalized from a series of correct human demonstrations, the robot must be provided a method to reproduce this action. Robot joint trajectories are computed in simulation using evolutionary computation through diverse proposed strategies. This computation can be improved by using human-robot interaction. Specifically, a system for robot discovery of motor primitives from random human-guided movements has been developed. These Guided Motor Primitives (GMP) are combined to reproduce goal-directed actions. To test all these developments, experiments have been performed using a humanoid robot in a simulated environment, and the real full-sized humanoid robot TEO. A brief analysis about the cyber safety of current robots is additionally presented in the final appendices of this thesis.Robot Programming by demonstration (PbD) tiene varias limitaciones. Esta tesis propone una solución a las carencias de PbD, inspirándose en la imitación dirigida a objetivos en robots. Se ha diseñado y desarrollado un marco de trabajo para la imitación de objetivos llamado Continuous Goal-Directed Actions (CGDA). Este marco de trabajo proporciona un mecanismo para codificar acciones como cambios en el entorno. CGDA aprende los objetivos de la acción, mas allá de los movimientos hechos para realizarla. Con CGDA, una acción como “pintar una pared” se puede aprender como “la pared cambió su color un 50% de azul a rojo”. Paradigmas tradicionales de imitación robótica como PbD aprenderían la misma acción como “mueve la articulación i 30 grados, luego la articulación j 43 grados...”. La contribución principal de esta tesis es innovadora en proporcionar un marco de trabajo capaz de medir y generalizar los efectos de las acciones. También innova al crear métricas para comparar y reproducir acciones dirigidas a objetivos. Reproducir acciones codificadas como objetivos permite independizarse de la configuración del robot cuando se reproducen las acciones. Esta innovación permite sortear el problema de la correspondencia (adaptar los parámetros cinemáticos de los humanos a los robots). CGDA puede complementar paradigmas centrados en la cinemática, como PbD, en la imitación robótica. CGDA codifica las acciones centrándose en los cambios producidos por la acción en las características de los objetos afectados por ésta. Las características pueden ser cualquier rasgo medible de los objetos, como color, área, forma, etc. Midiendo las características de los objetos durante las demostraciones humanas se crea una trayectoria de alta dimensionalidad. Esta trayectoria representa una detallada secuencia de los estados temporales del objeto durante la acción. Esta trayectoria es el recurso principal para la generalización, el reconocimiento y la ejecución de acciones en CGDA. Alrededor del marco de trabajo presentado, se han añadido algunos componentes para facilitar y mejorar la imitación. Las implementaciones simples en aprendizaje robótico normalmente asumen que todos los datos provenientes de las demostraciones del usuario han sido correctamente medidos y son relevantes para la tarea. Esta suposición se demuestra falsa en la mayoría de escenarios de aprendizaje por demostración humana. Esta tesis presenta un proceso de selección automático de demostraciones y características para resolver este problema. Este proceso de aprendizaje automático se llama Dissimilarity Mapping Filtering (DMF). DMF puede filtrar tanto demostraciones irrelevantes, como características innecesarias. Una vez que una acción se ha generalizado a partir de una serie de demostraciones humanas, es necesario proveer al robot de un método para reproducir la acción. Las trayectorias articulares del robot se computan en simulación usando computación evolutiva. Esta computación se puede mejorar usando interacción humano-robot. Específicamente, se ha desarrollado un sistema para el descubrimiento de primitivas de movimiento del robot a partir de movimientos aleatorios, guiados por el humano. Estas primitivas, llamadas Guided Motor Primitives (GMP), se combinan para reproducir acciones centradas en objetivos. Para probar estos desarrollos, los experimentos se han llevado a cabo usando un robot humanoide en un entorno simulado, y el robot humanoide real TEO. En los apéndices finales de esta tesis se presenta un breve análisis de la ciberseguridad de los robots actuales.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Vicente Matellán Olivera.- Secretario: María Dolores Blanco Rojas.- Vocal: Antonio Barrientos Cru