Aprendizaje reforzado para agarre y manipulación de robots

Una de las maneras de tratar los ambientes no controlados en robótica es mediante el aprendizaje automático, que permite aprender y adaptarse a cada circunstancia. Dentro del aprendizaje automático, el aprendizaje por refuerzo se basa en el aprendizaje por interacción, un agente actúa sobre el entorno y recibe una señal de recompensa que indica lo buenas o malas que son sus acciones. Aplicando el aprendizaje por refuerzo a las tareas robóticas en ambientes no controlados podemos superar las limitaciones y poder resolverlas.En este TFM se ha diseñado, implementado y analizado una biblioteca de tareas robóticas en un simulador 3D como banco de pruebas para algoritmos de aprendizaje por refuerzo. Las tareas se han resuelto mediante el método de búsqueda de política, que consiste en parametrizar directamente el comportamiento del agente, en este caso las trayectorias. Para ello, el problema se plantea como uno de optimización, en el que la función a optimizar es la recompensa y los parámetros son los de la política. Así mismo, también se ha desarrollado una interfaz entre el simulador y los optimizadores.Para resolver el problema de optimización es necesario un método de optimización global y que pueda funcionar con funciones cuya forma no se conoce. En este trabajo se ha implementado la optimización bayesiana, que consiste en crear un modelo de la función objetivo a partir de los datos obtenidos de la experiencia y de las suposiciones sobre las funciones objetivo que pueden ser válidas.<br /

Evaluación de algoritmos de aprendizaje por refuerzo profundo con un motor físico

Uno de los grandes retos actuales de la robótica es poder explorar y navegar por entornos totalmente desconocidos y en muchas ocasiones extremos. Para ello es de vital importancia que los robots sean capaces de aprender, adaptarse y recuperarse de los errores de la manera más rápida y eficiente posible.El aprendizaje por refuerzo es una rama del aprendizaje automático que se encarga de que las máquinas aprendan a desenvolverse a base de premios y castigos, en entornos no controlados de los cuales no tenemos información inicial.El principal objetivo de este TFG es estudiar y analizar un conjunto de algoritmos Actor-Critic implementados en Stable Baselines 3 mediante el motor físico de Pybullet.La utilización de algoritmos complejos que emplean aprendizaje del doble valor Q, la actualización de la política con retraso, el suavizado de la política objetivo y la regularización de entropía nos ha permitido obtener un mejor entrenamiento y comportamiento del agente.Se ha evaluado el entorno CartPole de OpenAI Gym durante 100.000 timesteps, el CartPole de Pybullet durante 40.000 timesteps, el HalfCheetah, Hopper y el Ant de Pybullet durante 200.000 timesteps y por último otra vez el Ant para 668.000 timesteps. Para que los resultados fueran robustos y fiables se realizaron cuatros entrenamientos en el CartPole y tres en el Halfcheetah, en el Hopper y en el Ant respectivamente.<br /

On the Uncertain Single-View Depths in Colonoscopies

Estimating depth information from endoscopic images is a prerequisite for a wide set of AI-assisted technologies, such as accurate localization and measurement of tumors, or identification of non-inspected areas. As the domain specificity of colonoscopies -- deformable low-texture environments with fluids, poor lighting conditions and abrupt sensor motions -- pose challenges to multi-view 3D reconstructions, single-view depth learning stands out as a promising line of research. Depth learning can be extended in a Bayesian setting, which enables continual learning, improves decision making and can be used to compute confidence intervals or quantify uncertainty for in-body measurements. In this paper, we explore for the first time Bayesian deep networks for single-view depth estimation in colonoscopies. Our specific contribution is two-fold: 1) an exhaustive analysis of scalable Bayesian networks for depth learning in different datasets, highlighting challenges and conclusions regarding synthetic-to-real domain changes and supervised vs. self-supervised methods; and 2) a novel teacher-student approach to deep depth learning that takes into account the teacher uncertainty.Comment: 11 page

Control de robots mediante algoritmos de aprendizaje por refuerzo profundo

Resumen: El objetivo de este proyecto consiste en investigar el estado del arte en técnicas de aprendizaje por refuerzo profundo con el objetivo de controlar un brazo robótico virtual de 7 juntas modelado con un sistema real. A partir del estudio de los postulados del aprendizaje por refuerzo o Reinforcement Learning, se abordan los algoritmos más recientes, como Soft Actor Critic, Proximal Policy Optimizationo, Twin Delayed DDPG, entre otros, que aproximan las funciones Bellman que determinan la política del robot mediante el uso de redes neuronales y técnicas de aprendizaje automático profundo o Deep Machine Learning. Se establece una aproximación práctica de estos algoritmos en su versión aplicable a entornos continuos, que constituyen las entradas y salidas del brazo robótico, encargado de aprender a alcanzar una posición determinada sin ningún tipo de supervisión humana. Paso a paso, se escoge el algoritmo que mejor resuelve este tipo de problemas, antes de abordar los parámetros óptimos y el tamaño de sendas redes neuronal para el actor y el crítico que mejor se adaptan a este tipo de problemas. Abstract: The aim of this project is to explore the state of the art in Deep Reinforcement Learning Techniques in order control a realistic 7-joints robotic arm. Following the study of classic Reinforcement Learning (from now on, RL) techniques, and due the complexity of the environment, we junp to cutting-edge algorithms Soft Actor Critic, Proximal Policy Optimization or Twin Delayed DDPG, among others, using techniques from Deep Machine Learning to solve Bellman functions and implement their policy. There is a practical approach in order to apply those algorithms to a continous-state environment of actions and observations where a virtualised robot has to learn how to reach a target position with no supervision at all. Step by step, best algorithm is selected and tested in order to find optimal dimensions of both actor and critic Neural Networks.<br /

Deep learning para segmentación celular de imagen

El estudio de la migración celular in vitro es fundamental para entender muchos procesos biológicos importantes, para ello, es necesario conocer e identificar la posición de cada célula en cientos de imágenes de microscopía. Por lo que la realización del trabajo se ha centrado en aplicar técnicas de deep learning a un conjunto de imágenes celulares con el objetivo de realizar la segmentación de forma automática. La utilización de las redes convolucionales mediante una arquitectura conocida como U-net, han permitido una notoria mejoría en el campo de la segmentación.Mediante la utilización de esta arquitectura de red convolucional para un dataset cedido por el Grupo M2BE de la Universidad de Zaragoza, se ha entrenado la red para obtener un modelo que desempeñe de forma óptima la segmentación automática.Una vez realizados los entrenamientos con las imágenes y máscaras se han podido obtener resultados satisfactorios, el modelo entrenado realiza la segmentación de imágenes que era el objetivo central del trabajo. El desempeño del modelo entrenado a través de la red ha sido evaluado a través de una métrica que permita conocer cómo se está realizando la segmentación. Aunque los resultados iniciales con los primeros entrenamientos son óptimos, se ha buscado la mejoría a través de entrenamientos con parámetros modificados. La tasa de aprendizaje de la red, así como las veces que la red procesa todas las imágenes y máscaras (epochs), han sido ajustadas, con el objetivo de obtener el mejor aprendizaje del modelo.Un hándicap de trabajar con imágenes de la tipología utilizada es que no se dispone de gran cantidad de estas. Por lo que en el trabajo inicialmente se han alterado las características espaciales de las mismas para ampliar el dataset del entrenamiento, para posteriormente aplicar data augmentation totalmente implementado en el código de la red, lo que permite incorporar la variación de las características de las imágenes de forma aleatoria. Estos cambios han repercutido en obtener los mejores resultados de todo el trabajo.Para verificar la generalización del modelo entrenado, se ha realizado la segmentación de imágenes desconocidas para el modelo entrenado, obteniéndose buenos resultados en la detección de bordes y contornos. Posteriormente se ha verificado que entrenar a la red con este nuevo conjunto de datos también permite obtener buenos resultados en la segmentación de ese tipo de imágenes. Aunque el desempeño del modelo es bueno, no se consigue una segmentación perfecta, pero es cierto que mejora con creces la segmentación manual. El campo del deep learning se encuentra en continua innovación, y hay técnicas que se podrían incorporar a la metodología del trabajo de forma adicional. Los resultados obtenidos son los que a priori se habían marcado como objetivo, pero hay que tener en cuenta la capacidad de mejora en el desempeño del modelo con las técnicas actuales, y las que podrían llegar en un futuro cercano.<br /

Proyecto de un aula basada en Windows Server 2012

Diseño y configuración de un aula de aprendizaje Windows Server 2012 aprovechando la característica de virtualización. Un servidor principal alberga los servidores virtualizados de los alumnos, las licencias de los cuales van incluidas en la edición Windows Server 2012 R2 Datacenter. De este modo, solo es necesario pagar una licencia de Windows Server 2012. Cada alumno dispone de un cliente liviano para ejecutar remotamente su servidor virtual

Creación de un entorno visual de visión protésica

Búsqueda y análisis de alternativas y desarrollo de una solución para la configuración de unas Gafas de VR para simular, de forma portable e inmersiva, el funcionamiento de la Visión Protésica mediante un implante retinal.<br /

Optimización Bayesiana aplicada a la simulación de fluidos

El uso de simuladores nos permite explorar diseños alternativos sin necesidad de producir caros prototipos, pero diseñar optimizaciones alrededor de estos sistemas conlleva un elevado tiempo de ejecución debido a la larga duración de cada simulación. Además, la función subyacente es desconocida (las denominadas funciones caja-negra o black-box), por lo que es imposible conocer la derivada de la función a optimizar, necesaria en la mayoría de métodos de optimización. El presente trabajo trata de resolver dichas limitaciones mediante la aplicación de aprendizaje automático en métodos de optimización global. Concretamente se abordará la optimización Bayesiana con el objetivo de minimizar el número de muestras necesarias para encontrar el óptimo, reduciendo así el tiempo total necesario de optimización. La optimización Bayesiana se ha realizado a partir de la librería BayesOpt y, como objetivo de la simulación, se ha utilizado el software simulaciones de fluidos XFlow, producto de NextLimit Technologies SL. Por tanto, ha sido necesario desarrollar una interfaz entre ambos programas, mediante la cual se han diseñado experimentos a optimizar y cuyos resultados han sido utilizados para argumentar la viabilidad de optimización Bayesiana en este tipo de problemas

Classification Bayesiana de Affordances a partir de imágenes RGB

We propose a Bayesian classification model using Deep Ensembles (DE) and MC-Dropout (MC-D) to predict affordances from RGB images. Our Bayesian model obtains a higher performance than previous works and captures the aleatoric and epistemic uncertainty, showing consistency with the type of objects and scenarios