Bayesian Optimization in Robot Learning - Automatic Controller Tuning and Sample-Efficient Methods

Das Problem des Reglerentwurfs für dynamische Systeme wurde von Ingenieuren in den letzten Jahrtausenden untersucht. Seit diesen Tagen ist suboptimales Verhalten ein unvermeidlicher Nebeneffekt der manuellen Einstellung von Reglerparametern. Heutzutage steht man in industriellen Anwendungen datengestriebenen Methoden, die das automatische Lernen von Reglerparametern ermöglichen, nach wie vor skeptisch gegenüber. Im Bereich der Robotik gewinnt das maschinelle Lernen (ML) immer mehr an Einfluss und ermöglicht einen erhöhten Grad der Autonomie und Anpassungsfähigkeit, z.B. indem es dabei unterstützt, den Prozess der Reglereinstellung zu automatisieren. Datenintensive Methoden, wie z.B. Methoden des Reinforcement Learning, erfordern jedoch eine große Anzahl experimenteller Versuche, was in der Robotik nicht möglich ist, da die Hardware sich abnutzt und kaputt gehen kann. Das wirft folgende Frage auf: Kann die manuelle Reglereinstellung in der Robotik durch den Einsatz dateneffizienter Techniken des maschinellen Lernens ersetzt werden? In dieser Arbeit gehen wir die obige Frage an, indem wir den Einsatz von Bayes’scher Optimierung (BO), ein dateneffizientes ML-Framework, als Ersatz für manuelles Einstellen unter Beibehaltung einer geringen Anzahl von experimentellen Versuchen untersuchen. Der Fokus dieser Arbeit liegt auf Robotersystemen. Dabei präsentieren wir Demonstrationen mit realen Robotern, sowie fundierte theoretische Ergebnisse zur Steigerung der Dateneffizienz. Im Einzelnen stellen wir vier Hauptbeiträge vor. Zunächst betrachten wir die Verwendung von BO als Ersatz für das manuelle Einstellen auf einer Roboterplattform. Zu diesem Zweck parametrisieren wir die Einstellgewichtungen eines linear-quadratischen Reglers (LQR) und lernen diese Parameter mit einem informationseffizienten BO-Algorithmus. Dieser Algorithmus nutzt Gauß-Prozesse (GPs), um das unbekannte Zielfunktion zu modellieren. Das GP-Modell wird vom BO-Algorithmus genutzt, um Reglerparameter vorzuschlagen von denen erwartet wird, dass sie die Informationen über die optimalen Parameter erhöhen, gemessen als eine Zunahme der Entropie. Das resultierende Framework zur automatischen LQR-Einstellung wird auf zwei Roboterplattformen demonstriert: Ein Robterarm, der einen umgekehrten Stab ausbalanciert und ein humanoider Roboter, der Kniebeugen ausführt. In beiden Fällen wird ein vorhandener Regler in einer handvoll Experimenten automatisch verbessert, ohne dass ein Mensch eingreifen muss. vii BO kompensiert Datenknappheit durch den GP, ein probabilistisches Modell, das a priori Annahmen über das unbekannte Zielfunktion enthält. Normalerweise haben falsche oder uninformierte Annahmen negative Folgen, wie z.B. eine höhere Anzahl von Roboterexperimenten, ein schlechteres Reglerverhalten oder eine verringerte Dateneffizienz. Die hier vorgestellten Beiträge Zwei bis Vier beschäftigen sich mit diesem Problem. Der zweite Beitrag schlägt vor, den Robotersimulator als zusätzliche Informationsquelle für die automatische Reglereinstellung in die Lernschleife miteinzubeziehen. Während reale Roboterexperimente im Allgemeinen hohe Kosten mit sich bringen, sind Simulationen günstiger (sie können z.B. schneller berechnet werden). Da der Simulator aber ein unvollkommenes Modell des Roboters ist, sind seine Informationen einseitig verfälscht und können negative Auswirkungen auf das Lernverhalten haben. Um dieses Problem anzugehen, schlagen wir “sim-vs-real” vor, einen auf grundlegenden Prinzipien beruhenden BO-Algorithmus, der Daten aus Simulationen und Experimenten nutzt. Der Algorithmus wägt dabei die günstigen, aber ungenauen Informationen des Simulators gegen die teuren und exakten physikalischen Experimente in einer kostengünstigen Weise ab. Der daraus resultierende Algorithmus wird an einem inversen Pendels auf einem Wagen demonstriert, bei dem sich Simulationen und reale Experimente abwechseln, wodurch viele reale Experimente eingespart werden. Der dritte Beitrag untersucht, wie die Aussagekraft der probabilistischen Annahmen des vorliegenden Regelungsproblem adäquat behandelt werden kann. Zu diesem Zweck wird die mathematische Struktur des LQR-Reglers genutzt und durch die Kernel-Funktion in den GP eingebaut. Insbesondere schlagen wir zwei verschiedene “LQR-Kernel”-Entwürfe vor, die die Flexibilität des Bayes’schen, nichtparametrischen Lernens beibehalten. Simulierte Ergebnisse deuten darauf hin, dass die LQR-Kernel bessere Ergebnisse erzielen als uninformierte Kernel, wenn sie zum Lernen von Reglern mit BO verwendet werden. Der vierte Beitrag schließlich befasst sich speziell mit dem Problem, wie ein Versagen des Reglers behandelt werden soll. Fehlschläge von Reglern sind beim Lernen aus Daten typischerweise unvermeidbar, insbesondere wenn nichtkonservative Lösungen erwartet werden. Obwohl ein Versagen des Reglers im Allgemeinen problematisch ist (z.B. muss der Roboter mit einem Not-Aus angehalten werden), ist es gleichzeitig eine reichhaltige Informationsquelle darüber, was vermieden werden sollte. Wir schlagen “failures-aware excursion search” vor, einen neuen Algorithmus für Bayes’sche Optimierung mit unbekannten Beschränkungen, bei dem die Anzahl an Fehlern begrenzt ist. Unsere Ergebnisse in numerischen Vergleichsstudien deuten darauf hin, dass, verglichen mit dem aktuellen Stand der Technik, durch das Zulassen einer begrenzten Anzahl von Fehlschlägen bessere Optima aufgedeckt werden. Der erste Beitrag dieser Dissertation ist unter den ersten die BO an realen Robotern anwenden. Diese Arbeit diente dazu, mehrere Probleme zu identifizieren, wie zum Beispiel den Bedarf nach einer höheren Dateneffizienz, was mehrere neue Forschungsrichtungen aufzeigte, die wir durch verschiedene methodische Beiträge addressiert haben. Zusammengefasst haben wir “sim-vs-real”, einen neuen BOAlgorithmus der den Simulator as zusätzliche Informationsquelle miteinbezieht, einen “LQR-Kernel”-Entwurf, der schneller lernt als Standardkernel und “failures-aware excursion search”, einen neuen BO-Algorithmus für beschränkte Black-Box-Optimierungsprobleme, bei denen die Anzahl der Fehler begrenzt ist, vorgeschlagen.In reference to IEEE copyrighted material which is used with permission in this thesis, the IEEE does not endorse any of Eberhard Karls Universität Tübingen’s products or services. Internal or personal use of this material is permitted. If interested in reprinting/republishing IEEE copyrighted material for advertising or promotional purposes or for creating new collective works for resale or redistribution, please go to http://www.ieee.org/publications_standards/publications/rights/rights_link.html to learn how to obtain a License from RightsLink.The problem of designing controllers to regulate dynamical systems has been studied by engineers during the past millennia. Ever since, suboptimal performance lingers in many closed loops as an unavoidable side effect of manually tuning the parameters of the controllers. Nowadays, industrial settings remain skeptic about data-driven methods that allow one to automatically learn controller parameters. In the context of robotics, machine learning (ML) keeps growing its influence on increasing autonomy and adaptability, for example to aid automating controller tuning. However, data-hungry ML methods, such as standard reinforcement learning, require a large number of experimental samples, prohibitive in robotics, as hardware can deteriorate and break. This brings about the following question: Can manual controller tuning, in robotics, be automated by using data-efficient machine learning techniques? In this thesis, we tackle the question above by exploring Bayesian optimization (BO), a data-efficient ML framework, to buffer the human effort and side effects of manual controller tuning, while retaining a low number of experimental samples. We focus this work in the context of robotic systems, providing thorough theoretical results that aim to increase data-efficiency, as well as demonstrations in real robots. Specifically, we present four main contributions. We first consider using BO to replace manual tuning in robotic platforms. To this end, we parametrize the design weights of a linear quadratic regulator (LQR) and learn its parameters using an information-efficient BO algorithm. Such algorithm uses Gaussian processes (GPs) to model the unknown performance objective. The GP model is used by BO to suggest controller parameters that are expected to increment the information about the optimal parameters, measured as a gain in entropy. The resulting “automatic LQR tuning” framework is demonstrated on two robotic platforms: A robot arm balancing an inverted pole and a humanoid robot performing a squatting task. In both cases, an existing controller is automatically improved in a handful of experiments without human intervention. BO compensates for data scarcity by means of the GP, which is a probabilistic model that encodes prior assumptions about the unknown performance objective. Usually, incorrect or non-informed assumptions have negative consequences, such as higher number of robot experiments, poor tuning performance or reduced sample-efficiency. The second to fourth contributions presented herein attempt to alleviate this issue. The second contribution proposes to include the robot simulator into the learning loop as an additional information source for automatic controller tuning. While doing a real robot experiment generally entails high associated costs (e.g., require preparation and take time), simulations are cheaper to obtain (e.g., they can be computed faster). However, because the simulator is an imperfect model of the robot, its information is biased and could have negative repercussions in the learning performance. To address this problem, we propose “simu-vs-real”, a principled multi-fidelity BO algorithm that trades off cheap, but inaccurate information from simulations with expensive and accurate physical experiments in a cost-effective manner. The resulting algorithm is demonstrated on a cart-pole system, where simulations and real experiments are alternated, thus sparing many real evaluations. The third contribution explores how to adequate the expressiveness of the probabilistic prior to the control problem at hand. To this end, the mathematical structure of LQR controllers is leveraged and embedded into the GP, by means of the kernel function. Specifically, we propose two different “LQR kernel” designs that retain the flexibility of Bayesian nonparametric learning. Simulated results indicate that the LQR kernel yields superior performance than non-informed kernel choices when used for controller learning with BO. Finally, the fourth contribution specifically addresses the problem of handling controller failures, which are typically unavoidable in practice while learning from data, specially if non-conservative solutions are expected. Although controller failures are generally problematic (e.g., the robot has to be emergency-stopped), they are also a rich information source about what should be avoided. We propose “failures-aware excursion search”, a novel algorithm for Bayesian optimization under black-box constraints, where failures are limited in number. Our results in numerical benchmarks indicate that by allowing a confined number of failures, better optima are revealed as compared with state-of-the-art methods. The first contribution of this thesis, “automatic LQR tuning”, lies among the first on applying BO to real robots. While it demonstrated automatic controller learning from few experimental samples, it also revealed several important challenges, such as the need of higher sample-efficiency, which opened relevant research directions that we addressed through several methodological contributions. Summarizing, we proposed “simu-vs-real”, a novel BO algorithm that includes the simulator as an additional information source, an “LQR kernel” design that learns faster than standard choices and “failures-aware excursion search”, a new BO algorithm for constrained black-box optimization problems, where the number of failures is limited

Los hornos Ibéricos de las Casillas del cura (Venta del Moro)

Presentamos en este artículo los primeros resultados de la excavación arqueológica de los hornos ibéricos de Las Casillas del Cura. Se trata de un alfar cerámico del período ibérico antiguo y pleno, caracterizado por su variada producción entre la que destacan las cerámicas bícromas y estampilladas

Successful Latin American initiatives in biophysics

The II LAFeBS Congress aimed to promote a closer interaction between Latin American and Iberian Peninsula scientists in their respective fields of research, from structural proteomics to molecular bioenergetics. The speakers at this event reflected the importance and development of Biophysics in Latin American Countries, including Portugal and Spain; with 13 of them being invited to write review articles for this special issue of Biophysical Reviews. We hope that the integration of biophysics and biophysicists in Latin America, together with Portugal and Spain, through LAFeBS and POSLATAM can contribute to the future development of biophysics in these two historical partner regions.Instituto Multidisciplinario de Biología Celula

Los impactos de la ideología técnica y la cultura algorítmica en la sociedad: Una aproximación crítica

This article aims to reflect on a type of ideology that considers technological advances as the solution to all of humanity’s problems, and to understand how computational algorithms delineate everyday behaviors and practices that shape an algorithmic culture. The reflection is framed within the technical–social relationship, a long-standing discussion, in which certain discourses have exalted only the benefits of technological advances, leaving aside the critical thinking that makes it possible to recognize the social, political, economic, and cultural implications that are generated from them. © 2020, Universidad de los Andes, Bogota Colombia. All rights reserved

Desarrollo de un plan de gestión para la mejora de los procesos de supervisión y administración de las Redes LAN en el Tecnológico Nacional, a través de un software especializado, de Octubre de 2015 a Febrero de 2016

El objetivo principal de este proyecto es desarrollar un plan de gestión para la mejora de los procesos de supervisión y administración de las redes LAN en el Tecnológico Nacional a través de un software especializado. Como parte del plan de gestión del proyecto se elaboraron el plan de gestión del alcance, del tiempo, del costo, de comunicaciones, de riesgos, de RRHH, y de los interesados, basado en las buenas prácticas que sugiere el Instituto de Gerencia de Proyectos en la Guía de Fundamentos de Gerencia de Proyectos. De las técnicas empleadas se destaca el juicio experto, así como análisis documental a diversas fuentes sobre Gerencia de Proyectos en general y ejemplos de proyectos similares. Se utilizó la investigación descriptiva transversal, porque se basa en técnicas específicas para la recolección de datos, tales como la entrevista, observación, análisis documental y la evaluación. Adicionalmente, se utilizaron las herramientas de Gerencia de Proyectos tales como: MS Project 2010, WBS chart pro, plantillas para la elaboración de la matriz de riesgos, estimación de costos. Como resultado se pudo obtener el tiempo y costo que el proyecto requerirá, además de una descripción detallada del alcance con los criterios de aceptación. Como recomendación general se sugirió para el futuro adoptar practicas recomendadas por el PMBoK e utilizar otras metodologías en la institución para realizar un mejor planeamiento y el control de los proyectos futuros

Propuesta de indicadores tecnológicos de usos de recursos en plataformas virtuales de Licenciatura en Administración de Empresas Modalidad virtual

El incremento del número de productos multimedia e hipermedia y de plataformas disponibles en el mercado dirigidos a favorecer el desarrollo de procesos de enseñanza y aprendizaje ha sido muy significativo en los últimos años. Probablemente ello se debe, en parte, a las nuevas exigencias que plantea la sociedad del conocimiento y de la información. El número de personas que demandan carreras virtualizadas en situación de aprendizaje autónomo y a distancia, es cada vez más alto, y también lo es la cantidad de instituciones educativas que preparan a los alumnos para usar las TIC. Esto último se debe tanto a la necesidad de saber usarlas en los procesos mismos de enseñanza y aprendizaje, como a la de utilizarlas más allá de los límites propios de la educación formal. El uso de los recursos disponibles en los entornos educativos que forman las aulas virtuales, puede ser medido por los indicadores de la interactividad: docente- alumno-contenidos de aprendizaje y más concretamente, por la optimización en el uso de los elementos educativos que se desarrollan para sostener, orientar y guiar la actividad constructiva del alumno. En este informe se proponen indicadores tecnológicos para verificar el uso de recursos de las aulas virtuales, y para el desarrollo de los contenidos, actividades e interactividad entre el docente y alumno en relación al proceso de construcción personal de cada uno de ellos, y a las necesidades educativas que cada uno manifiesta en el proceso de apropiación de los contenidos. Las aulas virtuales forman parte de las diferentes formas, tipos y grados en que dichas necesidades se manifiesta primero en el momento de la preparación de la actividad o tarea de enseñanza y aprendizaje propiamente dicha; durante el desarrollo de la misma; y después, acompañando al alumno en el proceso de apropiación y uso posterior de los nuevos conocimientos, e incrementando la funcionalidad del aprendizaje.Universidad Tecnológica de El Salvado

Estudio palinológico preliminar en el sondeo de testigo continuo "Montemayor-1" (Neógeno superior, Huelva)

XV lnternational A.P.L.E. Symposium of Palynolog

Simulador Unity para entornos empresariales

En los últimos años, gracias a la evolución y expansión de la informática, los simuladores se están convirtiendo cada vez más una opción complementaria a las pruebas de campo y acercan a los usuarios a situaciones y entornos muy similares a la realidad. Si bien no reúnen todas las virtudes de realizarlas de forma tradicional, son una herramienta de gran utilidad cuya gran ventaja es la de no acometer los riesgos que supondría la inexperiencia de alguien que se enfrenta por primera vez a una situación desconocida hasta el momento. Generalmente, estos simuladores suelen crearse específicamente para cumplir unos requisitos prefijados y que son acordados con el cliente, pero una vez el software es entregado, el cliente no puede realizar modificaciones sobre éste. En este proyecto se presenta una visión más abierta, donde el cliente puede realizar ciertas modificaciones sobre el simulador después de la fase de desarrollo para adaptarlo conforme sus necesidades vayan variando. De este modo, dichos simuladores pueden ser modificados tanto en fase de desarrollo por personal técnico, como posteriormente por personal no técnico, haciendo posible que expertos de la materia y del entorno que el simulador recrea puedan adaptar o incluso añadir nuevos casos sin necesidad de depender de un experto en la tecnología en que ha sido desarrollado. Así, este proyecto pretende realizar una prueba de concepto que demuestre la viabilidad de una arquitectura modular y flexible que ayude tanto a realizar nuevos simuladores rápida y económicamente, como a hacer al cliente partícipe, si así lo desea, de poder adaptar el simulador a diferentes contextos.In recent years, thanks to the evolution and expansion of computer science, simulators are becoming a complementary option to field tests and bring closer to users to situations and environments similar to reality. Although simulators have not all the virtues of testing traditionally they are a useful tool whose great advantage is not to undertake the risks of inexperience of someone who first faced with this situation. Generally, these simulators are often created specifically to meet certain requirements that are predetermined and agreed with the client, but once the software is delivered, the client can not make modifications to software. This project presents a more open view, where the customer can make some modifications on the simulator after the development phase to adapt it to his needs. Thus, these simulators can be modified both in development by technical staff and later by non-technical staff, enabling to experts in the field and simulator environment adapt or even add new cases without relying an expert in the technology that has been developed. Therefore, the main objective of this project is to perform a concept test that demonstrates the viability of a modular and flexible architecture that helps to make new simulators quickly and economically and make to customer free to adapt the simulator to different contexts.Ingeniería de Sistemas Audiovisuale

Co Treatment With Biologic Agents and Immunotherapy in the Setting of irAEs of Difficult Management

Adverse drugs reaction; Immune check-point inhibitors therapy; Immunosuppression therapyReacción adversa a medicamentos; Terapia con inhibidores del punto de control inmunitario; Terapia inmunosupresoraReaccions adverses als fàrmacs; Teràpia amb inhibidors del punt de control immune; Teràpia d'immunosupressióIn recent years, immunotherapy has become an important pillar of cancer treatment, with high response rates regardless of tumor histology or baseline mutations, sometime in patients without any alternative of treatment. Moreover, these treatments are moving from later line therapies to front-line therapies in the metastasic setting. However, immune activation associated with immune check-point inhibitors (ICI) is not selective and a large variety of immune-related adverse events, with an increasing frequency, have been associated with anti-PD1, anti-PD-1/L-1 and anti-CTLA-4 agents. In clinical trials, and sometimes also in real life practice, patients who develop severe toxicities on ICI-based therapies are usually not allowed to resume ICI once their disease progresses, because of the chance of developing severe irAEs on rechallenge with immunotherapies. Moreover, patients with irAEs suffer important side effects due to the high dose corticosteroids that are used to treat them. Therapy with ICI is sometimes the only alternative for certain patients, and for this reason co treatment with classic (DMARDS) or biologic immunosuppression therapy and ICI must be considered. Co-treatment with this type of immunosuppressant drugs, apart from allowing the maintenance of ICI therapy, drive to a lesser use of corticosteroids, with an improvement of the safety and quality of life of the patients. Such a tailored scheme of treatment is mostly an expert opinion based on recommendation and currently there is scarce evidence supporting it. Herein we present comprehensive, current recommendations and real-world data on the use of co-treatment with ICI and DMARDS and biologic immunosuppression

Liposomes as Matrices to Hold Bioactive Compounds for Drinkable Foods: Their Ability to Improve Health and Future Prospects

The aim of this chapter is to describe the use of bioactive compounds with beneficial effects on human health beyond their basic nutritional value. Bioactive compounds like vitamin E, vitamin C, and fatty acids (omega-3 and omega-6) have an important nutritional contribution and are related to the prevention of certain diseases with global impact such as cancer. However, the addition of vitamins in a food product is not easy: E is destroyed by UV-light, and C is dramatically reduced during heat processes. The use of liposomes as matrices to hold bioactive compounds appears to be a promising solution. Liposomes were made of natural soybean lecithin, which has a great nutritional importance, and more so combined with stearic acid or calcium stearate (CaS). Thus, this stabilize liposomes and contribute to the stability of bioactive compounds and to preserve their activity. The stability of bioactive compounds/liposomes incorporated into aqueous food must be demonstrated in properties such as oxidative tendency, morphology, size, and membrane packaging after heat treatment processes. But to make a product applicable at the commercial level, its texture and mouthfeel arising from the ingestion of drinkable foods are all-important to consumer’s choice and sensory acceptability must not undergo any modification