MUSME 2011 4 th International Symposium on Multibody Systems and Mechatronics

El libro de actas recoge las aportaciones de los autores a través de los correspondientes artículos a la Dinámica de Sistemas Multicuerpo y la Mecatrónica (Musme). Estas disciplinas se han convertido en una importante herramienta para diseñar máquinas, analizar prototipos virtuales y realizar análisis CAD sobre complejos sistemas mecánicos articulados multicuerpo. La dinámica de sistemas multicuerpo comprende un gran número de aspectos que incluyen la mecánica, dinámica estructural, matemáticas aplicadas, métodos de control, ciencia de los ordenadores y mecatrónica. Los artículos recogidos en el libro de actas están relacionados con alguno de los siguientes tópicos del congreso: Análisis y síntesis de mecanismos ; Diseño de algoritmos para sistemas mecatrónicos ; Procedimientos de simulación y resultados ; Prototipos y rendimiento ; Robots y micromáquinas ; Validaciones experimentales ; Teoría de simulación mecatrónica ; Sistemas mecatrónicos ; Control de sistemas mecatrónicosUniversitat Politècnica de València (2011). MUSME 2011 4 th International Symposium on Multibody Systems and Mechatronics. Editorial Universitat Politècnica de València. http://hdl.handle.net/10251/13224Archivo delegad

Using Reinforcement Learning in the tuning of Central Pattern Generators

Dissertação de mestrado em Engenharia InformáticaÉ objetivo deste trabalho aplicar técnicas de Reinforcement Learning em tarefas de aprendizagem e locomoção de robôs. Reinforcement Learning é uma técnica de aprendizagem útil no que diz respeito à locomoção de robôs, devido à ênfase que dá à interação direta entre o agente e o meio ambiente, e ao facto de não exigir supervisão ou modelos completos, ao contrário do que acontece nas abordagens clássicas. O objetivo desta técnica consiste na decisão das ações a tomar, de forma a maximizar uma recompensa cumulativa, tendo em conta o facto de que as decisões podem afetar não só as recompensas imediatas, como também as futuras. Neste trabalho será apresentada a estrutura e funcionamento do Reinforcement Learning e a sua aplicação em Central Pattern Generators, com o objetivo de gerar locomoção adaptativa otimizada. De forma a investigar e identificar os pontos fortes e capacidades do Reinforcement Learning, e para demonstrar de uma forma simples este tipo de algoritmos, foram implementados dois casos de estudo baseados no estado da arte. No que diz respeito ao objetivo principal desta tese, duas soluções diferentes foram abordadas: uma primeira baseada em métodos Natural-Actor Critic, e a segunda, em Cross-Entropy Method. Este último algoritmo provou ser capaz de lidar com a integração das duas abordagens propostas. As soluções de integração foram testadas e validadas com recurso ao simulador Webots e ao modelo do robô DARwIN-OP.In this work, it is intended to apply Reinforcement Learning techniques in tasks involving learning and robot locomotion. Reinforcement Learning is a very useful learning technique with regard to legged robot locomotion, due to its ability to provide direct interaction between the agent and the environment, and the fact of not requiring supervision or complete models, in contrast with other classic approaches. Its aim consists in making decisions about which actions to take so as to maximize a cumulative reward or reinforcement signal, taking into account the fact that the decisions may affect not only the immediate reward, but also the future ones. In this work it will be studied and presented the Reinforcement Learning framework and its application in the tuning of Central Pattern Generators, with the aim of generating optimized robot locomotion. In order to investigate the strengths and abilities of Reinforcement Learning, and to demonstrate in a simple way the learning process of such algorithms, two case studies were implemented based on the state-of-the-art. With regard to the main purpose of the thesis, two different solutions are addressed: a first one based on Natural-Actor Critic methods, and a second, based on the Cross-Entropy Method. This last algorithm was found to be very capable of handling with the integration of the two proposed approaches. The integration solutions were tested and validated resorting to Webots simulation and DARwIN-OP robot model

Study on biped foot systems and controls adaptable to various terrains

制度:新 ; 報告番号:甲2842号 ; 学位の種類:博士(工学) ; 授与年月日:2009/3/15 ; 早大学位記番号:新506