L'exploració robòtica autònoma és un camp de recerca actiu, on els mètodes de percepció robòtica hi abunden. Els mètodes basats en grafs, en particular, són una manera de representar l'entorn de forma eficient, i ofereixen una base sobre la que raonar a alt nivell per resoldre tasques de l'àmbit de la robòtica.
Proposem un sistema per generar grafs jeràrquics d'escena automàticament a partir d'entorns foto-realistes. En aquest treball emprem un mètode de percepció basat en grafs, Hydra, en combinació amb un simulador 3D anomenat Habitat-Sim, per explorar i generar representacions en forma de grafs d'escena 3D dels entorns tridimensionals simulats. Aquest sistema i les dades que n'han derivat ens donen una base sobre la que establim un mètode general per resoldre tasques d'exploració en entorns tridimensionals mitjançant Xarxes Neuronals per a Grafs i Aprenentatge per Reforç.La exploración robótica autónoma es un campo de investigación activo, donde los métodos de percepción robótica abundan. Los métodos basados en grafos, en particular, son una forma de representar el entorno de forma eficiente, y ofrecen una base sobre la que razonar a alto nivel para resolver tareas del ámbito de la robótica.
Proponemos un sistema para generar grafos jerárquicos de escena automáticamente a partir de entornos fotorealistas. En este trabajo usamos un método de percepción basado en grafos, Hydra, en combinación con un simulador 3D llamado Habitat-Sim, para explorar y generar representaciones en forma de grafos de escena 3D de los entornos tridimensionales simulados. Este sistema y los datos que han derivado de él nos dan una base sobre la que establecemos un método general para resolver tareas de exploración en entornos tridimensionales mediante Redes Neuronales para Grafos y Aprendizaje por Refuerzo.Robotic autonomous exploration is an active field of research, where robot perception pipelines abound. Graph-based pipelines, in particular, are a way to represent the environment efficiently, and provide grounds for reasoning on a high level to solve robotics tasks.
We propose a framework to generate hierarchical scene graphs automatically from photo-realistic environments. In this thesis, a graph perception pipeline, Hydra, is employed in combination with Habitat-Sim, a 3D simulator, to explore and generate 3D scene graph representations from the simulated 3D maps. This framework and data have provided the grounds to establish a general pipeline for solving exploration tasks in 3D environments using Graph Neural Networks and Reinforcement Learning.Outgoin
