Probabilistic techniques in semantic mapping for mobile robotics

Los mapas semánticos son representaciones del mundo que permiten a un robot entender no sólo los aspectos espaciales de su lugar de trabajo, sino también el significado de sus elementos (objetos, habitaciones, etc.) y como los humanos interactúan con ellos (e.g. funcionalidades, eventos y relaciones). Para conseguirlo, un mapa semántico añade a las representaciones puramente espaciales, tales como mapas geométricos o topológicos, meta-información sobre los tipos de elementos y relaciones que pueden encontrarse en el entorno de trabajo. Esta meta-información, denominada conocimiento semántico o de sentido común, se codifica típicamente en Bases de Conocimiento. Un ejemplo de este tipo de información podría ser: "los frigoríficos son objetos grandes, con forma rectangular, colocados normalmente en las cocinas, y que pueden contener comida perecedera y medicación". Codificar y manejar este conocimiento semántico permite al robot razonar acerca de la información obtenida de un cierto lugar de trabajo, así como inferir nueva información con el fin de ejecutar eficientemente tareas de alto nivel como "¡hola robot! llévale la medicación a la abuela, por favor". La presente tesis propone la utilización de técnicas probabilísticas para construir y mantener mapas semánticos, lo cual presenta tres ventajas principales en comparación con los enfoques tradicionales: i) permite manejar incertidumbre (proveniente de los sensores imprecisos del robot y de los modelos empleados), ii) provee representaciones del entorno coherentes por medio del aprovechamiento de las relaciones contextuales entre los elementos observados (e.g. los frigoríficos usualmente se encuentran en las cocinas) desde un punto de vista holístico, y iii) produce valores de certidumbre que reflejan el grado de exactitud de la comprensión del robot acerca de su entorno. Específicamente, las contribuciones presentadas pueden agruparse en dos temas principales. El primer conjunto de contribuciones se basa en el problema del reconocimiento de objetos y/o habitaciones, ya que los sistemas de mapeo semántico deben contar con algoritmos de reconocimiento fiables para la construcción de representaciones válidas. Para ello se ha explorado la utilización de Modelos Gráficos Probabilísticos (Probabilistic Graphical Models o PGMs en inglés) con el fin de aprovechar las relaciones de contexto entre objetos y/o habitaciones a la vez que se maneja la incertidumbre inherente al problema de reconocimiento, y el empleo de Bases de Conocimiento para mejorar su desempeño de distintos modos, e.g., detectando resultados incoherentes, proveyendo información a priori, reduciendo la complejidad de los algoritmos de inferencia probabilística, generando ejemplos de entrenamiento sintéticos, habilitando el aprendizaje a partir de experiencias pasadas, etc. El segundo grupo de contribuciones acomoda los resultados probabilísticos provenientes de los algoritmos de reconocimiento desarrollados en una nueva representación semántica, denominada Multiversal Semantic Map (MvSmap). Este mapa gestiona múltiples interpretaciones del espacio de trabajo del robot, llamadas universos, los cuales son anotados con la probabilidad de ser los correctos de acuerdo con el conocimiento actual del robot. Así, este enfoque proporciona una creencia fundamentada sobre la exactitud de la comprensión del robot sobre su entorno, lo que le permite operar de una manera más eficiente y coherente. Los algoritmos probabilísticos propuestos han sido testeados concienzudamente y comparados con otros enfoques actuales e innovadores empleando conjuntos de datos del estado del arte. De manera adicional, esta tesis también contribuye con dos conjuntos de datos, UMA-Offices and Robot@Home, los cuales contienen información sensorial capturada en distintos entornos de oficinas y casas, así como dos herramientas software, la librería Undirected Probabilistic Graphical Models in C++ (UPGMpp), y el conjunto de herramientas Object Labeling Toolkit (OLT), para el trabajo con Modelos Gráficos Probabilísticos y el procesamiento de conjuntos de datos respectivamente

Analyzing interference between RGB-D cameras for human motion tracking

Multi-camera RGB-D systems are becoming popular as sensor setups in Computer Vision applications but they are prone to cause interference between them, compromising their accuracy. This paper extends previous works on the analysis of the noise introduced by interference with new and more realistic camera configurations and different brands of devices. As expected, the detected noise increases as distance and angle grows, becoming worse when interference is present. Finally, we evaluate the effectiveness of the proposed solutions of using DC vibration motors to mitigate them. The results of this study are being used to assess the effect of interference when applying these setups to human motion tracking.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Plan Propio de Investigación de la UMA. Junta de Andalucía, proyecto TEP2012-53

The Robot@Home2 dataset: A new release with improved usability tools

Released in 2017, Robot@Home is a dataset captured by a mobile robot during indoor navigation sessions in apartments. This paper presents Robot@Home2, an enhanced version of the Robot@Home dataset, aimed at improving usability and functionality for developing and testing mobile robotics and computer vision algorithms. Robot@Home2 consists of three main components. Firstly, a relational database that states the contextual information and data links, compatible with Standard Query Language. Secondly,a Python package for managing the database, including downloading, querying, and interfacing functions. Finally, learning resources in the form of Jupyter notebooks, runnable locally or on the Google Colab platform, enabling users to explore the dataset without local installations. These freely available tools are expected to enhance the ease of exploiting the Robot@Home dataset and accelerate research in computer vision and robotics.Partial funding for open access charges: Universidad de Málaga / CBU

Modelado del contexto geométrico para el reconocimiento de objetos

[Resumen] El reconocimiento de objetos es una tarea clave para dotar de cierta autonomía a un robot móvil. Los métodos de reconocimiento tradicionales han alcanzado un éxito aceptable empleando información sobre la apariencia y/o la geometría de los objetos, aunque pueden presentar resultados ambiguos. Persiguiendo mitigar esta desventaja, en este trabajo se estudia cómo modelar información sobre el contexto geométrico de los objetos, la cual resulta útil para inclinar la balanza en reconocimientos ambiguos, de tal manera que se alcance un reconocimiento tan exitoso como sea posible. Para ello hemos recurrido a los campos aleatorios condicionales como herramienta de modelado, y a Robot@Home como conjunto de datos para la evaluación. Con estas premisas se han alcanzado conclusiones interesantes para cualquier sistema reconocedor empleando información contextual.Junta de Andalucía; TEP2012-530Ministerio de Ciencia e Innovación; DPI2014-55826-

Tutorial para el reconocimiento de objetos basado en características empleando herramientas Phyton

El reconocimiento de objetos es algo innato en el ser humano. Cuando las personas miramos una fotografía, somos capaces de detectar sin esfuerzo elementos como animales, señales, objetos de interés, etc. En el campo de la visión por computador este proceso se lleva a cabo mediante herramientas de Inteligencia Artificial, con el fin de obtener información sobre el contenido de una imagen. Esta tarea, aunque ampliamente investigada, a un sigue siendo un campo de estudio activo debido a los grandes retos que conlleva: la detección de objetos en distintas condiciones luminosas, con posibles oclusiones, distintos tamaños y perspectivas, etc. Este artículo describe las tareas a completar en el desarrollo de un sistema de reconocimiento de objetos exitoso, y proporciona al lector una serie de directrices prácticas sobre como realizarlas. El trabajo viene acompañado de una serie de scripts Python para experimentar con las diferentes técnicas descritas, pretendiendo servir de apoyo en tareas docentes o de iniciación a cualquier entusiasta en la materia.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Este trabajo se ha desarrollado en el marco del proyecto WISER (DPI2017-84827-R), financiado por el Ministerio de Ciencia e Innovación contando con fondos del Fondo Europeo de Desarrollo Regional (FEDER)

Metodología para la optimización de la maniobra de fondeo de cajones en infraestructuras marítimas

Los autores agradecen el soporte y la financiación del proyecto DOVICAIM. Proyecto del Programa estatal de Investigación, Desarrollo e Innovación Orientada a los Retos de la Sociedad 2014 (RTC-2014-3077-4

Gestión del conocimiento. Perspectiva multidisciplinaria. Volumen 17

El libro “Gestión del Conocimiento. Perspectiva Multidisciplinaria”, Volumen 17 de la Colección Unión Global, es resultado de investigaciones. Los capítulos del libro, son resultados de investigaciones desarrolladas por sus autores. El libro es una publicación internacional, seriada, continua, arbitrada, de acceso abierto a todas las áreas del conocimiento, orientada a contribuir con procesos de gestión del conocimiento científico, tecnológico y humanístico. Con esta colección, se aspira contribuir con el cultivo, la comprensión, la recopilación y la apropiación social del conocimiento en cuanto a patrimonio intangible de la humanidad, con el propósito de hacer aportes con la transformación de las relaciones socioculturales que sustentan la construcción social de los saberes y su reconocimiento como bien público

4to. Congreso Internacional de Ciencia, Tecnología e Innovación para la Sociedad. Memoria académica

Este volumen acoge la memoria académica de la Cuarta edición del Congreso Internacional de Ciencia, Tecnología e Innovación para la Sociedad, CITIS 2017, desarrollado entre el 29 de noviembre y el 1 de diciembre de 2017 y organizado por la Universidad Politécnica Salesiana (UPS) en su sede de Guayaquil. El Congreso ofreció un espacio para la presentación, difusión e intercambio de importantes investigaciones nacionales e internacionales ante la comunidad universitaria que se dio cita en el encuentro. El uso de herramientas tecnológicas para la gestión de los trabajos de investigación como la plataforma Open Conference Systems y la web de presentación del Congreso http://citis.blog.ups.edu.ec/, hicieron de CITIS 2017 un verdadero referente entre los congresos que se desarrollaron en el país. La preocupación de nuestra Universidad, de presentar espacios que ayuden a generar nuevos y mejores cambios en la dimensión humana y social de nuestro entorno, hace que se persiga en cada edición del evento la presentación de trabajos con calidad creciente en cuanto a su producción científica. Quienes estuvimos al frente de la organización, dejamos plasmado en estas memorias académicas el intenso y prolífico trabajo de los días de realización del Congreso Internacional de Ciencia, Tecnología e Innovación para la Sociedad al alcance de todos y todas

A Collection of Jupyter Notebooks for Mobile Robotics Courses

[Resumen] Las expectativas de implantación de vehículos autónomos en nuestra sociedad (coches, UAVs, robots, etc.) está impulsando la demanda de profesionales en el campo de la robótica móvil. Dada la diversidad y complejidad de las materias que abarca la robótica, e.g. probabilidad, algebra lineal, cálculo diferencial, mecánica, programación, inteligencia artificial, etc., se hace necesario contar con material didáctico innovador que facilite el aprendizaje y posibilite el desarrollo de problemas prácticos soportados por sus correspondientes fundamentos teóricos. Este trabajo presenta una colección de documentos interactivos para el aprendizaje en robótica, basados en la novedosa tecno- log a Jupyter Notebook, la cual permite al docente incluir en el mismo documento texto, ecuaciones matemáticas, recursos visuales como imágenes o videos, enlaces externos, e implementación de código. De este modo, los documentos interactivos introducen temas fundamentales de la robótica móvil situando al estudiante en un mejor contexto, incorporando los conceptos necesarios de distintas materias, y permitiéndole interactuar y analizar los resultados obtenidos. Esta herramienta está siendo integrada en diversos cursos de la Universidad de M alaga, entre ellos la asignatura obligatoria de Robótica del grado de Ingeniería Informática (Computación).[Abstract] The recent popularity of mobile robotics has resulted in an increasing demand of practitioners with a solid theoretical and practical background in the eld. Nevertheless, the diversity of related topics e.g. probability, algebra, computing, etc. complicates the development of learning materials to reinforce these fundamentals. This paper presents a colection of interactive notebooks targeted at robotics courses, making use of the Jupyter Notebook framework, which allows the use of rich text components whithin a document, e.g. mathematical equations, multimedia content such as images or videos, external links and interactive code. Therefore, these interactive documents are able to introduce the mobile robotics fundamentals, in a proper context, interweaving the core concepts of the different elds, and allowing the student to analyze and interact with the results. The developed notebooks are meant to become a useful tool in academia, particularly in our courses at the University of Malaga, where they are being integrated.Ministerio de Ciencia, Innovación y Universidades; DPI2017-84827-

A tutorial on object recoginition using Python tools

Comunicación presentada a las XXXIX Jornadas de Automática, celebradas en Badajoz del 5 al 7 de Septiembre de 2018 y organizada por la Universidad de Extremadura.El reconocimiento de objetos es algo innato en el ser humano. Cuando las personas miramos una fotografía, somos capaces de detectar sin esfuerzo elementos como animales, señales, objetos de interés, etc. En el campo de la visión por computador este proceso se lleva a cabo mediante herramientas de Inteligencia Artificial, con el fin de obtener información sobre el contenido de una imagen. Esta tarea, aunque ampliamente investigada, aún sigue siendo un campo de estudio activo debido a los grandes retos que conlleva: la detección de objetos en distintas condiciones luminosas, con posibles oclusiones, distintos tamaños y perspectivas, etc. Este artículo describe las tareas a completar en el desarrollo de un sistema de reconocimiento de objetos exitoso, y proporciona al lector una serie de directrices prácticas sobre cómo realizarlas. El trabajo viene acompañado de una serie de scripts Python para experimentar con las diferentes técnicas descritas, pretendiendo servir de apoyo en tareas docentes o de iniciación a cualquier entusiasta en la materia.When people look at pictures, we are able to effortlessly detect elements like animals, signals, objects of interest, etc. Object recognition is a computer vision technique that, through tools from Artificial Intelligence, aims to carry out such an action with the goal of retrieving information from the content of an image. This task, although widely investigated, is an active research fied due to the challenges that it has to face: the detection of objects in different lighthing conditions, with possible occlusions, different sizes and perspectives, etc. This paper describes the typical actions to be completed in the development of a successful object recognition system, and provides the reader a number of practical guidelines about how to address them. The work is accompanied by a Python script (available at https: // github. com/ jotaraul/ object_ recognition_ in_ python ) to put them into practice using state-of-the-art techniques (from libraries like Pandas or Scikit-learn ), and aims to be a valuable resource for education, or as initiation to any enthusiastic in the topic.Ministerio de Ciencia e Innovación, Fondo Europeo de Desarrollo Regional (FEDER). Proyecto WISER (DPI2017-84827-R)peerReviewe