4,264 research outputs found
Improvement of the sensory and autonomous capability of robots through olfaction: the IRO Project
Proyecto de Excelencia Junta de Andalucía TEP2012-530Olfaction is a valuable source of information about the environment that has not been su ciently exploited in mobile robotics
yet. Certainly, odor information can contribute to other sensing modalities, e.g. vision, to successfully accomplish high-level robot
activities, such as task planning or execution in human environments. This paper describes the developments carried out in the scope of the IRO project, which aims at making progress in this direction by investigating mechanisms that exploit odor information (usually coming in the form of the type of volatile and its concentration) in problems like object recognition and scene-activity understanding. A distinctive aspect of this research is the special attention paid to the role of semantics within the robot perception and decisionmaking processes. The results of the IRO project have improved the robot capabilities in terms of efciency, autonomy and usefulness.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tec
Exploiting visual salience for the generation of referring expressions
In this paper we present a novel approach to generating
referring expressions (GRE) that is tailored to a model of the visual context the user is attending to. The approach
integrates a new computational model of visual salience in simulated 3-D environments with Dale and Reiter’s (1995) Incremental Algorithm. The advantage of our GRE framework are: (1) the context set used by the GRE algorithm is dynamically computed by the visual saliency algorithm as a user navigates through a simulation; (2) the integration of visual salience into the generation process means that in some instances underspecified but sufficiently detailed descriptions of the target object are generated that are shorter than those generated by GRE algorithms which focus purely on adjectival and type attributes; (3) the integration of visual saliency into the generation process means that our GRE algorithm will in some instances succeed in generating a description of the target object in situations where GRE algorithms which focus purely on adjectival and type attributes fail
ADoPT: LiDAR Spoofing Attack Detection Based on Point-Level Temporal Consistency
Deep neural networks (DNNs) are increasingly integrated into LiDAR (Light
Detection and Ranging)-based perception systems for autonomous vehicles (AVs),
requiring robust performance under adversarial conditions. We aim to address
the challenge of LiDAR spoofing attacks, where attackers inject fake objects
into LiDAR data and fool AVs to misinterpret their environment and make
erroneous decisions. However, current defense algorithms predominantly depend
on perception outputs (i.e., bounding boxes) thus face limitations in detecting
attackers given the bounding boxes are generated by imperfect perception models
processing limited points, acquired based on the ego vehicle's viewpoint. To
overcome these limitations, we propose a novel framework, named ADoPT (Anomaly
Detection based on Point-level Temporal consistency), which quantitatively
measures temporal consistency across consecutive frames and identifies abnormal
objects based on the coherency of point clusters. In our evaluation using the
nuScenes dataset, our algorithm effectively counters various LiDAR spoofing
attacks, achieving a low ( 85%)
true positive ratio (TPR), outperforming existing state-of-the-art defense
methods, CARLO and 3D-TC2. Furthermore, our evaluation demonstrates the
promising potential for accurate attack detection across various road
environments.Comment: BMVC 2023 (17 pages, 13 figures, and 1 table
Efficient semantic place categorization by a robot through active line-of-sight selection
In this paper, we present an attention mechanism for mobile robots to face the problem of place categorization. Our approach, which is based on active perception, aims to capture images with characteristic or distinctive details of the environment that can be exploited to improve the efficiency (quickness and accuracy) of the place categorization. To do so, at each time moment, our proposal selects the most informative view by controlling the line-of-sight of the robot’s camera through a pan-only unit. We root our proposal on an information maximization scheme, formalized as a next-best-view problem through a Markov Decision Process (MDP) model. The latter exploits the short-time estimated navigation path of the robot to anticipate the next robot’s movements and make consistent decisions. We demonstrate over two datasets, with simulated and real data, that our proposal generalizes well for the two main paradigms of place categorization (object-based and image-based), outperforming typical camera-configurations (fixed and continuously-rotating) and a pure-exploratory approach, both in quickness and accuracy.This work was supported by the research projects WISER (DPI2017-84827-R) and ARPEGGIO (PID2020-117057), as well as by the Spanish grant program FPU19/00704. Funding for open access charge: Universidad de Málaga / CBUA
Human Motion Trajectory Prediction: A Survey
With growing numbers of intelligent autonomous systems in human environments,
the ability of such systems to perceive, understand and anticipate human
behavior becomes increasingly important. Specifically, predicting future
positions of dynamic agents and planning considering such predictions are key
tasks for self-driving vehicles, service robots and advanced surveillance
systems. This paper provides a survey of human motion trajectory prediction. We
review, analyze and structure a large selection of work from different
communities and propose a taxonomy that categorizes existing methods based on
the motion modeling approach and level of contextual information used. We
provide an overview of the existing datasets and performance metrics. We
discuss limitations of the state of the art and outline directions for further
research.Comment: Submitted to the International Journal of Robotics Research (IJRR),
37 page
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
Semantic annotations are vital for training models for object recognition,
semantic segmentation or scene understanding. Unfortunately, pixelwise
annotation of images at very large scale is labor-intensive and only little
labeled data is available, particularly at instance level and for street
scenes. In this paper, we propose to tackle this problem by lifting the
semantic instance labeling task from 2D into 3D. Given reconstructions from
stereo or laser data, we annotate static 3D scene elements with rough bounding
primitives and develop a model which transfers this information into the image
domain. We leverage our method to obtain 2D labels for a novel suburban video
dataset which we have collected, resulting in 400k semantic and instance image
annotations. A comparison of our method to state-of-the-art label transfer
baselines reveals that 3D information enables more efficient annotation while
at the same time resulting in improved accuracy and time-coherent labels.Comment: 10 pages in Conference on Computer Vision and Pattern Recognition
(CVPR), 201
Scene understanding for autonomous robots operating in indoor environments
Mención Internacional en el título de doctorThe idea of having robots among us is not new. Great efforts are continually made to
replicate human intelligence, with the vision of having robots performing different activities,
including hazardous, repetitive, and tedious tasks. Research has demonstrated that robots are
good at many tasks that are hard for us, mainly in terms of precision, efficiency, and speed.
However, there are some tasks that humans do without much effort that are challenging for
robots. Especially robots in domestic environments are far from satisfactorily fulfilling some
tasks, mainly because these environments are unstructured, cluttered, and with a variety of
environmental conditions to control.
This thesis addresses the problem of scene understanding in the context of autonomous
robots operating in everyday human environments. Furthermore, this thesis is developed
under the HEROITEA research project that aims to develop a robot system to help
elderly people in domestic environments as an assistant. Our main objective is to develop
different methods that allow robots to acquire more information from the environment to
progressively build knowledge that allows them to improve the performance on high-level
robotic tasks. In this way, scene understanding is a broad research topic, and it is considered
a complex task due to the multiple sub-tasks that are involved. In that context, in this thesis,
we focus on three sub-tasks: object detection, scene recognition, and semantic segmentation
of the environment.
Firstly, we implement methods to recognize objects considering real indoor environments.
We applied machine learning techniques incorporating uncertainties and more modern
techniques based on deep learning. Besides, apart from detecting objects, it is essential to
comprehend the scene where they can occur. For this reason, we propose an approach
for scene recognition that considers the influence of the detected objects in the prediction
process. We demonstrate that the exiting objects and their relationships can improve the
inference about the scene class. We also consider that a scene recognition model can
benefit from the advantages of other models. We propose a multi-classifier model for scene
recognition based on weighted voting schemes. The experiments carried out in real-world
indoor environments demonstrate that the adequate combination of independent classifiers
allows obtaining a more robust and precise model for scene recognition.
Moreover, to increase the understanding of a robot about its surroundings, we propose
a new division of the environment based on regions to build a useful representation of
the environment. Object and scene information is integrated into a probabilistic fashion
generating a semantic map of the environment containing meaningful regions within each
room. The proposed system has been assessed on simulated and real-world domestic
scenarios, demonstrating its ability to generate consistent environment representations.
Lastly, full knowledge of the environment can enhance more complex robotic tasks; that is
why in this thesis, we try to study how a complete knowledge of the environment influences
the robot’s performance in high-level tasks. To do so, we select an essential task, which
is searching for objects. This mundane task can be considered a precondition to perform
many complex robotic tasks such as fetching and carrying, manipulation, user requirements,
among others. The execution of these activities by service robots needs full knowledge of
the environment to perform each task efficiently. In this thesis, we propose two searching
strategies that consider prior information, semantic representation of the environment, and
the relationships between known objects and the type of scene. All our developments are
evaluated in simulated and real-world environments, integrated with other systems, and
operating in real platforms, demonstrating their feasibility to implement in real scenarios, and
in some cases outperforming other approaches. We also demonstrate how our representation
of the environment can boost the performance of more complex robotic tasks compared to
more standard environmental representations.La idea de tener robots entre nosotros no es nueva. Continuamente se realizan grandes
esfuerzos para replicar la inteligencia humana, con la visión de tener robots que realicen
diferentes actividades, incluidas tareas peligrosas, repetitivas y tediosas. La investigación ha
demostrado que los robots son buenos en muchas tareas que resultan difíciles para nosotros,
principalmente en términos de precisión, eficiencia y velocidad. Sin embargo, existen tareas
que los humanos realizamos sin mucho esfuerzo y que son un desafío para los robots.
Especialmente, los robots en entornos domésticos están lejos de cumplir satisfactoriamente
algunas tareas, principalmente porque estos entornos no son estructurados, pueden estar
desordenados y cuentan con una gran variedad de condiciones ambientales que controlar.
Esta tesis aborda el problema de la comprensión de la escena en el contexto de robots
autónomos que operan en entornos humanos cotidianos. Asimismo, esta tesis se desarrolla
en el marco del proyecto de investigación HEROITEA que tiene como objetivo desarrollar
un sistema robótico que funcione como asistente para ayudar a personas mayores en entornos
domésticos. Nuestro principal objetivo es desarrollar diferentes métodos que permitan a
los robots adquirir más información del entorno a fin de construir progresivamente un
conocimiento que les permita mejorar su desempeño en tareas robóticas más complejas.
En este sentido, la comprensión de escenas es un tema de investigación amplio, y se
considera una tarea compleja debido a las múltiples subtareas involucradas. En esta tesis
nos enfocamos específicamente en tres subtareas: detección de objetos, reconocimiento de
escenas y etiquetado semántico del entorno.
Por un lado, implementamos métodos para el reconocimiento de objectos considerando
entornos interiores reales. Aplicamos técnicas de aprendizaje automático incorporando
incertidumbres y técnicas más modernas basadas en aprendizaje profundo. Además, aparte
de detectar objetos, es fundamental comprender la escena donde estos se encuentran. Por esta
razón, proponemos un modelo para el reconocimiento de escenas que considera la influencia
de los objetos detectados en el proceso de predicción. Demostramos que los objetos existentes
y sus relaciones pueden mejorar el proceso de inferencia de la categoría de la escena. También
consideramos que un modelo de reconocimiento de escenas puede beneficiarse de las ventajas
de otros modelos. Por ello, proponemos un multiclasificador para el reconocimiento de escenas basado en esquemas de votación ponderados. Los experimentos llevados a cabo
en entornos interiores reales demuestran que la combinación adecuada de clasificadores
independientes permite obtener un modelo más robusto y preciso para el reconocimiento
de escenas.
Adicionalmente, para aumentar la comprensión de un robot acerca de su entorno,
proponemos una nueva división del entorno basada en regiones a fin de construir una
representación útil del entorno. La información de objetos y de la escena se integra de forma
probabilística generando un mapa semántico que contiene regiones significativas dentro de
cada habitación. El sistema propuesto ha sido evaluado en entornos domésticos simulados y
reales, demostrando su capacidad para generar representaciones consistentes del entorno.
Por otro lado, el conocimiento integral del entorno puede mejorar tareas robóticas más
complejas; es por ello que en esta tesis analizamos cómo el conocimiento completo del
entorno influye en el desempeño del robot en tareas de alto nivel. Para ello, seleccionamos una
tarea fundamental, que es la búsqueda de objetos. Esta tarea mundana puede considerarse
una condición previa para realizar diversas tareas robóticas complejas, como transportar
objetos, tareas de manipulación, atender requerimientos del usuario, entre otras. La
ejecución de estas actividades por parte de robots de servicio requiere un conocimiento
profundo del entorno para realizar cada tarea de manera eficiente. En esta tesis proponemos
dos estrategias de búsqueda de objetos que consideran información previa, la representación
semántica del entorno, las relaciones entre los objetos conocidos y el tipo de escena. Todos
nuestros desarrollos son evaluados en entornos simulados y reales, integrados con otros
sistemas y operando en plataformas reales, demostrando su viabilidad de ser implementados
en escenarios reales y, en algunos casos, superando a otros enfoques. También demostramos
cómo nuestra representación del entorno puede mejorar el desempeño de tareas robóticas
más complejas en comparación con representaciones del entorno más tradicionales.Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de MadridPresidente: Carlos Balaguer Bernaldo de Quirós.- Secretario: Fernando Matía Espada.- Vocal: Klaus Strob
Probabilistic techniques in semantic mapping for mobile robotics
Los mapas semánticos son representaciones del mundo que permiten a un robot entender no sólo los aspectos espaciales de su lugar de trabajo, sino también el significado de sus elementos (objetos, habitaciones, etc.) y como los humanos interactúan con ellos (e.g. funcionalidades, eventos y relaciones). Para conseguirlo, un mapa semántico añade a las representaciones puramente espaciales, tales como mapas geométricos o topológicos, meta-información sobre los tipos de elementos y relaciones que pueden encontrarse en el entorno de trabajo. Esta meta-información, denominada conocimiento semántico o de sentido común, se codifica típicamente en Bases de Conocimiento.
Un ejemplo de este tipo de información podría ser: "los frigoríficos son objetos grandes, con forma rectangular, colocados normalmente en las cocinas, y que pueden contener comida perecedera y medicación". Codificar y manejar este conocimiento semántico permite al robot razonar acerca de la información obtenida de un cierto lugar de trabajo, así como inferir nueva información con el fin de ejecutar eficientemente tareas de alto nivel como "¡hola robot! llévale la medicación a la abuela, por favor".
La presente tesis propone la utilización de técnicas probabilísticas para construir y mantener mapas semánticos, lo cual presenta tres ventajas principales en comparación con los enfoques tradicionales:
i) permite manejar incertidumbre (proveniente de los sensores imprecisos del robot y de los modelos empleados),
ii) provee representaciones del entorno coherentes por medio del aprovechamiento de las relaciones contextuales entre los elementos observados (e.g. los frigoríficos usualmente se encuentran en las cocinas) desde un punto de vista holístico, y
iii) produce valores de certidumbre que reflejan el grado de exactitud de la comprensión del robot acerca de su entorno.
Específicamente, las contribuciones presentadas pueden agruparse en dos temas principales. El primer conjunto de contribuciones se basa en el problema del reconocimiento de objetos y/o habitaciones, ya que los sistemas de mapeo semántico deben contar con algoritmos de reconocimiento fiables para la construcción de representaciones válidas. Para ello se ha explorado la utilización de Modelos Gráficos Probabilísticos (Probabilistic Graphical Models o PGMs en inglés) con el fin de aprovechar las relaciones de contexto entre objetos y/o habitaciones a la vez que se maneja la incertidumbre inherente al problema de reconocimiento, y el empleo de Bases de Conocimiento para mejorar su desempeño de distintos modos, e.g., detectando resultados incoherentes, proveyendo información a priori, reduciendo la complejidad de los algoritmos de inferencia probabilística, generando ejemplos de entrenamiento sintéticos, habilitando el aprendizaje a partir de experiencias pasadas, etc.
El segundo grupo de contribuciones acomoda los resultados probabilísticos provenientes de los algoritmos de reconocimiento desarrollados en una nueva representación semántica, denominada Multiversal Semantic Map (MvSmap). Este mapa gestiona múltiples interpretaciones del espacio de trabajo del robot, llamadas universos, los cuales son anotados con la probabilidad de ser los correctos de acuerdo con el conocimiento actual del robot. Así, este enfoque proporciona una creencia fundamentada sobre la exactitud de la comprensión del robot sobre su entorno, lo que le permite operar de una manera más eficiente y coherente.
Los algoritmos probabilísticos propuestos han sido testeados concienzudamente y comparados con otros enfoques actuales e innovadores empleando conjuntos de datos del estado del arte. De manera adicional, esta tesis también contribuye con dos conjuntos de datos, UMA-Offices and Robot@Home, los cuales contienen información sensorial capturada en distintos entornos de oficinas y casas, así como dos herramientas software, la librería Undirected Probabilistic Graphical Models in C++ (UPGMpp), y el conjunto de herramientas Object Labeling Toolkit (OLT), para el trabajo con Modelos Gráficos Probabilísticos y el procesamiento de conjuntos de datos respectivamente
- …