A Survey on Socially Aware Robot Navigation: Taxonomy and Future Challenges

Socially aware robot navigation is gaining popularity with the increase in delivery and assistive robots. The research is further fueled by a need for socially aware navigation skills in autonomous vehicles to move safely and appropriately in spaces shared with humans. Although most of these are ground robots, drones are also entering the field. In this paper, we present a literature survey of the works on socially aware robot navigation in the past 10 years. We propose four different faceted taxonomies to navigate the literature and examine the field from four different perspectives. Through the taxonomic review, we discuss the current research directions and the extending scope of applications in various domains. Further, we put forward a list of current research opportunities and present a discussion on possible future challenges that are likely to emerge in the field

Principles and Guidelines for Evaluating Social Robot Navigation Algorithms

A major challenge to deploying robots widely is navigation in human-populated environments, commonly referred to as social robot navigation. While the field of social navigation has advanced tremendously in recent years, the fair evaluation of algorithms that tackle social navigation remains hard because it involves not just robotic agents moving in static environments but also dynamic human agents and their perceptions of the appropriateness of robot behavior. In contrast, clear, repeatable, and accessible benchmarks have accelerated progress in fields like computer vision, natural language processing and traditional robot navigation by enabling researchers to fairly compare algorithms, revealing limitations of existing solutions and illuminating promising new directions. We believe the same approach can benefit social navigation. In this paper, we pave the road towards common, widely accessible, and repeatable benchmarking criteria to evaluate social robot navigation. Our contributions include (a) a definition of a socially navigating robot as one that respects the principles of safety, comfort, legibility, politeness, social competency, agent understanding, proactivity, and responsiveness to context, (b) guidelines for the use of metrics, development of scenarios, benchmarks, datasets, and simulators to evaluate social navigation, and (c) a design of a social navigation metrics framework to make it easier to compare results from different simulators, robots and datasets.Comment: 43 pages, 11 figures, 6 table

Combinaison de la planification proactive et de l'analyse de situation pour la navigation robotique adaptée à l'homme

National audienceThe deployment of robots in human environments presents several challenges, and navigating the environment without disturbing humans is one of them. Human-Aware Navigation or Social Navigation of the robot has to address human expectations and safety while navigating to a goal and can be seen as a special form of human-robot interaction. The definition of optimality can change from one context to another, and the robot motion obtained using the shortest, or the fastest path approaches may not be acceptable to humans in the environment. The robot must adapt its behaviour based on the context and should try to minimise the discomfort to the humans, not completely compromising, whenever possible. The evaluation of human-aware navigation is yet another challenge, as it is not easy and requires specialised studies and metrics.The multi-context human-aware navigation planning requires the assessment of the situation at hand and decision-making to produce legible robot motion. The motion planning in each situation can be solved using multi-objective optimization. To address the complex navigation strategies, we propose a cooperative human-aware navigation (CoHAN) planner combing a proactive planning approach with situation assessment. The proposed system applies the principles of joint action to human-robot navigation and assumes that the human is a partner rather than an obstacle. CoHAN can solve intricate human-robot navigation scenarios and has shown promising results both in simulation as well as real-world experiments. We also propose some new metrics to evaluate human-aware navigation and show their effectiveness through a series of simulated experiments.Le déploiement de robots dans des environnements humains présente plusieurs défis, et la navigation dans l'environnement sans déranger les humains est l'un d'entre eux. La navigation adaptée à l'homme ou la navigation sociale du robot doit tenir compte des attentes et de la sécurité de l'homme lorsqu'il se dirige vers un objectif et peut être considérée comme une forme particulière d'interaction homme-robot. La définition de l'optimalité peut changer d'un contexte à l'autre, et le mouvement du robot obtenu en utilisant les approches du chemin le plus court ou le plus rapide peut ne pas être acceptable pour les humains dans l'environnement. Le robot doit adapter son comportement en fonction du contexte et essayer de minimiser l'inconfort pour les humains, sans faire de compromis complet, chaque fois que cela est possible. L'évaluation de la navigation adaptée à l'homme est encore un autre défi, car elle n'est pas facile et nécessite des études et des ! mesures spécialisées.La planification de la navigation adaptée à l'homme dans plusieurs contextes nécessite l'évaluation de la situation et la prise de décision pour produire un mouvement de robot lisible. La planification du mouvement dans chaque situation peut être résolue en utilisant l'optimisation multi-objectifs. Pour aborder les stratégies de navigation complexes, nous proposons un planificateur de navigation coopérative tenant compte de l'humain (CoHAN) combinant une approche de planification proactive avec l'évaluation de la situation. Le système proposé applique les principes de l'action conjointe à la navigation homme-robot et suppose que l'humain est un partenaire plutôt qu'un obstacle. CoHAN peut résoudre des scénarios complexes de navigation homme-robot et a montré des résultats prometteurs tant en simulation qu'en expérimentation réelle. Nous proposons également de nouvelles mesures pour évaluer la navigation humaine et démontrons leur efficacité par une! série d'expériences simulées

Combinaison de la planification proactive et de l'analyse de situation pour la navigation robotique adaptée à l'homme

Today, more than ever, mobile robots and drones are roaming human workspaces. In particular, mobile robots are being deployed in many places, from airports to restaurants to streets. In a classical motion planning setting, everything is an obstacle, and the robot has to avoid all the obstacles and reach its destination. However, this cannot be directly employed in robot navigation planning in human environments. Humans may not be comfortable seeing a robot move very close to them or not knowing if the robot is ready to give them the way or not. Unless the humans are considered in navigation planning, the robot can confuse the humans and may not be accepted to be around them. Hence a new field of robot navigation concentrating on these aspects, called ‘Human-Aware Robot Navigation (HAN) (or Social Robot Navigation)’, is evolving at a rapid pace these days. This work explores HAN in the case of mobile robots and proposes some new factors and systems that can make a robot more ‘human aware’. The core idea behind this work is that the robot has to avoid or mitigate uncomfortable human-robot interactions that occur during the navigation. So, we explore situation assessment and proactive planning in HAN to plan legible and acceptable trajectories for the robot in the first part of the thesis. It was also shown how proactive planning could be a better alternative to reactive planning for HAN. We also introduce some new human-robot social constraints and a new human path prediction methodology. The proposed system has been validated under several settings, and a detailed analysis is presented. The next part elaborates on this idea and moves on to propose a HAN system that can handle static and dynamic humans under several circumstances. We propose a HAN system based on the ROS navigation stack to address the problem of multi-context navigation. This system is highly tunable and has a modality switching mechanism that allows the robot to mitigate several human-robot interaction settings. We introduce some more human-aware constraints pertaining to social norms to make the robot’s navigation vivid. Finally, it has been tested in several simulated and real-world scenarios and analyses are provided. When compared with an already existing HAN system, our system yielded better and more satisfactory results both qualitatively and quantitatively. Even though this system can handle more than one kind of scenario with visible humans, it cannot address the sudden human appearances or prepare the robot ready for such occurrences. So, in the next part of the thesis, a methodology to detect such possible appearances is proposed. These estimations are then integrated with the previous proposed HAN system to allow the robot to manoeuvre around the places of such possible emergences cautiously. The proposed algorithm has been extensively tested, and the advantages of this addition are shown through several experiments. Throughout the development of this thesis, the evaluation of the HAN system has been a challenge as there are no good enough and well accepted metrics currently. Therefore, we have used some existing ones and proposed some new metrics that could be pertinent to many human-robot contexts. The last part of this thesis presents these proposed metrics and their evaluations in different settings. Finally, we conclude this thesis with a discussion on the current state of the field, the challenges faced during the development of this thesis and the future perspectives.Aujourd'hui, plus que jamais, des robots mobiles et des drones parcourent les espaces de travail et de vie des humains. En particulier, les robots mobiles sont déployés ou en voie de déploiement dans de nombreux endroits, des aéroports aux restaurants en passant par les rues. Dans un cadre classique de planification du mouvement, tout est obstacle que le robot doit éviter pour atteindre sa destination. Cependant, cette approche ne peut pas être directement utilisée pour la navigation des robots dans les environnements humains. Les humains peuvent ne pas être à l'aise de voir un robot se déplacer très près d'eux ou de ne pas savoir si le robot est prêt à leur céder le passage ou non. Si les humains ne sont pas pris en compte de manière explicite dans la planification de la navigation, le robot peut les perturber et ne pas être accepté. Ainsi, un nouveau domaine de la navigation robotique se concentrant sur ces aspects, appelé `Human-Aware Robot Navigation (HAN) (ou Social Robot Navigation)', se développe rapidement de nos jours. Ce travail explore l'approche HAN dans le cas des robots mobiles et propose quelques nouveaux facteurs et systèmes qui peuvent rendre un robot plus acceptable par les humains. L'idée centrale de ce travail est que le robot doit éviter ou atténuer les interactions homme-robot inconfortables qui se produisent pendant la navigation. Ainsi, dans la première partie de la thèse, nous explorons l'évaluation de situation et la planification proactive dans HAN pour planifier des trajectoires de robot lisibles et acceptables. Nous introduisons également de nouvelles contraintes sociales homme-robot et une nouvelle méthode de prédiction de la trajectoire des humains au voisinage du robot. Le système proposé a été validé dans plusieurs contextes, et une analyse détaillée en est présentée. La partie suivante développe cette idée et propose un système HAN qui peut gérer des humains aussi bien statiques qu'en mouvement dans plusieurs circonstances. Nous proposons un système HAN basé sur la pile de navigation ROS pour résoudre le problème de la navigation multi-contexte. Ce système est hautement ajustable et possède un mécanisme de changement de modalité qui permet au robot d'adapter, en fonction du contexte, plusieurs paramètres d'interaction homme-robot. Nous introduisons des contraintes plus sensibles à l'homme concernant les normes sociales pour rendre la navigation du robot plus vive et réactive. Enfin, le système a été testé dans plusieurs scénarios simulés et réels et des analyses en sont fournies. Comparé à un système HAN déjà existant, notre système a donné des résultats meilleurs et plus satisfaisants tant sur le plan qualitatif que quantitatif. Bien que ce système puisse gérer plus d'un type de scénario avec des humains visibles par le robot, il ne peut pas traiter les apparitions soudaines d'humains ou préparer le robot à de telles occurrences. Ainsi, dans une partie suivante de la thèse, une méthodologie pour détecter de telles apparitions potentielles est proposée. Ces estimations sont ensuite intégrées au système HAN proposé précédemment afin de permettre au robot de manœuvrer avec précaution autour des lieux de ces possibles apparitions. L'algorithme proposé a été largement testé, et les avantages de cet ajout sont démontrés par plusieurs expériences. Tout au long du développement de cette thèse, l'évaluation du système HAN a été un défi car il n'existe pas de métriques suffisamment bonnes et acceptée par la communauté. Par conséquent, nous avons utilisé certaines métriques existantes et en avons proposé de nouvelles qui pourraient être pertinentes dans de nombreux contextes humains-robots. La dernière partie de cette thèse présente ces nouvelles métriques et leur évaluation dans différents contextes. Enfin, nous concluons cette thèse par une discussion sur l'état actuel du domaine, les défis rencontrés au cours du développement de cette thèse et les perspectives futures

Combinaison de la planification proactive et de l'analyse de situation pour la navigation robotique adaptée à l'homme

Today, more than ever, mobile robots and drones are roaming human workspaces. In particular, mobile robots are being deployed in many places, from airports to restaurants to streets. In a classical motion planning setting, everything is an obstacle, and the robot has to avoid all the obstacles and reach its destination. However, this cannot be directly employed in robot navigation planning in human environments. Humans may not be comfortable seeing a robot move very close to them or not knowing if the robot is ready to give them the way or not. Unless the humans are considered in navigation planning, the robot can confuse the humans and may not be accepted to be around them. Hence a new field of robot navigation concentrating on these aspects, called ‘Human-Aware Robot Navigation (HAN) (or Social Robot Navigation)’, is evolving at a rapid pace these days. This work explores HAN in the case of mobile robots and proposes some new factors and systems that can make a robot more ‘human aware’. The core idea behind this work is that the robot has to avoid or mitigate uncomfortable human-robot interactions that occur during the navigation. So, we explore situation assessment and proactive planning in HAN to plan legible and acceptable trajectories for the robot in the first part of the thesis. It was also shown how proactive planning could be a better alternative to reactive planning for HAN. We also introduce some new human-robot social constraints and a new human path prediction methodology. The proposed system has been validated under several settings, and a detailed analysis is presented. The next part elaborates on this idea and moves on to propose a HAN system that can handle static and dynamic humans under several circumstances. We propose a HAN system based on the ROS navigation stack to address the problem of multi-context navigation. This system is highly tunable and has a modality switching mechanism that allows the robot to mitigate several human-robot interaction settings. We introduce some more human-aware constraints pertaining to social norms to make the robot’s navigation vivid. Finally, it has been tested in several simulated and real-world scenarios and analyses are provided. When compared with an already existing HAN system, our system yielded better and more satisfactory results both qualitatively and quantitatively. Even though this system can handle more than one kind of scenario with visible humans, it cannot address the sudden human appearances or prepare the robot ready for such occurrences. So, in the next part of the thesis, a methodology to detect such possible appearances is proposed. These estimations are then integrated with the previous proposed HAN system to allow the robot to manoeuvre around the places of such possible emergences cautiously. The proposed algorithm has been extensively tested, and the advantages of this addition are shown through several experiments. Throughout the development of this thesis, the evaluation of the HAN system has been a challenge as there are no good enough and well accepted metrics currently. Therefore, we have used some existing ones and proposed some new metrics that could be pertinent to many human-robot contexts. The last part of this thesis presents these proposed metrics and their evaluations in different settings. Finally, we conclude this thesis with a discussion on the current state of the field, the challenges faced during the development of this thesis and the future perspectives.Aujourd'hui, plus que jamais, des robots mobiles et des drones parcourent les espaces de travail et de vie des humains. En particulier, les robots mobiles sont déployés ou en voie de déploiement dans de nombreux endroits, des aéroports aux restaurants en passant par les rues. Dans un cadre classique de planification du mouvement, tout est obstacle que le robot doit éviter pour atteindre sa destination. Cependant, cette approche ne peut pas être directement utilisée pour la navigation des robots dans les environnements humains. Les humains peuvent ne pas être à l'aise de voir un robot se déplacer très près d'eux ou de ne pas savoir si le robot est prêt à leur céder le passage ou non. Si les humains ne sont pas pris en compte de manière explicite dans la planification de la navigation, le robot peut les perturber et ne pas être accepté. Ainsi, un nouveau domaine de la navigation robotique se concentrant sur ces aspects, appelé `Human-Aware Robot Navigation (HAN) (ou Social Robot Navigation)', se développe rapidement de nos jours. Ce travail explore l'approche HAN dans le cas des robots mobiles et propose quelques nouveaux facteurs et systèmes qui peuvent rendre un robot plus acceptable par les humains. L'idée centrale de ce travail est que le robot doit éviter ou atténuer les interactions homme-robot inconfortables qui se produisent pendant la navigation. Ainsi, dans la première partie de la thèse, nous explorons l'évaluation de situation et la planification proactive dans HAN pour planifier des trajectoires de robot lisibles et acceptables. Nous introduisons également de nouvelles contraintes sociales homme-robot et une nouvelle méthode de prédiction de la trajectoire des humains au voisinage du robot. Le système proposé a été validé dans plusieurs contextes, et une analyse détaillée en est présentée. La partie suivante développe cette idée et propose un système HAN qui peut gérer des humains aussi bien statiques qu'en mouvement dans plusieurs circonstances. Nous proposons un système HAN basé sur la pile de navigation ROS pour résoudre le problème de la navigation multi-contexte. Ce système est hautement ajustable et possède un mécanisme de changement de modalité qui permet au robot d'adapter, en fonction du contexte, plusieurs paramètres d'interaction homme-robot. Nous introduisons des contraintes plus sensibles à l'homme concernant les normes sociales pour rendre la navigation du robot plus vive et réactive. Enfin, le système a été testé dans plusieurs scénarios simulés et réels et des analyses en sont fournies. Comparé à un système HAN déjà existant, notre système a donné des résultats meilleurs et plus satisfaisants tant sur le plan qualitatif que quantitatif. Bien que ce système puisse gérer plus d'un type de scénario avec des humains visibles par le robot, il ne peut pas traiter les apparitions soudaines d'humains ou préparer le robot à de telles occurrences. Ainsi, dans une partie suivante de la thèse, une méthodologie pour détecter de telles apparitions potentielles est proposée. Ces estimations sont ensuite intégrées au système HAN proposé précédemment afin de permettre au robot de manœuvrer avec précaution autour des lieux de ces possibles apparitions. L'algorithme proposé a été largement testé, et les avantages de cet ajout sont démontrés par plusieurs expériences. Tout au long du développement de cette thèse, l'évaluation du système HAN a été un défi car il n'existe pas de métriques suffisamment bonnes et acceptée par la communauté. Par conséquent, nous avons utilisé certaines métriques existantes et en avons proposé de nouvelles qui pourraient être pertinentes dans de nombreux contextes humains-robots. La dernière partie de cette thèse présente ces nouvelles métriques et leur évaluation dans différents contextes. Enfin, nous concluons cette thèse par une discussion sur l'état actuel du domaine, les défis rencontrés au cours du développement de cette thèse et les perspectives futures

Combinaison de la planification proactive et de l'analyse de situation pour la navigation robotique adaptée à l'homme

Today, more than ever, mobile robots and drones are roaming human workspaces. In particular, mobile robots are being deployed in many places, from airports to restaurants to streets. In a classical motion planning setting, everything is an obstacle, and the robot has to avoid all the obstacles and reach its destination. However, this cannot be directly employed in robot navigation planning in human environments. Humans may not be comfortable seeing a robot move very close to them or not knowing if the robot is ready to give them the way or not. Unless the humans are considered in navigation planning, the robot can confuse the humans and may not be accepted to be around them. Hence a new field of robot navigation concentrating on these aspects, called ‘Human-Aware Robot Navigation (HAN) (or Social Robot Navigation)’, is evolving at a rapid pace these days. This work explores HAN in the case of mobile robots and proposes some new factors and systems that can make a robot more ‘human aware’. The core idea behind this work is that the robot has to avoid or mitigate uncomfortable human-robot interactions that occur during the navigation. So, we explore situation assessment and proactive planning in HAN to plan legible and acceptable trajectories for the robot in the first part of the thesis. It was also shown how proactive planning could be a better alternative to reactive planning for HAN. We also introduce some new human-robot social constraints and a new human path prediction methodology. The proposed system has been validated under several settings, and a detailed analysis is presented. The next part elaborates on this idea and moves on to propose a HAN system that can handle static and dynamic humans under several circumstances. We propose a HAN system based on the ROS navigation stack to address the problem of multi-context navigation. This system is highly tunable and has a modality switching mechanism that allows the robot to mitigate several human-robot interaction settings. We introduce some more human-aware constraints pertaining to social norms to make the robot’s navigation vivid. Finally, it has been tested in several simulated and real-world scenarios and analyses are provided. When compared with an already existing HAN system, our system yielded better and more satisfactory results both qualitatively and quantitatively. Even though this system can handle more than one kind of scenario with visible humans, it cannot address the sudden human appearances or prepare the robot ready for such occurrences. So, in the next part of the thesis, a methodology to detect such possible appearances is proposed. These estimations are then integrated with the previous proposed HAN system to allow the robot to manoeuvre around the places of such possible emergences cautiously. The proposed algorithm has been extensively tested, and the advantages of this addition are shown through several experiments. Throughout the development of this thesis, the evaluation of the HAN system has been a challenge as there are no good enough and well accepted metrics currently. Therefore, we have used some existing ones and proposed some new metrics that could be pertinent to many human-robot contexts. The last part of this thesis presents these proposed metrics and their evaluations in different settings. Finally, we conclude this thesis with a discussion on the current state of the field, the challenges faced during the development of this thesis and the future perspectives.Aujourd'hui, plus que jamais, des robots mobiles et des drones parcourent les espaces de travail et de vie des humains. En particulier, les robots mobiles sont déployés ou en voie de déploiement dans de nombreux endroits, des aéroports aux restaurants en passant par les rues. Dans un cadre classique de planification du mouvement, tout est obstacle que le robot doit éviter pour atteindre sa destination. Cependant, cette approche ne peut pas être directement utilisée pour la navigation des robots dans les environnements humains. Les humains peuvent ne pas être à l'aise de voir un robot se déplacer très près d'eux ou de ne pas savoir si le robot est prêt à leur céder le passage ou non. Si les humains ne sont pas pris en compte de manière explicite dans la planification de la navigation, le robot peut les perturber et ne pas être accepté. Ainsi, un nouveau domaine de la navigation robotique se concentrant sur ces aspects, appelé `Human-Aware Robot Navigation (HAN) (ou Social Robot Navigation)', se développe rapidement de nos jours. Ce travail explore l'approche HAN dans le cas des robots mobiles et propose quelques nouveaux facteurs et systèmes qui peuvent rendre un robot plus acceptable par les humains. L'idée centrale de ce travail est que le robot doit éviter ou atténuer les interactions homme-robot inconfortables qui se produisent pendant la navigation. Ainsi, dans la première partie de la thèse, nous explorons l'évaluation de situation et la planification proactive dans HAN pour planifier des trajectoires de robot lisibles et acceptables. Nous introduisons également de nouvelles contraintes sociales homme-robot et une nouvelle méthode de prédiction de la trajectoire des humains au voisinage du robot. Le système proposé a été validé dans plusieurs contextes, et une analyse détaillée en est présentée. La partie suivante développe cette idée et propose un système HAN qui peut gérer des humains aussi bien statiques qu'en mouvement dans plusieurs circonstances. Nous proposons un système HAN basé sur la pile de navigation ROS pour résoudre le problème de la navigation multi-contexte. Ce système est hautement ajustable et possède un mécanisme de changement de modalité qui permet au robot d'adapter, en fonction du contexte, plusieurs paramètres d'interaction homme-robot. Nous introduisons des contraintes plus sensibles à l'homme concernant les normes sociales pour rendre la navigation du robot plus vive et réactive. Enfin, le système a été testé dans plusieurs scénarios simulés et réels et des analyses en sont fournies. Comparé à un système HAN déjà existant, notre système a donné des résultats meilleurs et plus satisfaisants tant sur le plan qualitatif que quantitatif. Bien que ce système puisse gérer plus d'un type de scénario avec des humains visibles par le robot, il ne peut pas traiter les apparitions soudaines d'humains ou préparer le robot à de telles occurrences. Ainsi, dans une partie suivante de la thèse, une méthodologie pour détecter de telles apparitions potentielles est proposée. Ces estimations sont ensuite intégrées au système HAN proposé précédemment afin de permettre au robot de manœuvrer avec précaution autour des lieux de ces possibles apparitions. L'algorithme proposé a été largement testé, et les avantages de cet ajout sont démontrés par plusieurs expériences. Tout au long du développement de cette thèse, l'évaluation du système HAN a été un défi car il n'existe pas de métriques suffisamment bonnes et acceptée par la communauté. Par conséquent, nous avons utilisé certaines métriques existantes et en avons proposé de nouvelles qui pourraient être pertinentes dans de nombreux contextes humains-robots. La dernière partie de cette thèse présente ces nouvelles métriques et leur évaluation dans différents contextes. Enfin, nous concluons cette thèse par une discussion sur l'état actuel du domaine, les défis rencontrés au cours du développement de cette thèse et les perspectives futures

HATEB-2: Reactive Planning and Decision making in Human-Robot Co-navigation

International audienceWe propose a new framework combining decision making and planning in the human-robot co-navigation scenario. This new framework, called HATEB-2, introduces different modalities of planning and shift between them based on the situation at hand. These transitions are controlled by the decision making loop present on top of the planning. We also present the improvements made to human prediction and estimation along with the modifications to a few social constraints from our previous work, that are included in HATEB-2. Finally, several experiments are performed in human-robot co-navigation scenarios and results are presented. One of the modalities of HATEB-2 is used in EU-funded MuMMER [1] project (http://mummer-project.eu/)

Human-Aware Navigation Planner for Diverse Human-Robot Contexts

International audienceAs more robots are being deployed into human environments, a human-aware navigation planner needs to handle multiple contexts that occur in indoor and outdoor environments. In this paper, we propose a tunable human-aware robot navigation planner that can handle a variety of human-robot contexts. We present the architecture of the system and discuss the features along with some implementation details. Then we present a detailed analysis of various simulated human-robot contexts using the proposed planner. Further, we show that our system performs better when compared with an exiting human-aware planner in various contexts. Finally, we show the results in a real-world scenario after deploying our system on a real robot