7 research outputs found
CAR-Net: Clairvoyant Attentive Recurrent Network
We present an interpretable framework for path prediction that leverages
dependencies between agents' behaviors and their spatial navigation
environment. We exploit two sources of information: the past motion trajectory
of the agent of interest and a wide top-view image of the navigation scene. We
propose a Clairvoyant Attentive Recurrent Network (CAR-Net) that learns where
to look in a large image of the scene when solving the path prediction task.
Our method can attend to any area, or combination of areas, within the raw
image (e.g., road intersections) when predicting the trajectory of the agent.
This allows us to visualize fine-grained semantic elements of navigation scenes
that influence the prediction of trajectories. To study the impact of space on
agents' trajectories, we build a new dataset made of top-view images of
hundreds of scenes (Formula One racing tracks) where agents' behaviors are
heavily influenced by known areas in the images (e.g., upcoming turns). CAR-Net
successfully attends to these salient regions. Additionally, CAR-Net reaches
state-of-the-art accuracy on the standard trajectory forecasting benchmark,
Stanford Drone Dataset (SDD). Finally, we show CAR-Net's ability to generalize
to unseen scenes.Comment: The 2nd and 3rd authors contributed equall
Follow the Footprints: Self-supervised Traversability Estimation for Off-road Vehicle Navigation based on Geometric and Visual Cues
In this study, we address the off-road traversability estimation problem,
that predicts areas where a robot can navigate in off-road environments. An
off-road environment is an unstructured environment comprising a combination of
traversable and non-traversable spaces, which presents a challenge for
estimating traversability. This study highlights three primary factors that
affect a robot's traversability in an off-road environment: surface slope,
semantic information, and robot platform. We present two strategies for
estimating traversability, using a guide filter network (GFN) and footprint
supervision module (FSM). The first strategy involves building a novel GFN
using a newly designed guide filter layer. The GFN interprets the surface and
semantic information from the input data and integrates them to extract
features optimized for traversability estimation. The second strategy involves
developing an FSM, which is a self-supervision module that utilizes the path
traversed by the robot in pre-driving, also known as a footprint. This enables
the prediction of traversability that reflects the characteristics of the robot
platform. Based on these two strategies, the proposed method overcomes the
limitations of existing methods, which require laborious human supervision and
lack scalability. Extensive experiments in diverse conditions, including
automobiles and unmanned ground vehicles, herbfields, woodlands, and farmlands,
demonstrate that the proposed method is compatible for various robot platforms
and adaptable to a range of terrains. Code is available at
https://github.com/yurimjeon1892/FtFoot.Comment: Accepted to IEEE International Conference on Robotics and Automation
(ICRA) 202
Autonomic tackling of unknown obstacles in navigation of robotic platform
Σκοπός της παρούσας διπλωματικής είναι η ανάπτυξη μεθόδου ώστε μια ρομποτική
πλατφόρμα εξωτερικού χώρου να ανακαλύπτει μόνη της, με βάση τους αισθητήρες της
και τη γνώση που έχει αποκτήσει, πώς πρέπει να προσεγγίζει το εκάστοτε εμπόδιο
που βρίσκεται μπροστά της, αν μπορεί να το υπερπηδήσει ή αν χρειάζεται να το
παρακάμψει. Η αποφυγή εμποδίων εξασφαλίζει την ασφάλεια και ακεραιότητα τόσο της
ρομποτικής πλατφόρμας όσο και των ανθρώπων και αντικειμένων που υπάρχουν στον
ίδιο χώρο. Αυτός είναι ένας από τους λόγους που οι περισσότερες προσεγγίσεις
τέτοιων θεμάτων επικεντρώνονται κυρίως στους ελιγμούς για την αποφυγή εμποδίων
αντί για την παραγωγή αυτόνομων συστημάτων με ικανότητα αυτοβελτίωσης.
Δεν υπάρχει μεγάλη βιβλιογραφία για ρομπότ που έχουν την περιέργεια να εξερευνήσουν
το περιβάλλον τους, για περιπτώσεις δηλαδή που δεν υπάρχει συγκεκριμένος στόχος,
αλλά μόνο η αφηρημένη ανάγκη του ρομπότ να εξερευνήσει ένα καινούριο περιβάλλον.
Στην παρούσα διατριβή παρουσιάζουμε ένα σύστημα που όχι μόνο κατατάσσει αυτόνομα
το περιβάλλον του σε προσπελάσιμες και μη προσπελάσιμες περιοχές, αλλά επίσης έχει
την ικανότητα να αυτοβελτιώνεται.
Για να το επιτύχουμε, χρησιμοποιούμε ένα προεκπαιδευμένο νευρωνικό δίκτυο που
αναπαριστά χρωματικά τα αντικείμενα της σκηνής. Αναπτύσσουμε ένα πρόγραμμα, το οποίο
δέχεται ως είσοδο εικόνες που εξάγονται από το προαναφερθέν νευρωνικό δίκτυο και
προβλέπει αν το ρομπότ μπορεί να προσπελάσει τα απεικονιζόμενα αντικείμενα.
Το πρόγραμμα αυτό εκπαιδεύεται και στη συνέχεια αξιολογείται η αποτελεσματικότητά του.
Τα αποτελέσματά μας κρίνουμε ότι είναι αρκετά ικανοποιητικά. Το ποσοστό σφάλματος
μπορεί να εξηγηθεί από το γεγονός ότι το περιβάλλον δεν είναι ομοιόμορφα κατανεμημένο
σε εμπόδια και προσπελάσιμες περιοχές ενώ παράλληλα δεν είναι πάντοτε σαφές τι από
τα δύο υπερισχύει. Τέλος, δείχνουμε ότι είναι εύκολο να μειωθεί το ποσοστό σφάλματος
με λίγες μόνο τροποποιήσεις.The goal of the present thesis is to develop a method for a robotic outdoor platform. The
robot should discover by itself, based on its sensors and its previous knowledge, how to
approach an obstacle that stands in front of it, whether it is capable of driving over the
obstacle or should avoid it. Obstacle avoidance ensures the safety and integrity of both
the robotic platform and the people and objects present in the same space. That is one of
the reasons why current approaches mainly concentrate on maneuver to avoid obstacles
rather than yield autonomous systems with the ability to self improve. There is not much
work done on curiosity-driven exploration, in which there is no explicit goal, but the abstract
need for the robot to learn a new environment.
In the current thesis we introduce a system that not only autonomously classifies its environment
to areas that can or cannot be driven over, but also has the capacity for selfimprovement.
To do so, we use a pre-trained neural network for whole scene semantic
segmentation. We implement a program that accepts as input images extracted from the
neural network mentioned above and predicts whether the illustrated scenes can be traversed
or not. The program trains itself and then evaluates its effectiveness. Our results
are quite satisfactory and the error rate can be explained by the fact that the environment is
not evenly distributed in obstacles and paths, while at the same time it is not always clear
which one is dominant. Furthermore, we show that our model can be easily optimized
with just a few modifications