Active Object Classification from 3D Range Data with Mobile Robots

This thesis addresses the problem of how to improve the acquisition of 3D range data with a mobile robot for the task of object classification. Establishing the identities of objects in unknown environments is fundamental for robotic systems and helps enable many abilities such as grasping, manipulation, or semantic mapping. Objects are recognised by data obtained from sensor observations, however, data is highly dependent on viewpoint; the variation in position and orientation of the sensor relative to an object can result in large variation in the perception quality. Additionally, cluttered environments present a further challenge because key data may be missing. These issues are not always solved by traditional passive systems where data are collected from a fixed navigation process then fed into a perception pipeline. This thesis considers an active approach to data collection by deciding where is most appropriate to make observations for the perception task. The core contributions of this thesis are a non-myopic planning strategy to collect data efficiently under resource constraints, and supporting viewpoint prediction and evaluation methods for object classification. Our approach to planning uses Monte Carlo methods coupled with a classifier based on non-parametric Bayesian regression. We present a novel anytime and non-myopic planning algorithm, Monte Carlo active perception, that extends Monte Carlo tree search to partially observable environments and the active perception problem. This is combined with a particle-based estimation process and a learned observation likelihood model that uses Gaussian process regression. To support planning, we present 3D point cloud prediction algorithms and utility functions that measure the quality of viewpoints by their discriminatory ability and effectiveness under occlusion. The utility of viewpoints is quantified by information-theoretic metrics, such as mutual information, and an alternative utility function that exploits learned data is developed for special cases. The algorithms in this thesis are demonstrated in a variety of scenarios. We extensively test our online planning and classification methods in simulation as well as with indoor and outdoor datasets. Furthermore, we perform hardware experiments with different mobile platforms equipped with different types of sensors. Most significantly, our hardware experiments with an outdoor robot are to our knowledge the first demonstrations of online active perception in a real outdoor environment. Active perception has broad significance in many applications. This thesis emphasises the advantages of an active approach to object classification and presents its assimilation with a wide range of robotic systems, sensors, and perception algorithms. By demonstration of performance enhancements and diversity, our hope is that the concept of considering perception and planning in an integrated manner will be of benefit in improving current systems that rely on passive data collection

Crop Height and Plot Estimation for Phenotyping from Unmanned Aerial Vehicles using 3D LiDAR

We present techniques to measure crop heights using a 3D Light Detection and Ranging (LiDAR) sensor mounted on an Unmanned Aerial Vehicle (UAV). Knowing the height of plants is crucial to monitor their overall health and growth cycles, especially for high-throughput plant phenotyping. We present a methodology for extracting plant heights from 3D LiDAR point clouds, specifically focusing on plot-based phenotyping environments. We also present a toolchain that can be used to create phenotyping farms for use in Gazebo simulations. The tool creates a randomized farm with realistic 3D plant and terrain models. We conducted a series of simulations and hardware experiments in controlled and natural settings. Our algorithm was able to estimate the plant heights in a field with 112 plots with a root mean square error (RMSE) of 6.1 cm. This is the first such dataset for 3D LiDAR from an airborne robot over a wheat field. The developed simulation toolchain, algorithmic implementation, and datasets can be found on the GitHub repository located at https://github.com/hsd1121/PointCloudProcessing.Comment: 8 pages, 10 figures, 1 table, Accepted to IROS 202

Planning Hybrid Driving-Stepping Locomotion for Ground Robots in Challenging Environments

Ground robots capable of navigating a wide range of terrains are needed in several domains such as disaster response or planetary exploration. Hybrid driving-stepping locomotion is promising since it combines the complementary strengths of the two locomotion modes. However, suitable platforms require complex kinematic capabilities which need to be considered in corresponding locomotion planning methods. High terrain complexities induce further challenges for the planning problem. We present a search-based hybrid driving-stepping locomotion planning approach for robots which possess a quadrupedal base with legs ending in steerable wheels allowing for omnidirectional driving and stepping. Driving is preferred on sufficiently flat terrain while stepping is considered in the vicinity of obstacles. Steps are handled in a hierarchical manner: while only the connection between suitable footholds is considered during planning, those steps in the resulting path are expanded to detailed motion sequences considering the robot stability. To enable precise locomotion in challenging terrain, the planner takes the individual robot footprint into account. The method is evaluated in simulation and in real-world applications with the robots Momaro and Centauro. The results indicate that the planner provides bounded sub-optimal paths in feasible time. However, the required fine resolution and high-dimensional robot representation result in too large state spaces for more complex scenarios exceeding computation time and memory constraints. To enable the planner to be applicable in those scenarios, the method is extended to incorporate three levels of representation. In the vicinity of the robot, the detailed representation is used to obtain reliable paths for the near future. With increasing distance from the robot, the resolution gets coarser and the degrees of freedom of the robot representation decrease. To compensate this loss of information, those representations are enriched with additional semantics increasing the scene understanding. We further present how the most abstract representation can be used to generate an informed heuristic. Evaluation shows that planning is accelerated by multiple orders of magnitude with comparable result quality. However, manually designing the additional representations and tuning the corresponding cost functions requires a high effort. Therefore, we present a method to support the generation of an abstract representation through a convolutional neural network (CNN). While a low-dimensional, coarse robot representation and corresponding action set can be easily defined, a CNN is trained on artificially generated data to represent the abstract cost function. Subsequently, the abstract representation can be used to generate a similar informed heuristic, as described above. The CNN evaluation on multiple data sets indicates that the learned cost function generalizes well to realworld scenes and that the abstraction quality outperforms the manually tuned approach. Applied to hybrid driving-stepping locomotion planning, the heuristic achieves similar performance while design and tuning efforts are minimized. Since a learning-based method turned out to be beneficial to support the search-based planner, we finally investigate if the whole planning problem can be solved by a learning-based approach. Value Iteration Networks (VINs) are known to show good generalizability and goal-directed behavior, while being limited to small state spaces. Inspired by the above-described results, we extend VINs to incorporate multiple levels of abstraction to represent larger planning problems with suitable state space sizes. Experiments in 2D grid worlds show that this extension enables VINs to solve significantly larger planning tasks. We further apply the method to omnidirectional driving of the Centauro robot in cluttered environments which indicates limitations but also emphasizes the future potential of learning-based planning methods.Planung von Hybrider Fahr-Lauf-Lokomotion für Bodenroboter in Anspruchsvollen Umgebungen Bodenroboter, welche eine Vielzahl von Untergründen überwinden können, werden in vielen Anwendungsgebieten benötigt. Beispielszenarien sind die Katastrophenhilfe oder Erkundungsmissionen auf fremden Planeten. In diesem Kontext ist hybride Fahr-/Lauf-Fortbewegung vielversprechend, da sie die sich ergänzenden Stärken der beiden Fortbewegungsarten miteinander vereint. Um dies zu realisieren benötigen entsprechende Roboter allerdings komplexe kinematische Fähigkeiten, welche auch in adäquaten Ansätzen für die Planung dieser Fortbewegung berücksichtigt werden müssen. Anspruchsvolle Umgebungen mit komplexen Untergründen erhöhen dabei zusätzlich die Anforderungen an die Bewegungsplanung. In dieser Arbeit wird ein suchbasierter Ansatz für kombinierte Fahr-/Lauf-Fortbewegungsplanung vorgestellt. Die adressierten Zielplattformen sind vierbeinige Roboter, deren Beine in lenkbaren Rädern enden, so dass sie omnidirektional fahren und laufen können. Auf ausreichend ebenem Untergrund wird generell Fahren bevorzugt, während der Planer Laufmanöver in der Nähe von Hindernissen in Erwägung zieht. Schritte werden dabei in einer hierarchischen Art undWeise realisiert: Während des Planens werden nur Verbindungen zwischen geeigneten Auftrittsflächen gesucht. Nur solche Schritte, die im Ergebnispfad enthalten sind, werden anschließend zu detaillierten Bewegungsabläufen verfeinert, welche die Balance des Roboters sicherstellen. Um präzise Fortbewegung in anspruchsvollen Umgebungen zu ermöglichen, betrachtet der Planer die spezifischen Aufstandsflächen der vier Füße. Der Ansatz wurde sowohl in simulierten als auch in realen Tests mit den Robotern Momaro und Centauro evaluiert, wobei der Planer in der Lage war, Lösungspfade von ausreichender Qualität in zulässiger Zeit zu generieren. Allerdings ergeben die benötigte feine Planungsauflösung und die hochdimensionale Roboterrepräsentation große Zustandsräumen. Diese würden für komplexere oder größere Planungsprobleme die zulässige Rechenzeit und den verfügbaren Speicher überschreiten. Damit der Planer auch eben diese komplexeren oder größeren Planungsprobleme handhaben kann, wird eine Erweiterung des Ansatzes beschrieben, welche mehrere Repräsentationslevel mit einbezieht. In unmittelbarer Umgebung des Roboters wird die zuvor beschriebene detaillierte Repräsentation genutzt, um hochwertige Pfade für die nahe Zukunft zu erzeugen. Mit zunehmendem Abstand vom Roboter wird die Auflösung gröber und die Anzahl der Freiheitsgrade in der Roboterrepräsentation sinkt. Um den mit dieser Vergröberung einhergehenden Informationsverlust zu kompensieren, werden diese Repräsentationen mit zusätzlicher Semantik ausgestattet, welche das Szenenverständnis erhöht. Darüber hinaus wird beschrieben, wie die Repräsentation mit dem höchsten Abstraktionsgrad zur Berechnung einer effektiven Heuristik genutzt werden kann. Die Evaluation in Simulationsumgebungen zeigt, dass der Planungsprozess um mehrere Größenordnungen beschleunigt werden kann, während die Ergebnisqualität vergleichbar bleibt. Allerdings sind das manuelle Gestalten der zusätzlichen Repräsentationen und das dazugehörige Parametrisieren der Kostenfunktionen sehr arbeitsintensiv. Um diesen Aufwand zu reduzieren, wird daher eine Methode beschrieben, welche die Gestaltung einer abstrakten Repräsentation durch ein Convolutional Neural Network (CNN) unterstützt. Während eine grobe, niedrigdimensionale Roboterrepräsentation und ein dazugehöriges Aktionsset einfach definiert werden können, wird ein CNN auf künstlich erzeugten Daten trainiert, um die abstrakte Kostenfunktion zu lernen. Anschließend kann die so erzeugte abstrakte Repräsentation genutzt werden, um die bereits zuvor erwähnte effektive Heuristik zu berechnen. In der Evaluation des CNNs auf verschiedenen Datensätzen zeigt sich, dass die gelernte Kostenfunktion auch mit Daten aus realen Umgebungen funktioniert und dass die generelle Ergebnisqualität oberhalb der Ergebnisse mit manuell erzeugten Repräsentationen liegt. Die Anwendnung der Methode zur Planung hybrider Fahr-/Lauf-Fortbewegung zeigt, dass die so erzeugte Heuristik gleichwertige Ergebnisse wie die Heuristik auf Basis manuell erzeugter Repräsentation liefert, während der Aufwand zur Gestaltung und Parametrisierung deutlich verringert wurde. Da sich gezeigt hat, dass eine lernbasierte Methode den klassischen suchbasierten Ansatz effektiv unterstützen kann, wird in dieser Arbeit abschließend untersucht, ob das gesamte Planungsproblem durch eine lernbasierte Methode gelöst werden kann. Value Iteration Networks (VINs) sind in diesem Zusammenhang ein vielversprechender Ansatz, da sie bekanntlich ein gutes zielorientiertes Planungsverhalten lernen und das Gelernte auf unbekannte Situationen verallgemeinern können. Allerdings ist ihre bisherige Anwendung auf kleine Zustandsräume begrenzt. Durch die zuvor beschriebenen Ergebnisse motiviert, wird eine Erweiterung von VINs beschrieben, so dass diese auf verschiedenen Abstraktionsleveln planen, um größere Planungsprobleme in Zustandsräumen entsprechender Größe darzustellen. Experimente in 2D-Rasterumgebungen zeigen, dass die beschriebene Methode VINs in die Lage versetzt, deutlich größere Planungsprobleme zu lösen. Darüber hinaus wird die beschriebene Methode benutzt, um omnidirektionale Fahrmanöver für den Centauro-Roboter in anspruchsvollen Umgebungen zu planen. Gleichzeitig werden hier aber auch die momentanen, hardware-bedingten Grenzen rein lernbasierter Ansätze sowie ihr zukünftiges Potential aufgezeigt

Preliminary Results for the Multi-Robot, Multi-Partner, Multi-Mission, Planetary Exploration Analogue Campaign on Mount Etna

This paper was initially intended to report on the outcome of the twice postponed demonstration mission of the ARCHES project. Due to the global COVID pandemic, it has been postponed from 2020, then 2021, to 2022. Nevertheless, the development of our concepts and integration has progressed rapidly, and some of the preliminary results are worthwhile to share with the community to drive the dialog on robotics planetary exploration strategies. This paper includes an overview of the planned 4-week campaign, as well as the vision and relevance of the missiontowards the planned official space missions. Furthermore, the cooperative aspect of the robotic teams, the scientific motivation, the sub task achievements are summarised

A Magazine for Alumni, Faculty and Supporters - 2012

https://digitalcommons.pvamu.edu/pv-magazine/1003/thumbnail.jp

Motion Coordination of Aerial Vehicles

The coordinated motion control of multiple vehicles has emerged as a field of major interest in the control community. This thesis addresses two topics related to the control of a group of aerial vehicles: the output feedback attitude synchronization of rigid bodies and the formation control of Unmanned Aerial Vehicles (UAVs) capable of Vertical Take-Off and Landing (VTOL). The information flow between members of the team is assumed fixed and undirected. The first part of this thesis is devoted to the attitude synchronization of a group of spacecraft. In this context, we propose control schemes for the synchronization of a group of spacecraft to a predefined attitude trajectory without angular velocity measurements. We also propose some velocity-free consensus-seeking schemes allowing a group of spacecraft to align their attitudes, without reference trajectory specification. The second part of this thesis is devoted to the control of a group of VTOL-UAVs in the Special Euclidian group SE(3), i.e., position and orientation. In this context, we propose a few position coordination schemes without linear-velocity measurements. We also propose some solutions to the same problem in the presence of communication time-delays between aircraft. To solve the above mentioned problems, several new technical tools have been introduced in this thesis to overcome the deficiencies of the existing techniques in this field

Mobile Robots Navigation

Mobile robots navigation includes different interrelated activities: (i) perception, as obtaining and interpreting sensory information; (ii) exploration, as the strategy that guides the robot to select the next direction to go; (iii) mapping, involving the construction of a spatial representation by using the sensory information perceived; (iv) localization, as the strategy to estimate the robot position within the spatial map; (v) path planning, as the strategy to find a path towards a goal location being optimal or not; and (vi) path execution, where motor actions are determined and adapted to environmental changes. The book addresses those activities by integrating results from the research work of several authors all over the world. Research cases are documented in 32 chapters organized within 7 categories next described