Polylidar3D -- Fast Polygon Extraction from 3D Data

Flat surfaces captured by 3D point clouds are often used for localization, mapping, and modeling. Dense point cloud processing has high computation and memory costs making low-dimensional representations of flat surfaces such as polygons desirable. We present Polylidar3D, a non-convex polygon extraction algorithm which takes as input unorganized 3D point clouds (e.g., LiDAR data), organized point clouds (e.g., range images), or user-provided meshes. Non-convex polygons represent flat surfaces in an environment with interior cutouts representing obstacles or holes. The Polylidar3D front-end transforms input data into a half-edge triangular mesh. This representation provides a common level of input data abstraction for subsequent back-end processing. The Polylidar3D back-end is composed of four core algorithms: mesh smoothing, dominant plane normal estimation, planar segment extraction, and finally polygon extraction. Polylidar3D is shown to be quite fast, making use of CPU multi-threading and GPU acceleration when available. We demonstrate Polylidar3D's versatility and speed with real-world datasets including aerial LiDAR point clouds for rooftop mapping, autonomous driving LiDAR point clouds for road surface detection, and RGBD cameras for indoor floor/wall detection. We also evaluate Polylidar3D on a challenging planar segmentation benchmark dataset. Results consistently show excellent speed and accuracy.Comment: 40 page

Increasing the accuracy of position and orientation of the objects placed by the manipulator

Předkládaná disertační práce se zabývá zvyšováním přesnosti polohy objektů při jejich umisťování či montáži robotem. Průmyslové roboty se běžně používají v montážních linkách, kde se stále častěji využívá tzv. bin-bickin, což je vytahování neuspořádaných předmětů z palety či krabice. Tato pick-and-place aplikace se řeší pomocí vision systému a robotu, který uchopené objekty ukládá na dopravník, který posouvá objekty na technologické lince pro další zpracování. V práci je představená možnost vynechat dopravník a uchopený objekt robotem použít pro danou montáž či manipulaci bezprostředně po uchopení objektu bin-picking systémem. Práce se věnuje zpřesnění odhadu polohy objektu v chapadle robotu (v 3D prostoru) Iterative Closest Point algoritmem. K zpřesnění odhadu polohy jsou klíčová správná vstupní data do ICP algoritmu, čehož se dosáhne skenováním relevantních prvků, geometrických primitiv daného objektu. Úvodní část této disertační práce se věnuje komerčně dostupným bin-picking systémům a přehledu aktuálního stavu řešené problematiky s možnostmi zpřesnění montáže či manipulace s objektem manipulace. Následně jsou stanoveny cíle práce, které vycházejí z průzkumu současného stavu a v souvislosti s projekty realizovanými katedrou robotiky. Vlastní část práce je rozdělena do dílčích kapitol, podle jednotlivých cílů práce. V práci je popsána metodika pro umístění senzorů vůči skenovanému objektu z různých materiálů pro zabezpečení sběru dat. Na základě získaných charakteristik je vytvořen simulační model pro účely virtuálního skenování a simulací. Následně je vytvořena metodika rozmístění senzorů pro zpřesnění odhadu polohy – hledání optimální polohy senzorů vůči skenovanému objektu s ohledem na získaná data pro vstup do ICP algoritmu. Simulační model, virtuální skenování a odhad polohy je ověřen na reálném systému.The presented dissertation deals with increasing the position accuracy of objects during their placement or assembly by a robot. Industrial robots are commonly used in assembly lines, where bin-picking, which is the removal of disordered objects from a pallet or box, is becoming increasingly used. This pick-and-place application is solved by a vision system and a robot that places the grasped objects on a conveyor that moves the objects on the technology line for further processing. This work presents the possibility to eliminate the conveyor which can be achieved by performing the assembly process directly after grasping the object via bin-picking system. The thesis focuses on refining the object pose estimation in a gripper of the robot (in 3D space) by Iterative Closest Point algorithm. To refine the pose estimation, the correct input data to the ICP algorithm are crucial, which is achieved by scanning the relevant features, the geometric primitives of the object. The introductory part of this dissertation is devoted to commercially available bin-picking systems and an overview of the current state of the art with possibilities for refining the assembly or manipulation process. Then, the objectives of the thesis are stated based on a survey of the current state of the art and in the context of projects carried out by the Department of Robotics. The actual part of the thesis is divided into subchapters according to the different objectives of the thesis. This article describes a methodology for positioning sensors relative to the scanned object (and various materials) to increase the reliability of data collection. Based on the obtained characteristics, a simulation model is developed for virtual scanning and simulation purposes. Subsequently, a sensor placement methodology is developed to refine the pose estimation – finding the optimal pose of the sensors relative to the scanned object with respect to the collected data for input to the ICP algorithm. The simulation model and pose estimation are verified on a real system.354 - Katedra robotikyvyhově