Difference of Normals as a Multi-Scale Operator in Unorganized Point Clouds

A novel multi-scale operator for unorganized 3D point clouds is introduced. The Difference of Normals (DoN) provides a computationally efficient, multi-scale approach to processing large unorganized 3D point clouds. The application of DoN in the multi-scale filtering of two different real-world outdoor urban LIDAR scene datasets is quantitatively and qualitatively demonstrated. In both datasets the DoN operator is shown to segment large 3D point clouds into scale-salient clusters, such as cars, people, and lamp posts towards applications in semi-automatic annotation, and as a pre-processing step in automatic object recognition. The application of the operator to segmentation is evaluated on a large public dataset of outdoor LIDAR scenes with ground truth annotations.Comment: To be published in proceedings of 3DIMPVT 201

그래프 신경망의 스펙트럴 해석과 그 응용

학위논문(박사) -- 서울대학교대학원 : 자연과학대학 수리과학부, 2023. 8. 강명주.In this dissertation, we present a theoretical analysis of spectral-based graph neural networks and their practical performance. We analyze how the spectra of a graph Laplacian relates to the convolution operation of a graph neural network, and we discuss how expressive a graph convolutional model can be and how competent expressiveness can be achieved by implementing various convolutions on a graph based on this spectra. The results show that spectral-based graph neural networks can perform well on graph-based tasks, and we discuss what improvements can be made in the future to improve their performance in practice. As an extension, we apply it to traditional computer vision tasks in addition to graph-based tasks and show that it is comparably expressive. In addition, we present several results of its applications utilizing graphs. Specifically, we conducted experiments on the task of salient object detection using directed acyclic graphs. We also show experimental results of applying the simple model based on the theory of Fourier analysis to practical applications such as the rain removal task. These experiments empirically demonstrate that incorporating the knowledge of graph theory and Fourier analysis into the model helps improve performance.본 눈문에서는 스펙트럼 기반 그래프 인공신경망의 이론적 분석과 그 실용적 성능에 대해 다룬다. 그래프 신경망에서의 컨볼루션 연산과 라플라시안 그래프의 스펙트럼 간의 관계를 조사하고, 어떤 가정들 하에서 그래프 컨볼루션이 정의될 수 있으며, 그러한 가정 아래에서 어떤 방식으로 그래프 컨볼루션을 정확히 표현할 수 있는 지에 대해 분석하였다. 이러한 분석을 기반으로 다양한 그래프 컨볼루션을 실험하여 모델의 표현력과 성능을 논의하였다. 결과적으로, 스펙트럼 기반 그래프 신경망이 그래프 기반 작업에서 우수한 성능을 보여줌을 확인하며, 실제 성능을 향상시키기 위한 개선 가능한 부분에 대해 논의한다. 더불어, 이론과 적용 영역을 확장하여 그래프 기반 작업뿐만 아니라 전통적인 컴퓨터 비전 작업 등에도 적용할 수 있음을 보여주어 이러한 방식의 확장성을 보여주었다. 마지막으로 이 논문에서는 그래프를 활용한 몇 가지 응용 사례와 결과를 제시하였다. 구체적인 실험으로 방향성 비순환 그래프(DAG)를 이용한 두드러진 물체 검출 작업에 대한 실험을 수행하였다. 이외에도 푸리에 변환을 활용한 모듈을 활용하여 비를 제거하는 태스크 같은 실용적 분야에 적용한 모델과 실험 결과들을 살펴본다. 이러한 실험들을 통해, 그래프 이론과 푸리에 분석 지식과 같은 수학적 지식을 모델에 통합하고 이를 분석하는 것이 성능 향상에 유용함을 실증적으로 보여주었다.Abstract 1 Introduction 1 2 Preliminaries 4 2.1 Graph Neural Networks 4 2.1.1 Mathematical Terminologies 4 2.1.2 Graph Message Passing 5 2.1.3 Spatial-based Graph Neural Networks 6 2.1.4 Spectral-based Graph Neural Networks 8 2.2 Collaborative Filtering 8 2.3 Directed Acyclic Graphs Learning 10 3 Related Works 12 3.1 Spectral-based Graph Neural Networks 12 3.1.1 Spectral Network 12 3.1.2 ChebNet 12 3.1.3 Graph Convolutional Networks 13 3.2 Collaborative Filtering 13 3.3 Salient Object Detection 15 3.4 Rain Removal Tasks 17 4 Spectral Analysis of Graph Neural Networks 20 4.1 Schwartz space S (Rd) and Ring graph Rn 20 4.2 Convolution on General Graphs 25 5 Proposed Method 30 5.1 Proposal Background 30 5.2 Spectral GNNs to Computational Fluid Dynamics 31 5.3 Collaborative Filtering 33 5.4 Salient Object Detection 34 5.5 Rain Removal Task 36 6 Experiments 39 6.1 Spectral GNNs to Computational Fluid Dynamics 39 6.1.1 Datasets 39 6.1.2 Experimental Results 40 6.2 Collaborative Filtering 45 6.2.1 Datasets 45 6.2.2 Evaluation Metric 46 6.2.3 Bayesian Personalized Ranking 47 6.2.4 Experimental Results 49 6.3 Salient Object Detection 50 6.3.1 Datasets 50 6.3.2 Evaluation metrics 51 6.3.3 Experimental Results 52 6.4 Rain Removal Task 57 6.4.1 Datasets 57 6.4.2 Experimental Results 57 7 Conclusion 63 References 65 Abstract (in Korean) 73박