Precise Bearing Angle Measurement Based on Omnidirectional Conic Sensor and Defocusing

Recent studies on multi-robot localization have shown that the uncertainty of robot location may be considerably reduced by optimally fusing odometry and the relative angles of sight (bearing) among the team members. However, the latter requires the capability for each robot of detecting the other members up to large distances and wide field of view. Furthermore, robustness and precision in estimating the relative angle of sight is of high importance. In this paper we show how all of the these requirements may be achieved by employing an omnidirectional sensor made up of a conic mirror and a simple webcam. We use different colored lights to distinguish the robots and optical defocusing to identify the lights. We show that defocusing increases the detection range up to several meters, compensating the decay of resolution related to the omnidirectional view, without losing robustness and precision. To allow a real time implementation of light tracking, we use a recent tree-based union find technique for color segmentation and region merging. We also present a self-calibration technique based on an Extended Kalman Filter to derive the intrinsic parameters of the robot-sensor system. The performance of the approach is shown through experimental results

Noncentral catadioptric systems with quadric mirrors : geometry and calibration

Tese de doutoramento em Engenharia Electrotécnica (Informática) apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraNesta dissertação de doutoramento estudamos e analisamos a geometria dos sistema catadióptricos não-centrais compostos por uma câmara pinhole ou ortográfica e um espelho curvo, cuja forma é uma quádrica não degenerada, incluindo elipsóides, que podem ser esferas, hiperbolóides e parabolóides. A geometria destes sistemas de visão é parameterizada, analisando o fenómeno de formação da imagem, e é composta pelos parâmetros intrínsecos da câmara, os parâmetros da superfície do espelho e a posição e orientação da câmara em relação ao espelho e ao sistema de referência do mundo. A formação da imagem é estudada numa perspectiva puramente geométrica, focando principalmente o modelo de projecção e a calibração do sistema de visão. As principais contribuições deste trabalho incluem a demonstração de que num sistema catadióptrico não-central com um câmara em perspectiva e uma quádrica não degenerada, o ponto de reflexão na superfície do espelho (projectando na imagem qualquer ponto 3D do mundo) pertence a uma curva quártica que é dada pela intersecção de duas superfícies quádricas. O correspondente modelo de projecção é também desenvolvido e é expresso através de uma equação não linear implícita, dependente de um único parâmetro. Relativamente `a calibração destes sistemas de visão, foi desenvolvido um método de calibração, assumindo o conhecimento dos parâmetros intrínsecos da câmara em perspectiva e de um conjunto de pontos 3D expressos em coordenadas locais (estrutura 3D do mundo). Informação acerca do contorno aparente do espelho é também usada para melhorar a precisão da estimação. Um outro método de calibração é proposto, assumindo uma calibração prévia do sistema no sentido de um modelo geral de câmara (correspondências entre pontos na imagem e raios incidentes no espaço). Adicionalmente, a posição e orientação (pose) da câmara em relação ao espelho e ao sistema de referência do mundo são estimadas usando métricas algébricas e equações lineares (escritas para um método de calibração que também é apresentado). Considera-se a câmara como pré-calibrada. São desenvolvidas e apresentadas experiências com simulações extensivas e também com imagens reais de forma a testar a robustez e precisão dos métodos apresentados. As principais conclusões apontam para o facto de estes sistemas de visão serem altamente não lineares e a sua calibração ser possível com boa precisão, embora difícil de alcançar com precisão muito elevada, especialmente se o sistema de visão tem como objectivo aplicações direccionadas para a precisão. Apesar disso, pode observar-se que a informação da estrutura do mundo pode ser complementada com informação adicional, tal como o contorno aparente da quádrica, de forma a melhorar a qualidade dos resultados de calibração. Na verdade, o uso do contorno aparente do espelho pode, por si, melhorar drasticamente a precisão da estimação.In this PhD thesis we study and analyze the geometry of noncentral catadioptric systems composed by a pinhole or orthographic camera and a non-ruled quadric shaped mirror, that is to say an ellipsoid, which can be a sphere, a hyperboloid or a paraboloid surface. The geometry of these vision systems is parameterized by analyzing the image formation and is composed by the intrinsic parameters of the camera, the parameters of the mirror surface and the poses of the camera in relation to the mirror and to the world reference frames. Image formation is studied in a purely geometrical way, focusing mainly on the projection model and on the calibration of the vision system. The main contributions include the proof that in a noncentral catadioptric system with a perspective camera and a non degenerate quadric the reflection point on the surface (projecting any given 3D world point to the image) is on the quartic curve that is the intersection of two quadrics. The projection model related to the previous definition of the reflection point is also derived and is expressed as an implicit non linear function on a single unknown. In what concerns the calibration of these vision systems, we developed a calibration method assuming the knowledge of the intrinsic parameters of the perspective camera and of some 3D points in a local reference frame (structure) . Information about the apparent contour is also used to enhance the accuracy of the estimation. Another calibration method is proposed, assuming a previous calibration of the system in the sense of a general camera model (correspondences between image points and incident lines in space). Additionally, the camera-mirror and camera-world poses are estimated using algebraic metrics and linear equations (derived for a calibration method that is also presented). The camera is considered to be pre-calibrated. Experiments with extensive simulations and also using real images are performed to test the robustness and accuracy of the methods presented. The main conclusions are that these vision systems are highly non linear and that their calibration is possible with good accuracy but difficult to achieve with very high accuracy, specially if the vision system is aimed at being used for accuracy-driven applications. Nevertheless it is observed that structure of the world can be complemented with some additional information as the quadric apparent contour in order to improve the quality of the calibration results. Actually, the use of the apparent contour can dramatically improve the accuracy of the estimation

Positioning system for 3D scans inside objects

En este trabajo presentamos un sistema de posicionamiento de visión activa para el escaneo 3D del interior de piezas. El diseño del sistema propuesto consta de dos módulos: un sistema de dimensionamiento 2D de visión activa, y un sistema que posiciona el módulo de visión activa. El sistema de posicionamiento es capaz de determinar la profundidad del sistema de dimensionamiento 2D de visión activa en el interior del objeto a escanear usando varios sensores. Las principales contribuciones de este trabajo son la caracterización del sistema de dimensionamiento 2D, y el desarrollo de algoritmos de posicionamiento de la luz activa con énfasis en el modelado y fusión de sensores. El sistema puede utilizarse como un sistema de dimensionamiento en aplicaciones industriales como la industria metal mecánica, la aeronáutica, la medicina, en el control de calidad y en áreas de visión por computadora.In this work we present an active positioning system for 3D scan of interior parts. The design of the proposed system consists of two modules: an active 2D dimensional system and positional system based on active vision. The active 2D dimensional system is able to determine the depth of the 2D dimensional system inside the object to be scanned using several sensors. The main contributions of this work are the characterization of the 2D dimensional system and the development of active light positioning algorithms with emphasis on the modeling and fusion of the sensors. The system can be used as a dimensional system in industrial applications such as the metal mechanical industry, aeronautics industry, medicine, quality control and computer vision.Peer Reviewe

디스플레이 및 이미징 시스템으로의 응용을 위한 3D 프린팅 기반 맞춤형 광학 요소의 개발

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2021. 2. 홍용택.일반적으로 제조 공정은 절삭 방식과 적층 방식으로 구분된다. 이 중에서 적층 방식 공정은 저비용 및 단시간으로 복잡한 형태의 구조를 만들 수 있어서 이에 대한 연구와 개발이 꾸준히 진행되어왔다. 특히 3D 프린팅은 적층 방식 공정 중에서 가장 대표적인 방법으로, 기계 부품 및 생체 기관 제조 등의 분야에서는 이미 상용화가 진행되고 있다. 하지만 전자 소자 및 광학 요소 분야에서의 3D 프린팅의 활용은 여전히 연구 개발 또는 시제품 제작 단계에 머무르고 있다. 특히 마이크로 렌즈, 컬러 필터 등이 3D 프린팅으로 응용할 수 있는 가장 가능성 있는 광학 요소로서 디스플레이 및 이미징 시스템에 널리 사용될 것으로 예상되지만 여전히 상용화를 위한 연구가 진행 중이다. 또한 3D 프린팅을 이용한 광학 요소의 제작은 소재, 길이 스케일, 형상 및 응용 방안 등에서도 제한이 많은 상황이다. 따라서 이러한 문제를 극복하기 위해서는 디스플레이 및 이미징 시스템에서의 3D 프린팅 된 광학 요소의 유용성을 확장해야 하며, 다음과 같이 세 가지 측면에서 향상된 성능을 달성해야 한다. 첫째, 다양한 방식의 3D 프린팅 방법을 통해 마이크로미터에서 센티미터까지 광범위의 길이 스케일을 가지는 구조물의 제작이 가능해야 한다. 둘째, 임의의 곡면, 계층적 구조 등 복잡한 형상의 구조물을 쉽게 제작할 수 있어야 한다. 셋째, 단단한 소재 대신 탄성체와 같은 소프트 소재를 이용하여 광학적인 기능을 용이하게 조절할 수 있어야 한다. 이와 같은 동기를 바탕으로 본 학위 논문에서는 디스플레이 및 이미징 시스템으로의 응용을 위한 3D 프린팅 기반 맞춤형 광학 요소의 개발에 대한 내용을 보고한다. 3D 프린팅 기반 광학 요소를 매크로 스케일, 마이크로 스케일 그리고 매크로 및 마이크로 스케일이 혼합된 계층적 구조 등 세 가지 유형으로 분류하고 각각에 대한 응용 분야를 제시한다. 매크로 스케일의 광학 요소로는 가장 기본적인 요소인 렌즈와 거울을 선택한다. 렌즈는 공압식 디스펜싱 방법을 이용하여 실린드리컬 쌍 형태로 제작되었으며, 심리스 모듈러 평판식 디스플레이의 구현을 위해 적용된다. 또한 용융 적층 방식의 3D 프린팅으로 만들어진 몰드를 이용하여 거울을 제작하고, 이를 이용하여 심리스 모듈러 커브드 엣지 디스플레이를 구현한다. 이와 같이 모듈러 디스플레이의 이음새 부분에 3D 프린팅으로 제작된 렌즈 또는 거울을 부착하는 방식으로 화면을 심리스로 확장하는 기술을 제시하고, 다양한 형태의 디스플레이에 적용할 수 있는 가능성을 보여준다. 마이크로 스케일의 광학 요소로는 발광 다이오드에서 색 변환과 광 추출 기능을 동시에 나타내는 색 변환 마이크로 렌즈를 선택한다. 양자 점/광 경화성 고분자 복합체의 전기수력학적 프린팅을 통해 양자 점이 내장된 다양한 형태의 색 변환 마이크로 렌즈를 제작하며, 이를 청색 마이크로 발광 다이오드 어레이의 발광부 상에 적용하여 풀 컬러 마이크로 발광 다이오드 디스플레이로의 응용 가능성을 제시한다. 마지막으로 매크로 및 마이크로 스케일이 혼합된 계층적 구조의 광학 요소로서 디스펜싱 및 건식 러빙 과정의 조합으로 제작된 겹눈 형태를 모사한 렌즈 구조를 제시한다. 반구 형태의 매크로 렌즈를 디스펜싱으로 형성하고, 매크로 렌즈의 곡면 상에 단층의 마이크로 입자의 배열을 얻기 위해 건식 러빙 공정을 진행한다. 이러한 방식으로 형성된 계층적 구조가 소프트한 소재로 복제되어서 신축성을 가지는 겹눈 형태 모사 구조가 완성된다. 마이크로 렌즈 어레이는 매크로 렌즈의 표면을 따라 형성되고 리지드 아일랜드로 역할을 하여, 전체 계층적 구조에 기계적 변형이 가해져 매크로 렌즈의 모양이 변형되어도 마이크로 렌즈는 형상과 해상도, 초점 거리 등의 광학적 특성을 유지할 수 있다. 본 학위 논문은 3D 프린팅을 이용하여 다양한 형태와 스케일의 광학 요소를 제작하고 디스플레이 및 이미징 시스템으로의 여러 응용을 보여줌으로서 앞으로의 새로운 연구 및 개발 방향성을 제시하는 것을 주요 목적으로 한다. 3D 프린팅 설비의 단가가 낮아지고 정밀도 및 해상도가 높아지는 추세에 따라, 광학 요소를 쉽게 만들고 응용할 수 있는 맞춤형 광학 또는 스스로 구현하는 광학 분야가 변형 가능하고 멀티 스케일의 광학계로 점차 확대될 것으로 예상된다. 궁극적으로는 차세대 디스플레이 및 이미징 시스템에 필요한 광학 요소를 위한 기술의 저변을 넓히고, 이를 산업 전반에 응용할 수 있는 기반을 마련하고자 한다.Generally, the manufacturing process is divided into the subtractive (top-down) type and additive type (bottom-up). Among them, the additive manufacturing process has attracted a lot of attention because it can manufacture products with complex shapes in a low-cost and short-time process. In particular, three-dimensional (3D) printing is a representative method, which has already been commercialized in the field of mechanical components and biomedical organ. However, it remains in the research and development step in the field of electronic devices and optical components. Especially, although 3D printed optical components including microlens and color filter are expected to be widely used in display and imaging systems, it is still under investigation for commercialized products, and there are limitations in terms of materials, length scale, shape, and practical applications of components. Therefore, to overcome these issues, it is required for investigating and expanding the potential usefulness for 3D printed optical components in display and imaging systems to achieve better performance, productivity, and usability in three aspects. First, it should be possible to manufacture structures with a wide range of length scales from micrometer to centimeter through various 3D printing methods. Second, complex shapes such as free-from curved surfaces and hierarchical structures should be easily fabricated. Third, it is necessary to add functionality by manufacturing structures in which tunable functions are introduced using soft materials like an elastomer. Based on the above motivations, 3D printing-based customized optical components for display and imaging system applications are introduced in this dissertation. 3D printed optical components are classified into three types and their applications are showed to verify the scalability of 3D printing: macro-scale, microscale, and hierarchical macro/micro-scale. As macro-scale printed optical components, lens and mirror which are the most basic optical components are selected. The lens is fabricated by a pneumatic-type dispensing method with the form of a cylindrical pair and adopted for demonstration of seamless modular flat panel display. Besides, a seamless modular curved-edge display is also demonstrated with a mirror, which is fabricated from fused deposition modeling (FDM)-type 3D printed mold. By simply attaching a printed lens or mirror onto the seam of the modular display, it is possible to secure seamless screen expansion technology with the various form factor of the display panel. In the case of micro-scale printed optical components, the color-convertible microlens is chosen, which act as a color converter and light extractor simultaneously in a light-emitting diode (LED). By electrohydrodynamic (EHD) printing of quantum dot (QD)/photocurable polymer composite, QD-embedded hemispherical lens shape structures with various sizes are fabricated by adjusting printing conditions. Furthermore, it is applied to a blue micro-LED array for full-color micro-LED display applications. Finally, a tunable bio-inspired compound (BIC) eyes structure with a combination of dispensing and a dry-phase rubbing process is suggested as a hierarchical macro/micro-scale printed optical components. A hemispherical macrolens is formed by the dispensing method, followed by a dry-phase rubbing process for arranging micro particles in monolayer onto the curved surface of the macrolens. This hierarchical structure is replicated in soft materials, which have intrinsic stretchability. Microlens array is formed on the surface of the macrolens and acts as a rigid island, thereby maintaining lens shape, resolution, and focal length even though the mechanical strain is applied to overall hierarchical structures and the shape of the macrolens is changed. The primary purposes of this dissertation are to introduce new concepts of the enabling technologies for 3D printed optical components and to shed new light on them. Optical components can be easily made as 3D printing equipment becomes cheaper and more precise, so the field of Consumer optics or Do it yourself (DIY) optics will be gradually expanded on deformable and multi-scale optics. It is expected that this dissertation can contribute to providing a guideline for utilizing and customizing 3D printed optical components in next-generation display and imaging system applications.Chapter 1. Introduction 1 1.1. Manufacturing Process 1 1.2. Additive Manufacturing 4 1.3. Printed Optical Components 8 1.4. Motivation and Organization of Dissertation 11 Chapter 2. Macro-scale Printed Optical Components 15 2.1. Introduction 15 2.2. Seamless Modular Flat Display with Printed Lens 20 2.2.1. Main Concept 20 2.2.2. Experimental Section 23 2.2.3. Results and Discussion 26 2.3. Seamless Modular Curved-edge Display with Printed Mirror 32 2.3.1. Main Concept 32 2.3.2. Experimental Section 33 2.3.3. Results and Discussion 36 2.4. Conclusion 46 Chapter 3. Micro-scale Printed Optical Components 47 3.1. Introduction 47 3.2. Full-color Micro-LED Array with Printed Color-convertible Microlens 52 3.2.1. Main Concept 52 3.2.2. Experimental Section 54 3.2.3. Results and Discussion 57 3.3. Conclusion 65 Chapter 4. Hierarchical Macro/Micro-scale Printed Optical Components 66 4.1. Introduction 66 4.2. Tunable Bio-inspired Compound Eye with Printing and Dry-phase Rubbing Process 69 4.2.1. Main Concept 69 4.2.2. Experimental Section 71 4.2.3. Results and Discussion 73 4.3. Conclusion 79 Chapter 5. Conclusion 80 5.1. Summary 80 5.2. Limitations and Suggestions for Future Researches 83 References 88 Abstract in Korean (국문 초록) 107Docto

Real Time Stereo Cameras System Calibration Tool and Attitude and Pose Computation with Low Cost Cameras

The Engineering in autonomous systems has many strands. The area in which this work falls, the artificial vision, has become one of great interest in multiple contexts and focuses on robotics. This work seeks to address and overcome some real difficulties encountered when developing technologies with artificial vision systems which are, the calibration process and pose computation of robots in real-time. Initially, it aims to perform real-time camera intrinsic (3.2.1) and extrinsic (3.3) stereo camera systems calibration needed to the main goal of this work, the real-time pose (position and orientation) computation of an active coloured target with stereo vision systems. Designed to be intuitive, easy-to-use and able to run under real-time applications, this work was developed for use either with low-cost and easy-to-acquire or more complex and high resolution stereo vision systems in order to compute all the parameters inherent to this same system such as the intrinsic values of each one of the cameras and the extrinsic matrices computation between both cameras. More oriented towards the underwater environments, which are very dynamic and computationally more complex due to its particularities such as light reflections. The available calibration information, whether generated by this tool or loaded configurations from other tools allows, in a simplistic way, to proceed to the calibration of an environment colorspace and the detection parameters of a specific target with active visual markers (4.1.1), useful within unstructured environments. With a calibrated system and environment, it is possible to detect and compute, in real time, the pose of a target of interest. The combination of position and orientation or attitude is referred as the pose of an object. For performance analysis and quality of the information obtained, this tools are compared with others already existent.A engenharia de sistemas autónomos actua em diversas vertentes. Uma delas, a visão artificial, em que este trabalho assenta, tornou-se uma das de maior interesse em múltiplos contextos e focos na robótica. Assim, este trabalho procura abordar e superar algumas dificuldades encontradas aquando do desenvolvimento de tecnologias baseadas na visão artificial. Inicialmente, propõe-se a fornecer ferramentas para realizar as calibrações necessárias de intrínsecos (3.2.1) e extrínsecos (3.3) de sistemas de visão stereo em tempo real para atingir o objectivo principal, uma ferramenta de cálculo da posição e orientação de um alvo activo e colorido através de sistemas de visão stereo. Desenhadas para serem intuitivas, fáceis de utilizar e capazes de operar em tempo real, estas ferramentas foram desenvolvidas tendo em vista a sua integração quer com camaras de baixo custo e aquisição fácil como com camaras mais complexas e de maior resolução. Propõem-se a realizar a calibração dos parâmetros inerentes ao sistema de visão stereo como os intrínsecos de cada uma das camaras e as matrizes de extrínsecos que relacionam ambas as camaras. Este trabalho foi orientado para utilização em meio subaquático onde se presenciam ambientes com elevada dinâmica visual e maior complexidade computacional devido `a suas particularidades como reflexões de luz e má visibilidade. Com a informação de calibração disponível, quer gerada pelas ferramentas fornecidas, quer obtida a partir de outras, pode ser carregada para proceder a uma calibração simplista do espaço de cor e dos parâmetros de deteção de um alvo específico com marcadores ativos coloridos (4.1.1). Estes marcadores são ´uteis em ambientes não estruturados. Para análise da performance e qualidade da informação obtida, as ferramentas de calibração e cálculo de pose (posição e orientação), serão comparadas com outras já existentes