A Fisher-Rao metric for paracatadioptric images of lines

In a central paracatadioptric imaging system a perspective camera takes an image of a scene reflected in a paraboloidal mirror. A 360° field of view is obtained, but the image is severely distorted. In particular, straight lines in the scene project to circles in the image. These distortions make it diffcult to detect projected lines using standard image processing algorithms. The distortions are removed using a Fisher-Rao metric which is defined on the space of projected lines in the paracatadioptric image. The space of projected lines is divided into subsets such that on each subset the Fisher-Rao metric is closely approximated by the Euclidean metric. Each subset is sampled at the vertices of a square grid and values are assigned to the sampled points using an adaptation of the trace transform. The result is a set of digital images to which standard image processing algorithms can be applied. The effectiveness of this approach to line detection is illustrated using two algorithms, both of which are based on the Sobel edge operator. The task of line detection is reduced to the task of finding isolated peaks in a Sobel image. An experimental comparison is made between these two algorithms and third algorithm taken from the literature and based on the Hough transform

Noncentral catadioptric systems with quadric mirrors : geometry and calibration

Tese de doutoramento em Engenharia Electrotécnica (Informática) apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraNesta dissertação de doutoramento estudamos e analisamos a geometria dos sistema catadióptricos não-centrais compostos por uma câmara pinhole ou ortográfica e um espelho curvo, cuja forma é uma quádrica não degenerada, incluindo elipsóides, que podem ser esferas, hiperbolóides e parabolóides. A geometria destes sistemas de visão é parameterizada, analisando o fenómeno de formação da imagem, e é composta pelos parâmetros intrínsecos da câmara, os parâmetros da superfície do espelho e a posição e orientação da câmara em relação ao espelho e ao sistema de referência do mundo. A formação da imagem é estudada numa perspectiva puramente geométrica, focando principalmente o modelo de projecção e a calibração do sistema de visão. As principais contribuições deste trabalho incluem a demonstração de que num sistema catadióptrico não-central com um câmara em perspectiva e uma quádrica não degenerada, o ponto de reflexão na superfície do espelho (projectando na imagem qualquer ponto 3D do mundo) pertence a uma curva quártica que é dada pela intersecção de duas superfícies quádricas. O correspondente modelo de projecção é também desenvolvido e é expresso através de uma equação não linear implícita, dependente de um único parâmetro. Relativamente `a calibração destes sistemas de visão, foi desenvolvido um método de calibração, assumindo o conhecimento dos parâmetros intrínsecos da câmara em perspectiva e de um conjunto de pontos 3D expressos em coordenadas locais (estrutura 3D do mundo). Informação acerca do contorno aparente do espelho é também usada para melhorar a precisão da estimação. Um outro método de calibração é proposto, assumindo uma calibração prévia do sistema no sentido de um modelo geral de câmara (correspondências entre pontos na imagem e raios incidentes no espaço). Adicionalmente, a posição e orientação (pose) da câmara em relação ao espelho e ao sistema de referência do mundo são estimadas usando métricas algébricas e equações lineares (escritas para um método de calibração que também é apresentado). Considera-se a câmara como pré-calibrada. São desenvolvidas e apresentadas experiências com simulações extensivas e também com imagens reais de forma a testar a robustez e precisão dos métodos apresentados. As principais conclusões apontam para o facto de estes sistemas de visão serem altamente não lineares e a sua calibração ser possível com boa precisão, embora difícil de alcançar com precisão muito elevada, especialmente se o sistema de visão tem como objectivo aplicações direccionadas para a precisão. Apesar disso, pode observar-se que a informação da estrutura do mundo pode ser complementada com informação adicional, tal como o contorno aparente da quádrica, de forma a melhorar a qualidade dos resultados de calibração. Na verdade, o uso do contorno aparente do espelho pode, por si, melhorar drasticamente a precisão da estimação.In this PhD thesis we study and analyze the geometry of noncentral catadioptric systems composed by a pinhole or orthographic camera and a non-ruled quadric shaped mirror, that is to say an ellipsoid, which can be a sphere, a hyperboloid or a paraboloid surface. The geometry of these vision systems is parameterized by analyzing the image formation and is composed by the intrinsic parameters of the camera, the parameters of the mirror surface and the poses of the camera in relation to the mirror and to the world reference frames. Image formation is studied in a purely geometrical way, focusing mainly on the projection model and on the calibration of the vision system. The main contributions include the proof that in a noncentral catadioptric system with a perspective camera and a non degenerate quadric the reflection point on the surface (projecting any given 3D world point to the image) is on the quartic curve that is the intersection of two quadrics. The projection model related to the previous definition of the reflection point is also derived and is expressed as an implicit non linear function on a single unknown. In what concerns the calibration of these vision systems, we developed a calibration method assuming the knowledge of the intrinsic parameters of the perspective camera and of some 3D points in a local reference frame (structure) . Information about the apparent contour is also used to enhance the accuracy of the estimation. Another calibration method is proposed, assuming a previous calibration of the system in the sense of a general camera model (correspondences between image points and incident lines in space). Additionally, the camera-mirror and camera-world poses are estimated using algebraic metrics and linear equations (derived for a calibration method that is also presented). The camera is considered to be pre-calibrated. Experiments with extensive simulations and also using real images are performed to test the robustness and accuracy of the methods presented. The main conclusions are that these vision systems are highly non linear and that their calibration is possible with good accuracy but difficult to achieve with very high accuracy, specially if the vision system is aimed at being used for accuracy-driven applications. Nevertheless it is observed that structure of the world can be complemented with some additional information as the quadric apparent contour in order to improve the quality of the calibration results. Actually, the use of the apparent contour can dramatically improve the accuracy of the estimation

Calibration and Reconstruction in Non-Central Axial Catadioptric Systems

Tese de doutoramento em Engenharia Electrotécnica e de Computadores, no ramo de Automação e Robótica, apresentada ao Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Ciências e Tecnologia da Universidade de CoimbraEsta tese de doutoramento estuda sistemas de visão axiais catadióptricos nãocentrais, ou seja, sistemas com um espelho de simetria axial e uma câmara pinhole com o centro ótico pertencente ao eixo do espelho. São propostos métodos originais para calibração e reconstrução 3D usando a imagem de pontos e retas. Por “calibração” entende-se a reconstrução da geometria do sistema de visão, em termos da forma do espelho e da posição e orientação relativa camera/espelho. Para além disso, também se pretende estimar a pose da câmara em relação ao sistema de coordenadas do mundo, ou seja, a estimação dos parâmetros extrínsecos. Assume-se que a câmara pinhole está calibrada internamente a priori. Os algoritmos baseiam-se na utilização da imagem de um padrão de calibração planar, por exemplo, um padrão em xadrez. São propostos cinco algoritmos distintos. Um método estima a posição do eixo do espelho na imagem (de modo a determinar a orientação relativa câmara/ espelho) usando a invariância do cross-ratio. Outro método estima os parâmetros extrínsecos e a distância câma-ra/espelho, dado o conhecimento da forma do espelho. Baseia-se no estabelecimento de uma relação linear 3D/1D entre pontos do mundo e elementos da imagem, e na utilização do algoritmo Direct-Linear-Transformation (DLT) de modo a determinar um subconjunto dos parâmetros do sistema. Os parâmetros restantes são estimados usando procedimentos de otimização não-linear, numa variável de cada vez. Como uma extensão ao método anterior, também é proposta a estimação da forma do espelho como parte do processo de calibração. Este método utiliza a imagem de pontos e retas. Aproveita o facto de que todos os pontos num círculo da imagem centrado na origem possuem raios de retroprojeção que se intersetam num único ponto, formando um sistema de projeção central. Também é proposto um algoritmo para o caso particular de sistemas catadióptricos com espelhos esféricos, onde a calibração é alcançada através do ajuste de curvas quárticas às imagens de retas de um padrão de calibração. É derivada uma solução analítica, que é seguidamente refinada através de um procedimento de otimização não-linear. v Finalmente, considerando o caso de um sistema axial catadióptrico completamente calibrado, é feita a reconstrução da posição 3D de uma reta através de uma única imagem dessa mesma reta (que é possível devido ao facto de o sistema ser não-central). A reta é reconstruída a partir de 3 ou mais pontos na imagem, conhecendo o rácio da distância entre 3 pontos na reta (o que é uma assunção admissível em, por exemplo, ambientes estruturados com objetos arquitetónicos repetitivos, como janelas ou ladrilhos). É usada a invariância do cross-ratio de modo a restringir a localização da reta e, seguidamente, é feita a reconstrução a partir de um conjunto de pontos na imagem através de otimização não-linear. São apresentadas experiências com imagens reais e simuladas de modo a avaliar a precisão e robustez dos métodos.This PhD thesis focuses on non-central axial catadioptric vision systems, i.e. systems with an axial symmetrical mirror and a pinhole camera with its optical center located on the mirror axis. We propose novel methods to achieve calibration and 3D reconstruction from the image of points and lines. By “calibration” we mean the reconstruction of the vision system geometry, in terms of mirror shape and mirror/camera relative position and orientation. We also aim at the estimation of the pose of the camera w.r.t. the world coordinates frame, i.e. the estimation of the extrinsic parameters. We assume that the pinhole camera is internally calibrated a priori. The algorithms rely on the image of a planar calibration pattern, e.g. a checkerboard. We propose five distinct algorithms. One method aims at estimating the position of the mirror axis in the image (to determine camera/mirror relative orientation) using the cross-ratio as an invariant. Another method estimates the extrinsic parameters and camera/mirror distance given the knowledge of the mirror shape. It relies on establishing a 3D/1D linear relation between world points and image features, and using the Direct- Linear-Transformation (DLT) algorithm to obtain a subset of the system parameters. The remaining parameters are estimated using non-linear optimization, on a single variable at a time. As an extension to the previous method, we propose the estimation of the mirror shape as part of the calibration process. This method requires the image of points and lines. It uses the fact that all points in any image circle centered at the origin have backprojection rays that intersect at a single point, effectively becoming a central projection system. We also propose an algorithm for the particular case of catadioptric systems with spherical mirrors, where the calibration is achieved by fitting quartic curves to the images of lines in a calibration pattern. An analytical solution is derived, which is later refined by a non-linear optimization procedure. Finally, we consider the case of a fully calibrated non-central axial catadioptric system, and aim at the reconstruction of the 3D position of a line from a single vii image of that line (which is possible because the system is non-central). The line is reconstructed from 3 or more image points, given the knowledge of the distance ratio of 3 points in the line (a fair assumption in, for example, structured environments with repetitive architectural features, like windows or tiles). We use cross-ratio as an invariant to constrain the line localization and then perform the reconstruction from a set of image points through non-linear optimization. Experiments with simulated and real images are performed to evaluate the accuracy and robustness of the methods.FCT - PROTEC SFRH/BD/50281/200

Advanced solid state Earth resources satellite study

There are no author-identified significant results in this report