La mayoría de los enfoques sobre el problema de la distorsión radial, asume la presencia de pixeles cuadrados, más no rectangulares, lo que complica el proceso de calibración en tiempo real. En este trabajo se propone una nueva metodología que permita tanto recalibrar la cámara, como analizar los efectos de la segmentación de imágenes compensadas con distorsión radial.&lt

Berbey-Alvarez, Aránzazu

Caballero, Rony

Portal de Revistas Académicas UTP (Universidad Tecnológica de Panamá)

III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -30- Calibración y Segmentación de Imágenes en Cámaras con Distorsión Radial Calibration and Segmentation of Images in Radial Distortion Chambers  Rony Caballero 1*, Aránzazu Berbey-Alvarez1 1 Facultad de Ingeniería Eléctrica, Universidad Tecnológica de Panamá  rony.caballero@utp.ac.pa, aranzazu.berbey@utp.ac.pa   Resumen– La mayoría de los enfoques sobre el problema de la distorsión radial, asume la presencia de pixeles cuadrados, más no rectangulares, lo que complica el proceso de calibración en tiempo real. En este trabajo se propone una nueva metodología que permita tanto recalibrar la cámara, como analizar los efectos de la segmentación de imágenes compensadas con distorsión radial.  Palabras claves–  segmentación de imágenes, calibración, distorsión radial.  Abstract– Most approaches to the problem of radial distortion assume the presence of square pixels, rather than rectangular, which complicates the calibration process in real time. In this work a new methodology is proposed that allows both to recalibrate the camera, and to analyze the effects of the segmentation of compensated images with radial distortion. Keywords– image segmentation, calibration, radial distortion. 1. Introducción Hoy en día, con la aparición de nuevas aplicaciones de la robótica, sea incrementado el interés por la utilización de hardware de bajo costo. Entre estos dispositivos, se destacan las cámaras de vídeo. Existe una amplia disponibilidad de modelos y presentan la ventaja de que la información obtenida de ellas, puede fusionarse con la proveniente de otros sensores, como los giróscopos y acelerómetros.  Sin embargo, muchas de las cámaras de bajo costo que pueden obtenerse pueden presentar distorsión radial y otras no linealidades ópticas.  El problema de distorsión radial ha sido abordado por otros autores [1-9]. No obstante, la mayoría de estos enfoques asume la presencia de pixeles cuadrados, más no rectangulares, lo que complica el proceso de calibración en tiempo real. En aplicaciones de navegación, usualmente se analiza el movimiento de ciertas características entre imágenes consecutivas de video. En este sentido, usualmente se analiza la trayectoria de esquinas o segmentos de área considerando que las imágenes están libres o compensadas de distorsión.  En consecuencia,  también resulta de interés analizar el efecto de segmentación considerando la distorsión radial.  En este trabajo se propone una nueva metodología que permita tanto recalibrar la cámara, como analizar los efectos de la segmentación de imágenes compensadas con distorsión radial.  2. Modelado de la Imagen Existen varios modelos que pueden aplicarse al análisis de imágenes. Sin embargo, este trabajo se limita a aquellas aplicaciones donde la profundidad de la escena es pequeña en comparación a la distancia promedio de ésta a la cámara.  2.1. Modelo Pinhole Esta aproximación permite relacionar un punto del sistema de coordenadas de la imagen (u,v) con el sistema de coordenadas centrado en la cámara (xc,yc,zc). El origen de este último sistema coordenado coincide con el centro óptico de la cámara y el eje zc III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -31- coincide con el eje óptico de la misma. Además, los ejes de coordenadas (u,v) son paralelos a los ejes (xc,yc) respectivamente. Este modelo puede representarse de la siguiente manera,      (1)     (2)  Donde, k representa la distancia focal efectiva, es decir la distancia entre el plano (u,v) y (xc,yc).  2.2 Modelo con Pixel Rectangular En algunas cámaras, principalmente de vídeo, puede presentarse pixeles rectangulares en este caso (1) y (2) cambian a:      (3)            (4)  Donde, kx y ky deben obtenerse mediante un proceso de calibración.    2.3 Modelo con Pixel Rectangular y Distorsión Radial La distorsión radial resulta de la curvatura de los lentes utilizados en las cámaras. Si la distorsión radial está perfectamente centrada el modelo puede aproximarse de la siguiente manera[9]:    (5)  (6)  puede ser negativo o positivo. La distorsión radial negativa causa que los puntos externos se amontonen y la escala disminuye.  Mientras que la distorsión positiva, causa que los puntos externos se dispersen y la escala se incremente.   3. Proceso de calibración Existen distintas técnicas de calibración que pueden utilizarse [2][4]. Usualmente, se aplica una imagen patrón y se determina como se modifica en la imagen de la cámara.   3.1 Imagen Patrón Existen múltiples imágenes patrón que pueden utilizarse para la calibración. Sin embargo, por simplicidad se utilizara una imagen basada en el cuadro de ajedrez. En esta técnica se utiliza una imagen prefabricada de cuadros blancos y negros con unas dimensiones conocidas. (Ver figura 1)   Figura 1.  Patrón basado en el tablero de ajedrez utilizado en la calibración.    Figura 2.  Distorsión radial negativa en el patrón durante la calibración.  ccku xz=cckv yz=xccku xz=ycckv yz=( )( )2 21x c c ccku x x yze= + +( )( )2 21y c c cckv y x yze= + +eIII Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -32-   Figura 3.  Distorsión radial positiva en el patrón durante la calibración.   Figura 4.  Distorsión radial en las esquinas de la imagen patrón y las franjas de calibración para estimar .  3.2 Segmentación de la Imagen Patrón Una vez se toma una imagen del patrón, se procede a analizar la distorsión de los cuadros en la imagen. Esto último puede lograrse aplicando técnicas de detección de esquinas a la imagen y evaluar cómo se mueven los puntos de sus valores esperados. Resulta de interés destacar que los cuadros centrales no presentan prácticamente distorsión radial. Esto puede utilizarse para encontrar los valores de kx y ky  a partir de (3) y (4). El parámetro  puede encontrarse analizando el desplazamiento de las esquinas en la imagen patrón.  En este sentido este parámetro puede estimarse a partir de (5) ó (6) considerando solo las esquinas en la zona cercana a los ejes principales del plano de la imagen, en este caso:   (7)  (8)  3.3 Compensación por el Método de Fitzgibbon Una vez se conoce el parámetro  puede utilizarse el método de compensación de distorsión radial de Fitzgibbon[5-6][8].     (9)   (10)  Este método se basa en mapear la imagen distorsionada en una imagen compensada. La idea es sacar la mayor información posible de la imagen distorsionada. Esta técnica tiene la particularidad que deja un rastro de pixeles vacíos[1] como puede verse en la figuras 5 y 6. Estos pixeles pueden rellenarse utilizando técnicas basadas en los colores de gris de los pixeles cercanos. En muchas aplicaciones esto no es un problema, pero aplicaciones de tiempo real podría ralentizar en exceso el proceso.    Figura 5.  Imagen con efecto de distorsión radial. Las líneas rectas se curvan cerca de los márgenes de la imagen.     ee21 1  para 0 y  0 c c cc x cz u y xx k xeæ ö» - » ¹ç ÷è ø21 1  para 0 y  0 c c cc x cz u x yy k yeæ ö» - » ¹ç ÷è øe( )2 21CF CFuuu ve=+ +( )2 21CF CFvvu ve=+ +III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -33-  Figura 6.  Imagen con efecto de distorsión radial compensada con el método de Fitzgibbon.  3.4 Compensación por el Método de Fitzgibbon Modificado En este trabajo se propone mapear la imagen compensada a partir de la distorsionada. Este enfoque tiene la ventaja de rellenar los pixeles vacíos en base a la información inmediatamente disponible de la imagen distorsionada. Esto último se describe en el pseudocódigo,             Figura 7.  Pseudocódigo para compensación Fitzgibbon Modificada.  La efectividad de este método se evidencia en la compensación de la imagen de la figura 5. Como puede apreciarse los vacíos ya no están presentes, pero aparece otro problema.  El mapeo puede generar algunos errores en las líneas.   Figura 8.  Imagen con efecto de distorsión radial compensada con el método de Fitzgibbon Modificado.  Para verificar la efectividad de éste método se procederá a evaluar si puede compensar la rejilla distorsionada que se muestra en la figura 9. En la figura 10 se aprecian los resultados y es evidente que puede compensar bastante la imagen, pero surgen algunos errores en el proceso.  Sin embargo la velocidad del proceso puede ser importante para procesos que se realicen en tiempo real. En el siguiente apartado se analizará el efecto de los errores en la segmentación  de imágenes compensadas.    Figura 9.  Imagen de rejilla con efecto de distorsión radial.   ( )( )( )( )2 22 21:1:11CMCMCM CM CM CMCM CM CM CMu nv mu u u vv v u vee=== + += + +III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -34-  Figura 10.  Imagen de rejilla con efecto de distorsión radial compensada empleando el método Fitzgibbon Modificado. 4. Segmentación de imágenes compensadas En muchas aplicaciones de procesamiento de imágenes, resulta de interés segmentar la imagen, para darle seguimiento a ciertas características. Sin embargo la velocidad del proceso puede ser importante para procesos que se realicen en tiempo real. En el proceso de segmentación pueden encontrarse  características importantes como: Detección de bordes, esquinas, segmentos de área, entre otros. Este trabajo se limitará a analiza la detección de bordes y esquinas.   4.1 Detección de Bordes Existen muchos algoritmos para detección de bordes, en este caso en particular se utilizara como prueba el algoritmo de Cany. En este caso se probarán algunas imágenes con una cámara con distorsión radial negativa y .   Figura 11.  Imagen de prueba con distorsión radial negativa.    Figura 12.  Bordes de la imagen de prueba con distorsión radial negativa sin compensación.   Figura 13.  Bordes de la imagen de prueba con distorsión radial negativa con compensación de Fitzgibbon modificado.   Figura 14.  Imagen de prueba con distorsión radial negativa.   70.9 10e -= - ´III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -35-   Figura 15.  Bordes de la imagen de prueba con distorsión radial negativa sin compensación.   Figura 16.  Bordes de la imagen de prueba con distorsión radial negativa con compensación de Fitzgibbon modificado La primera imagen de prueba se ve en la figura 11. Al aplicar el algoritmo de detección de bordes se evidencia la distorsión de las líneas cuadriculadas (véase figura 12). Al aplicar el algoritmo de compensación antes segmentar, los resultados evidencia que las líneas son rectas como se esperaba (véase figura 13).  La segunda imagen de prueba se ve en la figura 14. Al aplicar el algoritmo de detección de bordes se evidencia la distorsión en el marco de la puerta (véase figura 15). Al aplicar el algoritmo de compensación antes segmentar, el marco se vuelve recto (véase figura 16).   4.2 Detección de Esquinas La detección de esquinas es una técnica muy útil para dar seguimiento a trayectorias entre imágenes de cuadros consecutivos en un vídeo. Para esta prueba se selecciona un algoritmo basado en el mínimo autovalor de Shi-Tomasi.    Figura 17.  Detección de esquinas en una imagen de prueba con distorsión radial negativa.    Figura 18.  Detección de esquinas en una imagen de prueba con distorsión radial negativa con compensación de Fitzgibbon modificado.   Figura 19.  Detección de esquinas en una imagen de prueba con distorsión radial negativa.  III Congreso Internacional de Ciencia y Tecnología para el Desarrollo Sostenible, Chiriquí, Panamá 27 al 29 de junio de 2018    -36-   Figura 20.  Detección de esquinas en una imagen de prueba con distorsión radial negativa con compensación de Fitzgibbon modificado.  En ambas imágenes de prueba (véase figuras 17 y 19) las esquinas detectadas son prácticamente las mismas que se detectan al utilizar el algoritmo de compensación (véase figuras 18 y 20). La diferencia radica en que la posición de las esquinas detectadas con el algoritmo de compensación están más cercanas a la realidad y en consecuencia generaran menos errores al utilizarlas en algoritmos que fusiones información de la cámara con otros sensores.   5. Conclusiones En este trabajo se ha propuesto una metodología que propone mapear cada pixel de la imagen compensada en base a la distorsionada. Esto ha demostrado ser eficiente desde el punto de vista computacional.  El método propuesto introduce algunos problemas de distorsión pero los análisis preliminares demuestran que son pequeños y la mayoría de los algoritmos de segmentación parecen manejarlos bastante bien.  No obstantes los autores reconocen que se necesita evaluar otras funciones y estructuras de compensación para que el algoritmo de compensación mejore.  6. Agradecimiento Este trabajo ha recibido el apoyo de la Universidad Tecnológica de Panamá y la Secretaria Nacional de Ciencia y Tecnología e Innovación de Panamá.  7. Referencias [1] B. Benligiray and C. Topal (2017). Lens Distortion Rectification Using Triangulation Based Interpolation.  [2] Henrique-Brito, Jose; Angst, Roland, Koser, Kevin, Pollefeys, Marc.(2013) Radial Distortion Self-Calibration. Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference, 23-28 June 2013, Electronic ISBN: 978-0-7695-4989-7 [3] Bukhari, F. and Matthew, D. (2010). Robust Radial Distortion from a Single Image. G. Bebis et al. (Eds.): ISVC 2010, Part II, LNCS 6454, pp. 11–20, 2010.  Springer-Verlag Berlin Heidelberg 2010. [4] Juyang Weng, Paul Cohen, and Marc Herniou (1992). Camera Calibration with Distortion. Models and Accuracy Evaluation. IEEE TRANSACTIONS ON PAmRN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 14, NO. 10, OCTOBER 1992. [5] Wolfgang Hugemann.(2010) Correcting Lens Distortions in Digital Photographs. 2010 by EVU. [6] Wonsik Kim, Young Ki Baik, and Kyoung Mu Lee (2008). A Parameter-free Radial Distortion Correction of Wide Angle Lenses using Distorted Vanishing Points. [7] Ville V. Lehtola 1,2,*, Matti Kurkela 1 and Petri Rönnholm (2017). Radial Distortion from Epipolar Constraint for Rectilinear Cameras. J. Imaging 2017, 3, 8; doi:10.3390/jimaging3010008 [8] Zuzana Kukelova Jan Heller, Martin Bujnak, Andrew Fitzgibbon, Tomas Pajdla (2015). Efficient Solution to the Epipolar Geometry for Radially Distorted Cameras. [9] Bogdan Khomutenko, Gaëtan Garcia, and Philippe Martinet (2016). An Enhanced Unified Camera Model. IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 1, NO. 1, JANUARY 2016   

Calibración y Segmentación de Imágenes en Cámaras con Distorsión Radial

La mayoría de los enfoques sobre el problema de la distorsión radial, asume la presencia de pixeles cuadrados, más no rectangulares, lo que complica el proceso de calibración en tiempo real. En este trabajo se propone una nueva metodología que permita tanto recalibrar la cámara, como analizar los efectos de la segmentación de imágenes compensadas con distorsión radial.

Repositorio Institucional de la Universidad Tecnológica de Panamá

https://revistas.utp.ac.pa/index.php/memoutp/article/download/1784/2575/

Calibración y Segmentación de Imágenes en Cámaras con Distorsión Radial

Abstract

Similar works

Full text

Available Versions

Portal de Revistas Académicas UTP (Universidad Tecnológica de Panamá)

Repositorio Institucional de la Universidad Tecnológica de Panamá