[Correlation of pairs of images for measurement of solids by stereo phenomena]



It is made a description of optical principles, which are used to obtain 3D information from 2D information. The main interest is focused, around the problems for the intelligent matching between segments of photographs, which are taken without constrains. The automation of such a matching task, is so useful in measuring solids, where the high accuracy, and also the avoidance of human aid are desirable. Solutions, which were proposed in the Industry and Mathematics Workshop, and procedures of public domain for editing photographs, are proposed as complementary

Brambila, P.F.

Hernandez, G.G.

Mercado, E.J.R.

Ockendon, H.

Ramos, L.J.A.

Spanish

Mathematics in Industry Information Service Eprints Archive

ApORTACIONES MATEMATICAS
Comunicaciones 23 (1999) 59-68.
CORRELACION DE PARES DE IMAGENES PARA
MEDICION DE SOLIDOS POR FENOMENOS ESTEREO
J Scmchez*, J A. Christen+, B. Valera*
* Centro de Instrumentos UNAM, Circuito Exterior C.U 04510, D.F. Tel
6228603, Fax 622 8603, sachezj@aleph.cinstrum.unam.mx,
valerab@aleph.cinstrum. unam. mx
+ Instituto de Matematicas UNAM, Morelia Mich. Nicolas Romero 150
Centro. CP 58000, Tel (43) 13 83 64, Fax (43) 12448,
jac@matem.unam.mx
Resumen
Se hace una descripcion optico-geometrica, de fenomenos estereo,
empleados para obtener informacion 3D, a partir de pares de informacion
2D. El enfoque principal se centra en los problemas de correlacion
inteligente de segmentos de fotografias, tomadas sin restriciones. La
correlacion automatica de esta informacion es muy uti! en las tareas de
medicion de solidos, donde es deseable alta exactitud, asi como el ahorro 0
reduccion de asistencia humana. Se reportan soluciones propuestas en el
taller de Industria y Matematicas, as[ como otras complementarias del
dominio publico, empleadas para edicion de imagenes.
Abstract
It is made a description of optical principles, which are used to obtain 3D
information from 2D information. The main interest is focused, around the
problems for the intelligent matching between segments of photographs,
which are taken without constrains. The automation of such a matching
task, is so useful in measuring solids, where the high accuracy, and also
the avoidance of human aid are desirable. Solutions, which were
proposed in the Industry and Mathematics Workshop, and procedures of
public domain for editing photographs, are proposed as complementary.
El fenomeno estereoscopico era ya explicado por Euclides (280 AC), al
sefialar que la sensaci6n de profundidad era debida a la diferencia de
imagenes que cada ojo percibe al observar un mismo objeto (paralaje
binocular). La psicofisiologia actual, ha encontrado mas de diez efectos que
se complementan en la producci6n de sensaciones tridimensionales, de las
que destacan la sensaci6n de paralaje binocular, la acomodaci6n del
cristalino para enfocar en funci6n de la distancia y la convergencia de ejes
oculares para establecer la triangulaci6n a diferentes distancias. Los
fen6menos de paralaje binocular y convergencia, fueron utilizados por
Giovanni Bautista della Porta (1600), quien dibuj6 escenarios con exactitud,
observados desde diferentes angulos, y produjo las sensaciones de
profundidad esperadas (TekenoriI). El empleo de la fotografia en el siglo
XIX, s610 vino a confirmar los viejos descubrimientos de la perspectiva.
En la recopilaci6n de Tekenori se distinguen las imagenes binoculares
estereosc6picas, de las imagenes espaciales tridimensionales, siendo el
atributo principal que las distingue, la naturaleza de su informaci6n; asi, el
par estereosc6pico es fulico, mientras que la imagen tridimensional cambia
continuamente al cambiar el punto de observaci6n. El holograma es un
ejemplo de esta imagen tridimensional, pero ha habido otros intentos como
arreglos matriciales de fotografias de alta densidad, observadas con arreglos
similares de lentes.
La imagineria actual ha tenido un auge principalmente en la producci6n de
efectos de video para fines publicitarios y de entretenimiento. Una de sus
tecnicas emplea objetos reales con trazos, que son digitalizados con camaras
solas 0 en pares, y luego son reconstruidos y editados por modelos
tridimensionales2, afiadiendoles propiedades de textura, e introducidos
dentro de escenarios computacionales con fuentes de iluminaci6n. La
tecnologia actual permite navegar estereosc6picamente dentro de tales
ambientes, y se Ie conoce como realidad virtual.
Antecedente inmediato de aplicaci6n industrial de principios estereo, es la
aerofotogrametria, empleada en la reconstrucci6n de objetos geodesicos.
Sus principios se basan en la observaci6n de imagenes fotograficas que
sustituyen a objetos reales, al mismo tiempo que unos trazadores recorren
e1 campo visual, produciendo curvas de nivel cuando se les desliza evitando
que se impacten 0 floten sobre los s61idos virtuales. Su exactitud depende
de la calidad de la fotografia, de los mecanismos de acoplamiento, y de la
cali dad de visi6n de los tecnicos.
EI advenimiento de la fotografia en los ambientes computacionales, permite
un acomodo mas libre entre camaras, y entre estas y el objeto. Los
principios empleados en la conversion de objetos 3D en imagenes 2D, y su
reconstruccion 3D, esta basada en transformaciones de coordenadas. Los
rayos de un conjunto de puntos de un objeto del mundo real (world), con
coordenadas Xw =(x~,x~,x~), produciran una imagen "volumetrica" en un
I ' . ., d ,. fi (I 2 3) Varreg 0 OptICO,en su regIOn e maXImo en oque: Xim = Xim ,Xim ,Xim• er
figura 1.
•Coordenadas u
pantalla ~
,,,
"""""", '~\
, "
"'" "'~
~\
Coordenadas
(x:n . x:" . x:" )
de objeto virtual
Figura 1. Transformacion de coordenadas objeto en coordenadas imagen
3D, y en coordenadas pantalla 2D.
La region de maximo enfoque no es plana, sino que variara de acuerdo ala
relacion:
1 1 1
---t-=-
do di f
donde do, di,f son las distancias lente-objeto, lente-imagen y distancia focal
dellente respectivamente, sobe rayos que viajan en linea recta.
A fin de capturar imagenes sobre pantallas planas, se pueden elegir lentes
diafragmadas 0 de gran profundidad de campo, cuyo analisis se aproxima a
la lente de orificio 0 "pin hole". En esta camara idealizada, los puntos
objeto, orificio e imagen estaran alineados, y enfocados para cualquier
distancia.
Los puntos imagen a=(ul'u2) de los puntos objeto Xw =(x~ ,x~ ,x~) se
relacionaran en un sistema de coordenadas homogeneas por:
Xl
ml2 ml3 m14
w
x2
m22 m23 m24
w
x3
m32 m33 1
w
1
Donde la 2 x 3 submatriz que va de mIl a m23 contiene terminos de
rotaci6n y escalamiento, m 14 y m24 son los terminos de desplazamiento, y
el reng16n m31 a m34 produce los efectos de perspectiva 0 de escalamiento
por distancia. A la matriz [M] se Ie conoce como matriz de calibraci6n de
camaras, y describe el acoplamiento lineal entre el objeto real y su imagen
en peliculas 0 detectores.
Para fines de medici6n precisa, TsaiJ, considera que las aberraciones
principales tienen una distribuci6n radial, y transforma las coordenadas
distorcionadas X d =(x~,x~) en las te6ricas a=( upu2) , a traves de las
correciones no lineales:
UI=X~ +x~(kl(r)2 +k2(r)4),
r="J(x/)2 +(X/)2
donde kb k2 son propiedades internas de las camaras, y se determinan por
un proceso de calibraci6n en bancos 6pticos. Nombrando ami,) Yni,), como
los terminos de las matrices de calibraci6n de las camaras izquierda y
derecha respectivamente, y a a=(ul'u2), y v=(vpv2), los datos corregidos
de sendos detectores, la reconstrucci6n de puntos Xw =(x~ ,x~ ,x~) puede
obtenerse resolviendo el sistema (4):
mil -m3lul ml2 -m32ul ml3 -m33ul
x~]
ul-ml4
m21 -m31u2 m22 -m32u2 m23 -m33u2 x2 = u2 -m24 (4)w
nil -n3lvl nl2 -n32vl n13 -n33vl x3
VI -n14
w
n21 -n31v2 n22 -n32v2 n23 -n33v2 v2 -n24 ,-.:J
Aspectos de trascendencia industrial.
A fin de emplear competitivamente los recursos estereomericos, en
sustitucion de maquinas de medicion por coordenadas (MMCs), estos
deben ser exactos, voloces, y prescindir de la asistencia humana, 0 reducirla
a un minimo. El estado del arte reporta4, 5 exactitudes de 1/1000 de la
dimension mayor, para accidentes 0 trazos identificados con codigos
luminosos, obtenidos con camaras formato PAL de 625 x 625 pixeles. La
identificacion luminosa es necesaria para guiar los algoritmos de busqueda y
apareamiento de pares punto izquierdo a=(ul,u2) punto derecho V=(VI,V2).
Aunque no es despreciable la bondad del metodo para algunos objetos que
por su disefio 0 proceso de fabricacion cuenten con trazos facilmente
identificables, el espectro de objetos a medir se amplia si en vez de procesar
trazos, se procesan propiedades naturales, como: manchas, sombras,
texturas, patrones proyectados, etc, que residan en ambas imagenes.
Prop6sitos de este proyecto.
Este proyecto se propone la correlacion automatica de pares de imagenes,
sin trazos, explotando solo sus propiedades 0 accidentes naturales, 0
patrones proyectados, a fin de obtener los beneficios: a) ganancia de
exacitutd, pues es mas repetible la posicion de un centro de gravedad,
limites de sombras 0 interseccion de superficies, que la posicion de trazos
puntuales, debido a la burda disretizacion en pixeles que hacen los
detectores, b) Ahorro de asistencia humana, pues una vez establecida la
correlacion entre puntos (0 zonas) de imagen izquierda con sus equivalentes
de la derecha, la identificacion de tales accidentes sobre objeto 0 pares de
imagenes para la correlacion no es necesaria. Ver figura 2.
Figura 2. La indefinici6n de limites en objetos, asi como la burda
discretizaci6n de imagenes en pixeles, hace necesaria la medici6n de
elementos geometricos por procesamiento indirecto.
Problemas tipicos presentes en la correlaci6n automatica de imagenes, son:
a) la definici6n de contomos de analisis, para ambas imagenes, que aseguren
que todos los puntos interiores de una de elIas, tienen su equivalente dentro
de la otra, y b) la discontinuidad que una imagen puede presentar sin que se
presente en la otra, como en el caso de prominencias del objeto que ocultan
regiones para s610 unos angulos de vista.
Soluciones propuestas.
La propuesta obtenida en el taller consiste en partir de un accidente
perfectamente localizado para ambas imagenes, y suponer que en su
vecindad, su superficie puede aproximarse a un plano, 0 que se proyecta a
un plano tangente en dicho accidente, con poco error. Enseguida, suponer
que el plano se comporta como un espejo, que proyecta el accidente de la
imagen izquierda en la derecha, siguiendo leyes de simetria al rededor de la
normal al plano. Ver figura 3.
Figura 3. Obtenci6n de la reflexi6n de un parche planar, sobre un "espejo"
normal ala bisectriz de ejes de camaras.
En el proceso de correlaci6n, se eligini un segmento plano rectangular 0
trapezoidal de la imagen izquierda, que se estime no contiene
discontinuidades, y por un proceso montecarlo, se buscaran las
orientaciones de la normal que mejor correlacione los brillos del parche
planar izquierdo con los del derecho obtenido por la reflexi6n. La maxima
correlaci6n puede hacerse por la minimizaci6n de:
donde I e r representan los brillos de las posiciones de la imagen real y
proyectada de los puntos x;=(x: ,x;) y x';=(x': ,x'i) respectivamente, para
todos los n puntos de interes 0 para todos los puntos 0 pixeles de esa regi6n.
Cuando se alcanza una buena minimizaci6n con (5), se pueden
seleccionar los i pares de informacion x;=(x: ,X;2) y, X';=(x': ,x'i) que mas
ventajas ofrezcan para la tarea de medici6n 3D. Despues del proceso de
correlaci6n de un trapecio, se pueden elegir cantos 0 esquinas de este, para
iniciar un nuevo proceso de correlaci6n, hasta completar un mosaico. En
los procesos recursivos de correlaci6n, en que se han incluido criterios de
escalamiento de muestras (ventanas) por analizar, se pueden incluir criterios
adicionales para interpretar que cuando una de ellas se ha escalado a cero
sin obtener correlaci6n, se pudo haber llegado a condiciones de
discontinuidad.
El segundo intento ahora en desarrollo, se basa en la tecnica de Szeliski6,
usado para editar fotografias traslapadas. La region de traslape produce
fenomenos estereo, ya que detalles en el extremo derecho de la fotografia
izquierda se deforman de manera diferente en el extremo izquierdo de la
fotografia derecha; sin embargo, las fotografias planas pueden aproximarse
a segmentos cilindricos, que sedan la proyeccion de un escenario continuo a
gran distancia. Este cilindro puede, a su vez, desdoblarse, permitiendo
establecer traslapes con transformaciones planares de R2 en R2 por medio
de:
y la minimizacion de (5). Este proceso a su vez se puede dirigir empleando
la sensibilidad del error de correlacion E con respecto a cada valor m/
m(k) =m(k-t) aE (7)
J J an
J
donde k = 1, 2, .... representa el paso del proceso recursivo. El proceso de
edicion se completa transformando un segmento en el otro de forma suave,
por un proceso de mezcala proporcional, que parte de los extremos sin
traslapar, hasta los completamente inmersos en la fotografia adyacente. Esta
tecnica se emplea tambien para producir sensaciones tridimensionales a
partir de fotografias unicas deformadas, presentadas por pares.
Representaci6n grafica de transformaciones planares y no planares.
Las tomas presentadas en la figura 4, coinciden con los ensayos de Szeliski,
que con transformaciones planares pueden convertir 0 aproximar cada
segmento traslapado en el otro. Sin embargo, aunque la region traslapada
ha sufrido rotacion y traslacion, las variaciones de perspectiva son
pequeiias, y 10s objetos volumetricos han sufrido solo transformaciones
planares.
Figura 4. Las fotografias tomadas desde cfunaras que pivotan, son editables
en las areas que comparten, y por 10 tanto correlacionables con tecnicas de
transformaci6n planar.
Como puede observarse de la figura 5, para grandes traslaciones de
cfunaras, las imagenes no equivalen a traslapes de una en otra, por 10 que no
Ie son aplicables los procesos de Szeliski. Finalmente, el inicio de un
proceso de correlaci6n puede iniciar por un proceso de reflexi6n y ajuste
montecarlo, que permita mapear las areas correlacionables, y delimitar
subregiones interiores equivalentes a "areas traslapadas", para continuar con
procesos donde el ajuste planar sobre ellas produzca poco error.
Figura5. El cambio de curvatura de los limites de un parche de superficie
curva, revela la imposibilidad de transformar planarmente ambos segmentos
de imagenes, pero trapecios interiores pueden ser transformados con poco
error.
1. Three Dimensional Imaging Techniques. Tekenori Okoshi.
Academic Press 1976.
2. Jim Landers et aI, 3D Studio Version 4.0, de Autodesk, Prentice
Hall. 1996
3. R.Y. Tsai. An efficient and accurate camera calibration technique for
3D machine vision. IEEE Computer society conference on computer
vision. (Florida 1986), pp 364-374.
4. Aguilar 11 et al. Calibracion de camaras ccd para su uso en
estereometria. Quinto Congreso Internacional de Metrologia
Industrial. Zaragoza Espana, Noviembre 1991. Proceedings pp 287-
296.
5. J. Weng. Calibration of stereo cameras using a no linear distorsion
model. Pattern Recognition 16-20 June 1990. pp 246-253.
6. Richard Szeliski. Video mosaics for virtual environments. IEEE
Computer
Graphics and applications. V 16, N 2, March 96.


Correlacion de pares de imagenes para medicion de solidos por fenomenos estereo

Abstract

Similar works

Full text

Available Versions

Mathematics in Industry Information Service Eprints Archive