Los sistemas de adquisición de imágenes aéreas digitales de alta resolución basados en cámaras de formato pequeño representan una alternativa de gran versatilidad en la solución de diversos problemas de monitoreo ambiental y sensado remoto, particularmente aquellas obtenidas en base a dispositivos aéreos autónomos UAV. Esto es aí dado que un correcto procesamiento de imágenes de cámaras de formato pequeño (ópticas y/o mulitespectrales) permite la obtención de ortomosaicos que cumplan con estándares de calidad, a una fracción del costo operativo del uso de equipos aerotransportados de costo mucho mayor, y con mayor flexibilidad y resolución que con el uso de imágenes satelitales. El objetivo de este trabajo de investigación es la implementación de un sistema de computo que permita sistematizar la adquisición, procesamiento, rectificación, formación de mosaicos, y georreferenciación de las imágenes adquiridas por medio de cámaras ópticas y multiespectrales transportadas por un UAV.
Los resultados obtenidos permiten automatizar el procesamiento casi por completo, requiriendo un mínimo de atención no especializada, y permiten organizar la información e imágenes obtenidas en los vuelos para su posterior uso en procesos de reconocimiento, interpretación e identificación.VII Workshop Computación Gráfica, Imágenes y Visualización (WCGIV)Red de Universidades con Carreras en Informática (RedUNCI

Coppo, Ricardo

Delrieux, Claudio

Manera, José F.

Rodríguez, Lucas

Spanish

El Servicio de Difusión de la Creación Intelectual

Adquisicio´n y Procesamiento de Ima´genes
Ae´reas para Sensado Remoto
Jose´ F. Manera1, Lucas Rodr´ıguez1, Claudio Delrieux2,3 and Ricardo Coppo2
1 Departamento de Ciencias e Ingenier´ıa de la Computacio´n
2 Departmento de Ingenier´ıa Ele´ctrica y de Computadoras
3 IIIE - CONICET, parcialmente financiado por SECyT-UNS
Universidad Nacional del Sur - Alem 1253 - (8000) Bah´ıa Blanca - Argentina
Resumen
Los sistemas de adquisicio´n de ima´genes ae´reas digitales de alta resolu-
cio´n basados en ca´maras de formato pequen˜o representan una alternativa
de gran versatilidad en la solucio´n de diversos problemas de monitoreo
ambiental y sensado remoto, particularmente aquellas obtenidas en base
a dispositivos ae´reos auto´nomos UAV. Esto es as´ı dado que un correc-
to procesamiento de ima´genes de ca´maras de formato pequen˜o (o´pticas
y/o mulitespectrales) permite la obtencio´n de ortomosaicos que cumplan
con esta´ndares de calidad, a una fraccio´n del costo operativo del uso de
equipos aerotransportados de costo mucho mayor, y con mayor flexibili-
dad y resolucio´n que con el uso de ima´genes satelitales. El objetivo de este
trabajo de investigacio´n es la implementacio´n de un sistema de co´mputo
que permita sistematizar la adquisicio´n, procesamiento, rectificacio´n, for-
macio´n de mosaicos, y georreferenciacio´n de las ima´genes adquiridas por
medio de ca´maras o´pticas y multiespectrales transportadas por un UAV.
Los resultados obtenidos permiten automatizar el procesamiento casi por
completo, requiriendo un mı´nimo de atencio´n no especializada, y per-
miten organizar la informacio´n e ima´genes obtenidas en los vuelos para
su posterior uso en procesos de reconocimiento, interpretacio´n e identi-
ficacio´n.
1. Introduccio´n
La teledeteccio´n y el sensado remoto constituyen una de las metodolog´ıas
preferidas para la obtencio´n de informacio´n para el monitoreo ambiental no
invasivo [5,6]. Esta tecnolog´ıa cuenta con un sinnu´mero de aplicaciones en diver-
sas a´reas de la actividad humana, desde estudios cient´ıficos y ecolo´gicos, hasta
prospectivas econo´micas, urbanas y sociales, y por lo tanto constituye tambie´n
un instrumento espec´ıficamente utilizado para la obtencio´n de informacio´n cuan-
titativa y cualitativa para la toma de decisiones y fijacio´n de pol´ıticas [4].
1.1. Alternativas en la obtencio´n de ima´genes de sensado remoto
Las ima´genes generadas procesando informacio´n de sensado remoto tienen
en particular un enorme potencial dentro de todas estas a´reas, y han concitado
recientemente una notable atencio´n masiva gracias a aplicativos espec´ıficos como
por ejemplo el Google Earth. Dentro del diverso espectro de modalidades e in-
strumentos para el sensado remoto, podemos mencionar las ima´genes satelitales
de diversas misiones y constelaciones, las ima´genes obtenidas por medio de
plataformas aerotransportadas, y las ima´genes obtenidas por medio de ca´maras
fijas.
Cada una de dichas modalidades tiene ventajas y desventajas espec´ıficas. Por
ejemplo, las ima´genes satelitales suelen poseer para´metros de calidad insupera-
bles, y entregan informacio´n espectalmente calibrada. Sin embargo, las ima´genes
satelitales disponibles en forma gratuita son de muy baja resolucio´n espacial, no
son obtenibles con la frecuencia necesaria para muchos estudios, y las condiciones
clima´ticas no son negociables (p.ej. presencia de nubes, niebla, u otros factores
que afectan las mediciones). Ima´genes satelitales de mayor resolucio´n espacial
suelen ser prohibitivamente caras.
Las ima´genes obtenidas por medio de plataformas aerotransportadas se so-
breponen a la falta de versatilidad de las ima´genes satelitales, fundamentalmente
porque pueden ser obtenidas en condiciones o´ptimas de clima, iluminacio´n, etc.,
y la resolucio´n espacial puede acomodarse a los dispositivos sensores, altitud de
vuelo, etc. La desventaja fundamental de esta modalidad es que el costo operati-
vo es muy alto, y no se han desarrollado hasta ahora sistemas de procesamiento
mo´viles que permitan verificar en tiempo real si la adquisicio´n se ha realizado
en forma adecuada. Las ima´genes de ca´maras fijas suelen ser de calidad baja o
media, y requieren un procesamiento muy complejo para ser de alguna utilidad
a la hora de establecer mediciones cuantitativamente precisas. Tienen adema´s la
desventaja fundamental de tener un alcance limitado.
1.2. Objetivos de este trabajo
Una alternativa reciente, que permite sobreponerse a muchas de las lim-
itaciones mencionadas ma´s arriba, es la utilizacio´n de sistemas de adquisicio´n
de ima´genes ae´reas digitales de alta resolucio´n basados en ca´maras de forma-
to pequen˜o obtenidas en base a dispositivos ae´reos auto´nomos UAV. El uso de
ima´genes de ca´maras de formato pequen˜o (o´pticas y/o mulitespectrales), con una
adecuada calibracio´n, e incorporando informacio´n adicional del terreno, permite
la obtencio´n de resultados que combinan la calidad de las ima´genes de las mejores
misiones satelitales disponibles o de ima´genes de equipos aerotransportados con-
vencionales, con un costo mucho menor [8].
El objetivo de este trabajo es el desarrollo de un sistema que permita au-
tomatizar los diferentes pasos necesarios para el procesamiento de ima´genes
adquiridas por medio de ca´maras o´pticas y multiespectrales transportadas por un
UAV. Para ello contamos con la colaboracio´n de la empresa NOSTROMO S.A.
(www.nostromo-defensa.com) quienes han facilitado un conjunto de ima´genes
de prueba.
El sistema procesa todas las ima´genes utilizando la frase GPS presente en
los archivos (o la informacio´n de GPS obtenida en el logger de la computadora
de vuelo) para ensamblarlas en un mosaico. Luego, para los bitmaps vecinos
(con la vecindad determinada por la georreferenciacio´n de cada imagen), local-
iza un conjunto de caracter´ısticas (features) en comu´n, y entre ellas conforma el
tria´ngulo de mayor a´rea posible. Por u´ltimo, dados dos tria´ngulos de ima´genes
vecinas, encuentra la transformacio´n af´ın que permite mapear a los ve´rtices
del tria´ngulo en una imagen sobre los mismos ve´rtices en la otra. Esa misma
transformacio´n se aplica luego a todos los pixels de la imagen, obtenie´ndose
la u´nio´n o ”stitch”entre ambas. Cuando la precisio´n de esta operacio´n intro-
duce discontinuidades, es posible aplicar una interpolacio´n bilineal entre ambas
ima´genes, obtenie´ndose un suavizado que hace que la unio´n sea imperceptible.
Eventualmente las ima´genes as´ı procesadas pueden subirse al Google-Earth para
su utilizacio´n remota por parte de usuarios autorizados.
Este trabajo esta´ organizado de la siguiente manera: en la siguiente sec-
cio´n se describe la metodolog´ıa desarrollada para este trabajo, en particular
la adquisicio´n y procesamiento de las ima´genes y su metadata, y los algoritmos
implementados para elaborar los mosaicos. En la seccio´n 3 se muestran los resul-
tados obtenidos, y la seccio´n 4 concluye el trabajo con la discusio´n y los trabajos
futuros.
2. Metodolog´ıa
La posibilidad de incorporar pequen˜as plataformas con ca´maras y sensores
en UAVs (unmanned aircraft vehicles) permite actualmente un amplio abanico
de posibilidades de sensado remoto para usos civiles, desde ca´maras digitales
convencionales (a las cuales se les debe adaptar electro´nicamente el disparo del
shutter), hasta sensores laser, GPS, ca´maras infrarrojas, multiespectrales, etc.
Estos y otros dispositivos, as´ı como los actuadores espec´ıficos para la navegacio´n
del UAV, son comandados por el autopiloto o computadora de vuelo. El autopi-
loto se programa en tierra, y adquiere el control del vuelo luego del despegue
manual y hasta el momento del aterrizaje.
Dentro de su programacio´n se incluye el plan de vuelo, el cual se posiciona por
medio del GPS, as´ı como las localizaciones geogra´ficas y actitudes donde debe
ocurrir disparo del shutter de las ca´maras o sensores. Finalmente, el autopilo-
to registra en un logger la informacio´n eventual que se va registrando durante
la misio´n. Las ima´genes adquiridas durante el vuelo, junto con el data logger,
quedan registradas en una memoria desde la cual se descargara´ la informacio´n
una vez finalizada la misio´n.
2.1. Adquisicio´n y manejo de las ima´genes
Las ima´genes disponibles para este trabajo, y cuyo procesamiento sera´ ulteri-
ormente utilizado en diversas aplicaciones, son en principio adquiridas desde una
ca´mara multiespectral TETRACAM, la cual esta´ espec´ıficamente disen˜ada para
su montaje en plataformas ultralivianas aerotransportadas. Para ello cuenta con
un shutter electro´nico, disparado por la computadora de vuelo, el cual tambie´n
accede al GPS y registra la frase de posicionamiento global y tiempo.
La imagen adquirida, junto con la frase GPS, quedan almacenados en un
archivo RAW de formato propietario, en el cual el bitmap queda registrado en
el formato Bayer nativo del sensor. Para manipular estas ima´genes, se desa-
rrollo´ un reader que decodifica el bitmap del archivo RAW, le aplica una funcio´n
de deBayering por interpolacio´n lineal, y la lectura de la metadata que incluye
la frase del GPS.
Tambie´n se conto´ con ima´genes digitales de ca´maras convencionales, las
cuales no registran el posicionamiento. Para poder referenciarlas geogra´fica-
mente, contamos con el logger de la computadora de vuelo, el cual registra
tambie´n la frase del GPS.
2.2. Armado del mosaico
Si bien existen programas disponibles que permiten armar mosaicos a par-
tir de ima´genes digitales (por ejemplo, Autopano, Autostitch, Photostitch, e
inclusive funciones espec´ıficas del Photoshop), ninguna de estas herramientas
se desempen˜a adecuadamente con las ima´genes ae´reas con las que contamos.
En principio el mosaico de ima´genes podr´ıa armarse buscando la correspon-
dencia de a pares, eso eventualmente llevar´ıa a un problema de bu´squeda de
gran complejidad computacional. Por lo tanto, y dado que se cuenta con la in-
formacio´n geogra´fica del punto de adquisicio´n de las ima´genes, eso permitir´ıa
un pre-ordenamiento de las mismas para facilitar los siguientes pasos de proce-
samiento.
El armado de un mosaico se basa en el matching entre pares de ima´genes
contiguas. Para ello se requiere encontrar una transformacio´n afin entre ellas
que ponga en correspondencia directa a los puntos de una dentro del sistema
de referencia de la otra. Este procesamiento puede basarse en dos estrategias
[1,7]. La primera de ellas, basada en caracter´ısticas (feature based), consiste en
encontrar puntos caracter´ısticos que se repitan en el a´rea comu´n entre ambas
ima´genes. Idealmente se podr´ıa encontrar la correspondencia o´ptima entre cada
par de pixels de las ima´genes a aparear, es decir, una transformacio´n espec´ıfica
para cada uno. En la pra´ctica se toma un conjunto limitado de puntos destacados,
de manera similar al mecanismo de georreferenciacio´n que se utiliza con ima´genes
satelitales.
La segunda estrategia (pixel based) se basa en procesar bloques de pixels
entre ambas ima´genes, buscando una transformacio´n que minimice la diferencia
cuadra´tica acumulada entre pixels correspondientes. El problema en este caso
es que el espacio de bu´squeda es muy grande, y el co´mputo de la diferencia
cuadra´tica tambie´n es costoso.
En nuestra implementacio´n, utilizamos una estrategia mixta, que combina
las ventajas de ambas estrategias. En un primer paso se encuentran puntos car-
acter´ısticos en correspondencia, con los cuales se determina una primera trans-
formacio´n af´ın, la cual es tomada como una primera aproximacio´n. Luego, se
aplica un algortimo de minimizacio´n de la diferencia cuadra´tica, buscando la
transformacio´n que optimiza dicha diferencia en un entorno alrededor de esta
aproximacio´n.
Los puntos caracter´ısticos se detectan por medio del algoritmo SURF (Speed-
ed Up Robust Features) [2], empleando una implementacion OpenSource del al-
goritmo. Este algoritmo evalu´a un conjunto de descriptores de imagen (features)
para los pixels de una imagen, y determina un subconjunto de pixels caracter´ısti-
cos por el hecho de poseer valores destacados en algunos de dichos descriptores.
Para encontrar la correspondencia entre puntos caracter´ısticos en dos
ima´genes a aparear, se puede tener en cuenta la posicio´n geogra´fica de los mis-
mos a partir de la informacio´n del GPS y la resolucio´n espacial de las ima´genes.
Cuando este criterio no es lo suficientemente preciso (por ejemplo, hay varios
puntos caracter´ısticos muy pro´ximos entre s´ı), se adopta un segundo criterio que
se basa en comparar el vector de descriptores de los puntos caracter´ısticos. Para
ello, se buscan los pares puntos caracter´ısticos ma´s pro´ximos en el espacio de
los descriptores. En este caso, la nocio´n de proximidad en el espacio de descrip-
tores que se utilizo´ fue la distancia de Manhattan (es decir, la sumatoria de la
diferencia absoluta entre pares de valores de para´metros). Este segundo criterio
resulto´ importante a la hora de reducir el espacio combinatorio de bu´squeda
entre pares de puntos destacados correspondientes entre ambas ima´genes.
Una vez encontrado un conjunto de pares de puntos correspondientes entre
las ima´genes a aparear, se busca entre ellos el tria´ngulo de mayor a´rea para
determinar la transformacio´n af´ın que ponga en correspondencia a todos los
pixels de la imagen. Este criterio busca reducir el efecto que tendr´ıa elegir tres
puntos muy pro´ximos para determinar los para´metros de la transformacio´n af´ın,
dado que, en ese caso, el posible error geome´trico en la determinacio´n nume´rica
de los para´metros de la misma se ver´ıa amplificado en las zonas ma´s alejadas de
la imagen. En la Fig. 1 se puede observar un par de ima´genes a aparear, los pares
de puntos caracter´ısticos correspondientes en una y otra (unidos en verde), y el
tria´ngulo de a´rea ma´xima (en azul).
A partir de la determinacio´n de la transformacio´n feature based o´ptima, se
utiliza el me´todo pixel based para buscar localmente la tranformacio´n que minim-
ice el error cuadra´tico acumulado en la zona de superposicio´n entre las ima´genes
a aparear. Para suavizar el efecto producido por la union entre las imagenes, si
es necesario se aplica interpolacion lineal (blending) entre ellas. En la Fig. 2 se
puede ver la ampliacio´n de una zona con la union entre tres ima´genes, compara-
ndo la mejora que se produce al utilizar blending.
3. Resultados
Las ideas mencionadas en la seccio´n anterior fueron implementadas y
testeadas en pares de ima´genes hasta lograr optimizar los resultados. Tambie´n
se hicieron pruebas con ima´genes ae´reas de ca´maras digitales estandar, las cuales
son en general de mala calidad dado que el enfoque no es constante, generan el
efecto almohadilla por el cual la imagen se deforma y pierde gradualmente lumi-
nancia hacia los rincones. Los resultados con este tipo de ima´genes, sin embargo,
son bastante aceptables (ver Fig. 3). Con ima´genes de muy alta calidad, como
Figura 1. Dos ima´genes a aparear, los pares de puntos caracter´ısticos correspondientes
en una y otra (unidos en verde), y el tria´ngulo de a´rea ma´xima (en azul).
por ejemplo pruebas realizadas con recortes de ima´genes IKONOS, los resultados
son excelentes (ver Fig. 4).
De acuerdo a las pruebas realizadas, nuestro sistema esta´ en condiciones de
tomar un conjunto de ima´genes TETRACAM, y en forma automa´tica determi-
nar su posicio´n accediendo a la localizacio´n geogra´fica registrada en la frase GPS
contenida en la metadata, convertir el formato RAW a mapa de bits utilizando
deBayering lineal, y armar el mosaico uniendo los pares de ima´genes contiguas
Figura 2. Ampliacio´n de la unio´n entre tres ima´genes: (a) directa, y (b) con blending.
Figura 3. Unio´n entre dos ima´genes ae´reas de ca´maras digitales estandar.
Figura 4. Unio´n entre recortes de una imagen IKONOS.
aplicando el algoritmo mencionado. Un ejemplo de este resultado puede aprecia-
rse en la Fig. 5.
Figura 5. Mosaico automa´ticamente generado a partir de varios archivos TETRA-
CAM.
Los mosaicos as´ı obtenidos pueden ser objeto de ulterior procesamiento, segu´n
los pasos t´ıpicos del tratamiento digital de ima´genes, para la obtencio´n de in-
formacio´n de sensado remoto que pueda ser considerada valiosa en las aplica-
ciones espec´ıficas. Al mismo tiempo, al tratarse de mosaicos que pueden ser
fa´cilmente georreferenciados, es posible generar layers de informacio´n accesibles
desde Google Earth para su uso interactivo.
4. Conclusiones y Trabajo Futuro
Se desarrollo´ de un sistema que permite llevar adelante los diferentes pasos
necesarios para el procesamiento de ima´genes adquiridas por medio de ca´maras
o´pticas y multiespectrales transportadas por un UAV, y el armado de mosaicos a
partir de las mismas, de manera automa´tica. El sistema utiliza la metadata GPS
presente en los archivos (o la informacio´n de GPS obtenida en el logger de la
computadora de vuelo) para determinar cua´les ima´genes deber´ıan ser contiguas
en el mosaico, convierte los datos RAW de los archivos en bitmap (aplicando de-
Bayering), y para los bitmaps contiguos localiza un conjunto de caracter´ısticas
en comu´n, y entre ellas conforma el tria´ngulo de mayor a´rea posible. Finalmente,
dados dos tria´ngulos de ima´genes vecinas, se encuentra la transformacio´n af´ın
que permite mapearlos, en una imagen, sobre los mismos ve´rtices en la otra.
Dicha transformacio´n es luego refinada por un algoritmo local que minimiza la
diferencia cuadra´tica entre acumulada entre los pixels de la unio´n. La transfor-
macio´n refinada se aplica luego a todos los pixels de la imagen, obtenie´ndose
una unio´n entre ellas. Cuando la precisio´n de esta operacio´n introduce discon-
tinuidades, es posible aplicar una interpolacio´n bilineal entre ambas ima´genes,
obtenie´ndose un suavizado que hace que la unio´n se haga menos perceptible.
Eventualmente las ima´genes as´ı procesadas pueden subirse al Google Earth para
su utilizacio´n remota por parte de usuarios autorizados.
Los resultados de este trabajo constituyen en realidad la base a partir de la
cual se desarrollara´n diferentes aplicaciones de uso civil, en particular el moni-
toreo de cultivos, la evaluacio´n de siniestros, estudios forestales, y agricultura de
precisio´n. Todas esas aplicaciones demandara´n la implementacio´n de algoritmos
espec´ıficamente adaptados para este tipo de ima´genes [3].
Referencias
1. A. Agarwala. Interactive digital photomontage. ACM Transaction on Graphics,
23(3):292–300, 2004.
2. Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool. SURF: Speeded
Up Robust Features. Computer Vision and Image Understanding, 110(3):346–359,
2008.
3. J.R. Jensen. Digital Image Processing: a Remote Sensing Perspective. Prentice-Hall,
Cambridge, third edition, 2005.
4. J.R. Jensen. Remote sensing of the environment: an Earth resource perspective.
Prentice-Hall, Cambridge, second edition, 2007.
5. T. Lillesand and R. Kiefer. Remote Sensing and Image Interpretation (4th. ed.).
Willey & Sons, New York, 2000.
6. Robert Schowengerdt. Remote Sensing Models and Methods for Image Processing
(2th. ed.). Academic Press, San Diego, 1997.
7. R. Szeliski. Image alignment and stitching: A tutorial. Report MSR-TR-2004-92,
Microsoft Research, 2004.
8. G. Zhou, V. Ambrosia, A.J. Gasiewski, and G. Bland. Foreword to the Special Issue
on Unmanned Airborne Vehicle (UAV) Sensing Systems for Earth Observations.
Geography & Remote Sensing, 47(3):687–689, 2009.


Adquisición y procesamiento de imágenes aéreas para sensado remoto

http://sedici.unlp.edu.ar/bitstream/handle/10915/20976/Documento_completo.pdf?sequence=1

Adquisición y procesamiento de imágenes aéreas para sensado remoto

Abstract

Similar works

Full text

Available Versions

El Servicio de Difusión de la Creación Intelectual