Thorough characterization and analysis of a multispectral imaging system developed for colour measurement

Hoy en día, los sistemas de imagen basados en cámaras CCD son ampliamente utilizados en numerosos campos, en particular, en el campo de la imagen científica debido a su alta resolución, alta eficiencia cuántica, amplia respuesta espectral, aceptable razón señal-ruido, linealidad, fidelidad geométrica, rápida respuesta, tamaño reducido y durabilidad.A pesar de esto, si se quiere utilizar una cámara CCD como instrumento de medida, se debe tener en cuenta que las cámaras CCD no son detectores perfectos, si no que presentan diversas fuentes de ruido inherentes a su funcionamiento que alteran los niveles digitales correspondientes a cada píxel, distorsionan la imagen real adquirida de forma desconocida y reducen la precisión radiométrica, la calidad de la imagen y su resolución.Dos de las relativamente recientes aplicaciones de los sistemas de imagen basados en cámaras CCD son la medida del color, consistente, básicamente, en estimar los valores triestímulo XYZ asociados a una muestra de color a partir de los niveles digitales de respuesta del sistema, y la reconstrucción espectral, consistente en estimar el espectro de reflectancia de una muestra de color a partir de los niveles digitales correspondientes de la respuesta del sistema.No obstante, para llevar a cabo medidas de color o reconstrucciones espectrales mediante este tipo de dispositivos es necesario realizar una caracterización o calibración previa de estos sistemas de imagen, con el objetivo de determinar la transformación que define la correspondencia entre las repuestas digitales del sistema y, por un lado, un espacio de color independiente del dispositivo, como el XYZ o el CIELAB, ya que las respuestas digitales del sistema, incluso las señales de salida RGB de un sistema de imagen tricromático, no se corresponden con los valores triestímulo independientes del dispositivo basados en el observador colorimétrico estándar de la CIE, o bien, por otro lado, el espacio de reflectancias espectrales, respectivamente.Los métodos de caracterización colorimétrica se pueden dividir en dos categorías generales: los métodos basados en las sensibilidades espectrales del sistema, algunos de los cuales normalmente sólo se aplican a configuraciones colorimétricas, es decir, con tres canales de adquisición, debido a su creciente complejidad al incrementar el numero de canales de adquisición, y los métodos basados en una carta de colores. Los métodos basados en las sensibilidades espectrales del sistema requieren el conocimiento de dichas sensibilidades para cada canal de adquisición, las cuales deben haberse determinado previamente mediante la caracterización espectral del sistema.En cuanto a los métodos de reconstrucción espectral, su principal objetivo es reconstruir el espectro de reflectancia, transmitancia o radiancia de una muestra de color a partir de las correspondientes respuestas digitales del sistema de imagen. Estos métodos se aplican habitualmente a configuraciones multiespectrales ya que los modelos lineales de espectros de reflectancia utilizados requieren como mínimo cuatro canales de adquisición para ser capaces de estimar espectros de reflectancia reales.Para que un sistema de imagen basado en una cámara CCD pueda ser utilizado como un instrumento de medida con elevada resolución espacial, de forma que la totalidad del área de detección del sistema sea útil para medir, es necesario corregir la no-uniformidad espacial de la respuesta del sistema. Con este propósito se utilizan básicamente dos tipos de técnicas. En primer lugar, las técnicas basadas en la escena se fundamentan en aplicar un algoritmo a la imagen original con el objetivo de obtener una mejora considerable en la calidad de la imagen a expensas de la precisión radiométrica. En segundo lugar, las técnicas de corrección de campo uniforme o de la nouniformidad espacial se basan en la calibración del sistema mediante dos imágenes: una imagen oscura y una imagen de campo uniforme, que se combinan linealmente con la imagen original. Este segundo tipo de técnicas permiten llevar a cabo medidas radiométricas precisas utilizando una cámara CCD. En la literatura se pueden encontrar diversas variantes de estas técnicas de corrección de campo uniforme o de la no-uniformidad espacial. La más general de estas variantes permite llevar a cabo la corrección de la no-uniformidad espacial de la respuesta del sistema de forma independiente de la nouniformidad de la iluminación de la escena, lo que resulta particularmente útil en varias condiciones de medida como, por ejemplo, en el caso de imágenes de objetos radiantes.La utilización de un sistema de imagen basado en una cámara CCD para medidas de color o reconstrucciones espectrales con elevada resolución espacial requiere la aplicación del segundo tipo de técnicas de corrección de la no-uniformidad espacial. En este trabajo se presentan la metodología experimental desarrollada para corregir las fuentes de ruido inherentes a un sistema de imagen basado en una cámara CCD, y la optimización de un algoritmo de corrección de la no-uniformidad espacial para obtener la mejor corrección posible de la no-uniformidad espacial.El principal objetivo de este trabajo es desarrollar un sistema de imagen multispectral para la medida del color. En este trabajo se presentan el diseño y desarrollo de un prototipo de sistema multiespectral en el rango visible del espectro y su minuciosa caracterización y análisis. Con este propósito se utiliza un sistema de imagen basado en una cámara CCD, por lo que es necesario llevar a cabo, en primer lugar, la corrección del ruido de la respuesta del sistema, concretamente la corrección de la no-uniformidad espacial, y, en segundo lugar, la caracterización o calibración del sistema mencionada anteriormente, para poder obtener los valores triestímulo XYZ y/o los espectros de reflectancia, respectivamente, a partir de las respuestas digitales del sistema. En este trabajo se utilizan dos sistemas de imagen basados en una cámara CCD: uno basado en una cámara CCD 10-bits color, y uno basado en una cámara CCD 12-bits monocromática refrigerada. De este último sistema se consideran dos configuraciones: una configuración colorimétrica con 3 canales de adquisición, y una configuración multiespectral con 7 canales de adquisición. La caracterización espectral se lleva a cabo sólo para la configuración colorimétrica de ambos sistemas con el objetivo de aplicar el método de caracterización colorimétrica basado en las sensibilidades espectrales del sistema. Por otro lado, se aplican diversos métodos de medida del color y reconstrucción espectral a las dos configuraciones del sistema basado en una cámara CCD 12-bits monocromática refrigerada y se comparan utilizando todas las combinaciones posibles de las cartas GretagMacbeth ColorChecker Color Rendition (CCCR) y GretagMacbeth ColorChecker DC (CCDC) como conjuntos de entrenamiento y prueba del sistema, con el objetivo de determinar los métodos más adecuados para cada configuración, es decir, los métodos que permiten conseguir la mejor precisión tanto en la medida del color como en la reconstrucción espectral para cada configuración. Al mismo tiempo se compara también el comportamiento de ambas configuraciones en términos de precisión de la medida del color y de la reconstrucción espectral.El hecho de que las sensibilidades espectrales de la mayoría de las cámaras CCD color (3 canales de adquisición) no verifiquen la condición de Luther, es decir, no sean transformaciones lineales de las funciones de igualación del color de la CIE, limita seriamente las aplicaciones colorimétricas de los sistemas basados en cámaras CCD color, dando lugar a valores triestímulo estimados dependientes del iluminante. Esta propiedad de las sensibilidades espectrales motiva el uso de sistemas multiespectrales ya que la única forma de asegurar una igualación del color para todos los observadores y bajo cambios en la iluminación es consiguiendo la igualación espectral. El método más directo para obtener información espectral de las muestras medidas es incrementar el muestreo por encima de los tres canales de adquisición tradicionales mediante filtros de banda estrecha, lo que se conoce como un sistema de imagen multiespectral. Los campos de aplicación de los sistemas deimagen multiespectral se ha incrementado enormemente en los últimos años, fundamentalmente debido a la posibilidad que ofrecen de estimar con precisión el espectro de reflectancia en cada píxel y, a partir de éste, los valores triestímulo XYZ, evitando del metamerismo.El sistema de imagen multiespectral diseñado y desarrollado en este trabajo doctoral para la medida del color está compuesto por un cámara CCD 12-bits monocromática refrigerada, una rueda de filtros motorizada y controlada vía software con un conjunto de filtros interferenciales de banda estrecha y un objetivo de focal variable. En coherencia con los resultados obtenidos en trabajos previos [Vilaseca et al., 2006] en la región NIR del espectro y extrapolándolos al rango visible, se utiliza un conjunto de siete filtros interferenciales de banda estrecha cubriendo por completo el rango visible del espectro, con la misma FWHM y longitudes de onda de pico equidistantes. Cada filtro constituye un canal de adquisición del sistema multiespectral, que corresponde a la configuración multiespectral del sistema de imagen antes mencionado.El primer paso antes de poder utilizar un sistema de imagen basado en una cámara CCD como instrumento de medida con elevada resolución espacial es llevar a cabo la corrección de las diferentes fuentes de ruido inherentes a su funcionamiento, y muy concretamente la corrección de la nouniformidad espacial de la respuesta del sensor. Con esta objetivo, en este trabajo se ha desarrollado una metodología experimental para la corrección de dichas fuentes de ruido, y se ha llevado a cabo la optimización de un algoritmo de corrección de la no-uniformidad espacial.A lo largo de este trabajo doctoral se han realizado también diversos análisis con el objetivo de mejorar la precisión de la medida del color y de la reconstrucción espectral utilizando sistemas de imagen basados en cámaras CCD.En primer lugar, considerando los conceptos básicos aplicados en imagen de alto rango dinámico (HDRI) para obtener una representación del contenido visual de una escena real independiente del dispositivo, se propone un balance de adaptación luminosa para incrementar el rango dinámico del sistema mediante la captura de imágenes con diferentes tiempos de exposición obteniendo así niveles digitales útiles para todos los píxeles. La aplicación de este balance de adaptación luminosa permite determinar el color en todos los píxeles de la imagen, incrementando así el rango dinámico del sistema [Pujol et al., 2006].En segundo lugar, se analiza la influencia del número de muestras del conjunto de entrenamiento en la precisión de la medida del color y la reconstrucción espectral con el objetivo de determinar si existe alguna relación entre la precisión y el tamaño del conjunto de entrenamiento. La precisión del sistema mejora incrementando el tamaño del conjunto de entrenamiento hasta alrededor de 110 muestras, y pasa a ser independientes del conjunto de entrenamiento utilizado para conjuntos de entrenamiento con un número de muestras igual o superior a 110.A continuación, se analizan la medida del color y la reconstrucción espectral llevadas a cabo utilizando las dos configuraciones del sistema, colorimétrica y multiespectral, en función de las gamas de colores medidas, es decir, conjuntos de muestras de color agrupadas en función de su tono, con el objetivo de determinar si estas configuraciones son especialmente sensibles a algunos tonos y/o a otras propiedades del color. En primer lugar se analizan las tendencias generales utilizando la carta CCDC como conjunto de entrenamiento y prueba y, en segundo lugar, se utilizan las 1269 muestras de color del Munsell Book of Color - Matte Collection, clasificadas en 10 tonos Munsell y cada uno de éstos en 4 sub-tonos, para analizar la influencia de la homogeneidad en tono del conjunto de entrenamiento.Se comprueba que la homogeneidad en tono del conjunto de entrenamiento permite mejorar de forma significativa la precisión del sistema tanto en la medida del color como en la reconstrucción espectral [de Lasarte et al., 2008 - 2]. Por otro lado, se utilizan tres combinaciones de conjuntos de entrenamiento y prueba de las muestras Munsell para variar el grado de homogeneidad en tono del conjunto de entrenamiento, obteniéndose los mejores resultados para los conjuntos de entrenamiento más homogéneos en tono.Los resultados obtenidos se analizan también en función de las características del color de las muestras medidas como son las coordenadas CIELAB, y las coordenadas Munsell de tono, 'value' y croma. No se observa ningún tipo de correlación entre la precisión del sistema y las coordenadas CIELAB, mientras que la precisión del sistema tiende a empeorar para muestras con valores de la coordenada Munsell Value V > 7 - 8.Se analiza también la influencia del iluminante mediante la comparación de los resultados obtenidos utilizando dos iluminantes: una lámpara incandescente y un simulador D65. Los mejores resultados se obtienen para la combinación configuración multiespectral del sistema y simulador D65 como iluminante.Seguidamente, la precisión de la medida del color y la reconstrucción espectral se analiza en función de los espectros de reflectancia de las muestras de color medidas para determinar si existe algún tipo de correlación entre ambos. Este estudio se lleva a cabo utilizando la configuración multiespectral del sistema y el iluminante D65, la carta CCDC y las muestras Munsell como conjuntos de entrenamiento y prueba. La precisión de la medida del color y la reconstrucción espectral se analizan en función de, por un lado, el área bajo la curva (AUC) de los espectros de reflectancia y, por otro lado, la suavidad de los espectros de reflectancia mediante su Transformada Discreta de Fourier (DFT), que se utiliza frecuentemente en análisis de espectros para determinar la suavidad de las curvas. Respecto al análisis del AUC, la precisión del sistema en la medida del color tiende a mejorar para muestras con AUC de sus espectros de reflectancia mayores, aunque no se puede establecer ninguna relación directa entre ambas. Esta tendencia no se observa en términos de la precisión de la reconstrucción espectral. Una mayor precisión en la reconstrucción espectral se asocia con frecuencia a espectros de reflectancia suaves, aunque tampoco se puede establecer ninguna correlación entre ambos. En cuanto al análisis de la DFT, la precisión en la medida del color parece ser independiente de la forma y/o la suavidad de los espectros de reflectancia, mientras que la mayor precisión en la reconstrucción espectral se asocia con frecuencia a un espectro de reflectancia suave, aunque no se puede establecer una correlación general entre ambas. Una vez completado el minucioso análisis del sistema multiespectral desarrollado y establecidas sus limitaciones en cuanto a precisión en la medida del color y la reconstrucción espectral, la siguiente etapa es determinar si algún otro número y/o combinación de filtros interferenciales disponibles comercialmente permitiría mejorar, al menos teóricamente, la precisión del sistema multiespectral. Con este propósito se lleva a cabo un estudio de simulación de un sistema multiespectral óptimo para la medida del color y la reconstrucción espectral. Este estudio se realiza considerando la respuesta espectral del la cámara CCD 12-bits refrigerada monocromática utilizada y una base de datos de filtros disponibles comercialmente seleccionados entre las bases de datos de Edmund Optics, OptoSigma y CVI. Se observa que la precisión del sistema se mejora al incrementar el número de filtros, aunque esta mejora está limitada y tiende a ser insignificante para un número de filtros superior a 8. Los filtros óptimos tienden a compensar la respuesta espectral de la cámara CCD sobre todo el rango visible pero teniendo en cuenta el inconveniente que suponen el desconocer las transmitancias reales de los filtros (las simulaciones dependen en gran medida de las transmitancias reales de los filtros, que no siempre se pueden simular fácilmente a partir de las especificaciones de los proveedores), la selección de un conjunto de filtros interferenciales con posiciones de pico equidistantes cubriendo todo el rango visible, iguales FWHM que permiten un ligero solapamiento entre ellos, y la mayor transmitancia posible, como se ha hecho en este trabajo, constituye una opción más que aceptable para obtener un sistema multiespectral útil. Finalmente, se comprueba la aplicabilidad del sistema multiespectral desarrollado utilizando, no sólo cartas de color estandarizadas, como son las CCDC, CCCR y las muestras Munsell, sino utilizando también un conjunto de 56 muestras textiles agrupadas en 28 parejas, que fueron especialmente fabricadas para comprobar la aplicabilidad de las fórmulas de diferencia de color, y el simulador D65 como iluminante. Se analizan diferentes combinaciones de conjuntos de entrenamiento y prueba. Los mejores resultados se obtienen, en promedio, utilizando conjuntos de entrenamiento homogéneos en tono y llevando a cabo una clasificación previa de las muestras textiles en tonos. Además, se comprueba la capacidad del sistema multiespectral desarrollado de detectar pequeñas diferencias, tanto en color como en el espectro de reflectancia, entre muestras reales, resultando así ser útil para aplicaciones que requieran discriminación, aunque se obtiene una escasa precisión en la determinación de las diferencias tanto de color como en las reflectancias espectrales entre los pares de muestras textiles considerados.Nowadays, imaging systems based on CCD cameras are widely used in several fields and, particularly in the field of scientific image, due to its high resolution, high quantum efficiency, wide spectral response, acceptable signal-to-noise ratio, linearity, geometric fidelity, fast response, small size and durability.In spite of this, if a CCD camera is wanted to be used as a measuring instrument, one must bear in mind that CCD cameras are not perfect detectors, but there are various noise sources inherent to their performance that alter the digital levels corresponding to each pixel, distort the real image acquired in an unknown manner, and diminish the radiometric accuracy, the image quality and the resolution.Two of the relatively recent applications of the imaging systems based on CCD cameras are colour measurement and spectral reconstruction. Colour measurement basically consists of estimating the XYZ tristimulus values associated to a colour sample from the system's response digital levels, whereas spectral reconstruction consists of estimating the reflectance spectrum of a colour sample from its corresponding system's response digital levels.Nevertheless, performing colour measurements and/or spectral reconstructions using this kind of devices requires a previous characterization or calibration of the imaging system. On one hand, colour measurement requires to determine the transformation that defines the correspondence between system's digital responses and a colour space independent of the device, such as the XYZ or the CIELAB. This is due to the fact that system's digital responses, even the RGB output signals for a trichromatic imaging system, do not correspond with the device independent tristimulus values based on the CIE standard colorimetric observer. On the other hand, spectral reconstruction requires to determine the transformation that defines the correspondence between system's digital responses and the reflectance spectra space.Methods for colorimetric characterization can be divided in two general categories: methods based on spectral sensitivities, some of which are usually only applied to colorimetric configurations of imaging systems, i.e. with three acquisition channels, due to its growing complexity when the number of acquisition channels is increased, and methods based on a colour sample chart. Methods based on spectral sensitivities require the knowledge of the system's spectral sensitivities for each acquisition channel, which can be previously determined through the spectral characterization of the imaging system.Regarding the methods for spectral reconstruction, their main objective is to reconstruct the reflectance, transmittance or radiance spectra of a colour sample from the corresponding digital responses of the imaging system. These methods are usually applied to multispectral configurations since the linear models of reflectance spectrum used require at least four acquisition channels to be able to estimate real reflectance spectra.In order an imaging system based on a CCD camera can be used as a measuring instrument with high spatial resolution, so that the whole system's detection area is useful for measuring, it is mandatory to correct the spatial non-uniformity of the system's response. Basically two kinds of techniques are used with this purpose. Firstly, the scene-based techniques are based on applying an algorithm to the original or raw image in order to obtain a considerable improvement in image quality at the expense of radiometric accuracy. Secondly, the flat-field correction or spatial non-uniformity correction techniques are based on calibrating the detector by means of two images: a dark image and a uniform field or flat-field image, which are linearly combined with the original or raw image (image t

Multispectral system for the reflectance reconstruction and color visualization of natural and manufactured objects in the near-infrared region

In this study we analyze the performance of a multispectral system that works in the nearinfrared region of the electromagnetic spectrum (NIR, 800-1000 nm). This system, which uses a conventional CCD camera with five acquisition channels as a sensor, is capable of reconstructing the NIR spectral reflectances of the samples analyzed and also provides pseudo-colored images of the scenes registered. The system was tested using a wide range of samples, which included natural and manufactured objects, with different spectral reflectance curves in the NIR. The results show the potential of the system developed in this study for obtaining information relating to spectral reflectance curves. Furthermore, the pseudo-colored images provided permit one to obtain a visualization of the region considered carrying spectral information or maximizing the color differences in order to discriminate between samples with the same appearance in the visible range but different spectra in the NIR.This research was supported by the Spanish Ministry for Science and Technology (Ministerio de Ciencia y Tecnología) through grant number DPI2002-00118

Preliminary results of the development of a multispectral imaging system for colour measurements

Peer Reviewe

Preliminary results of the development of a multispectral imaging system for colour measurements

Peer ReviewedPostprint (published version

Preliminary results of the development of a multispectral imaging system for colour measurements

Peer Reviewe

Development of a perceptual colorimeter based on a conventional CCD camera with more than three color channels

In order to improve the precision of colorimeters based on a digital image capture device, we increased the number of acquisition channels by using a supplementary filter placed in front of the color camera and taking two images of the scene: one without the filter (3 RGB channels) and one with the filter (3 different UVW channels). We selected a wide-band cyan filter that increases the transmission of spectral zones common to the three pseudo-color matching functions of the CCD camera and the spectral transmission of the channel with the lowest sensitivity. This six-channel color measurement instrument shows an improvement in the precision level compared with a conventional three-channel system, obtaining a better Vora factor (greater than 0.96), color quality factor (greater than 0.95) and color reproduction index (greater than 96%). From the colorimetric values obtained with the six-channel system we developed a perceptual colorimeter by applying different color appearance models (ATD, Hunt’91, CIELAB, LLAB, Hunt’94 and CIECAM02). The results obtained with the colorimeter developed showed a good performance for the perceptual parameters in comparison with a conventional telespectroradiometer, especially when Hunt’94 and CIECAM02 models were applied.This research was supported by the Spanish Ministry of Science and Technology (Ministerio de Ciencia y Tecnología) by means of grants PDI2002-00118 and PIR1995-0587-OP

Influence of technology, color architecture and bit-depth of optoelectronic imaging sensors used as color measurement instruments

Digital image capture devices cannot be used directly as instruments for color measurement. The main stages for characterizing a digital image capture device as an instrument for color measurement are the spectral and spatial characterization and the color transformation from the RGB device dependent space to a device independent space such as CIE-XYZ. We performed the spatial and spectral characterization and the color transformation of an 8 bit CMOS camera, a 3-CCD 8 bit camera, a 1-CCD 12 bit camera and a 1-CCD 10 bit camera in order to analyze the influence of technology (CMOS – CCD), color architecture (1-CCD – 3-CCD) and bit-depth (8, 10 and 12 bits) in the performance of optoelectronic imaging sensors in color measurement. We analyzed the performance of the different optoelectronic imaging sensors as systems for color measurement by means of minimum, maximum and mean CIE-L*a*b* color differences. The results obtained so far indicate that optoelectronic imaging sensors with CCD technology and high bit-depth give rise to a considerably better performance as systems for color measurement.This research was supported by the Spanish Ministry for Science and Technology (Ministerio de Ciencia y Tecnología) through grant number DPI2002-00118