A computational model of visual attention.

Visual attention is a process by which the Human Visual System (HVS) selects most important information from a scene. Visual attention models are computational or mathematical models developed to predict this information. The performance of the state-of-the-art visual attention models is limited in terms of prediction accuracy and computational complexity. In spite of significant amount of active research in this area, modelling visual attention is still an open research challenge. This thesis proposes a novel computational model of visual attention that achieves higher prediction accuracy with low computational complexity. A new bottom-up visual attention model based on in-focus regions is proposed. To develop the model, an image dataset is created by capturing images with in-focus and out-of-focus regions. The Discrete Cosine Transform (DCT) spectrum of these images is investigated qualitatively and quantitatively to discover the key frequency coefficients that correspond to the in-focus regions. The model detects these key coefficients by formulating a novel relation between the in-focus and out-of-focus regions in the frequency domain. These frequency coefficients are used to detect the salient in-focus regions. The simulation results show that this attention model achieves good prediction accuracy with low complexity. The prediction accuracy of the proposed in-focus visual attention model is further improved by incorporating sensitivity of the HVS towards the image centre and the human faces. Moreover, the computational complexity is further reduced by using Integer Cosine Transform (ICT). The model is parameter tuned using the hill climbing approach to optimise the accuracy. The performance has been analysed qualitatively and quantitatively using two large image datasets with eye tracking fixation ground truth. The results show that the model achieves higher prediction accuracy with a lower computational complexity compared to the state-of-the-art visual attention models. The proposed model is useful in predicting human fixations in computationally constrained environments. Mainly it is useful in applications such as perceptual video coding, image quality assessment, object recognition and image segmentation

Underwater image restoration: super-resolution and deblurring via sparse representation and denoising by means of marine snow removal

Underwater imaging has been widely used as a tool in many fields, however, a major issue is the quality of the resulting images/videos. Due to the light's interaction with water and its constituents, the acquired underwater images/videos often suffer from a significant amount of scatter (blur, haze) and noise. In the light of these issues, this thesis considers problems of low-resolution, blurred and noisy underwater images and proposes several approaches to improve the quality of such images/video frames. Quantitative and qualitative experiments validate the success of proposed algorithms

Robust light field watermarking with high spatial and angular fidelity

El término ocultación de información se refiere típicamente a la inserción secreta de datos en una señal anfitriona. La señal anfitriona puede ser una imagen, un archivo de audio, un video,... Las técnicas de ocultación de información se dividen generalmente en marca de agua digital, esteganografía y criptografía. Si la propia existencia del mensaje secreto incrustado debe permanecer en secreto, entonces el método de ocultación de información se conoce como esteganografía. Por el contrario, en la marca de agua digital, el usuario es consciente de la existencia del mensaje secreto. A diferencia de la esteganografía y la marca de agua, existe otra categoría de ocultación de información que cifra el mensaje secreto sin insertarlo en una señal anfitriona. Estos métodos se conocen como criptografía en la literatura técnica especializada. Los métodos de ocultación de información se han utilizado durante milenios. A modo de ejemplo, es conocido que Heródoto (485-525 a.c.) ya cita que Histiaeus, el gobernante de Mileto por designación del rey de reyes persa Darío El Grande estaba conspirando para derrocar el imperio persa. Sin embargo, nunca quiso levantar ninguna sospecha entre los que eran leales al rey de reyes ni perder la confianza que el rey Darío había depositado en él. Por ello, para instigar la revuelta Histiaeus afeitó la cabeza de uno de sus esclavos y tatuó un mensaje secreto sobre su cuero cabelludo. Tras dejar crecer el pelo del sirviente, éste viajó sin despertar sospechas hasta el destinatario del mensaje. En la era reciente, la esteganografía se usa ampliamente para la comunicación encubierta. En la esteganografía, la señal anfitriona se usa simplemente para transmitir un mensaje secreto importante. La señal anfitriona no importa por sí misma, pero es de suma importancia no llamar la atención de los expertos en seguridad. La señal anfitriona generalmente se elige entre los medios típicos que no causan sospechas. Es por eso que el mensaje transmitido no está encriptado en esteganografía. En otras palabras, un mensaje cifrado hace sonar inmediatamente las alarmas, pero es menos probable que un mensaje sin cifrar llame la atención. Como ejemplo, se cuenta que en 1966, el comandante en jefe estadounidense Jeremiah Denton se vio obligado a participar en una entrevista televisiva que se transmitió en Estados Unidos. Fingiendo sentirse incómodo con las luces cegadoras de la televisión, parpadeó en código Morse deletreando la palabra "T-O-R-T-U-R-E". Al igual que la marca de agua, el rápido crecimiento de la comunicación por Internet ha proporcionado un medio perfecto para que los sistemas de esteganografía transmitan los datos ocultos sin causar sospechas graves. A diferencia de la esteganografía, los métodos de marca de agua digitales pueden no tener ningún deseo de ocultar la existencia del mensaje incrustado. La marca de agua se define como la inserción imperceptible del mensaje secreto en la señal anfitriona. Esto es exactamente lo contrario de lo que ocurre en la esteganografía, en la que la señal anfitriona no tiene importancia real y se usa simplemente como cobertura. La marca de agua digital se usa ampliamente para la protección de derechos de autor, autenticación, detección/corrección de errores, comunicación encubierta y monitoreo de transmisiones. Se espera que cada plataforma de marca de agua: • Incruste tanta información como sea posible. El envío de información secreta es el principal motivo de explotación de las técnicas de marca de agua. Esto es especialmente importante en la comunicación encubierta. • Genere una marca de agua lo más imperceptible posible sobre la señal anfitriona. La diferencia detectable entre la propia anfitriona y la anfitriona tras el marcado anula el propósito de la marca de agua. • Sea lo más robusto posible contra ataques sobre la señal anfitriona. En el contexto de las marcas de agua, el ataque se refiere a cualquier alteración intencionada o no de los valores de la señal marcada. Obviamente, la realización perfecta de estas tres características sigue siendo un desafío y, dependiendo de la aplicación, se puede priorizar una o dos de estas características. El rápido crecimiento de la demanda de marcas de agua puede contribuir razonablemente a la creciente preocupación por la protección de los derechos de autor en las últimas décadas. A pesar de las enormes oportunidades que ofrece Internet para compartir la información a gran escala, la duplicación ilegal, la manipulación y el intercambio de información ha aumentado sin descanso. Esto impone serias preocupaciones a los autores y editores que dedican mucho tiempo y esfuerzo a la creación de contenidos. El rápido desarrollo de los métodos de marca de agua fue una respuesta prevista a la implacable tendencia al alza de la piratería. La marca de agua ha desempeñado un papel activo en la protección de los derechos de autor, la detección de manipulaciones, la autenticación y la comunicación encubierta. El número de artículos de investigación publicados sobre marcas de agua muestra la importancia absoluta de las marcas de agua en nuestra era. Otra categoría de ocultación de información es la criptografía, que se define básicamente como un método para proteger la información y las comunicaciones mediante el uso de códigos, de modo que solo los lectores autorizados pueden decodificar y leer el mensaje. Así, en criptografía el mensaje secreto se implementa sin usar señal de cobertura. La mayoría de los sistemas criptográficos utilizan conceptos matemáticos y un conjunto de cálculos basados en reglas. El contenido se cifra y se proporciona una clave de descifrado solo a los receptores autorizados. El contenido cifrado se transmite a través de Internet, pero los receptores no autorizados difícilmente pueden descifrar el contenido codificado. A diferencia de la marca de agua, el cifrado no tiene ningún control sobre la redistribución del contenido descifrado por parte del usuario autorizado. Puede ser que un cliente compre una clave de descifrado válida y, después del descifrado, redistribuya el contenido de forma masiva. Por lo tanto, la criptografía puede proteger el contenido antes del descifrado, pero una vez descifrado, el contenido no tiene más protección. Cabe mencionar que los sistemas de cifrado cifran el mensaje secreto y la existencia del mensaje secreto es clara. Por el contrario, los sistemas esteganográficos están optimizados específicamente para ocultar la existencia del mensaje secreto. Dependiendo de la aplicación, los sistemas de marca de agua pueden ocultar la existencia de la marca de agua o en algunos casos hacer pública la existencia de la marca de agua. Como el ámbito de esta tesis pertenece a la marca de agua, la esteganografía y la criptografía no se tratan más a fondo. Además, centraremos el contenido en el uso de señales anfitrionas tipo imagen. Según el dominio en el que se realiza la marca de agua, los métodos de marca de agua se dividen en métodos de dominio espacial y métodos de dominio de transformación. Los métodos de dominio espacial alteran los valores de los píxeles en el dominio espacial y, en comparación con el dominio de transformación, normalmente implican una complejidad computacional mucho menor. Por el contrario, el dominio de transformación primero convierte los píxeles de la imagen en el dominio de transformación. Los píxeles transformados a menudo se denominan coeficientes en la literatura. Aparentemente, dicha transformación puede ser costosa desde el punto de vista computacional, pero el compromiso es que la robustez suele ser mayor que la de los métodos de dominio espacial. Normalmente, se aplica una transformación directa en la imagen y, después de la inserción de la marca de agua, se aplica una transformación inversa para recuperar la imagen con marca de agua en el dominio espacial. Algunas transformaciones comunes en la literatura de marcas de agua son (pero no se limitan a) la transformada de coseno discreta (DCT), transformada de ondícula (wavelet) discreta (DWT), Contourlet, Curvelet, Ridgelet, análisis de componentes principales (PCA), transformada de Karhunen-Loeve (KLT) y descomposición en valor singulares (SVD). Algunos otros métodos utilizan tanto el dominio espacial como el dominio de transformación para implementar la marca de agua. Estos enfoques a menudo se denominan métodos híbridos en la bibliografía. Si no se requiere información previa de la imagen anfitriona para la extracción de la marca de agua, entonces el método de marca de agua se conoce como ciego; de lo contrario, se denomina no ciego. Si se utiliza alguna información secundaria (no la imagen anfitriona) para la extracción de la marca de agua, el método de marca de agua se denomina semi-ciego. Si la imagen anfitriona se puede recuperar después de la extracción de la marca de agua, el método se denomina de marcado reversible; de lo contrario, se conoce como método de marca de agua irreversible. En los últimos años, el campo luminoso (lightfield, LF) se ha utilizado cada vez más para la representación de imágenes 3D. Básicamente, el LF es una función vectorial que describe la cantidad de luz que fluye en todas direcciones a través de cada punto del espacio. Michael Faraday fue el primero en proponer (en una conferencia de 1846 titulada "Pensamientos sobre las vibraciones de los rayos") que la luz debería interpretarse como un campo, muy parecido a los campos magnéticos en los que había estado trabajando durante varios años. La denominación “campo luminoso” fue acuñada por Andrey Gershun en un artículo clásico de 1936 sobre las propiedades radiométricas de la luz en el espacio tridimensional. Desde un punto de vista óptico-geométrico, todo lo que percibimos visualmente, está iluminado por los rayos provenientes de fuentes de luz que se propagan a través del espacio hasta llegar a nuestro ojo. Básicamente, el LF describe la intensidad de cada rayo de luz en la escena en función del ángulo visual, la longitud de onda, el tiempo y la posición de visualización. Así, registra todo lo que potencialmente puede ser visto por un dispositivo óptico omnidireccional que es (supuestamente) capaz de capturar cada rayo del espacio. Levoy y Hanrahan definieron el LF como la función que describe la totalidad de los rayos de luz que atraviesan un volumen 3D dado. En otras palabras, el LF puede entenderse como la descripción de un conjunto denso de rayos de luz, cada uno de los cuales se origina en el vértice de un cono. Cada punto de un volumen 3D se considera como el vértice de un cono que transmite un número infinito de rayos con diferentes inclinaciones. Así, aparte del tiempo y la longitud de onda, el LF se representa típicamente usando cinco parámetros: posición del punto considerado (3 coordenadas espaciales) y dirección del rayo (2 ángulos directores). En realidad, la invariancia en propagación de los rayos (de acuerdo con la Óptica Geométrica), permite reducir su dimensional a 4D. Convencionalmente, a los valores obtenidos para un punto fijo del espacio en función de las 2 coordenadas angulares se le denomina imagen elemental (EI). Si (idealmente) se proporciona el LF de una escena, entonces es posible reconstruir la misma escena 3D sin pérdida de información. En la práctica, lo que realmente se captura en el mundo real es una submuestra del LF, no el conjunto completo de todos los rayos de la escena. Los dispositivos usados en esta captura se denominan de modo genérico cámaras LF. La principal diferencia entre una cámara LF y una convencional es que la primera captura los rayos individuales que inciden en un punto determinado del sensor de captura, mientras que la segunda registra la suma de todos los rayos que inciden en un punto específico del sensor. Esto facilita la reconstrucción 3D precisa de la escena recuperando los rayos individuales. El LF se puede adquirir de varias formas. En la configuración multicámara, se usa una matriz de cámaras 2D. En este caso, las dimensiones espaciales del LF están determinadas por las características intrínsecas de las cámaras, mientras que las dimensiones angulares están determinadas por el número y la disposición de las cámaras. Las cámaras pueden estar distribuidas en superficie plana, circular, rectangular o esférica. Esta configuración suele ser costosa y voluminosa. Además, la calibración de las cámaras puede llevar bastante tiempo. Otra alternativa es capturar el LF deslizando una sola cámara horizontal y verticalmente. A diferencia del sistema multicámara, la configuración de una sola cámara es mucho más barata y puede grabar el LF con mayor densidad. Sin embargo, la adquisición de LF por una sola cámara lleva mucho más tiempo que la de varias cámaras, lo que prácticamente hace que sea imposible grabar escenas dinámicas. Las cámaras LF estáticas también se pueden utilizar para capturar el LF. En ellas se emplea un único sensor estático y alguna distribución espacial de lentes (típicamente, una matriz de microlentes) para muestrear el LF. A pesar de los numerosos métodos propuestos para la marca de agua sobre el LF, ninguno de ellos está adaptado para proteger la enorme cantidad de información angular incorporada en el LF. Se trata en todos los casos de aplicar los algoritmos ya desarrollados sobre imágenes 2D al LF con sus 4 dimensiones. El principal objetivo de esta tesis es lograr métodos de marca de agua LF maximizando la protección de la información espacial y angular al mismo tiempo. Según el conocimiento del autor, hay muy pocos trabajos que aborden los métodos de marca de agua personalizados para LF. Algunos artículos también han discutido la marca de agua de objetos 3D y el video de visualización libre, que, aunque con similitudes, es bastante diferente de la marca de agua sobre el LF. Cualquier método propuesto para la marca de agua del LF deberá tener sumo cuidado de no arruinar ni la información espacial ni angular del LF. A través de esta tesis se han propuesto dos métodos de marca de agua. El primer método propuesto se basa en la DCT y la SVD, y trata de aprovechar el hecho de que los datos de LF generalmente tienen una correlación muy alta en las dimensiones espaciales y espectrales. Se supone que cualquier transformada como la DCT compacta la información en unos pocos coeficientes al proporcionar una descorrelación máxima. La transformada DCT es una aproximación de la KLT que descorrelaciona perfectamente los coeficientes. A diferencia de la base de funciones de la KLT, que dependen de la señal de entrada, las funciones base de la DCT están fijadas. Aunque la descorrelación de la DCT puede ser ligeramente menor que la de KLT y la descorrelación alcanzada es marginalmente menor, su costo computacional es menor debido a la eliminación del tedioso cálculo de las funciones básicas de la KLT. Además, en comparación con otras transformadas como la transformada de Fourier, los coeficientes transformados no tienen parte imaginaria y, por lo tanto, requieren menos datos para procesar. El hecho de que la DCT compacta la energía de la señal en pocos coeficientes lo hace muy interesante para la compresión y la marca de agua. En este primer método propuesto, se parte del LF anfitrión y de una clave secreta como entrada. Según la clave secreta, para cada píxel de la marca de agua se seleccionan bloques de píxeles del LF original, a los que se aplica la DCT. Los coeficientes de los bloques transformados se ordenan en zigzag y se eligen los primeros coeficientes para incrustar la marca de agua. La razón de no incrustar la marca de agua en todos los coeficientes DCT es aumentar la robustez del método propuesto. Es bien sabido en la literatura que los coeficientes de baja frecuencia mejoran la robustez del método de marca de agua y los coeficientes de alta frecuencia son extremadamente propensos al ruido y otros ataques. Después de elegir los coeficientes DCT seleccionados, se factorizan utilizando la SVD. El valor singular correspondiente se utiliza para incrustar la marca de agua (el valor la marca de agua en el píxel considerado en la clave secreta). Cada bloque lleva un bit de la marca de agua. Según el bit de marca de agua, el valor singular aumenta o disminuye. El incremento o decremento del valor singular se determina mediante el factor de ganancia. Se requerirá el valor singular en el procedimiento de extracción para que se guarde en la imagen de referencia. Luego, se realiza la SVD inversa para obtener los coeficientes DCT del LF con marca de agua. Para generar el LF con marca de agua en el dominio espacial, se lleva a cabo la DCT inversa. Este proceso se repite hasta que todos los bits de marca de agua se incrustan en el LF del host. Para extraer la marca de agua incrustada, se necesitan el LF con marca de agua, la imagen de referencia y la clave secreta. La clave secreta utilizada para la extracción de la marca de agua tiene que ser idéntica a la del procedimiento de incrustación, de lo contrario, la extracción de la marca de agua incrustada fallará. Si se introduce la clave secreta correcta en el sistema de extracción, los bloques correspondientes se ordenan a partir de los píxeles del LF marcado. La DCT y la SVD se realizan exactamente de la misma manera que para el procedimiento de inclusión. A continuación, el valor singular se compara con el valor correspondiente de la imagen de referencia. Si el valor singular es mayor que el valor correspondiente de la imagen de referencia, el bit de marca de agua extraído se considera uno; de lo contrario, se asume que es cero. La lógica detrás de este argumento es que si el bit de marca de agua incrustado es cero, entonces el valor singular ha disminuido por el factor de ganancia. Por el contrario, si el bit de marca de agua incrustado es uno, entonces el valor singular se ha incrementado en el factor de ganancia. Por tanto, el bit de marca de agua incrustado se puede extraer comparando el valor singular y el píxel correspondiente de la imagen de referencia. Después de extraer la marca de agua incrustada, los coeficientes DCT del bloque con marca de agua se obtienen mediante la SVD inversa. Antes de aplicar la SVD inversa, el valor singular del bloque con marca de agua se reemplaza con el píxel correspondiente de la imagen de referencia. Posteriormente, se aplica la DCT inversa a los coeficientes DCT para obtener el LF del anfitrión recuperado. Este proceso se repite hasta que se extraen todos los bits de la marca de agua. La transparencia del LF con marca de agua se ha verificado objetiva y subjetivamente. Subjetivamente, el LF con marca de agua y el anfitrión parecían idénticos y no se detectó ninguna diferencia visual entre los dos campos de luz. Para garantizar la transparencia absoluta del LF con marca de agua, las partes de alta frecuencia del LF se han ampliado y no se encontraron diferencias visuales. Desde una perspectiva objetiva, la relación señal pico-ruido PSNR de la imagen con marca de agua fue mucho más que suficiente para permitir la detección de cualquier diferencia por el sistema visual humano (HVS) de acuerdo con los criterios objetivos establecidos en la literatura especializada. A diferencia de la mayoría de los métodos de marca de agua, la tasa de error de bits (BER) sobre la marca de agua recuperada permanece en cero independientemente de la intensidad del marcado y la marca de agua incrustada se puede extraer sin errores. Otra métrica que se utiliza para evaluar el rendimiento del método propuesto de manera objetiva es la similitud estructural media (MSSIM). La premisa básica de la MSSIM es que la percepción por el HVS de la calidad de la imagen se ve muy afectada por la similitud estructural del contenido de la imagen en lugar de los valores absolutos de los píxeles. También incorpora la intensidad media y el contraste de la imagen, que desempeñan un papel clave en la percepción de la calidad de la imagen por parte del HVS. La MSSIM siempre se mantiene por encima del $99 \%$ en los experimentos realizados. La robustez del método propuesto se ha medido frente al ruido gaussiano, la compresión JPEG y el filtrado de mediana. El método propuesto muestra una buena robustez frente a los ataques antes mencionados. Las simulaciones realizadas confirman la absoluta necesidad de utilizar pocos coeficientes DCT. Aunque el LF con marca de agua puede degradarse predominantemente por el ruido, la marca de agua se puede extraer. Como la mayor parte de la energía de la señal se concentra en coeficientes de baja frecuencia de la DCT, proporcionan más robustez frente al ruido gaussiano. Esta hipótesis se confirma completamente con las simulaciones. Las simulaciones también mostraron la importancia absoluta de la explotación de la DCT. La exclusión de la DCT conduce a resultados catastróficos. El método propuesto también exhibe una buena robustez contra el filtrado de mediana y la compresión JPEG, específicamente para el factor de calidad más común de % 100 \% $. Para la justificación de la propuesta del segundo método de marcado, es interesante seguir el siguiente razonamiento. Aunque la DCT se usa ampliamente en la compresión de imágenes/video y marcas de agua, el supuesto subyacente es la independencia de los bloques adyacentes, ya que se comprime cada bloque por separado. Esto provoca artefactos notables, especialmente en velocidades de refresco bajas. Por el contrario, la DWT se aplica globalmente y no introduce artefactos de bloque. Como era de esperar, existe una similitud visual sustancial entre las EI vecinas en las direcciones horizontal, vertical y diagonal. En otras palabras, cada EI tiene una correlación mucho más alta con las EIs vecinas que con las demás. Nos referimos a la correlación de los píxeles de la misma EI como intracorrelación, mientras que la correlación entre las IE se denomina

NIAC Phase II Orbiting Rainbows: Future Space Imaging with Granular Systems

Inspired by the light scattering and focusing properties of distributed optical assemblies in Nature, such as rainbows and aerosols, and by recent laboratory successes in optical trapping and manipulation, we propose a unique combination of space optics and autonomous robotic system technology, to enable a new vision of space system architecture with applications to ultra-lightweight space optics and, ultimately, in-situ space system fabrication. Typically, the cost of an optical system is driven by the size and mass of the primary aperture. The ideal system is a cloud of spatially disordered dust-like objects that can be optically manipulated: it is highly reconfigurable, fault-tolerant, and allows very large aperture sizes at low cost. This new concept is based on recent understandings in the physics of optical manipulation of small particles in the laboratory and the engineering of distributed ensembles of spacecraft swarms to shape an orbiting cloud of micron-sized objects. In the same way that optical tweezers have revolutionized micro- and nano-manipulation of objects, our breakthrough concept will enable new large scale NASA mission applications and develop new technology in the areas of Astrophysical Imaging Systems and Remote Sensing because the cloud can operate as an adaptive optical imaging sensor. While achieving the feasibility of constructing one single aperture out of the cloud is the main topic of this work, it is clear that multiple orbiting aerosol lenses could also combine their power to synthesize a much larger aperture in space to enable challenging goals such as exo-planet detection. Furthermore, this effort could establish feasibility of key issues related to material properties, remote manipulation, and autonomy characteristics of cloud in orbit. There are several types of endeavors (science missions) that could be enabled by this type of approach, i.e. it can enable new astrophysical imaging systems, exo-planet search, large apertures allow for unprecedented high resolution to discern continents and important features of other planets, hyperspectral imaging, adaptive systems, spectroscopy imaging through limb, and stable optical systems from Lagrange-points. Furthermore, future micro-miniaturization might hold promise of a further extension of our dust aperture concept to other more exciting smart dust concepts with other associated capabilities. Our objective in Phase II was to experimentally and numerically investigate how to optically manipulate and maintain the shape of an orbiting cloud of dust-like matter so that it can function as an adaptable ultra-lightweight surface. Our solution is based on the aperture being an engineered granular medium, instead of a conventional monolithic aperture. This allows building of apertures at a reduced cost, enables extremely fault-tolerant apertures that cannot otherwise be made, and directly enables classes of missions for exoplanet detection based on Fourier spectroscopy with tight angular resolution and innovative radar systems for remote sensing. In this task, we have examined the advanced feasibility of a crosscutting concept that contributes new technological approaches for space imaging systems, autonomous systems, and space applications of optical manipulation. The proposed investigation has matured the concept that we started in Phase I to TRL 3, identifying technology gaps and candidate system architectures for the space-borne cloud as an aperture

Two and three dimensional segmentation of multimodal imagery

The role of segmentation in the realms of image understanding/analysis, computer vision, pattern recognition, remote sensing and medical imaging in recent years has been significantly augmented due to accelerated scientific advances made in the acquisition of image data. This low-level analysis protocol is critical to numerous applications, with the primary goal of expediting and improving the effectiveness of subsequent high-level operations by providing a condensed and pertinent representation of image information. In this research, we propose a novel unsupervised segmentation framework for facilitating meaningful segregation of 2-D/3-D image data across multiple modalities (color, remote-sensing and biomedical imaging) into non-overlapping partitions using several spatial-spectral attributes. Initially, our framework exploits the information obtained from detecting edges inherent in the data. To this effect, by using a vector gradient detection technique, pixels without edges are grouped and individually labeled to partition some initial portion of the input image content. Pixels that contain higher gradient densities are included by the dynamic generation of segments as the algorithm progresses to generate an initial region map. Subsequently, texture modeling is performed and the obtained gradient, texture and intensity information along with the aforementioned initial partition map are used to perform a multivariate refinement procedure, to fuse groups with similar characteristics yielding the final output segmentation. Experimental results obtained in comparison to published/state-of the-art segmentation techniques for color as well as multi/hyperspectral imagery, demonstrate the advantages of the proposed method. Furthermore, for the purpose of achieving improved computational efficiency we propose an extension of the aforestated methodology in a multi-resolution framework, demonstrated on color images. Finally, this research also encompasses a 3-D extension of the aforementioned algorithm demonstrated on medical (Magnetic Resonance Imaging / Computed Tomography) volumes

Recent Advances in Image Restoration with Applications to Real World Problems

In the past few decades, imaging hardware has improved tremendously in terms of resolution, making widespread usage of images in many diverse applications on Earth and planetary missions. However, practical issues associated with image acquisition are still affecting image quality. Some of these issues such as blurring, measurement noise, mosaicing artifacts, low spatial or spectral resolution, etc. can seriously affect the accuracy of the aforementioned applications. This book intends to provide the reader with a glimpse of the latest developments and recent advances in image restoration, which includes image super-resolution, image fusion to enhance spatial, spectral resolution, and temporal resolutions, and the generation of synthetic images using deep learning techniques. Some practical applications are also included

Image Restoration Methods for Retinal Images: Denoising and Interpolation

Retinal imaging provides an opportunity to detect pathological and natural age-related physiological changes in the interior of the eye. Diagnosis of retinal abnormality requires an image that is sharp, clear and free of noise and artifacts. However, to prevent tissue damage, retinal imaging instruments use low illumination radiation, hence, the signal-to-noise ratio (SNR) is reduced which means the total noise power is increased. Furthermore, noise is inherent in some imaging techniques. For example, in Optical Coherence Tomography (OCT) speckle noise is produced due to the coherence between the unwanted backscattered light. Improving OCT image quality by reducing speckle noise increases the accuracy of analyses and hence the diagnostic sensitivity. However, the challenge is to preserve image features while reducing speckle noise. There is a clear trade-off between image feature preservation and speckle noise reduction in OCT. Averaging multiple OCT images taken from a unique position provides a high SNR image, but it drastically increases the scanning time. In this thesis, we develop a multi-frame image denoising method for Spectral Domain OCT (SD-OCT) images extracted from a very close locations of a SD-OCT volume. The proposed denoising method was tested using two dictionaries: nonlinear (NL) and KSVD-based adaptive dictionary. The NL dictionary was constructed by adding phases, polynomial, exponential and boxcar functions to the conventional Discrete Cosine Transform (DCT) dictionary. The proposed denoising method denoises nearby frames of SD-OCT volume using a sparse representation method and combines them by selecting median intensity pixels from the denoised nearby frames. The result showed that both dictionaries reduced the speckle noise from the OCT images; however, the adaptive dictionary showed slightly better results at the cost of a higher computational complexity. The NL dictionary was also used for fundus and OCT image reconstruction. The performance of the NL dictionary was always better than that of other analytical-based dictionaries, such as DCT and Haar. The adaptive dictionary involves a lengthy dictionary learning process, and therefore cannot be used in real situations. We dealt this problem by utilizing a low-rank approximation. In this approach SD-OCT frames were divided into a group of noisy matrices that consist of non-local similar patches. A noise-free patch matrix was obtained from a noisy patch matrix utilizing a low-rank approximation. The noise-free patches from nearby frames were averaged to enhance the denoising. The denoised image obtained from the proposed approach was better than those obtained by several state-of-the-art methods. The proposed approach was extended to jointly denoise and interpolate SD-OCT image. The results show that joint denoising and interpolation method outperforms several existing state-of-the-art denoising methods plus bicubic interpolation.4 month