Hyperspectral Demosaicing of Snapshot Camera Images Using Deep Learning

Spectral imaging technologies have rapidly evolved during the past decades. The recent development of single-camera-one-shot techniques for hyperspectral imaging allows multiple spectral bands to be captured simultaneously (3x3, 4x4 or 5x5 mosaic), opening up a wide range of applications. Examples include intraoperative imaging, agricultural field inspection and food quality assessment. To capture images across a wide spectrum range, i.e. to achieve high spectral resolution, the sensor design sacrifices spatial resolution. With increasing mosaic size, this effect becomes increasingly detrimental. Furthermore, demosaicing is challenging. Without incorporating edge, shape, and object information during interpolation, chromatic artifacts are likely to appear in the obtained images. Recent approaches use neural networks for demosaicing, enabling direct information extraction from image data. However, obtaining training data for these approaches poses a challenge as well. This work proposes a parallel neural network based demosaicing procedure trained on a new ground truth dataset captured in a controlled environment by a hyperspectral snapshot camera with a 4x4 mosaic pattern. The dataset is a combination of real captured scenes with images from publicly available data adapted to the 4x4 mosaic pattern. To obtain real world ground-truth data, we performed multiple camera captures with 1-pixel shifts in order to compose the entire data cube. Experiments show that the proposed network outperforms state-of-art networks.Comment: German Conference on Pattern Recognition (GCPR) 202

Spatial gradient consistency for unsupervised learning of hyperspectral demosaicking: Application to surgical imaging

Hyperspectral imaging has the potential to improve intraoperative decision making if tissue characterisation is performed in real-time and with high-resolution. Hyperspectral snapshot mosaic sensors offer a promising approach due to their fast acquisition speed and compact size. However, a demosaicking algorithm is required to fully recover the spatial and spectral information of the snapshot images. Most state-of-the-art demosaicking algorithms require ground-truth training data with paired snapshot and high-resolution hyperspectral images, but such imagery pairs with the exact same scene are physically impossible to acquire in intraoperative settings. In this work, we present a fully unsupervised hyperspectral image demosaicking algorithm which only requires exemplar snapshot images for training purposes. We regard hyperspectral demosaicking as an ill-posed linear inverse problem which we solve using a deep neural network. We take advantage of the spectral correlation occurring in natural scenes to design a novel inter spectral band regularisation term based on spatial gradient consistency. By combining our proposed term with standard regularisation techniques and exploiting a standard data fidelity term, we obtain an unsupervised loss function for training deep neural networks, which allows us to achieve real-time hyperspectral image demosaicking. Quantitative results on hyperspetral image datasets show that our unsupervised demosaicking approach can achieve similar performance to its supervised counter-part, and significantly outperform linear demosaicking. A qualitative user study on real snapshot hyperspectral surgical images confirms the results from the quantitative analysis. Our results suggest that the proposed unsupervised algorithm can achieve promising hyperspectral demosaicking in real-time thus advancing the suitability of the modality for intraoperative use

Synthetic white balancing for intra-operative hyperspectral imaging

Hyperspectral imaging shows promise for surgical applications to non-invasively provide spatially-resolved, spectral information. For calibration purposes, a white reference image of a highly-reflective Lambertian surface should be obtained under the same imaging conditions. Standard white references are not sterilizable, and so are unsuitable for surgical environments. We demonstrate the necessity for in situ white references and address this by proposing a novel, sterile, synthetic reference construction algorithm. The use of references obtained at different distances and lighting conditions to the subject were examined. Spectral and color reconstructions were compared with standard measurements qualitatively and quantitatively, using $\Delta E$ and normalised RMSE respectively. The algorithm forms a composite image from a video of a standard sterile ruler, whose imperfect reflectivity is compensated for. The reference is modelled as the product of independent spatial and spectral components, and a scalar factor accounting for gain, exposure, and light intensity. Evaluation of synthetic references against ideal but non-sterile references is performed using the same metrics alongside pixel-by-pixel errors. Finally, intraoperative integration is assessed though cadaveric experiments. Improper white balancing leads to increases in all quantitative and qualitative errors. Synthetic references achieve median pixel-by-pixel errors lower than 6.5% and produce similar reconstructions and errors to an ideal reference. The algorithm integrated well into surgical workflow, achieving median pixel-by-pixel errors of 4.77%, while maintaining good spectral and color reconstruction.Comment: 22 pages, 10 figure

Intraoperative hyperspectral label-free imaging: from system design to first-in-patient translation.

Despite advances in intraoperative surgical imaging, reliable discrimination of critical tissue during surgery remains challenging. As a result, decisions with potentially life-changing consequences for patients are still based on the surgeon's subjective visual assessment. Hyperspectral imaging (HSI) provides a promising solution for objective intraoperative tissue characterisation, with the advantages of being non-contact, non-ionising and non-invasive. However, while its potential to aid surgical decision-making has been investigated for a range of applications, to date no real-time intraoperative HSI (iHSI) system has been presented that follows critical design considerations to ensure a satisfactory integration into the surgical workflow. By establishing functional and technical requirements of an intraoperative system for surgery, we present an iHSI system design that allows for real-time wide-field HSI and responsive surgical guidance in a highly constrained operating theatre. Two systems exploiting state-of-the-art industrial HSI cameras, respectively using linescan and snapshot imaging technology, were designed and investigated by performing assessments against established design criteria and ex vivo tissue experiments. Finally, we report the use of our real-time iHSI system in a clinical feasibility case study as part of a spinal fusion surgery. Our results demonstrate seamless integration into existing surgical workflows

Hyperspectral demosaicking and crosstalk correction using deep learning

Precision agriculture using unmanned aerial vehicles (UAVs) is gaining popularity. These UAVs provide a unique aerial perspective suitable for inspecting agricultural fields. With the use of hyperspectral cameras, complex inspection tasks are being automated. Payload constraints of UAVs require low weight and small hyperspectral cameras; however, such cameras with a multispectral color filter array suffer from crosstalk and a low spatial resolution. The research described in this paper aims to reduce crosstalk and to increase spatial resolution using convolutional neural networks. We propose a similarity maximization framework which is trained to perform end-to-end demosaicking and crosstalk-correction of a $4 \times 4$ raw mosaic image. The proposed method produces a hyperspectral image cube with 16 times the spatial resolution of the original cube while retaining a median structural similarity (SSIM) index of 0.85 (compared to an SSIM of 0.55 when using bilinear interpolation). Furthermore, this paper provides insight into the beneficial effects of crosstalk for hyperspectral demosaicking and gives best practices for several architectural and hyperparameter variations as well as a theoretical reasoning behind certain observations

Análisis multidimensional de imágenes digitales

El análisis de imágenes se define como la ciencia de extracción cuantitativa de datos (numéricos, geométricos, densitométricos y espectrométricos) a partir de las mismas. Desde tiempos inmemorables el hombre ha tratado de clasificar elementos y registrar variaciones para comprender fenómenos físicos, químicos o biológicos. En particular, la biología se ha basado en la medición de las formas de los organismos y sus células para comprender los fenómenos evolutivos. Hoy en día, la morfometría nos permite establecer normas que sirven para comprender los cambios fisiológicos o patológicos observados en estas estructuras. La histología y la citología dependen del reconocimiento de las formas, donde la apreciación visual directa resulta de suma utilidad. Sin embargo, cuando debe analizarse la celularidad de un tejido o su intensidad de tinción, la observación directa carece de poder de discriminación. La histometría, en cambio, permite establecer características morfológicas de las células tales como área, perímetro, redondez, entre otras, así como determinar valores volumétricos y caracterizar parámetros de movimiento, como velocidad, dirección, aceleración de desplazamiento de células vivas o sus estructuras. Más aún, con el advenimiento de sistemas microscópicos confocales o de súper-resolución, la capacidad de medición de las estructuras resulta cada vez más precisa. En la actualidad existe una gran variedad de aplicaciones del análisis de imágenes en el campo de la medicina y la biología. El análisis de imágenes es una herramienta fundamental para dar valor agregado a las investigaciones que se realizan a nivel ultraestructural, microscópico y macroscópico, dentro de áreas tan dispersas como biología, geología, física, electrónica, etc.Facultad de Ciencias Veterinaria

Análisis multidimensional de imágenes digitales

El análisis de imágenes se define como la ciencia de extracción cuantitativa de datos (numéricos, geométricos, densitométricos y espectrométricos) a partir de las mismas. Desde tiempos inmemorables el hombre ha tratado de clasificar elementos y registrar variaciones para comprender fenómenos físicos, químicos o biológicos. En particular, la biología se ha basado en la medición de las formas de los organismos y sus células para comprender los fenómenos evolutivos. Hoy en día, la morfometría nos permite establecer normas que sirven para comprender los cambios fisiológicos o patológicos observados en estas estructuras. La histología y la citología dependen del reconocimiento de las formas, donde la apreciación visual directa resulta de suma utilidad. Sin embargo, cuando debe analizarse la celularidad de un tejido o su intensidad de tinción, la observación directa carece de poder de discriminación. La histometría, en cambio, permite establecer características morfológicas de las células tales como área, perímetro, redondez, entre otras, así como determinar valores volumétricos y caracterizar parámetros de movimiento, como velocidad, dirección, aceleración de desplazamiento de células vivas o sus estructuras. Más aún, con el advenimiento de sistemas  microscópicos confocales o de súper-resolución, la capacidad de medición de las estructuras resulta cada vez más precisa. En la actualidad existe una gran variedad de aplicaciones del análisis de imágenes en el campo de la medicina y la biología. Este libro no pretende ser un compendio de información tecnológica sobre el conocimiento actual del análisis de imágenes, sino un texto dinámico, dirigido a todas aquellas personas que quieran iniciarse en este fascinante mundo imaginario. En este sentido, se sugiere al lector no leerlo como un libro de texto sino, en lo posible, tratar de encontrar en cada uno de sus párrafos sus propios ejemplos y aplicarlos en cualquier sistema microscópico o analizador de imágenes a su disposición.Fil: Portiansky, Enrique Leo. Universidad Nacional de La Plata. Facultad de Ciencias Veterinarias. Cátedra de Patología General Veterinaria; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentin

Análisis multidimensional de imágenes digitales

El análisis de imágenes se define como la ciencia de extracción cuantitativa de datos (numéricos, geométricos, densitométricos y espectrométricos) a partir de las mismas. Desde tiempos inmemorables el hombre ha tratado de clasificar elementos y registrar variaciones para comprender fenómenos físicos, químicos o biológicos. En particular, la biología se ha basado en la medición de las formas de los organismos y sus células para comprender los fenómenos evolutivos. Hoy en día, la morfometría nos permite establecer normas que sirven para comprender los cambios fisiológicos o patológicos observados en estas estructuras. La histología y la citología dependen del reconocimiento de las formas, donde la apreciación visual directa resulta de suma utilidad. Sin embargo, cuando debe analizarse la celularidad de un tejido o su intensidad de tinción, la observación directa carece de poder de discriminación. La histometría, en cambio, permite establecer características morfológicas de las células tales como área, perímetro, redondez, entre otras, así como determinar valores volumétricos y caracterizar parámetros de movimiento, como velocidad, dirección, aceleración de desplazamiento de células vivas o sus estructuras. Más aún, con el advenimiento de sistemas microscópicos confocales o de súper-resolución, la capacidad de medición de las estructuras resulta cada vez más precisa. En la actualidad existe una gran variedad de aplicaciones del análisis de imágenes en el campo de la medicina y la biología. El análisis de imágenes es una herramienta fundamental para dar valor agregado a las investigaciones que se realizan a nivel ultraestructural, microscópico y macroscópico, dentro de áreas tan dispersas como biología, geología, física, electrónica, etc.Facultad de Ciencias Veterinaria