Surface Topography and Texture Restoration from Sectional Optical Imaging by Focus Analysis

International audienceThis chapter focused on image restoration of both topographical and textural information of an observed surface from a registered image sequence acquired by optical sectioning through the common concepts of Shape-From-Focus (SFF) and Extended Depth-of-Field (EDF). More particularly, the essential step of these complementary processes of restoration: the focus measurement, is examined. After a brief specialized review, we introduced novel evolved focus measurements that push the limits of state-of-the-art ones in terms of sensitivity and robustness, in order to cope with various frequently encountered acquisition issues

Modeling and applications of the focus cue in conventional digital cameras

El enfoque en cámaras digitales juega un papel fundamental tanto en la calidad de la imagen como en la percepción del entorno. Esta tesis estudia el enfoque en cámaras digitales convencionales, tales como cámaras de móviles, fotográficas, webcams y similares. Una revisión rigurosa de los conceptos teóricos detras del enfoque en cámaras convencionales muestra que, a pasar de su utilidad, el modelo clásico del thin lens presenta muchas limitaciones para aplicación en diferentes problemas relacionados con el foco. En esta tesis, el focus profile es propuesto como una alternativa a conceptos clásicos como la profundidad de campo. Los nuevos conceptos introducidos en esta tesis son aplicados a diferentes problemas relacionados con el foco, tales como la adquisición eficiente de imágenes, estimación de profundidad, integración de elementos perceptuales y fusión de imágenes. Los resultados experimentales muestran la aplicación exitosa de los modelos propuestos.The focus of digital cameras plays a fundamental role in both the quality of the acquired images and the perception of the imaged scene. This thesis studies the focus cue in conventional cameras with focus control, such as cellphone cameras, photography cameras, webcams and the like. A deep review of the theoretical concepts behind focus in conventional cameras reveals that, despite its usefulness, the widely known thin lens model has several limitations for solving different focus-related problems in computer vision. In order to overcome these limitations, the focus profile model is introduced as an alternative to classic concepts, such as the near and far limits of the depth-of-field. The new concepts introduced in this dissertation are exploited for solving diverse focus-related problems, such as efficient image capture, depth estimation, visual cue integration and image fusion. The results obtained through an exhaustive experimental validation demonstrate the applicability of the proposed models

Review : Deep learning in electron microscopy

Deep learning is transforming most areas of science and technology, including electron microscopy. This review paper offers a practical perspective aimed at developers with limited familiarity. For context, we review popular applications of deep learning in electron microscopy. Following, we discuss hardware and software needed to get started with deep learning and interface with electron microscopes. We then review neural network components, popular architectures, and their optimization. Finally, we discuss future directions of deep learning in electron microscopy

Image formation with plasmonic nanostructures

En 1873, Ernst Abbe concluyó que debido a la difracción de la luz el límite de resolución de un sistema óptico es aproximadamente la mitad de la longitud de onda de trabajo. Este límite, llamado el límite de difracción produce porque las ondas evanescentes no contribuyen a la formación de la imagen. En cualquier sistema óptico formado por materiales presentes en la naturaleza los detalles espaciales del objeto que sean más pequeños que el límite de resolución son transportados por ondas evanescentes. Normalmente estas ondas se pierden debido a la fuerte atenuación que experimentan viajando del objeto a la imagen. // En 1968, Veselago mostró que un material con permitividad y permeabilidad negativa, es decir, con índice de refracción negativo (NIM), exhibe una serie de fenómenos poco comunes, tales como el efecto Doppler inverso, radiación de Cerenkov inversa y refracción negativa. Este último fenómeno permite a una lámina de NIM actuar como si de una lente convergente se tratase, produciendo una imagen real de objeto luminoso situado frente a la lámina. Tres décadas des-pués, Pendry descubrió que las lentes formadas con NIMs pueden tener un límite de resolución muy por debajo de la longitud de onda. Es decir, estas lentes pueden producir imágenes perfectas en ausencia de pérdidas si la impedancia coincide con la del medio en el que están sumergidas. Idealmente, las lentes formadas por NIMs producen imágenes perfectas, propagando las ondas homogéneas y amplificando las evanescentes por medio de los polaritones excitados en la superficie del NIM. Esta amplificación de las ondas evanescentes compensa su decaimiento fuera del metamaterial. Llamaremos superlentes a este tipo de lentes así como cualquier otra capaz de generar imágenes cuyo límite de resolución sea menor que el límite establecido por la difracción. // La capacidad superresolvente de las lentes de índice de refracción negativo descubierta por Pendry fue cuestionada tanto teóricamente como usando simulaciones numéricas. La discusión versaba sobre la amplificación de los modos evanescentes que hace matemáticamente no integrables a los campos electromagnéticos en el plano imagen de la superlente. Si se tienen en cuenta las pérdidas en el NIM el problema desaparece. De hecho, los NIMs realistas siempre tienen pérdidas que no pueden ser ignoradas en los cálculos. En consecuencia, la amplificación de las ondas evanescentes en las interfases de un NIM viene siempre acompañada de la disipación de estas dentro del mismo, impidiendo su completa recuperación en el plano imagen. // Además de las pérdidas existen otros parámetros que determinan el ancho de banda espacial transmitido y por consiguiente, el poder de resolución del sistema óptico. Por ejemplo, es posible aumentar la resolución con una lente plana de inmersión eligiendo una configuración asimétrica con una constante dieléctrica alta en el medio que incluye el plano imagen. // También se ha demostrado que cuando las permeabilidades y permitivides no son exactamente iguales (salvo signo) se pueden producir resonancias que ayudan a aumentar la resolución de la superlente. También es posible aumentar la resolución mediante la reestructuración de la lente. Sin embargo se cree que la introducción de materiales con ganancia es el enfoque más eficiente. // La primera demostración experimental de un NIM en el rango de las microondas la realizaron Smith et al. Se observó el fenómeno de la refracción negativa utilizando un NIM compuesto por una matriz de celdas unidad con un tamaño de una longitud de onda. Cada celda unidad contenía un resonador anular abierto y un hilo metálico. Posteriormente se ha mejorado este montaje usando una versión refinada de los anillos resonadores. Este tipo de medio sólo es eficaz para la fabricación de superlentes en el rango de microondas e infrarrojo debido a la fuerte absorción que experimenta a frecuencias más altas. Además, no poseen un µ negativo para frecuencias más allá del infrarrojo. Para frecuencias mayores una estructura tipo 'fishnet' puede sustituir a la matriz de anillos resonadores. // Todos los NIMs que se han desarrollado hasta hoy se obtienen juntando dos materiales estructurados de los cuales uno muestra permitividad negativa y el otro permeabilidad negativa. La mayoría de los estudios de metamateriales se ha centrado en conseguir un índice de refracción negativo en una banda estrecha de frecuencias, aunque también hay estudios en bandas dobles, en multibanda e incluso metamateriales sintonizables. También se ha observado la refracción negativa para un amplio espectro angular en dos dimensiones a través de montajes con segmentos en forma de prisma. // En campo cercano, es decir para frecuencias espaciales muy altas, las respuestas eléctrica y magnética de los materiales están desacopladas. Por tanto, para ondas con polarización transversal magnética (TM), sólo se necesita una permitividad negativa para formar imágenes sub-λ. Los metales nobles, tales como la plata, satisfacen esta nueva condición y por tanto son candidatos naturales para el diseño de superlentes en el rango óptico. A frecuencias ópticas la permitividad de estos metales, en módulo, puede ser comparable a la permitividad del dieléctrico que lo rodee, lo que permite la excitación de plasmones polaritones de superficie (SPPs) en la interfase entre el metal y el dieléctrico. Los detalles sub-λ de la fuente se transmiten a través del sistema acoplándose a los SPPs. // En particular, se han realizados experimentos que prueban la amplificación de ondas evanescentes a través de una lámina de plata. Los experimentos mostraron que estas ondas se amplifican hasta un espesor de las láminas que depende de la longitud de onda. Para espesores mayores la absorción tiene mayor peso y las ondas evanescentes se atenúan en lugar de amplificarse dentro del material. Sin embargo, es posible reducir los efectos de la absorción introduciendo materiales activos o exfoliando la lámina original en películas más finas y distribuyéndolas entre los planos objeto e imagen como si de una matriz de superlentes elementales se tratase. Las ondas evanescentes incidentes excitan resonancias plasmónicas que a su vez transfieren estas ondas inhomogéneas por efecto túnel resonante, también llamado efecto túnel plasmónico. Al amplificarse en menor medida las ondas evanescentes en cada capa se reduce la absorción en los metales, y por tanto, cuando estas estructuras se usan en formación de imágenes, este efecto contribuye a mejorar el poder de resolución del sistema. // Las superlentes compuestas por películas idénticas de metal dispuestas entre separadores dieléctricos son medios 1D metal-dieléctrico periódicos (PLMs). En estos medios encontramos fenómenos de naturaleza plasmónica tales como la refracción negativa y la formación de imágenes superresolventes. Además, la refracción negativa y la amplificación de las ondas evanescentes no son requisitos necesarios para formar imágenes sub-λ en estos dispositivos. Los PLMs pueden diseñarse para mostrar unas curvas de isofrecuencia planas. En este caso la superlente se comporta como una guía de ondas. Este régimen, llamado canalización, ha sido investigado por numerosos autores. // Desde que los PLMs fueron propuestos como candidatos para crear superlentes ha habido un gran interés en extender su rango de funcionamiento al espectro visible. La principal dificultad en el diseño de estos dispositivos son las grandes pérdidas por absorción y dispersión. Para lidiar con este problema se han realizado algunas propuestas que incluyen nuevas geometrías aperiódicas. Por ejemplo, considerar una serie de guías de onda metálicas con diferentes tamaños del orden de los nanómetros y que estén fuertemente acopladas. La atenuación en esta estructura es considerablemente menor que en un PLM tanto para ondas propagantes como evanescentes. // En 2006 se propuso y posteriormente se demostró experimentalmente un nuevo tipo de superlentes denominadas superlentes de campo lejano. Éstas lentes se basan en introducir una red de difracción en la superficie de salida de una superlente metal-dieléctrico. A diferencia de las superlentes convencionales, además de amplificar las ondas evanescentes las convierten en ondas propagantes en la superficie de salida. Al diseñar este tipo de lentes es crucial dotarlas de una función de transferencia que permita numéricamente reconstruir sin ambigüedades las imagenes sub-λ. Se requiere de un diseño de la función de transferencia complejo y una intensa computación numérica para reconstruir la imagen ya que en estas lentes no se puede recuperar la imagen directamente con una red de difracción. Además, estas superlentes no pueden magnificar la imagen. Por esta razón su aplicación en los sistemas ópticos convencionales se ve limitada, ya que la imagen ha de tener las mismas dimensiones que el objeto. // En estas mismas fechas también se propuso un nuevo tipo de superlentes que pueden aumentar el tamaño de la imagen: las hiperlentes. Están formadas por capas de lentes cilíndricas metal-dieléctrico y son capaces de producir imágenes sub-$\lambda$ magnificadas en el campo lejano mediante la conversión de las ondas evanescentes en propagantes. Específicamente, las hiperlentes dispersan radialmente la luz permitiendo transportar casi punto a punto una imagen hasta la superficie de salida. A las primeras propuestas de hiperlentes les siguieron desarrollos experimentales en el rango óptico. Desde entonces se han propuesto hiperlentes en las que se sustituye la geometría cilíndrica por la esférica, matrices cónicas de hilos metálicos y otros diseños singulares. // Más adelante se desarrolló otro nuevo tipo de superlentes basadas en metamateriales, conocidas como metalentes. Una metalente se crea mediante la combinación de un metamaterial multicapa y un mecanismo de compensación de fase que enfoca una onda plana en un punto. Una limitación importante de las que comparten con las hiperlentes es el efecto de las pérdidas que limita la resolución de la lente así como la transmisión de la señal. Es posible corregir el efecto de las pérdidas de varias formas: añadiendo ganancia a los dieléctricos que conforman la superlente, diseñando la estructura de bandas con mejores materiales plasmónicos, dopando los ya existentes, o mediante aleaciones. Además, el objeto tiene que estar colocado en el campo cercano de la lente para que las superlentes sean capaces de interaccionar con las ondas evanescentes. A todo esto hay que sumarle que los diseños actuales para hiperlentes y metalentes tienen un campo de visión muy limitado debido al tamaño de sistema óptico. Por todo ello el diseño de este tipo de lentes es un campo de estudio donde aún se pueden proponer nuevos diseños que mejoren sus características optogeométricas. // Las superlentes son dispositivos muy prometedores en aplicaciones tales como la microscopía o la litografía óptica a escala nanométrica. Esta última es clave a la hora de reducir el tamaño de los circuitos integrados. El almacenamiento óptico y magnético y los biosensores también pueden beneficiarse de la capacidad de estas lentes, permitiendo escribir o leer información dentro de volúmenes cada vez más pequeños y por tanto aumentando la densidad de almacenamiento y la resolución de las medidas. // OBJETIVOS Esta tesis se centra en la formación de imagenes superresolventes utilizando NIMs y PLMs. Para ello, en primer lugar se derivará una respuesta impulsional (PSF) 3D con el fin de definir sin ambigüedades el campo difractado por una lente plana en el volumen imagen. Por medio de la transformada de Fourier 3D, se introducirá la función de transferencia generalizada con el fin de entender mejor el poder de resolución de los elementos ópticos de una superlente. Estas herramientas junto con la respuesta dipolar eléctrica se aplicarán para evaluar la resolución de los NIMs con absorción moderada al mismo tiempo que se analiza su capacidad para discriminar objetos con profundidad. // También se explorará la posibilidad de mejorar la resolución en el campo lejano solapando a una lente plana de NIM un material con un índice de refracción alto. Se analizarán desde el punto de vista de la óptica geométrica las aberraciones producidas en este tipo de lentes asimétricas. Estas aberraciones pueden dañar la imagen y reducir el poder de resolución de la superlente. A través de un análisis de aberraciones estándar se optimizará la configuración asimétrica de las superlentes basadas en NIMs. // Gran parte de esta tesis se centra en los PLMs. Se pretende señalar las limitaciones existentes en la formación de imágenes 3D con lentes planas basadas en NIMs además de investigar la reducción significativa en el límite de resolución mediante la división de las superlentes planas en películas ultrafinas. Así mismo se estudiará cómo afecta esta redistribución de las lentes a la profundidad de campo. // También se explorará un diseño de superlente resultante de unir dos PLMs que difractan la luz de manera opuesta y complementaria. En este dispositivo tanto las ondas propagantes como un ancho de banda significativo de ondas evanescentes se transforman en ondas de Bloch propagantes dentro de cada PLM. La difracción producida en una parte del dispositivo es corregida por la difracción negativa de la otra parte. // Las propiedades ópticas de los PLMs serán también analizadas para el régimen de permitividades efectivas próximas a zero (ENZ), siendo este régimen un concepto derivado de la aproximación de medio efectivo. En este régimen los PLMs pueden canalizar sin difractar la luz emitida por emisores puntuales o producir la doble refracción de la luz para una única polarización. Para este segundo caso se propondrá una variación de la aproximación de medio efectivo y con ella una ley de la refracción generalizada que describa las dos refracciones simultaneamente. También se pretende analizar la distribución de flujo energético en las señales refractadas y la reflejada. // Por otro lado se propondrá un método para deducir la PSF tanto en intensidad como en fase de una superlente formada por un PLM. Para ello se considerará el patrón de intensidad producido por una máscara de metal con aberturas calibradas colocada a la entrada de la superlente y se procesará el patrón de intensidad medido a la salida con una variación del algoritmo de deconvolución ciega. // Aunque las superlentes basadas en PLMs están generalmente diseñadas para controlar la difracción de haces convencionales, su uso no está restringido a éstos. Se pretende demostrar la existencia haces Bessel sub-λ en estructuras multicapa y medios con hilos metálicos. En ambos casos, se estudiará el fenómeno de superresolución producido por la interacción plasmónica entre la materia y la luz. Los patrones de intensidad producidos en estas nanoestructuras también se analizarán para su uso potencial en la formación de imágenes. // Los haces Airy son también candidatos para trasportar información sub-λ a través de nanoestructuras. Para concluir presentaremos un breve tratamiento teórico de este tipo de haces incluyendo el importante papel que desempeña en ellos la fase Gouy.In this Thesis we focus on the superlensing phenomena using either NIM or PLM. More specifically, we deeply examine the image formation process. First, we derive a nonsingular, polarization-dependent, 3D impulse response that provides unambiguously the wave field scattered by a layered lens and distributed in its image volume. By means of a 3D Fourier transform, we introduce the generalized amplitude transfer function in order to gain a deep insight into the resolution power of the optical element. With these tools and the point dipole spread function we show that NIMs with moderate absorption are appropriate for subwavelength resolution keeping a limited degree of depth discrimination. We also found out-of-focus imaging limited by the polariton resonances in the subwavelength image formation process. // By considering flat NIM lenses we report on a procedure to improve the resolution of far-field imaging using a neighbouring high-index medium coated with a NIM. Based on negative refraction, geometrical aberrations are considered in detail since they may cause a great impact in this sort of diffraction-limited imaging by reducing its resolution power. Standard aberration analysis is employed to refine the asymmetric configuration of metamaterial superlenses. A great part of this Thesis focuses on layered media. We point out the existing limitations of NIM flat lenses in the formation of 3D images. In addition we investigated the significant reduction of the limit of resolution by exfoliating NIM flat lenses into ultrathin layers. This super-resolving effect has its counterpart in the reduction of the depth of field. // Regarding PLMs, we show a procedure to manage the subwavelength diffracted wave fields inside multilayered plasmonic devices to achieve ultra-resolving lensing. Both homogeneous waves and a broad band of evanescent waves are transformed into propagating Bloch modes by means of a metal-dielectric superlattice. Beam spreading is subsequently compensated by means of negative refraction. // Optical properties of nanostructured PLMs are also studied under the epsilon-near-zero regime, a concept derived from the effective-medium approach. The PLM may exhibit either superlensing driven by broadband canalization from point emitters or single-polarization double refraction, and conventional positive as well as negative, even at subwavelength regimes. For the latter case, we formulated a modified effective medium approximation (EMA), and subsequently a generalized refraction law, that describes both refractive behaviours concurrently. We analyse the energy-flow concerning both positive and negative refraction as well as the reflectance. // While the most conventional way to achieve superresolution is by diffraction-managed nanostructures, new avenues arise by direct manipulation of the wave fields. We will demonstrate the existence of subwavelength nondiffracting Bessel beams propagating in both layered and wire media. In both cases the superresolution phenomena provided by the plasmonic interaction between matter and light is studied. Intensity patterns produced in these nanostructures are also analysed with a view to the imaging formation. // Airy beams are also candidates to transport subwavelength information through nanostructures. We introduce a brief theoretical treatment of this sort of beams including the important role of the Gouy phase. Finally, Airy beams propagating inside plasmonic nanostructures are developed in the same way as we did previously using Bessel beams