Three-Dimensional Biplanar Reconstruction of the Scoliotic Spine for Standard Clinical Setup

Tese de Doutoramento. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 201

Geometrical Calibration of X-Ray Imaging With RGB Cameras for 3D Reconstruction

(c) 2016 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other users, including reprinting/ republishing this material for advertising or promotional purposes, creating new collective works for resale or redistribution to servers or lists, or reuse of any copyrighted components of this work in other works.We present a methodology to recover the geometrical calibration of conventional X-ray settings with the help of an ordinary video camera and visible fiducials that are present in the scene. After calibration, equivalent points of interest can be easily identifiable with the help of the epipolar geometry. The same procedure also allows the measurement of real anatomic lengths and angles and obtains accurate 3D locations from image points. Our approach completely eliminates the need for X-ray-opaque reference marks (and necessary supporting frames) which can sometimes be invasive for the patient, occlude the radiographic picture, and end up projected outside the imaging sensor area in oblique protocols. Two possible frameworks are envisioned: a spatially shifting X-ray anode around the patient/object and a moving patient that moves/rotates while the imaging system remains fixed. As a proof of concept, experiences with a device under test (DUT), an anthropomorphic phantom and a real brachytherapy session have been carried out. The results show that it is possible to identify common points with a proper level of accuracy and retrieve three-dimensional locations, lengths and shapes with a millimetric level of precision. The presented approach is simple and compatible with both current and legacy widespread diagnostic X-ray imaging deployments and it can represent a good and inexpensive alternative to other radiological modalities like CT.This work was carried out with the support of Information Storage S.L., University of Valencia (grant #CPI-15-170), CSD2007-00042 Consolider Ingenio CPAN (grant #CPAN13-TR01) as well as with the support of the Spanish Ministry of Industry, Energy and Tourism (Grant TSI-100101-2013-019).Albiol Colomer, F.; Corbi, A.; Albiol Colomer, A. (2016). Geometrical Calibration of X-Ray Imaging With RGB Cameras for 3D Reconstruction. IEEE Transactions on Medical Imaging. 35(8):1952-1961. https://doi.org/10.1109/TMI.2016.2540929S1952196135

Environment recognition applied to particle detectors

Resumen en español Introducción Los detectores de partículas son dispositivos que registran la radiación ionizante, bien de sistemas activos (rayos X, aceleradores, etc.) o bien de isótopos radiactivos. Para poder realizar medidas de precisión con estos instrumentos, es necesario modelar geométricamente el entorno, contorno o escena bajo estudio. Estas condiciones geométricas se pueden determinar de forma más o menos precisa en algunos experimentos de física de partículas/nuclear, y en algunos sistemas de imagen, como las tomografías. Sin embargo, este escenario no es necesariamente el habitual. El propósito principal de este trabajo de tesis es desarrollar técnicas e instrumentos que aporten la mencionada información del entorno a cualquier sistema de detección de radiación y de manera general. Como iremos viendo, estas mejoras tienen lugar mediante la adición de sensores externos (cámaras de video y cámaras de rango, principalmente) capaces de aportar dichos datos sobre el contexto espacial. Por escena o contorno se entiende tanto los límites del emplazamiento físico donde se realizan las medidas (habitación, habitáculo, recinto, alrededores, etc.), como el propio elemento bajo examen (paciente, objeto contaminado, fuente radioactiva, etc.), incluyendo su posición, giro y volumen relativo al sistema de imagen o a un punto fijo. Tal es el caso de los dispositivos de rayos X de propósito general o los sistemas detectores portátiles usados, por ejemplo, para la medición de radiación ambiental. Como se demuestra a lo largo de este trabajo de tesis, la mencionada geometría de la escena puede llegar a complementar o aumentar (concepto tomado prestado del mundo de la visión por ordenador o computer vision) de manera muy significativa la información propia recabada por los sistemas de adquisición utilizados. De manera similar, cuando un dispositivo A aumenta un dispositivo B, implica que A provee a B con información espacial relativa a marco de trabajo, de manera que puede derivarse, por ejemplo, información 3D por parte de B, registrar imágenes A+B, etc. Para alcanzar este objetivo, y como parte de esta investigación, se han explorado técnicas y métodos de reconocimiento del entorno, aplicados a las siguientes áreas: • aumento de dispositivos de rayos X usados en diagnóstico primario, • reconstrucción tridimensional de la anatomía de la persona examinada partiendo de radiografías convencionales que luego pueden ser estereográficamente relacionadas, • obtención de nuevas funciones de transferencia que permitan la generación de imágenes densitométricas a partir de las imágenes de absorción y el volumen del/de la paciente, y • asignación de coordenadas 3D a fuentes de radiación y a la dosis recibida. Se ha hecho especial énfasis en los dispositivos de rayos X por su indudable presencia en muchos ámbitos, desde los puramente clínicos hasta los relacionados con la inspección preventiva/forense de objetos. En el contexto de este trabajo, estos sistemas de imagen son aumentados mediante la interacción con dispositivos modernos de posicionamiento, tales como cámaras de video, profundidad, etc. La ventaja de esta arquitectura de imagen dual es la posibilidad de determinar geométricamente la escena con precisión y trasladar y superponer esta información al resultado de origen clínico (o al fruto de una inspección relacionada con la gestión de residuos radioactivos, como en el caso de las gamma-cámaras, estudiadas en [chap:gamma]). Además, como parte de los resultados obtenidos en esta tesis, se ha desarrollado una métrica especial (basada en análisis y teoría de la imagen) para cuantificar de manera objetiva la calidad de imágenes radiográficas. Esta técnica es utilizada para estimar la información de las imágenes densitométricas obtenidas mediante los métodos estudiados en este trabajo. Los rayos X convencionales y sus limitaciones La modalidad radiológica de rayos X convencional es sin duda la más presente y usada en la práctica clínica y ciencias de la salud. Su implantación en todo tipo de centros de salud es muy destacable dada su relativa simplicidad técnica, rapidez y efectividad para diagnosticar muchos tipos de dolencias. La llegada de la radiografía digital no ha hecho otra cosa sino profundizar en esta realidad. Un dispositivo de rayos X consta de un tubo generador de este tipo de radiación instalado dentro de un blindaje, un generador de alta tensión y un chasis o cassette que contiene en su interior la película radiográfica o detector digital que integra finalmente la emisión Roentgen que no ha sido absorbida por el/la paciente o el objeto analizado. A diferencia de otras modalidades como la tomografía axial computerizada (TAC), en la modalidad de rayos X ordinarios la geometría de la escena clínica es descrita de manera muy somera. Con enorme frecuencia, el único registro de la misma son sencillas indicaciones relativas a la posición (y sobre todo, orientación) del/de la paciente con respecto a la cubierta protectora del detector de pared vertical y/o mesa horizontal. Es lo que se conoce en literatura como protocolo o simplemente, posicionamiento del paciente. Estas indicaciones son las que luego se traducen en los conocidos protocolos de examen tales como radiografía postero-anterior, antero-posterior, decúbito, medio-lateral, etc. Esta alta variabilidad geométrica proviene del hecho de que en los dispositivos de rayos X para diagnóstico primario existe un desacoplo estructural entre el detector y la fuente de fotones X (el ánodo del tubo). Dicho de otra manera: ambos pueden desplazarse libremente y con plena independencia el uno del otro. Esto se traduce a su vez en una alta fragilidad de los parámetros intrínsecos (a diferencia de una cámara fotográfica al uso, donde estos valores permanecen fijos desde el momento de su fabricación). Tanto las mesas de examen como los estativos verticales pueden ser fijos, flotantes o semi-flotantes e incluso a veces es posible modificar su ángulo con respecto al suelo o pared para realizar exámenes especiales, como los digestivos. En cualquier sistema de imagen, los parámetros intrínsecos engloban tanto el punto focal como posibles distorsiones y asimetrías que pueden ser medidas y conocidas. Un ejemplo que suele resultar llamativo de esta libertad de movimiento en los sistemas de imagen por rayos X es el hecho de que el punto focal (distancia desde el ánodo al detector y su posición horizontal y vertical en el plano representado por este) puede llegar a estar situado completamente fuera de la superficie de la imagen. Esto acontece, por ejemplo, en algunos protocolos que exigen proyecciones oblicuas o en ángulos muy picados (como las que se muestran en la [fig:xraypositions] y la [fig:oblique]). Nuevamente, esta situación contrasta con la fotografía convencional, donde el punto principal se corresponde normalmente con el pixel central, por ejemplo, en el 640, 540 en el caso de una cámara de video de resolución HD (1920, 1080). Los proyectores de luz (usados comúnmente en presentaciones, arte, etc.) también emplean un punto focal muy desplazado con respecto al centro de la imagen, sin embargo esta sólo se forma con nitidez a una distancia específica y fija (es decir, los parámetros intrínsecos del sistema óptico son nuevamente fijos). Si bien es cierto que la tecnología y estándares radiológicos están preparados para el registro de ciertas distancias tales como la brecha paciente-detector (IOD), emisor-detector (SID), etc., estas casi nunca son estimadas, ni medidas y mucho menos inventariadas manual o electrónicamente. Sin embargo, es bien conocido tanto teórica como experimentalmente, así como por la práctica diaria, que estas magnitudes pueden llegar a tener una repercusión no despreciable tanto en la generación de la propia imagen radiográfica y su calidad, así como en la gestión de la dosis recibida por parte del/de la paciente. Rayos-X aumentados mediante dispositivos de captación de contorno En este trabajo proponemos una serie de herramientas, metodologías y procedimientos para la determinación del ámbito geométrico en escenarios de diagnóstico basados en sistemas convencionales de rayos X. Estas técnicas se apoyan principalmente en la anexión de un dispositivo de captación de contorno o escena que permanece rígidamente acoplado al sistema de imagen de rayos X. Los dispositivos de captación de contorno que han sido explorados en este trabajo son cámaras de video y cámaras de profundidad, aunque existen muchas otras alternativas tales como cámaras basadas en tiempo de vuelo (time-of-flight), LIDARes (light detection and ranging), escáneres 3D láser, sistemas de visión estereoscópica con cámaras RGB calibradas, etc. Una cámara calibrada (sea del tipo que sea: RGB, profundidad, rayos-X) es aquella de la que se conocen sus parámetros intrínsecos y posición respecto a un punto de referencia externo llamado usualmente mundo. Mediante estas cámaras adyacentes y anexionadas de manera rígida es posible la delimitación geométrica de la escena de rayos X, incluidas las distancias anteriormente mencionadas, además de la posición precisa del/de la paciente durante el examen y su volumen. Además, en combinación con una segunda (o más) radiografía(s), es posible aplicar técnicas de estereoscopía y reconstrucción 3D y obtener información tridimensional de su anatomía interna, además de otros valiosos datos válidos para complementar el diagnóstico. En la última década ha acontecido una revolución tecnológica en relación a los dispositivos de captación de contorno, dando lugar a nuevas disciplinas tales como la detección remota, la realidad virtual o la realidad aumentada. Estos nuevos instrumentos conllevan ventajas a las que ya nos hemos ido acostumbrando y se han convertido incluso en cotidianas, tales como la estimación remota de distancias y posiciones, el cálculo de coordenadas, el modelado de superficies, el seguimiento de personas y objetos, la detección barreras y obstáculos, la cartografía y posicionamiento geográfico, entre muchas otras. Los ámbitos de aplicación de los saberes relacionados con la visión por ordenador están ahora al alcance de muchas disciplinas que hasta hace poco se auto-excluían de tales dominios tecnológicos. Entre estas ciencias podemos encontrar a la medicina, la física y otras ciencias básicas. En lo que concierte a los rayos X, cierto tipo de información geométrica y proyectiva (a excepción del volumen del objeto o persona radiografiada) estaba ya disponible gracias a la intercesión de incómodos y costosos marcos de referencia que contienen marcadores fiduciarios opacos a la radiación Roentgen. Esta metodología heredada (así como sus sucesoras basadas en detectores de contorno que se proponen en este trabajo) radica en el hecho de que un dispositivo de rayos X puede asemejarse a una cámara pinhole o cámara estenopeica. Una cámara estenopeica es una cámara fotográfica sin lente y que cuenta con un pequeño orificio o pinhole por donde entra la luz reflejada por los objetos fotografiados, además un material detector. En el caso de un dispositivo de rayos X, el pinhole es en realidad el emisor de luz y coincide estructuralmente con el ánodo del tubo de rayos X, que juega también el papel del anteriormente citado punto focal. El detector en los dispositivos de rayos X estenopeicos es la placa radiográfica o el imaging plate (en el caso digital). La geometría proyectiva afirma que dados conjuntos de puntos con coordenadas espaciales (3D) y sus correspondientes proyecciones en una imagen, es posible hallar la ecuación de calibración de cámara que conecta cualquier otro punto tridimensional en la escena con su localización x,\,y en la imagen. Es lo que se conoce también con el nombre de calibración geométrica de cámara. El problema con la solución basada en marcos de referencia y fiduciales opacas nombrada anteriormente es que pueden dificultar la movilidad del/de la paciente y/o del sistema, pero sobretodo pueden alterar de manera significativa la imagen e influir en el diagnóstico alcanzable a partir de la misma. En el [chap:xraycalibration] se estudian y comparan los distintos algoritmos de calibración de cámara pero aplicados al ámbito de los rayos X. Las técnicas propuestas en este trabajo evitan las mencionadas incomodidades para el/la paciente y no interfieren en absoluto en la generación de la placa radiográfica ni en la imagen de absorción final, además de otras ventajas, tales como la posibilidad de guardar registro visual de la escena, adquirir el contorno del/de la paciente o de aplicar protocolos de examen que requieran una gran oblicuidad por parte del sistema de adquisición. Para combinar geométricamente ambos tipos de dispositivos (sensor de contorno y rayos X) es necesario encontrar con antelación la transformación rígida que los conecta, también conocida como ecuación de la co-cámara. Una transformación rígida es una transformación lineal que preserva tamaño y forma, conservando la alineación, el orden y la pertenencia (es decir, las rectas se transforman en rectas y ángulos en ángulos). La búsqueda de esta relación geométrica se detalla en la [sec:calibration-phase] y la [sec:calibration] para el caso de cámaras de visible y de profundidad, respectivamente. En esta fase (y sólo en esta) nos apoyamos en un marco de calibración que incorpora fiduciales detectables por ambos sistemas de imagen ([fig:calibrationframe]). Una vez hallada esta matriz de transformación, se dice que ambas cámaras están registradas. Tanto en el caso de que la cámara de contorno sea una cámara de video o de profundidad, los marcadores que aparecen en la proyección resultante son fácilmente identificables mediante herramientas de computer vision resumidas en la [sec:tracking]. En el caso de las proyecciones de marcadores opacos a los rayos X, estas son aisladas normalmente de manera manual, aunque es posible aplicar algoritmos de identificación de formas y segmentación sobre la radiografía de calibración. En este trabajo se ha optado por lo primero, aprovechando las mismas herramientas software de visualización y diagnóstico del médico-radiólogo. El proceso de hallazgo de la ecuación co-cámara se relata en la [sec:problem]. Reconstrucción 3D en rayos X Una vez hallada esta relación de registro entre dispositivos, ya no es necesario el marco de calibración, el cual desaparece de la escena sin perjuicio ni influencia alguna en la(s) radiografía(s) del/de la paciente tal y como se ha anticipado en el párrafo anterior. A partir de este momento, es el detector de contorno el responsable de inferir la geometría de la escena, liberando completamente al sistema de rayos X de esta tarea. Entre los elementos propios de la geometría de la escena que son ahora cómodamente medibles se encuentran, por descontado, las longitudes listadas anteriormente (IOD, SID, etc.). Sin embargo, es posible además inferir otras entidades importantes, tales como el volumen del/de la paciente, sus desplazamientos y los movimientos propios del sistema radiológico entre radiografías consecutivas. Concretamente, gracias a esta última ventaja (determinación de transformaciones rígidas entre dos desplazamientos) es posible reconstruir tridimensionalmente puntos y distancias internos al/a la paciente mediante técnicas de visión estereoscópica. Para ello sólo son necesarias dos radiografías obtenidas en dos posiciones separadas, ya sea del propio/de la propia paciente o del sistema radiográfico. Esta versatilidad relacionada con los escenarios de aplicación es tratada en la [sec:scenarios]. Este seguimiento o tracking de la escena es el que se detalla en el [chap:xray+rgb] y el [chap:kinfu] para el caso de que el sensor de contorno sea una cámara RGB y para el caso de una cámara de profundidad, respectivamente. Las cámaras de profundidad consisten en sistemas integrados por una luz láser que es proyectada, formando un patrón conocido, sobre la escena. El reflejo de este patrón es vuelto a ser captado por un sensor CMOS adjunto. A partir de la captura de la deformación del mencionado patrón, es posible determinar información 3D del entorno. La información 3D obtenida por las cámaras de profundidad es transmitida a otros sistemas informáticos mediante las conocidas nubes de puntos o point clouds. Una nube de puntos es un conjunto de vértices en un sistema de coordenadas tridimensional. Estos vértices son representaciones de la superficie externa de un objeto (el/la paciente en este caso). Originalmente, las nubes de puntos se utilizaban en la elaboración de modelos tridimensionales en diseño por ordenador (CAD) en la fabricación de piezas, la inspección de calidad en metrología, y muchos otros ámbitos como animación, y texturización. Desde tiempos recientes han encontrado también un nicho en medicina, como se describe en la [sec:introp2v]. En el [chap:clinica] se muestran algunos ejemplos de aplicación de la reconstrucción 3D anatómica en escenarios clínicos reales, tanto con pacientes como con fantomas antropomórficos. En estos ejemplos puede verse claramente cómo es posible reproducir fielmente la longitud de una astilla en el hueso húmero o las distancias entre marcadores fiduciarios emplazados en distintas posiciones dentro de varios de estos fantomas. También se muestra cómo es factible localizar puntos en dos radiografías distintas mediante el trazado de epipolares acotadas entre ambas. Los conceptos de línea epipolar y línea epipolar acotada se estudian en la [sec:epipolars-howto]. Imágenes densitométricas En el caso de usar cámaras de profundidad, además de permitir estas el seguimiento e identificación del movimiento en la escena radiológica sin necesidad de ningún tipo de marcador fiducial, también es factible reconstruir volúmenes dentro de la misma. En concreto, es posible dirimir el volumen del/de la paciente si este/esta gira frente al mencionado sensor y se aplican las técnicas y métodos descritos en la [sec:moredsm]. Esta digitalización del volumen hace uso a su vez del algoritmo KinectFusion (descrito en la [sec:kinectfusion]) el cual opera de manera continua sobre las nubes de puntos obtenidas previamente o incluso en tiempo real mediante la ejecución de cálculos en paralelo en la unidad de procesamiento gráfico (GPU). La única complejidad en la aplicación de algoritmo de KinectFusion es la necesidad de eliminar la parte de la nube de puntos referente al fondo de la escena (paredes, decoración, el propio detector, etc.). En la [fig:background-extraction] se resumen algunos métodos apropiados para ello. Una vez reconstruido el volumen del/de la paciente, este es trasladado al punto de vista del sistema de rayos X. Este hecho permite a su vez la generación de mapas de longitud recorrida, es decir, el conjunto formado por todas las distancias recorridas por cada rayo entre el punto en el que penetran en el/la paciente cuando vienen desde el ánodo y el punto por el que salen del cuerpo hasta alcanzar finalmente un pixel x,\,y en el detector. La generación de estos mapas se trata en la [sec:lbuffer]. Con estos mapas de longitud atravesada ya es posible traducir las imágenes de absorción (las típicas obtenidas en la generación de radiografías) por imágenes de densidad o densitométricas junto con la definición de una nueva función de transferencia. La solución más común a este problema era hasta ahora la absorciometría dual de rayos X, que consiste en comparar dos imágenes de rayos X tomadas con distinto voltaje. El coste de estos equipos, sin embargo, se incrementa debido a que se requieren dos fuentes de rayos X y/o dos detectores. Otra técnica empleada es el uso de fuentes de rayos X que emitan con al menos dos energías distintas. Estas técnicas reciben el nombre del imagen de absorciometría de rayos X dual (dual-energy X-ray absorptiometry) o DXA. Un examen DXA es una prueba usualmente indicada para determinar la densidad mineral ósea y diagnosticar, principalmente, desórdenes relacionados con osteoporosis. La técnica de DXA implica el uso de una modalidad radiológica y equipos específicos. Además de la utilidad inherente a estas imágenes de densidad, en este trabajo también hemos demostrado que estas imágenes contienen objetivamente una mayor calidad y grado de información en comparación con las radiografías de absorción. Las imágenes densitométricas cuentan con un rango dinámico más comprimido, lo que se traduce en un realce significativo de los tejidos blandos y en una presencia más balanceada de los tejidos óseo y muscular. Trabajo en clínica y medida de la calidad de la imagen radiográfica Respecto a la cuantificación de calidad antes mencionada, el presente trabajo de investigación ha contribuido con una novedosa métrica de cuantificación de la calidad de las imágenes radiológicas basada en los conceptos de información mutua, entropía, entropía condicional y el filtrado Gabor de imágenes. Un filtro de Gabor consiste en una función gaussiana modulada por una curva sinusoidal a la que se le asigna una determinada frecuencia y dirección, obteniendo una reducción del ruido a la vez que se preserva una dirección de la imagen original. Las funciones de Gabor son importantes en el análisis de texturas, especialmente en la segmentación, ya que diferentes texturas tienden a concentrar su presencia en rangos específicos de frecuencias. Normalmente los filtros de Gabor no se aplican de manera individual a una imagen, sino que se utilizan en grupos de filtros, llamados bancos, en los que se permiten diferentes frecuencias y orientaciones. Concretamente, el método propuesto para la asignación de calidad en radiografías (descrito en el [chap:imagequality]) computa la inform

NASA Tech Briefs, December 1990

Topics: New Product Ideas; NASA TU Services; Electronic Components and Circuits; Electronic Systems; Physical Sciences; Materials; Computer Programs; Mechanics; Machinery; Fabrication Technology; Mathematics and Information Sciences; Life Sciences

Fiscal Year 1995

The mission of the Engineering Research, Development, and Technology Program at Lawrence Livermore National Laboratory (LLNL) is to develop the knowledge base, process technologies, specialized equipment, tools and facilities to support current and future LLNL programs. Engineering`s efforts are guided by a strategy that results in dual benefit: first, in support of Department of Energy missions, such as national security through nuclear deterrence; and second, in enhancing the nation`s economic competitiveness through their collaboration with US industry in pursuit of the most cost-effective engineering solutions to LLNL programs. To accomplish this mission, the Engineering Research, Development, and Technology Program has two important goals: (1) identify key technologies relevant to LLNL programs where they can establish unique competencies, and (2) conduct high-quality research and development to enhance their capabilities and establish themselves as the world leaders in these technologies. To focus Engineering`s efforts, technology thrust areas are identified and technical leaders are selected for each area. The thrust areas are comprised of integrated engineering activities, staffed by personnel from the nine electronics and mechanical engineering divisions, and from other LLNL organizations. This annual report, organized by thrust area, describes Engineering`s activities for fiscal year 1995. The report provides timely summaries of objectives methods, and key results from eight thrust areas: computational electronics and electromagnetics; computational mechanics; microtechnology; manufacturing technology; materials science and engineering; power conversion technologies; nondestructive evaluation; and information engineering

LASER RANGE IMAGING FOR ON-LINE MAPPING OF 3D IMAGES TO PSEUDO-X-RAY IMAGES FOR POULTRY BONE FRAGMENT DETECTION

A laser ranging image system was developed for on-line high-resolution 3D shape recovery of poultry fillets. The range imaging system in conjunction with X-ray imaging was used to provide synergistic imaging detection of bone fragments in poultry fillets. In this research, two 5 mW diode lasers coupled with two CCD cameras were used to produce 3D information based on structured lights and triangulation. A laser scattering phenomenon on meat tissues was studied when calculating the object thickness. To obtain the accurate 3D information, the cameras were calibrated to correct for camera distortions. For pixel registrations of the X-ray and laser 3D images, the range imaging system was calibrated, and noises and signal variations in the X-ray and laser 3D images were analyzed. Furthermore, the relationship between the X-ray absorption and 3D thickness of fillets was obtained, and a mapping function based on this relationship was applied to convert the fillet 3D images into the pseudo-X-ray images. For the on-line system implementation, the imaging hardware and software engineering issues, including the data flow optimization and the operating system task scheduling, were also studied. Based on the experimental on-line test, the range imaging system developed was able to scan poultry fillets at a speed of 0.2 m/sec at a resolution of 0.8(X) x 0.7(Y) x 0.7(Z) mm3. The results of this study have shown great potential for non-invasive detection of hazardous materials in boneless poultry meat with uneven thickness