PYRO-NN: Python Reconstruction Operators in Neural Networks

Purpose: Recently, several attempts were conducted to transfer deep learning to medical image reconstruction. An increasingly number of publications follow the concept of embedding the CT reconstruction as a known operator into a neural network. However, most of the approaches presented lack an efficient CT reconstruction framework fully integrated into deep learning environments. As a result, many approaches are forced to use workarounds for mathematically unambiguously solvable problems. Methods: PYRO-NN is a generalized framework to embed known operators into the prevalent deep learning framework Tensorflow. The current status includes state-of-the-art parallel-, fan- and cone-beam projectors and back-projectors accelerated with CUDA provided as Tensorflow layers. On top, the framework provides a high level Python API to conduct FBP and iterative reconstruction experiments with data from real CT systems. Results: The framework provides all necessary algorithms and tools to design end-to-end neural network pipelines with integrated CT reconstruction algorithms. The high level Python API allows a simple use of the layers as known from Tensorflow. To demonstrate the capabilities of the layers, the framework comes with three baseline experiments showing a cone-beam short scan FDK reconstruction, a CT reconstruction filter learning setup, and a TV regularized iterative reconstruction. All algorithms and tools are referenced to a scientific publication and are compared to existing non deep learning reconstruction frameworks. The framework is available as open-source software at \url{https://github.com/csyben/PYRO-NN}. Conclusions: PYRO-NN comes with the prevalent deep learning framework Tensorflow and allows to setup end-to-end trainable neural networks in the medical image reconstruction context. We believe that the framework will be a step towards reproducible researchComment: V1: Submitted to Medical Physics, 11 pages, 7 figure

Projection image-to-image translation in hybrid X-ray/MR imaging

The potential benefit of hybrid X-ray and MR imaging in the interventional environment is large due to the combination of fast imaging with high contrast variety. However, a vast amount of existing image enhancement methods requires the image information of both modalities to be present in the same domain. To unlock this potential, we present a solution to image-to-image translation from MR projections to corresponding X-ray projection images. The approach is based on a state-of-the-art image generator network that is modified to fit the specific application. Furthermore, we propose the inclusion of a gradient map in the loss function to allow the network to emphasize high-frequency details in image generation. Our approach is capable of creating X-ray projection images with natural appearance. Additionally, our extensions show clear improvement compared to the baseline method.Comment: In proceedings of SPIE Medical Imaging 201

Self-organized growth of fullerene C60 on reconstructed silicon surfaces

Die vorliegende Arbeit befasst sich mit den Mechanismen des selbstorganisierten Wachstums von Buckminsterfullerenen (C60) auf rekonstruierten Silizium-Oberflächen. Es werden dazu sowohl die Oberflächen selbst als auch die Adsorption von Fullerenen auf diesen untersucht und Modelle für die experimentellen Beobachtungen entwickelt sowie mögliche Anwendungen untersucht. Bor-Oberflächenphasen sind in der Oberflächenphysik seit Jahren Gegenstand der Forschung. Bei ihrer Untersuchung stellte sich bisher stets die Frage, welcher Bindungsplatz an der Oberfläche bzw. im Kristallgitter von den Boratomen eingenommen wird. Mehrere Forschungsgruppen sagten zwei verschiedene mögliche Bindungsplätze voraus, konnten jedoch jeweils nur einen beobachten. In dieser Arbeit ist es nun gelungen, die Präparation der Oberflächenphase mit Mitteln der MBE durchzuführen und auf diese Weise beide vorhergesagten Phasen zu erzeugen und im STM zu beobachten. Erstmals konnten in dieser Arbeit auch der temperaturinduzierte Phasenübergang zwischen den beiden Oberflächenphasen nachgewiesen werden. Dadurch konnte geklärt werden, dass tatsächlich beide Oberflächenphasen auf Silizium existieren und aufgrund ihrer verschiedenen Bindungsplätze auch verschiedene Eigenschaften hinsichtlich der Beweglichkeit besitzen. Dies konnte mit elektrischen Untersuchungen aus anderen Arbeiten korreliert werden. Des weiteren wird aufgrund der passivierenden Wirkung einer der beiden Phasen ein Verfahren vorgestellt, das zur Passivierung von Silizium-Oberflächen über längere Zeiträume an Luft verwendet werden kann. Der Schwerpunkt der Arbeit liegt auf der Untersuchung des Wachstums von C60-Fullerenen auf Silizium. Daher wird im folgenden Kapitel zunächst die Adsorption auf reinen Silizum-Oberflächen der - und -Orientierung betrachtet. Es ergibt sich weder ein geordnetes Lagenwachstum von C60 auf diesen Substraten noch das Wachstum geschlossener Lagen. Vielmehr tritt ab Beginn der C60-Abscheidung Multilagenwachstum auf. In dieser Arbeit wurde in dem Zusammenhang erstmals das Überwachsen von Fullerenen mit Silizium untersucht und Grenzen für das einkristalline Überwachsen gefunden sowie die Segregation von C60 während des Wachstums charakterisiert. Damit wurde ein wichtiger Schritt zu Einbettung von C60 in Silizium-Bauelemente getan. In der Folge wurden Untersuchungen zur Bildung von Siliziumcarbid auf Silizium mittels C60 als Precursor angestellt. Aufgrund von Verspannungen zwischen Siliziumsubstrat und erzeugtem SiC kommt es hier nicht zu einem Wachstum von geschlossenen Schichten, sondern zum Volmer-Weber-Wachstum von SiC-Inseln ungleicher Größe. Für die Vereinheitlichung der Größe von SiC-Inseln wurde hier ein Verfahren entwickelt, das mittels vergrabenen C60 als Precursor monodisperse SiC-Dots in Silizium erzielen kann. Von den Ergebnissen auf reinem Silizium ausgehend wird im darauf folgenden Kapitel eine Lösung für das Aufbringen von geschlossenen Monolagen von Fullerenen auf Silizium entwickelt. Die Anordnung von Fulleren-Monolagen in einer dichtesten Kugelpackung konnte hier durch eine weitgehende Entkopplung von Substrat und Fullerenen erzielt werden. Diese Entkopplung wurde im vorliegenden Fall durch das Einbringen der zuvor untersuchten Bor-Oberflächenphase erreicht, die vor der Aufbringung von Fullerenen alle freien Valenzen der Oberfläche absättigt und somit die Beweglichkeit der C60 signifikant erhöht. Damit wird es den C60 ermöglicht, sich optimal anzuordnen. In diesem Anordnungsprozess kommt es zur Bildung von zwei Fulleren-Domänen. Waren ähnliche Anordnungen von Fullerenen auf einer Silber-Oberflächenphase auch bereits beobachtet, so konnten dennoch hier wichtige Erkenntnisse hinzugewonnen werden. Die genaue Anordnung der Fullerene relativ zur Bor-Oberflächenphase konnte in dieser Arbeit geklärt werden. Neu erkannt wurde die Orientierung der Symmetrieachsen der Fullerene relativ zum Substrat. Dazu wurden hochauflösende STM-Messungen durchgeführt

Projection-to-Projection Translation for Hybrid X-ray and Magnetic Resonance Imaging

Hybrid X-ray and magnetic resonance (MR) imaging promises large potential in interventional medical imaging applications due to the broad variety of contrast of MRI combined with fast imaging of X-ray-based modalities. To fully utilize the potential of the vast amount of existing image enhancement techniques, the corresponding information from both modalities must be present in the same domain. For image-guided interventional procedures, X-ray fluoroscopy has proven to be the modality of choice. Synthesizing one modality from another in this case is an ill-posed problem due to ambiguous signal and overlapping structures in projective geometry. To take on these challenges, we present a learning-based solution to MR to X-ray projection-to-projection translation. We propose an image generator network that focuses on high representation capacity in higher resolution layers to allow for accurate synthesis of fine details in the projection images. Additionally, a weighting scheme in the loss computation that favors high-frequency structures is proposed to focus on the important details and contours in projection imaging. The proposed extensions prove valuable in generating X-ray projection images with natural appearance. Our approach achieves a deviation from the ground truth of only 6% and structural similarity measure of 0.913 ± 0.005. In particular the high frequency weighting assists in generating projection images with sharp appearance and reduces erroneously synthesized fine details