py4DSTEM: a software package for multimodal analysis of four-dimensional scanning transmission electron microscopy datasets

Scanning transmission electron microscopy (STEM) allows for imaging, diffraction, and spectroscopy of materials on length scales ranging from microns to atoms. By using a high-speed, direct electron detector, it is now possible to record a full 2D image of the diffracted electron beam at each probe position, typically a 2D grid of probe positions. These 4D-STEM datasets are rich in information, including signatures of the local structure, orientation, deformation, electromagnetic fields and other sample-dependent properties. However, extracting this information requires complex analysis pipelines, from data wrangling to calibration to analysis to visualization, all while maintaining robustness against imaging distortions and artifacts. In this paper, we present py4DSTEM, an analysis toolkit for measuring material properties from 4D-STEM datasets, written in the Python language and released with an open source license. We describe the algorithmic steps for dataset calibration and various 4D-STEM property measurements in detail, and present results from several experimental datasets. We have also implemented a simple and universal file format appropriate for electron microscopy data in py4DSTEM, which uses the open source HDF5 standard. We hope this tool will benefit the research community, helps to move the developing standards for data and computational methods in electron microscopy, and invite the community to contribute to this ongoing, fully open-source project

Advances in Bioengineering

The technological approach and the high level of innovation make bioengineering extremely dynamic and this forces researchers to continuous updating. It involves the publication of the results of the latest scientific research. This book covers a wide range of aspects and issues related to advances in bioengineering research with a particular focus on innovative technologies and applications. The book consists of 13 scientific contributions divided in four sections: Materials Science; Biosensors. Electronics and Telemetry; Light Therapy; Computing and Analysis Techniques

Intraoperative, Quantitative, and Non-Contact Blood Volume Flow Measurement via Indocyanine Green Fluorescence Angiography

In vielen Fällen unterziehen sich Patienten einer Revaskularisationsoperation wenn sie an einer zerebrovaskulären Erkrankung leiden, die eine Hypoperfusion des Gehirns verursacht. Dieser chirurgische Eingriff wird häufig als offene Operation durchgeführt und hat das Ziel, die Gefäßfunktion, insbesondere den Blutfluss, wiederherzustellen. Hierzu wird eine Anastomose (Verbindung von Arterien) angelegt, um den Fluss zu einem hypoperfundierten Gehirnareal zu erhöhen. In ungefähr 10% der Eingriffe treten nach der Operation Komplikationen auf, die zum Teil auf eine unzureichende Durchflusssteigerung zurückgeführt werden. Daher sollte der Blutfluss intraoperativ überprüft werden, um die Qualität des Eingriffs im Operationssaal zu beurteilen und schnell eingreifen zu können. Damit könnte ein negativer Ausgang für den Patienten verhindert werden. Der derzeitige Stand der Technik in der intraoperativen und quantitativen Blutflussmessung ist die Nutzung der Ultraschall-Transitzeit-Durchflusssonde. Sie gibt einen quantitativen Flusswert an, muss jedoch das Gefäß umschließen. Dies ist einerseits umständlich für den Chirurgen und andererseits birgt es das Risiko von Kontaminationen, Gefäßquetschungen und der Gefäßruptur. Eine alternative Methode ist die Indocyaningrün (ICG) Fluoreszenzangiographie (FA), welche eine kamerabasierte Methode ist. Sie ist der Stand der Technik in der hochauflösenden anatomischen Visualisierung des Situs und kann zusätzlich dem Chirurgen eine qualitative funktionelle Darstellung der Gefäße im Sichtfeld liefern. Der Stand der Wissenschaft zur Quantifizierung des Blutflusses mittels ICG-FA konnten bisher keine verlässlichen Fluss- werte liefern. Die vorliegende Arbeit analysiert und verbessert die Eignung von ICG FA zu Bereitstellung von verlässlichen und quantitativen Blutflusswerten, indem 1. geklärt wird, wie akkurat die Messung durchgeführt werden kann. 2. Methoden zur Verbesserung der Genauigkeit entwickelt werden. 3. die Existenz eines systematischen Fehlers abgeleitet wird. 4. eine Methode zur Kompensation des systematischen Fehlers entwickelt wird. 5. ein Algorithmus zur Verarbeitung der eingehenden Videodaten für eine Ausgabe eines Durchflusswertes bereitgestellt wird. 6. die Validierung der vorgeschlagenen Methoden und des Arbeitsablaufs in einer ex vivo und in vivo Studie durchgeführt wird. Die in dieser Arbeit vorgeschlagene Messung basiert auf dem systemic mean transit time theorem für Systeme mit einem Eingang und einem Ausgang. Um den Fluss zu berechnen müssen die Transitzeit eines ICG-Bolus für eine zu bestimmenden Strecke und die Querschnittsfläche des Gefäßes ermittelt werden. Es wurden Methoden entwickelt, um den Blutvolumenstrom zu messen und um Fehlerquellen bei dieser Messung der einzelnen Parameter zu identifizieren, quantifizieren und reduzieren. Die statistischen Fehler bei der Messung der Transitstrecke und der Transitzeit des ICG- Bolus sowie der Querschnittsfläche des Gefäßes werden in der Forschung oft vernachlässigt. In dieser Arbeit wurden die Fehler mit Hilfe von in silico Modellen quantifiziert. Es zeigte sich, dass der Fehler zu groß für eine zuverlässige Blutflussmessung ist und daher Methoden zu seiner Reduzierung benötigt werden. Um den Fehler bei der Längenmessung deutlich zu reduzieren, wurde eine Methode vorgestellt, welche die diskrete Mittellinie wieder in eine kontinuierliche überführt. Dabei wird der Fehler in der Längenmessung signifikant reduziert und der Fehler von der räumlichen Orientierung der Struktur entkoppelt. In ähnlicher Weise wurde eine Methode vorgestellt, welche die gemessenen diskreten Indikatorverdünnungskurven (IDCs) ebenso in kontinuierliche überführt, um den Fehler in der Laufzeitmessung des ICG-Bolus zu reduzieren. Der propagierte statistische Fehler der Blutflussmessung wurde auf einen akzeptablen und praktikablen Wert von 20 % bis 30 % reduziert. Die Präsenz eines systematischen Fehlers bei der optischen Messung des Blutflusses wurde identifiziert und aus der Definition des Volumenflusses theoretisch abgeleitet. Folgend wird eine Methode zur Kompensation des Fehlers vorgestellt. Im ersten Schritt wird eine Fluid-Strömungssimulation genutzt, um die räumlich-zeitliche Konzentration des ICG in einem Blutgefäß zu berechnen. Anschließend wird die Konzentration an ein neu entwickeltes Fluoreszenz-Monte-Carlo-Multizylinder (FMCMC) Modell übergeben, das die Ausbreitung von Photonen in einem Gefäß simuliert. Dabei wird der Ort der Fluoreszenzereignisse der emittierten Photonen ermittelt und der systematische Fehler bestimmt. Dies ermöglicht die Kompensation des systematischen Fehlers. Es zeigte sich, dass dieser Fehler unabhängig von dem Volumenfluss ist, solange die Strömung laminar ist, aber abhängig vom Durchmesser des Gefäßes und dem Zeitpunkt der Messung. Die Abhängigkeit vom Durchmesser ist reduziert bei Messungen zu einem früheren Zeitpunkt. Daher ist es vorteilhaft, die erste Ankunft des ICG-Bolus zur Bestimmung der Transitzeit zu verwenden, um den Einfluss des Durchmessers auf den Fehler zu verringern und somit die Messung robuster durchzuführen. Um die Genauigkeit der Messung in einem Experiment zu beweisen, wurde ein ex vivo Experiment unter Verwendung von Schweineblut und Kaninchen Aorten konzipiert und durchgeführt. Es zeigte sich, dass der durch den vorgeschlagenen Algorithmus ermittelte Fluss mit der Referenzmessung (einem industriellem Durchflussmesser) übereinstimmt. Die statistische Streuung der gemessenen Flussdaten durch den Algorithmus stimmte mit der zuvor ermittelten statistischen Fehlerspanne überein, was den in silico Ansatz validiert. Es wurde eine retrospektive in vivo Studie an Menschen durchgeführt, die sich einer extrakraniellen-zu-intrakraniellen (EC-IC) Bypass Operation unterzogen hatten. Die Analyse der FA-Daten ergab eine gute Übereinstimmung mit der klinischen Referenzmethode, jedoch mit dem großen Vorteil, dass kein Kontakt zum Gewebe erforderlich war. Zusätzlich wurde gezeigt, dass simultan Flusswerte für mehrere Gefäße im Sichtfeld der Kamera gemessen werden können. Die vorgestellten Ergebnisse sind ein Proof of Concept für die Eignung der vorgestellten intraoperativen, quantitativen und optischen Messung des Blutvolumenstroms mittels ICG FA. Diese Arbeit ebnet den Weg für den klinischen Einsatz dieser Methode in Ergänzung zum aktuellen klinischen Stand der Technik. Sie könnte zukünftig dem Chirurgen eine neuartige Messung des Blutvolumenstroms zur Verfügung stellen und dabei potentiell das Risiko einer Komplikation reduzieren und damit das Wohl der Patienten verbessern

Composition Determination of Semiconductors at Different Scattering Angles with the Help of Energy-Filtered STEM and Four-Dimensional STEM

In this study, the structural characterization of nanomaterials is performed by an extension of the established method which is used for quantitative STEM based on comparing the ADF-STEM image simulations and experiments. The limitations and capabilities of the method towards single atom accuracy are investigated. The method is further elaborated by determining more complex material systems as well as optimizing the imaging conditions to increase the accuracy. Accessing the composition determination method with high resolution in a single atom accuracy and potential of estimating the accuracy of the method emerges the idea to optimize the experimental condition by conducting a simulation study. A performed simulation study on several critical imaging parameters leads to optimization of the imaging condition and enhances the accuracy of the method. The result reveals the critical role of two ADF-STEM imaging parameters: the semi-convergence angle of the impinging beam as well as the detection angle of ADF detectors. The former can be simply tuned experimentally by the choice of STEM condenser aperture, while the latter demands a fast, pixelated detector allowing the flexible choice of detection angle. The study however indicated that the optimum imaging condition differs by sample thickness and material systems. This becomes more apparent in the case of material systems containing light elements, e.g. GaNxAs1-x. Due to their low amount of protons, the light elements do not efficiently scatter to the commonly used detection angles in Z-contrast HAADF STEM micrographs. Accordingly, lower detection angles should be chosen. In contrast to the HAADF in which the image intensity is dominated by only elastically scattered electrons leading to a perfect match between ADF-STEM image simulations and experimental results so many other parameters play a role in the intensity of the micrograph at a low angular regime. In this study, as the main source of discrepancy between STEM experiments and simulations at low scattering angles, the effect of plasmon excitations on the angular distribution of the STEM intensities is investigated. The comparison of energy-filtered and unfiltered diffraction patterns indicates the significant effect of inelastic scattering at angles in the range of 0-40 mrad. Considering the effect of plasmon excitation at low scattering angles, a further method is developed for the composition determination of material systems containing light elements at a low scattering angle based on EFSTEM. It is confirmed that the strain contrast induced by SADs causes higher scattering intensity at low scattering angles. Consequently, a material system containing SADs, i.e. GaNxAs1-x, is intentionally chosen to make the composition determination more reliable. There are also other sources of discrepancy between simulated and experimental STEM images such as neglecting the phonon correlations in image simulations, the effect of mistilt from the targeted crystalline zone-axis, and the existence of surface amorphous layers on ADF images. These errors are resolved either experimentally or by optimizing the detection angle with the help of a fast, pixelated detector. Here, Si as a model material is used to obtain the angular range with the perfect match between experiment and simulation. The method was applied on a sample containing GaNxAs1-x QWs embedded in GaAs barriers. The composition and the width of the QWs obtained by the new method are in very good agreement with XRD results. The new advanced four-dimensional detector in hand enables recording a full diffraction pattern for every electron probe position. So far the camera is utilized as an annular detector with the flexibility of choosing the optimum detection angle. However, it can be further expanded in optimizing the composition determination by the flexible choice of regions on diffraction pattern for which the intensity suits the best for quantitative STEM. As Pennycook suggests, the incoherent nature of HAADF-STEM results in simply interpretable micrographs with independent information at every atomic column of the crystalline materials. However, this interpretability is lost in the conventional high resolution TEM micrographs due to the dynamical scattering and the coherent nature of the image formation. Hence, avoiding any coherent information in the diffraction pattern such as Laue zones may lead to more localized information in real space and consequently a higher accuracy in composition determination. The combination of an in-column energy filter a fast pixelated detector is utilized to quantify the composition of different material systems at high accuracy. The fourdimensional detectors however, are capable of detecting the shift of the diffraction pattern's center-of-mass (COM) which is correlated to the local electric field within the crystal such as atomic potentials. The effect of quasi-elastic TDS on electric field determination is investigated in a simulation study showing a significant effect on electric field measurements. Future researches can be focused on utilizing the combination of EFSTEM and 4D-STEM to investigate the effect of another source of inelastic scattering, i.e. plasmon excitation, on COM shift.In dieser Studie wird eine Erweiterung der quantitativen Kompositionsbestimmung mittels STEM, die auf dem Vergleich von ADF-STEM-Bildsimulationen und Experimenten beruht, für die strukturelle Charakterisierung von Nanomaterialien untersucht. Die Grenzen und Möglichkeiten der Methode werden in Bezug auf die Bestimmung der Materialzusammensetzung mit atomarer Genauigkeit untersucht. Die Methode wird weiter optimiert, indem komplexere Materialsysteme bestimmt und die Abbildungsbedingungen angepasst werden, um die Genauigkeit zu optimieren. Aus dem Vorgang zur Methode der Kompositionsbestimmung mit hoher Auflösung bei Einzelatomgenauigkeit und dem Potenzial zur Abschätzung der Genauigkeit der Methode ergibt sich die Idee, die experimentellen Bedingungen durch eine Simulationsstudie zu optimieren. Eine Simulationsstudie zu mehreren kritischen Abbildungsparametern führt zur Optimierung der Abbildungsbedingungen und verbessert die Genauigkeit der Methode. Das Ergebnis zeigt die kritische Rolle von zwei ADF-STEM-Abbildungsparametern: der Semikonvergenzwinkel des auftreffenden Strahls und der Detektionswinkel der ADFDetektoren. Ersterer kann einfach experimentell durch die Wahl der STEM-Kondensor Aperturblende eingestellt werden, während letzterer einen schnellen, gepixelten Detektor erfordert, der eine flexible Wahl des Detektionswinkels ermöglicht. Die Studie hat jedoch gezeigt, dass die optimalen Abbildungsbedingungen je nach Probendicke und Materialsystem unterschiedlich sind. Dies wird besonders bei Materialsystemen, wie. GaNxAs1-x deutlich, die leichte Elemente enthalten. Aufgrund ihrer geringeren Anzahl an Protonen (Kernladungszahl: Z) streuen die leichten Elemente nicht e zient zu den üblicherweise verwendeten Detektionswinkeln in den HAADF-STEM-Bildern, welche auf dem Z-Kontrast basieren. Dementsprechend sollten niedrigere Detektionswinkel gewählt werden. Im Gegensatz zur HAADF Bildgebung, bei der die Bildintensität nur von elastisch gestreuten Elektronen dominiert wird und somit zu einer nahezu perfekten Übereinstimmung zwischen ADF-STEM-Bildsimulationen und experimentellen Ergebnissen führt, spielen viele andere Parameter eine Rolle für die Intensität der Beugungsmuster in einem niedrigen Winkelbereich. In dieser Studie wird als Hauptursache für die Diskrepanz zwischen STEM-Experimenten und -Simulationen bei niedrigen Streuwinkeln die Wirkungvon Plasmonenanregungen auf die Winkelverteilung der STEM-Intensitäten untersucht. Der Vergleich von energiegefilterten und ungefilterten Beugungsmustern zeigt den signifikanten Effekt von inelastischer Streuung bei Winkeln im Bereich von 0-40 mrad. Unter Berücksichtigung des Effekts der Plasmonenanregung bei niedrigen Streuwinkeln wird eine weitere Methode zur Bestimmung der Zusammensetzung auf der Grundlage von EFSTEM für Materialsysteme, welche leichte Elemente enthalten, entwickelt. Es wird bestätigt, dass der durch SADs induzierte Dehnungskontrast eine höhere Streuintensität bei kleinen Streuwinkeln verursacht. Daher wird absichtlich ein Materialsystem wie beispielsweise GaNxAs1-x gewählt, das SADs enthält, um die Bestimmung der Zusammensetzung zuverlässiger zu machen. Es gibt auch andere Quellen für die Diskrepanzen zwischen simulierten und experimentellen STEM-Bildern, wie z. B. die Vernachlässigung der Phononen-Korrelationen in den Bildsimulationen, die Auswirkung der Fehlorientierung der angestrebten kristallinen Zonenachse und das Vorhandensein von amorphen Oberflächenschichten auf ADF-Bildern. Diese Fehler werden entweder experimentell oder durch Optimierung des Erfassungswinkels mit Hilfe eines schnellen, gepixelten Detektors behoben. Hier wird Si als Modellmaterial verwendet, um den Winkelbereich mit der perfekten Übereinstimmung zwischen Experiment und Simulation zu erhalten. Die Methode wurde auf eine Probe angewendet, welche aus GaNxAs1-x QWs, eingebettet in GaAsBarrieren besteht. Die Zusammensetzung und die Breite der QWs, die mit der neuen Methode ermittelt wurden, stimmen sehr gut mit den XRD-Ergebnissen überein. Der neue fortschrittliche vierdimensionale Detektor ermöglicht die Aufnahme eines vollständigen Beugungsmusters für jede Scanposition des Elektronenstrahls. Bislang wird die Kamera als ringförmiger Detektor eingesetzt, bei dem der optimale Detektionswinkel flexibel gewählt werden kann. Sie kann jedoch weiter ausgebaut werden, um die Bestimmung der Zusammensetzung durch die flexible Wahl der Regionen im Beugungsmuster, für die die Intensität am besten für die quantitative STEM geeignet ist, zu optimieren, Wie Pennycook andeutet, führt die inkohärente Natur der HAADF STEM Bilden zu einfach interpretierbaren Beugungsmustern mit unabhängigen Informationen an jeder Atomsäule der kristallinen Materialien. Diese Interpretierbarkeit geht jedoch bei konventionellen hochauflösenden TEM-Aufnahmen aufgrund der dynamischen Streuung und der kohärenten Natur der Bilderzeugung verloren. Der Verzicht auf kohärente Informationen im Beugungsmuster, wie z. B. Laue-Zonen, kann daher zu einer besseren Lokalisierung der Informationen im realen Raum und folglich zu einer höheren Genauigkeit bei der Bestimmung der Materialzusammensetzung führen. Die Kombination eines Energiefilters mit einem schnellen Pixeldetektor wird genutzt, um die Zusammensetzung verschiedener Materialsysteme mit hoher Genauigkeit zu quantifizieren. Die vierdimensionalen Detektoren sind in der Lage, die Verschiebung des Massenschwerpunkts des Beugungsmusters (COM) zu erfassen, die mit dem lokalen elektrischen Feld innerhalb des Kristalls, z. B. den atomaren Potenzialen, korreliert ist. Die Auswirkung der quasi-elastischen thermisch diffusen Streuung auf die Bestimmung des elektrischen Feldes wurde in einer Simulationsstudie untersucht, die eine signifikante Auswirkung auf die Messungen des elektrischen Feldes zeigt. Zukünftige Forschungen können sich darauf konzentrieren, die Kombination von EFSTEM und 4DSTEM zu nutzen, um die Auswirkung anderer Quellen von inelastischer Streuung, wie z.B. Plasmonenanregung, auf die COM-Verschiebung zu untersuchen

3D exemplar-based image inpainting in electron microscopy

In electron microscopy (EM) a common problem is the non-availability of data, which causes artefacts in reconstructions. In this thesis the goal is to generate artificial data where missing in EM by using exemplar-based inpainting (EBI). We implement an accelerated 3D version tailored to applications in EM, which reduces reconstruction times from days to minutes. We develop intelligent sampling strategies to find optimal data as input for reconstruction methods. Further, we investigate approaches to reduce electron dose and acquisition time. Sparse sampling followed by inpainting is the most promising approach. As common evaluation measures may lead to misinterpretation of results in EM and falsify a subsequent analysis, we propose to use application driven metrics and demonstrate this in a segmentation task. A further application of our technique is the artificial generation of projections in tiltbased EM. EBI is used to generate missing projections, such that the full angular range is covered. Subsequent reconstructions are significantly enhanced in terms of resolution, which facilitates further analysis of samples. In conclusion, EBI proves promising when used as an additional data generation step to tackle the non-availability of data in EM, which is evaluated in selected applications. Enhancing adaptive sampling methods and refining EBI, especially considering the mutual influence, promotes higher throughput in EM using less electron dose while not lessening quality.Ein häufig vorkommendes Problem in der Elektronenmikroskopie (EM) ist die Nichtverfügbarkeit von Daten, was zu Artefakten in Rekonstruktionen führt. In dieser Arbeit ist es das Ziel fehlende Daten in der EM künstlich zu erzeugen, was durch Exemplar-basiertes Inpainting (EBI) realisiert wird. Wir implementieren eine auf EM zugeschnittene beschleunigte 3D Version, welche es ermöglicht, Rekonstruktionszeiten von Tagen auf Minuten zu reduzieren. Wir entwickeln intelligente Abtaststrategien, um optimale Datenpunkte für die Rekonstruktion zu erhalten. Ansätze zur Reduzierung von Elektronendosis und Aufnahmezeit werden untersucht. Unterabtastung gefolgt von Inpainting führt zu den besten Resultaten. Evaluationsmaße zur Beurteilung der Rekonstruktionsqualität helfen in der EM oft nicht und können zu falschen Schlüssen führen, weswegen anwendungsbasierte Metriken die bessere Wahl darstellen. Dies demonstrieren wir anhand eines Beispiels. Die künstliche Erzeugung von Projektionen in der neigungsbasierten Elektronentomographie ist eine weitere Anwendung. EBI wird verwendet um fehlende Projektionen zu generieren. Daraus resultierende Rekonstruktionen weisen eine deutlich erhöhte Auflösung auf. EBI ist ein vielversprechender Ansatz, um nicht verfügbare Daten in der EM zu generieren. Dies wird auf Basis verschiedener Anwendungen gezeigt und evaluiert. Adaptive Aufnahmestrategien und EBI können also zu einem höheren Durchsatz in der EM führen, ohne die Bildqualität merklich zu verschlechtern

Detection algorithms for spatial data

This dissertation addresses the problem of anomaly detection in spatial data. The problem of landmine detection in airborne spatial data is chosen as the specific detection scenario. The first part of the dissertation deals with the development of a fast algorithm for kernel-based non-linear anomaly detection in the airborne spatial data. The original Kernel RX algorithm, proposed by Kwon et al. [2005a], suffers from the problem of high computational complexity, and has seen limited application. With the aim to reduce the computational complexity, a reformulated version of the Kernel RX, termed the Spatially Weighted Kernel RX (SW-KRX), is presented. It is shown that under this reformulation, the detector statistics can be obtained directly as a function of the centered kernel Gram matrix. Subsequently, a methodology for the fast computation of the centered kernel Gram matrix is proposed. The key idea behind the proposed methodology is to decompose the set of image pixels into clusters, and expediting the computations by approximating the effect of each cluster as a whole. The SW-KRX algorithm is implemented for a special case, and comparative results are compiled for the SW-KRX vis-à-vis the RX anomaly detector. In the second part of the dissertation, a detection methodology for buried mine detection is presented. The methodology is based on extraction of color texture information using cross-co-occurrence features. A feature selection methodology based on Bhattacharya coefficients and principal feature analysis is proposed and detection results with different feature-based detectors are presented, to demonstrate the effectiveness of the proposed methodology in the extraction of useful discriminatory information --Abstract, page iii