Automatische Detektion ungefärbter Zellen in der Hellfeld-Mikroskopie

Bright field microscopy is preferred over other microscopic imaging modalities whenever ease of implementation and minimization of expenditure are main concerns. This simplicity in hardware comes at the cost of image quality yielding images of low contrast. While staining can be employed to improve the contrast, it may complicate the experimental setup and cause undesired side effects on the cells. In this thesis, we tackle the problem of automatic cell detection in bright field images of unstained cells. The research was done in context of the interdisciplinary research project COSIR. COSIR aimed at developing a novel microscopic hardware having the following feature: the device can be placed in an incubator so that cells can be cultivated and observed in a controlled environment. In order to cope with design difficulties and manufacturing costs, the bright field technique was chosen for implementing the hardware. The contributions of this work are briefly outlined in the text which follows. An automatic cell detection pipeline was developed based on supervised learning. It employs Scale Invariant Feature Transform (SIFT) keypoints, random forests, and agglomerative hierarchical clustering (AHC) in order to reliably detect cells. A keypoint classifier is first used to classify keypoints into cell and background. An intensity profile is extracted between each two nearby cell keypoints and a profile classifier is then utilized to classify the two keypoints whether they belong to the same cell (inner profile) or to different cells (cross profile). This two-classifiers approach was used in the literature. The proposed method, however, compares to the state-of-the-art as follows: 1) It yields high detection accuracy (at least 14% improvement compared to baseline bright field methods) in a fully-automatic manner with short runtime on the low-contrast bright field images. 2) Adaptation of standard features in literature from being pixel-based to adopting a keypoint-based extraction scheme: this scheme is sparse, scale-invariant, orientation-invariant, and feature parameters can be tailored in a meaningful way based on a relevant keypoint scale and orientation. 3) The pipeline is highly invariant with respect to illumination artifacts, noise, scale and orientation changes. 4) The probabilistic output of the profile classifier is used as input for an AHC step which improves detection accuracy. A novel linkage method was proposed which incorporates the information of SIFT keypoints into the linkage. This method was proved to be combinatorial, and thus, it can be computed efficiently in a recursive manner. Due to the substantial difference in contrast and visual appearance between suspended and adherent cells, the above-mentioned pipeline attains higher accuracy in separate learning of suspended and adherent cells compared to joint learning. Separate learning refers to the situation when training and testing are done either only on suspended cells or only on adherent cells. On the other hand, joint learning refers to training the algorithm to detect cells in images which contain both suspended and adherent cells. Since these two types of cells coexist in cell cultures with shades of gray between the two terminal cases, it is of practical importance to improve joint learning accuracy. We showed that this can be achieved using two types of phase-based features: 1) physical light phase obtained by solving the transport of intensity equation, 2) monogenic local phase obtained from a low-passed axial derivative image. In addition to the supervised cell detection discussed so far, a cell detection approach based on unsupervised learning was proposed. Technically speaking, supervised learning was utilized in this approach as well. However, instead of training the profile classifier using manually-labeled ground truth, a self-labeling algorithm was proposed with which ground truth labels can be automatically generated from cells and keypoints in the input image itself. The algorithm learns from extreme cases and applies the learned model on the intermediate ones. SIFT keypoints were successfully employed for unsupervised structure-of-interest measurements in cell images such as mean structure size and dominant curvature direction. Based on these measurements, it was possible to define the notion of extreme cases in a way which is independent from image resolution and cell type.Hellfeldmikroskopie wird immer dann anderen Mikroskopieverfahren vorgezogen, wenn großer Wert auf die Minimierung der Anschaffungskosten und die Einfachheit der Umsetzung gelegt wird. Diese Einfachheit der Hardware vermindert jedoch die Bildqualität und führt zu einem verringerten Kontrast in den erzeugten Bildern. Eine Einfärbung der Zellen kann zur Erhöhung des Kontrasts verwendet werden. Allerdings macht sie die Versuchsanordnung komplizierter und verursacht Nebenwirkungen auf die Zellen. In dieser Dissertation wurde das Problem der automatischen Detektion ungefärbter Zellen in Hellfeldmikroskopie-Bildern untersucht. Die Forschung fand im Rahmen des interdisziplinären Projekts COSIR statt. Ziel des Projekts COSIR war es, eine Mikroskop-Hardware zu entwickeln, mit der Zellkulturen innerhalb des Inkubators beobachtet werden können. Um Konstruktionschwierigkeiten zu vermeiden und Herstellungskosten gering zu halten, wurde die Hellfeldmikroskopie zur Umsetzung des COSIR-Projekts ausgewählt. Die Beiträge dieser Doktorarbeit sind im Folgenden zusammengefasst. Basierend auf überwachtem Lernen wurde eine Pipeline zur automatischen Zelldetektion entwickelt. Sie verwendet Scale Invariant Feature Transform (SIFT), Random Forests, und die agglomerative hierarchische Clusteranalyse (AHC), um Zellen zuverlässig zu detektieren. Als erster Schritt wurde ein Keypoint-Klassifikator zur Unterscheidung zwischen Zell- und Hintergrund-Keypoints eingesetzt. Danach wurde ein Intensitätsprofil zwischen je zwei nebeneinanderliegenden Zell-Keypoints extrahiert. Ein Profil-Klassifikator wurde danach verwendet, damit die Profile entweder als inner (in derselben Zelle) oder cross (zwischen zwei Zellen) klassifiziert werden. Dieser Zwei-Klassifikatoren-Ansatz wurde bereits in der Literatur verwendet. Im Gegensatz zu anderen State-of-the-Art Algorithmen trägt der vorgeschlagene Ansatz das Folgende bei: 1) Die Zelldetektion ist vollautomatisch, arbeitet mit hoher Genauigkeit (mindestens 14% besser als Baseline Hellfeld-Ansätze) und in kurzer Zeit auf kontrastarmen Hellfeldbildern. 2) Pixelbasierte Standardmerkmale aus der Literatur wurden basierend auf SIFT-Keypoints angepasst. Dieser Ansatz ist dünnbesetzt, skaleninvariant, rotationsinvariant, und die Parameter der Merkmale können basierend auf der relevanten Vergrößerung und der relevanten Orientierung sinnvoll angepasst werden. 3) Die vorgeschlagene Pipeline ist weitgehend invariant gegenüber Beleuchtungsartefakten, Rauschen, und Änderungen der Vergrößerung oder der Orientierung. 4) Die probabilistische Ausgabe des Profil-Klassifikators wird als Eingabe eines AHC-Verfahrens genutzt, was die Genauigkeit der Detektion verbessert. Ein neues Linkage-Verfahren wurde dargestellt, das die Informationen der SIFT-Keypoints ins Linkage-Verfahren einbezieht. Es wurde bewiesen, dass dieses Verfahren kombinatorisch ist. Daher kann es effizient in rekursiver Weise berechnet werden. Wegen des erheblichen Unterschieds zwischen adhärenten Zellen und Suspensionszellen sowohl im Kontrast als auch im Erscheinungsbild, liefert die oben aufgeführte Pipeline eine niedrigere Detektionsgenauigkeit bei gemeinsamem Lernen im Vergleich zum separaten Lernen. Separates Lernen bezieht sich auf die Situation, in der Training und Testen entweder nur auf adhärente Zellen oder nur auf Suspensionszellen angewandt werden. Auf der anderen Seite bezieht sich das gemeinsame Lernen auf die Situation, in der adhärente Zellen und Suspensionszellen zusammen in den Trainingsbildern enthalten sind. Da diese zwei Zelltypen in Zellkulturen koexistieren, ist die Verbesserung des gemeinsamen Lernens wichtig für die Praxis. Wir haben gezeigt, dass dieses Ziel mit zwei Typen phasenbasierter Merkmale erreicht werden kann: 1) Die Phase des physikalischen Lichts, die man durch das Lösen der Transport of Intensity Equation erhält. 2) Die monogene lokale Phase, die basierend auf einer tiefpassgefilterten axialen Ableitung berechnet werden kann. Zusätzlich zur bisher diskutierten überwachten Zelldetektion, wurde ein Ansatz zur unüberwachten Zelldetektion vorgeschlagen. Technisch gesehen, wurde auch hier überwachtes Lernen benutzt. Statt des Trainings des Profil-Klassifikators mit manuell gelabelten Ground-Truth-Daten, wurde ein Self-Labeling Algorithmus vorgeschlagen, mit dem Labels basierend auf Zellen und Keypoints im Bild automatisch erzeugt werden können. Der Algorithmus lernt aus extremen Fällen und wendet das gelernte Model auf die dazwischenliegenden Fälle an. SIFT-Keypoints wurden erfolgreich für Ermittlung der relevanten Strukturen (z.B. die mittlere Strukturgröße und die dominante Krümmungsrichtung) eingesetzt. Anhand dieser ermittelten Werte war es möglich, ein Konzept für die extremen Fälle zu definieren, das unabhängig von dem Zelltyp oder der Bildauflösung ist

Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety

Deployment of modern data-driven machine learning methods, most often realized by deep neural networks (DNNs), in safety-critical applications such as health care, industrial plant control, or autonomous driving is highly challenging due to numerous model-inherent shortcomings. These shortcomings are diverse and range from a lack of generalization over insufficient interpretability and implausible predictions to directed attacks by means of malicious inputs. Cyber-physical systems employing DNNs are therefore likely to suffer from so-called safety concerns, properties that preclude their deployment as no argument or experimental setup can help to assess the remaining risk. In recent years, an abundance of state-of-the-art techniques aiming to address these safety concerns has emerged. This chapter provides a structured and broad overview of them. We first identify categories of insufficiencies to then describe research activities aiming at their detection, quantification, or mitigation. Our work addresses machine learning experts and safety engineers alike: The former ones might profit from the broad range of machine learning topics covered and discussions on limitations of recent methods. The latter ones might gain insights into the specifics of modern machine learning methods. We hope that this contribution fuels discussions on desiderata for machine learning systems and strategies on how to help to advance existing approaches accordingly