Multiple Object Tracking in Light Microscopy Images Using Graph-based and Deep Learning Methods

Multi-Objekt-Tracking (MOT) ist ein Problem der Bildanalyse, welches die Lokalisierung und Verknüpfung von Objekten in einer Bildsequenz über die Zeit umfasst, mit zahlreichen Anwendungen in Bereichen wie autonomes Fahren, Robotik oder Überwachung. Neben technischen Anwendungsgebieten besteht auch ein großer Bedarf an MOT in biomedizinischen Anwendungen. So können beispielsweise Experimente, die mittels Lichtmikroskopie über mehrere Stunden oder Tage hinweg erfasst wurden, Hunderte oder sogar Tausende von ähnlich aussehenden Objekten enthalten, was eine manuelle Analyse unmöglich macht. Um jedoch zuverlässige Schlussfolgerungen aus den verfolgten Objekten abzuleiten, ist eine hohe Qualität der prädizierten Trajektorien erforderlich. Daher werden domänenspezifische MOT-Ansätze benötigt, die in der Lage sind, die Besonderheiten von lichtmikroskopischen Daten zu berücksichtigen. In dieser Arbeit werden daher zwei neuartige Methoden für das MOT-Problem in Lichtmikroskopie-Bildern erarbeitet sowie Ansätze zum Vergleich der Tracking-Methoden vorgestellt. Um die Performanz der Tracking-Methode von der Qualität der Segmentierung zu unterscheiden, wird ein Ansatz vorgeschlagen, der es ermöglicht die Tracking-Methode getrennt von der Segmentierung zu analysieren, was auch eine Untersuchung der Robustheit von Tracking-Methoden gegeben verschlechterter Segmentierungsdaten erlaubt. Des Weiteren wird eine graphbasierte Tracking-Methode vorgeschlagen, welche eine Brücke zwischen einfach anzuwendenden, aber weniger performanten Tracking-Methoden und performanten Tracking-Methoden mit vielen schwer einstellbaren Parametern schlägt. Die vorgeschlagene Tracking-Methode hat nur wenige manuell einstellbare Parameter und ist einfach auf 2D- und 3D-Datensätze anwendbar. Durch die Modellierung von Vorwissen über die Form des Tracking-Graphen ist die vorgeschlagene Tracking-Methode außerdem in der Lage, bestimmte Arten von Segmentierungsfehlern automatisch zu korrigieren. Darüber hinaus wird ein auf Deep Learning basierender Ansatz vorgeschlagen, der die Aufgabe der Instanzsegmentierung und Objektverfolgung gleichzeitig in einem einzigen neuronalen Netzwerk erlernt. Außerdem lernt der vorgeschlagene Ansatz Repräsentationen zu prädizieren, die für den Menschen verständlich sind. Um die Performanz der beiden vorgeschlagenen Tracking-Methoden im Vergleich zu anderen aktuellen, domänenspezifischen Tracking-Ansätzen zu zeigen, werden sie auf einen domänenspezifischen Benchmark angewendet. Darüber hinaus werden weitere Bewertungskriterien für Tracking-Methoden eingeführt, welche zum Vergleich der beiden vorgeschlagenen Tracking-Methoden herangezogen werden

Cell Segmentation and Tracking using CNN-Based Distance Predictions and a Graph-Based Matching Strategy

The accurate segmentation and tracking of cells in microscopy image sequences is an important task in biomedical research, e.g., for studying the development of tissues, organs or entire organisms. However, the segmentation of touching cells in images with a low signal-to-noise-ratio is still a challenging problem. In this paper, we present a method for the segmentation of touching cells in microscopy images. By using a novel representation of cell borders, inspired by distance maps, our method is capable to utilize not only touching cells but also close cells in the training process. Furthermore, this representation is notably robust to annotation errors and shows promising results for the segmentation of microscopy images containing in the training data underrepresented or not included cell types. For the prediction of the proposed neighbor distances, an adapted U-Net convolutional neural network (CNN) with two decoder paths is used. In addition, we adapt a graph-based cell tracking algorithm to evaluate our proposed method on the task of cell tracking. The adapted tracking algorithm includes a movement estimation in the cost function to re-link tracks with missing segmentation masks over a short sequence of frames. Our combined tracking by detection method has proven its potential in the IEEE ISBI 2020 Cell Tracking Challenge (http://celltrackingchallenge.net/) where we achieved as team KIT-Sch-GE multiple top three rankings including two top performances using a single segmentation model for the diverse data sets.Comment: 25 pages, 14 figures, methods of the team KIT-Sch-GE for the IEEE ISBI 2020 Cell Tracking Challeng

EmbedTrack—Simultaneous Cell Segmentation and Tracking Through Learning Offsets and Clustering Bandwidths

A systematic analysis of the cell behavior requires automated approaches for cell segmentation and tracking. While deep learning has been successfully applied for the task of cell segmentation, there are few approaches for simultaneous cell segmentation and tracking using deep learning. Here, we present EmbedTrack, a single convolutional neural network for simultaneous cell segmentation and tracking which predicts easy to interpret embeddings. As embeddings, offsets of cell pixels to their cell center and bandwidths are learned. We benchmark our approach on nine 2D data sets from the Cell Tracking Challenge, where our approach performs on seven out of nine data sets within the top 3 contestants including three top 1 performances. The source code is publicly available at https://git.scc.kit.edu/kit-loe-ge/embedtrack.Comment: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

A graph-based cell tracking algorithm with few manually tunable parameters and automated segmentation error correction

Automatic cell segmentation and tracking enables to gain quantitative insights into the processes driving cell migration. To investigate new data with minimal manual effort, cell tracking algorithms should be easy to apply and reduce manual curation time by providing automatic correction of segmentation errors. Current cell tracking algorithms, however, are either easy to apply to new data sets but lack automatic segmentation error correction, or have a vast set of parameters that needs either manual tuning or annotated data for parameter tuning. In this work, we propose a tracking algorithm with only few manually tunable parameters and automatic segmentation error correction. Moreover, no training data is needed. We compare the performance of our approach to three well-performing tracking algorithms from the Cell Tracking Challenge on data sets with simulated, degraded segmentation—including false negatives, over- and under-segmentation errors. Our tracking algorithm can correct false negatives, over- and under-segmentation errors as well as a mixture of the aforementioned segmentation errors. On data sets with under-segmentation errors or a mixture of segmentation errors our approach performs best. Moreover, without requiring additional manual tuning, our approach ranks several times in the top 3 on the 6(th) edition of the Cell Tracking Challenge

Simulation of Synthetically Degraded Tracking Data to Benchmark MOT Metrics

Multiple object tracking (MOT) is an essential task in computer vision, with many practical applications in surveillance, robotics, autonomous driving, and biology. To compare different MOT algorithms efficiently and select the best MOT algorithm for an application, we rely on tracking metrics that reduce the performance of a tracking algorithm to a single score. However, there is a lack in testing the tracking metrics themselves, which can result in unnoticed biases or flaws in tracking metrics that can influence the decision of selecting the best tracking algorithm. To check tracking metrics for possible limitations or biases towards penalizing specific tracking errors, a standardized evaluation of tracking metrics is needed. We propose benchmarking tracking metrics using synthetic, erroneous tracking results that simulate real-world tracking errors. First, we select common real-world tracking errors from the literature and describe how to emulate them. Then, we validate our approach by reproducing previously found tracking metric limitations through simulating specific tracking errors. In addition, our benchmark reveals a before unreported limitation in the tracking metric AOGM. Moreover, we make an implementation of our benchmark publicly available

Einfluß von Okklusionseffekten auf die Epikutantestung mit Natriumlaurylsulfat

In der Bestimmung der Hautempfindlichkeit bei Epikutantestungen mit dem anionischen Detergens Natriumlaurylsulfat (NLS) werden verschiedene nicht-invasive hautphysiologische Meßverfahren eingesetzt. Weit verbreitet sind die in der vorliegenden Studie eingesetzten Messungen der Hautdurchfeuchtung mittels Corneometrie, des Hauterythems mittels Chromametrie und des transepidermalen Wasserverlustes (TEWL), der die durch die Haut pro Zeiteinheit abgegebene Wassermenge erfaßt. Diese setzt sich zusammen aus der passiven Diffusion von Wasser durch die Epidermis und der Wasserabgabe über die Schweißdrüsen und ermöglicht so eine Aussage über die Wasserpermeabilitätsbarriere der Epidermis. Ziel dieser Studie war es, bei der Epikutantestung mit NLS unterschiedlicher Konzentrationen im Vergleich zu Wasser und einer Leerkammer als Kontrolle den Zeitpunkt nach der Abnahme der Testpflaster zu ermitteln, an dem diese Okklusionseffekte auf die Erfassung der Hautreaktion mittels TEWL, Corneometrie und Chromametrie weitgehend abgeklungen sind. Wir führten bei 45 hautgesunden Probanden im Alter zwischen 18 und 70 Jahren an jeweils einer Unterarmbeugeseite einen Epikutantest mit NLS 0,25 %, NLS 0,5 % sowie zum Vergleich mit einer mit Wasser befüllten Testkammer und einer Leerkammer durch. Bei 15 Probanden wurden die Testpflaster nach 12 Stunden, bei weiteren 15 Probanden nach 24 Stunden und bei den übrigen 15 Probanden nach 48 Stunden entfernt. Die Messungen erfolgten unmittelbar nach Abnahme der Testpflaster, alle 15 Minuten nach Pflasterabnahme innerhalb der ersten Stunde, anschließend alle 30 Minuten bis 3 Stunden sowie erneut 24 Stunden nach Pflasterabnahme. Signifikante Unterschiede der Meßwerte bezüglich der unterschiedlichen Applikationsdauer waren nicht nachweisbar, daher erfolgte eine gemeinsame Auswertung der Testergebnisse. Unmittelbar nach Entfernen der Testpflaster zeigte sich bei allen Testkammern zunächst eine steile Zunahme der TEWL- und der Corneometrie-Meßwerte, welche durch die Hyperhydratation unter Okklusion mit nachfolgend stärkerer Schädigung der Wasserpermeabilitätsbarriere bedingt ist. Innerhalb der ersten 15 Minuten nach Pflasterabnahme fielen die Meßwerte deutlich ab, bedingt durch die Abdiffusion eines Großteils des überschüssigen Wassers. Darüberhinaus war jedoch eine weitere signifikante Abnahme der TEWL-Werte im zeitlichen Verlauf aufeinanderfolgender Messungen bis zum Übergang in eine Plateauphase für die Leerkammer bis 150 Minuten, für die Wasserkammer sogar bis 180 Minuten nach Pflasterabnahme sichtbar. Für beide NLS-Kammern war eine weitere signifikante Abnahme der TEWL-Werte bis 120 Minuten nach Entfernen der Testpflaster noch nachweisbar. Dies ist durch die wesentlich stärkere, konzentrationsabhängige Schädigung der epidermalen Wasserschutzbarriere durch das Irritans NLS bedingt mit nachfolgend rascher Abdiffusion des retinierten Wassers. Bei der Leerkammer und der Wasserkammer sind aufgrund der geringer geschädigten Wasserpermeabilitätsbarriere (durch die das retinierte Wasser langsamer verdampft) diese TEWL-Okklusionsartefakte noch länger sichtbar. Bezüglich der Hautoberflächenfeuchtigkeit war nach dem intitalen Anstieg der Cornemoetrie-Werte durch die Hyperhydratation ein signifikanter Abfall durch Abdiffusion des retinierten Wassers nur bis zu 15 Minuten nach Pflasterabnahme nachweisbar, sodaß der Einfluß von Okklusionseffekten auf die Corneometrie eher als kurzzeitig zu bewerten ist. Ebenso erscheint der Einfluß der Okklusion auf das entzündliche Hautcolorit nur kurzzeitig mit einer vorübergehenden Abnahme der Hautrötung bis 15 Minuten nach Abnahme des Testpflasters. Dies ist in erster Linie durch eine temporäre Mazeration der oberflächlichen Hautschichten aufgrund der Hyperhydratation unter Okklusion zu erklären. Die Ergebnisse der vorliegenden Arbeit zeigen, daß die Erfassung der Hautreaktionen bei Epikutantestungen mit dem Irritans NLS - insbesondere mittels TEWL - später als 3 Stunden nach Entfernen der Testpflaster erfolgen sollte, um Okklusionseffekte auf die Meßergebnisse zu vermeiden. Aus praktischen Gründen ist auch eine Evaluation der Testergebnisse 24 Stunden nach Entfernen der Testpflaster unter Beachtung des Einflusses beginnender Regenerationsprozesse und auftretender „Crescendo-Effekte“ des Irritans NLS möglich. Aufgrund dieser Ergebnisse sollten international weit verbreitete Testprotokolle (mit einer Ruhephase von nur 30 Minuten nach Pflasterabnahme) dringend überarbeitet werden

editorial: leben in bewegung. interdependenzen zwischen biographie, migration und geschlecht

Wenn es um die Relationen zwischen Biographien und Migrationen geht, sind klare Verhältnisse kaum zu erwarten – schon eher Heterogenitäten, Gleichzeitigkeiten und Widersprüchlichkeiten. Dieser Mehrdimensionalität und den Interdependenzen zwischen Biographien und Migrationen und damit der beständigen Interaktion und Bewegung zwischen diesen Dimensionen menschlichen Lebens, Erlebens und Darstellens als eines prinzipiell nie abgeschlossenen Prozesses gilt das Interesse dieses Bandes. Ob die jeweilige Forschungsperspektive nun Formen des biographischen Erzählens, der Mobilität und Migration zum Ausgangspunkt hat – grundsätzlich sollte dem Gefüge zwischen menschlichen Erfahrungen des Ortswechsels in spezifischen historischen und sozialen Konstellationen und deren Resonanzen und Spiegelungen in Formen biographischen Erzählens in ihrer engen Verschränkung mit der Kategorie Geschlecht systematische Aufmerksamkeit zukommen

Interactive versus Reproductive Learning, a Comparison of Medical School Graduates with Participants of a Postgraduate CPD Session

Aims: In order to develop the e-learning teaching material for medical professionals who are not physicians, we compared solution-based interactive and reading-based reproductive learning with regard to the increase of knowledge. Furthermore we tried to identify additional factors influencing learning

Interactive versus Reproductive Learning, a Comparison of Medical School Graduates with Participants of a Postgraduate CPD Session

Aims: In order to develop the e-learning teaching material for medical professionals who are not physicians, we compared solution-based interactive and reading-based reproductive learning with regard to the increase of knowledge. Furthermore we tried to identify additional factors influencing learning