Mining Images in Biomedical Publications: Detection and Analysis of Gel Diagrams

Authors of biomedical publications use gel images to report experimental results such as protein-protein interactions or protein expressions under different conditions. Gel images offer a concise way to communicate such findings, not all of which need to be explicitly discussed in the article text. This fact together with the abundance of gel images and their shared common patterns makes them prime candidates for automated image mining and parsing. We introduce an approach for the detection of gel images, and present a workflow to analyze them. We are able to detect gel segments and panels at high accuracy, and present preliminary results for the identification of gene names in these images. While we cannot provide a complete solution at this point, we present evidence that this kind of image mining is feasible.Comment: arXiv admin note: substantial text overlap with arXiv:1209.148

Figure Text Extraction in Biomedical Literature

Background: Figures are ubiquitous in biomedical full-text articles, and they represent important biomedical knowledge. However, the sheer volume of biomedical publications has made it necessary to develop computational approaches for accessing figures. Therefore, we are developing the Biomedical Figure Search engin

Probes, hardware and software for next-generation super-resolution microscopy

Super-resolution microscopy enables optical imaging using fluorescence probes below the diffraction limit. In stochastic super-resolution microscopy, molecules are „switched“ between non-fluorescent dark-state (OFF-state) and fluorescent bright-state (ON-state) in order to pinpoint their position with sub-diffraction precision. The most prominent techniques of localization-based super-resolution microscopy are photo-activated localization microscopy (PALM) and stochastic optical reconstruction microscopy (STORM). Here, the switching between dark- and bright-state is accomplished using photophysical or photochemical processes. A recently introduced super-resolution microscopy method called DNA-PAINT (deoxyribonucleic acid - point accumulation for imaging in nanoscale topography) is based on DNA-DNA interaction. In contrast to STORM or PALM, the fluorescence molecules do not switch between dark and bright states. The so-called „blinking“ in DNA-PAINT is created by transient hybridization of short fluorescent DNA strands (imagers) to their targets. The work in this dissertation focuses on three different advancements in the technological aspect of super-resolution microscopy. Probes In the first project of this thesis, I demonstrate the combination of single-molecule Förster resonance energy transfer (FRET) with DNA-PAINT imaging to overcome some current limitations of the DNA-based super-resolution microscopy. I evaluate the novel probe design with in vitro experiments using DNA nanostructures and prove the performance of the FRET-based probes in a cellular context. Hardware In the second project, I describe a cost-efficient single-molecule microscope platform, which is an order of magnitude more affordable, while still yielding high-performance imaging capacity. Using two-dimensional (2D) and three-dimensional (3D) super-resolution in vitro experiments using DNA nanostructures, I asses the performance of the microscopy platform. Finally, I present exemplary experiments for multiplexed cellular imaging. Software In the last project, I present a software package that is developed to assist during super-resolution data analysis. It is based on the deep learning concept of the artificial neural network (ANN) and designed to automate the classification of nano-scaled patterns found in super-resolution images. I evaluate the performance of the software package using super-resolution in vitro experiments of DNA nanostructures as well as targets in cellular samples.Die superauflösende Mikroskopie ermöglicht die optische Abbildung mittels Fluoreszenzsonden unterhalb der Beugungsgrenze. In stochastischen Superauflösungsmikroskopie werden Moleküle zwischen dem nicht-fluoreszierenden Zustand (OFF-Zustand) und dem fluoreszierenden Zustand (ON-Zusstand) “geschaltet“, um ihre Position präziser als die Beugungsgrenze zu bestimmen. Die bekanntesten Mikroskopietechniken der lokalisationsbasierten Superauflösungsmikroskopie sind photo-activated localization microscopy (PALM) und stochastic optical reconstruction microscopy (STORM). Hier wird die Umschaltung zwischen Dunkel- und Hellzustand mithilfe photophysikalischer oder photochemischer Prozesse durchgeführt. Eine kürzlich eingeführte Methode der Superauflösungsmikroskopie namens DNA-PAINT (deoxyribonucleic acid - point accumulation for imaging in nanoscale topography) basiert auf der DNA-DNA Wechselwirkung. Im Vergleich zu STORM oder PALM wechseln die Fluoreszenzmoleküle nicht zwischen dem dunklen und dem hellen Zustand. Das sogenannte “Blinken“ in DNA-PAINT wird durch transiente Hybridisierung kurzer fluoreszierender DNA Stränge (Imager) an ihre Ziele erzeugt. Die Arbeiten in dieser Dissertation konzentriert sich auf drei unterschiedliche Fortschritte im technologischen Aspekt der Superauflösungsmikroskopie. Sonden Im ersten Projekt dieser Arbeit zeige ich die Kombination von Einzelmolekül-Förster-Resonanzenergietransfer (englisch Förster resonance energy transfer (FRET)) mit DNA-PAINT Mikroskopie, um einige aktuelle Einschränkungen der DNA basierten Superauflösungsmikroskopie zu überwinden. Ich evaluiere das neuartige Sondendesign mithilfe von in vitro Experimenten mit DNA nanostructure und zeige die Leistungsfähigkeit der FRET-basierten Sonden im zellulären Kontext. Hardware Im zweiten Projekt beschreibe ich eine kosteneffiziente Mikroskop-Plattform für Einzelmolekülstudien, die um eine Größenordnung erschwinglicher ist und dennoch eine leistungsstarke Abbildungsfähigkeit bietet. Unter Verwendung von zweidimensionalen (2D) und dreidimensionalen (3D) in vitro Superauflösungsexperimenten von DNA Nanostrukturen bewerte ich die Leistung der Mikroskopie-Plattform. Schließlich zeige ich exemplarische Experimente für die zelluläre Bildgebung in mehreren Farben. Software Im letzten Projekt stelle ich ein Softwarepaket vor, das zur Unterstützung der Analyse von Daten in Superauflösungsmikroskopie entwickelt wurde. Es basiert auf dem Konzept des tiefen Lernens (englisch deep learning) mithilfe von künstlichen neuronalen Netzen und wurde entwickelt, um die Klassifikation von nanoskaligen Mustern zu automatisieren, die in superaufgelösten Bildern zu finden sind. Ich evaluiere die Leistung des Softwarepakets anhand von in vitro Superauflösungsexperimenten von DNA Nanostrukturen sowie von in Zellproben

Metadata matters: access to image data in the real world

Data sharing is important in the biological sciences to prevent duplication of effort, to promote scientific integrity, and to facilitate and disseminate scientific discovery. Sharing requires centralized repositories, and submission to and utility of these resources require common data formats. This is particularly challenging for multidimensional microscopy image data, which are acquired from a variety of platforms with a myriad of proprietary file formats (PFFs). In this paper, we describe an open standard format that we have developed for microscopy image data. We call on the community to use open image data standards and to insist that all imaging platforms support these file formats. This will build the foundation for an open image data repository

The transfer and persistence of environmental trace indicators, and methods for digital data acquisition from photographs and micrographs: applications for forensic science research

Environmental forms of trace evidence (such as mineral grains, pollen grains, algae, and sediment) can offer valuable insights within forensic casework. An issue facing forensic science as a whole, and these environmental indicators specifically, is a relative dearth of empirical research which would underpin the interpretation of such indicators when attempting forensic reconstruction. This thesis aims to address this lacuna, undertaking experiments to: (1) Explore variables which affect the rates of transfer and persistence, with specific focus upon quartz grains (a terrestrial indicator) and diatom valves (an aquatic indicator) upon footwear materials (a substrate that has been under-represented in past studies); (2) Conduct research into the effects of particle size and morphology upon transfer and persistence; (3) Develop and adapt methodologies to undertake this research. Accordingly, the outputs of this thesis are: (1) The creation of new datasets which could inform the interpretation of these trace indicators within forensic investigations and crime reconstruction scenarios and (2) The development of novel methodologies which could be employed in future research to attempt to accelerate data collection and analysis, without compromising on accuracy. This research is interdisciplinary, combining theory from forensic science, analytical techniques from the environmental sciences, and some elements of image processing and analysis. This research was funded by the Engineering and Physical Sciences Research Council of the United Kingdom through the Security Science Doctoral Training Research Centre (UCL SECReT) based at University College London (EP/G037264/1)

Hardware and software integration and testing for the automation of bright-field microscopy for tuberculosis detection

Automated microscopy for the detection of tuberculosis (TB) in sputum smears would reduce the load on technicians, especially in countries with a high TB burden. This dissertation reports on the development and testing of an automated system built around a conventional microscope for the detection of TB in Ziehl-Neelsen (ZN) stained sputum smears. Microscope auto-focusing, image analysis and stage movement were integrated. Images were captured at 40x magnification

Polyglycerol-based Biointerface Materials for Cellular Studies

Die in dieser Dissertation vorgestellten Projekte befassen sich hauptsächlich mit dem Zusammenspiel zwischen Zellen und synthetischen Polymermaterialien. Aufgrund der hervorragenden chemischen und biologischen Eigenschaften von Polyglycerin und seinen Derivaten wurde eine Vielzahl funktioneller Materialien entwickelt. Von zweidimensionalen Oberflächen mit bestimmten topographischen Strukturen bis hin zu dreidimensionalen immunmagnetischen Partikeln und Hydrogelen wurden Zelladhäsion, -erkennung und -proliferation untersucht und entsprechende Anwendungen vorgeschlagen. Im ersten Projekt wurden drei von Muscheln inspirierte Polyglycerin-Makromoleküle mit unterschiedlichen Molekularstrukturen und chemischen Zusammensetzungen synthetisiert. Als vielseitige Beschichtungsmaterialien wurden sie durch den Vergleich von jeweils zwei von ihnen die Einflüsse der Variante, d.h. der linearen/dendritischen Struktur und der Catechin/Amin-Zusammensetzung, auf die Beschichtungsergebnisse untersucht. Im Beschichtungsprozess spielt der Catechin-Gehalt bei der Oxidation die wichtigste Rolle, während die Amine bei der Vernetzung der Oxidationsmittel helfen. Eine höhere Catechol-Konzentration bedeutet daher eine schnellere Beschichtungsrate. Andererseits übertrifft der Beschichtungsprozess von dendritischem Polyglycerin trotz höherer Catechinfunktionalisierung den von linearem Polyglycerin, was auf die hohe Reaktionseffizienz von dendritischen Strukturen zurückzuführen ist. Daher kann dPG40 unter den drei MiPG-Typen innerhalb einer Stunde eine dicke, raue Beschichtung erreichen, lPG80 benötigt mehrere Stunden, während lPG40 nur eine einschichtige Beschichtung erzeugen kann. Je nach den Ergebnissen können für jedes dieser Produkte Anwendungen vorgeschlagen werden. Da Zellen beispielsweise eine Oberfläche mit einer bestimmten Rauheit bevorzugen, können dPG40 und lPG80 mit ihrer guten Abstimmbarkeit der Rauheit geeignete Substrate herstellen, an denen Zellen haften. Im zweiten Projekt brachten wir zunächst Polyglycerin in Eisennanopartikel ein, um gezielt Zellen einzufangen, und setzten dann Polyglycerin als Hydrogel-Plattform für die Zellkultur ein. Die faszinierenden Eigenschaften von Polyglycerin, wie z. B. Bio-Antifouling, einfache Nachfunktionalisierung und hervorragende Biokompatibilität, wurden nachgewiesen. Im ersten Teil wurden die immunmagnetischen Nanopartikel mit Polyglycerin von unerwünschten Zellen oder Molekülen abgeschirmt, die Zellerkennung und der Einfang erfolgten durch die Antikörper-Antigen-Interaktion. Es wurde eine hohe Effizienz, Selektivität und Spezifität erreicht. Später wurden die eingefangenen Zellen direkt in 98 Polyglycerin-Hydrogelen auf Acrylatbasis für die 3D-Kultur verkapselt. Wir haben aus den vercapselten Zellen erfolgreich multizelluläre Tumor-Sphäroide gezüchtet und anschließend das Screening von Antitumor-Medikamenten durchgeführt. Dies zeigt, dass unser Modell in der Flüssigbiopsie für die CTC-Forschung hervorragend geeignet ist und potenziell für die personalisierte Behandlung von Krebspatienten eingesetzt werden könnte. Ermutigt durch die erfolgreiche 3D-Kultur aus dem zweiten Projekt setzten wir die Erforschung der Möglichkeiten von Hydrogelen auf Polyglycerinbasis als ECM-Mimetika fort. Durch Änderung der Vernetzungschemie entwickelten wir ein nicht abbaubares Hydrogel als Vergleich zu dem abbaubaren Acrylat-Hydrogel, über das wir in Projekt 2 berichteten, und verwendeten es als Plattform für die 3D-Kultur. Es wurden verschiedene Zelllinien verwendet, die wir aus einzelnen Zellsuspensionen zu MCTS züchten konnten. Die Größe und Morphologie der MCTS wurden charakterisiert und wir konnten beweisen, dass unsere Plattform als vielseitiges Gerüst für die Erzeugung von MCTS dient. Im Gegensatz zu den Vorteilen des abbaubaren Hydrogels, das sich für die Freisetzung eignet, kann die nicht abbaubare Beschaffenheit in Situationen wie der Organoidbildung eingesetzt werden, in denen eine lange Kulturdauer erforderlich ist

Full Text and Figure Display Improves Bioscience Literature Search

When reading bioscience journal articles, many researchers focus attention on the figures and their captions. This observation led to the development of the BioText literature search engine [1], a freely available Web-based application that allows biologists to search over the contents of Open Access Journals, and see figures from the articles displayed directly in the search results. This article presents a qualitative assessment of this system in the form of a usability study with 20 biologist participants using and commenting on the system. 19 out of 20 participants expressed a desire to use a bioscience literature search engine that displays articles' figures alongside the full text search results. 15 out of 20 participants said they would use a caption search and figure display interface either frequently or sometimes, while 4 said rarely and 1 said undecided. 10 out of 20 participants said they would use a tool for searching the text of tables and their captions either frequently or sometimes, while 7 said they would use it rarely if at all, 2 said they would never use it, and 1 was undecided. This study found evidence, supporting results of an earlier study, that bioscience literature search systems such as PubMed should show figures from articles alongside search results. It also found evidence that full text and captions should be searched along with the article title, metadata, and abstract. Finally, for a subset of users and information needs, allowing for explicit search within captions for figures and tables is a useful function, but it is not entirely clear how to cleanly integrate this within a more general literature search interface. Such a facility supports Open Access publishing efforts, as it requires access to full text of documents and the lifting of restrictions in order to show figures in the search interface