A hybrid approach for stain normalisation in digital histopathological images

Stain in-homogeneity adversely affects segmentation and quantifi-cation of tissues in histology images. Stain normalisation techniques have been used to standardise the appearance of images. However, most the available stain normalisation techniques only work on a particular kind of stain images. In addition, some of these techniques fail to utilise both the spatial and tex-tural information in histology images, leading to image tissue distortion. In this paper, a hybrid approach has been developed, based on an octree colour quantisation algorithm combined with the Beer-Lambert law, a modified blind source separation algorithm, and a modified colour transfer approach. The hybrid method consists of two stages the stain separation stage and colour transfer stage. An octree colour quantisation algorithm combined with Beer-Lambert law, and a modified blind source separation algorithm are used during the stain separation stage to computationally estimate the amount of stain in an histology image based on its chromatic and luminous response. A modified colour transfer algorithm is used during the colour transfer stage to minimise the effect of varying staining and illumination. The hybrid method addresses the colour variation problem in both H&DAB (Haemotoxylin and Diaminoben-zidine) and H&E (Haemotoxylin and Eosin) stain images. The stain normali-sation method is validated against ground truth data. It is widely known that the Beer-Lambert law applies to only stains (such as haematoxylin, eosin) that absorb light. We demonstrate that the Beer-Lambert law applies is applicable to images containing a DAB stain. Better stain normalisation results are obtained in both H&E and H&DAB images

Karakterizacija predkliničnega tumorskega ksenograftnega modela z uporabo multiparametrične MR

Introduction: In small animal studies multiple imaging modalities can be combined to complement each other in providing information on anatomical structure and function. Non-invasive imaging studies on animal models are used to monitor progressive tumor development. This helps to better understand the efficacy of new medicines and prediction of the clinical outcome. The aim was to construct a framework based on longitudinal multi-modal parametric in vivo imaging approach to perform tumor tissue characterization in mice. Materials and Methods: Multi-parametric in vivo MRI dataset consisted of T1-, T2-, diffusion and perfusion weighted images. Image set of mice (n=3) imaged weekly for 6 weeks was used. Multimodal image registration was performed based on maximizing mutual information. Tumor region of interested was delineated in weeks 2 to 6. These regions were stacked together, and all modalities combined were used in unsupervised segmentation. Clustering methods, such as K-means and Fuzzy C-means together with blind source separation technique of non-negative matrix factorization were tested. Results were visually compared with histopathological findings. Results: Clusters obtained with K-means and Fuzzy C-means algorithm coincided with T2 and ADC maps per levels of intensity observed. Fuzzy C-means clusters and NMF abundance maps reported most promising results compared to histological findings and seem as a complementary way to asses tumor microenvironment. Conclusions: A workflow for multimodal MR parametric map generation, image registration and unsupervised tumor segmentation was constructed. Good segmentation results were achieved, but need further extensive histological validation.Uvod Eden izmed pomembnih stebrov znanstvenih raziskav v medicinski diagnostiki predstavljajo eksperimenti na živalih v sklopu predkliničnih študij. V teh študijah so eksperimenti izvedeni za namene odkrivanja in preskušanja novih terapevtskih metod za zdravljenje človeških bolezni. Rak jajčnikov je eden izmed glavnih vzrokov smrti kot posledica rakavih obolenj. Potreben je razvoj novih, učinkovitejših metod, da bi lahko uspešneje kljubovali tej bolezni. Časovno okno aplikacije novih terapevtikov je ključni dejavnik uspeha raziskovane terapije. Tumorska fiziologija se namreč razvija med napredovanjem bolezni. Eden izmed ciljev predkliničnih študij je spremljanje razvoja tumorskega mikro-okolja in tako določiti optimalno časovno okno za apliciranje razvitega terapevtika z namenom doseganja maksimalne učinkovitosti. Slikovne modalitete so kot raziskovalno orodje postale izjemno popularne v biomedicinskih in farmakoloških raziskavah zaradi svoje neinvazivne narave. Predklinične slikovne modalitete imajo nemalo prednosti pred tradicionalnim pristopom. Skladno z raziskovalno regulativo, tako za spremljanje razvoja tumorja skozi daljši čas ni potrebno žrtvovati živali v vmesnih časovnih točkah. Sočasno lahko namreč s svojim nedestruktivnim in neinvazivnim pristopom poleg anatomskih informacij podajo tudi molekularni in funkcionalni opis preučevanega subjekta. Za dosego slednjega so običajno uporabljene različne slikovne modalitete. Pogosto se uporablja kombinacija več slikovnih modalitet, saj so medsebojno komplementarne v podajanju željenih informacij. V sklopu te naloge je predstavljeno ogrodje za procesiranje različnih modalitet magnetno resonančnih predkliničnih modelov z namenom karakterizacije tumorskega tkiva. Metodologija V študiji Belderbos, Govaerts, Croitor Sava in sod. [1] so z uporabo magnetne resonance preučevali določitev optimalnega časovnega okna za uspešno aplikacijo novo razvitega terapevtika. Poleg konvencionalnih magnetno resonančnih slikovnih metod (T1 in T2 uteženo slikanje) sta bili uporabljeni tudi perfuzijsko in difuzijsko uteženi tehniki. Zajem slik je potekal tedensko v obdobju šest tednov. Podatkovni seti, uporabljeni v predstavljenem delu, so bili pridobljeni v sklopu omenjene raziskave. Ogrodje za procesiranje je narejeno v okolju Matlab (MathWorks, verzija R2019b) in omogoča tako samodejno kot ročno procesiranje slikovnih podatkov. V prvem koraku je pred generiranjem parametričnih map uporabljenih modalitet, potrebno izluščiti parametre uporabljenih protokolov iz priloženih tekstovnih datotek in zajete slike pravilno razvrstiti glede na podano anatomijo. Na tem mestu so slike tudi filtrirane in maskirane. Filtriranje je koristno za izboljšanje razmerja med koristnim signalom (slikanim živalskim modelom) in ozadjem, saj je skener za zajem slik navadno podvržen različnim izvorom slikovnega šuma. Uporabljen je bil filter ne-lokalnih povprečij Matlab knjižnice za procesiranje slik. Prednost maskiranja se potrdi v naslednjem koraku pri generiranju parametričnih map, saj se ob primerno maskiranem subjektu postopek bistveno pospeši z mapiranjem le na želenem področju. Za izdelavo parametričnih map je uporabljena metoda nelinearnih najmanjših kvadratov. Z modeliranjem fizikalnih pojavov uporabljenih modalitet tako predstavimo preiskovan živalski model z biološkimi parametri. Le-ti se komplementarno dopolnjujejo v opisu fizioloških lastnosti preučevanega modela na ravni posameznih slikovnih elementov. Ključen gradnik v uspešnem dopolnjevanju informacij posameznih modalitet je ustrezna poravnava parametričnih map. Posamezne modalitete so zajete zaporedno, ob različnih časih. Skeniranje vseh modalitet posamezne živali skupno traja več kot eno uro. Med zajemom slik tako navkljub uporabi anestetikov prihaja do majhnih premikov živali. V kolikor ti premiki niso pravilno upoštevani, prihaja do napačnih interpretacij skupnih informacij večih modalitet. Premiki živali znotraj modalitet so bili modelirani kot toge, med različnimi modalitetami pa kot afine preslikave. Poravnava slik je izvedena z lastnimi Matlab funkcijami ali z uporabo funkcij iz odprtokodnega ogrodja za procesiranje slik Elastix. Z namenom karakterizacije tumorskega tkiva so bile uporabljene metode nenadzorovanega razčlenjevanja. Bistvo razčlenjevanja je v združevanju posameznih slikovnih elementov v segmente. Elementi si morajo biti po izbranem kriteriju dovolj medsebojno podobni in se hkrati razlikovati od elementov drugih segmentov. Za razgradnjo so bile izbrane tri metode: metoda K-tih povprečij, kot ena izmed enostavnejšihmetoda mehkih C-tih povprečij, s prednostjo mehke razčlenitvein kot zadnja, nenegativna matrična faktorizacija. Slednja ponuja pogled na razčlenitev tkiva kot produkt tipičnih več-modalnih značilk in njihove obilice za vsak posamezni slikovni element. Za potrditev izvedenega razčlenjevanja z omenjenimi metodami je bila izvedena vizualna primerjava z rezultati histopatološke analize. Rezultati Na ustvarjene parametrične mape je imela poravnava slik znotraj posameznih modalitet velik vpliv. Zaradi dolgotrajnega zajema T1 uteženih slik nemalokrat prihaja do premikov živali, kar brez pravilne poravnave slik negativno vpliva na mapiranje modalitet in kasnejšo segmentacijo slik. Generirane mape imajo majhno odstopanje od tistih, narejenih s standardno uporabljenimi odprtokodnimi programi. Klastri pridobljeni z metodama K-tih in mehkih C-tih povprečij dobro sovpadajo z razčlenbami glede na njihovo inteziteto pri T2 in ADC mapah. Najobetavnejše rezultate po primerjavi s histološkimi izsledki podajata metoda mehkih C-povprečij in nenegativna matrična faktorizacija. Njuni segmentaciji se dopolnjujeta v razlagi tumorskega mikro-okolja. Zaključek Z izgradnjo ogrodja za procesiranje slik magnetne resonance in segmentacijo tumorskega tkiva je bil cilj magistrske naloge dosežen. Zasnova ogrodja omogoča poljubno dodajanje drugih modalitet in uporabo drugih živalskih modelov. Rezultati razčlenitve tumorskega tkiva so obetavni, vendar je potrebna nadaljna primerjava z rezultati histopatološke analize. Možna nadgradnja je izboljšanje robustnosti poravnave slik z uporabo modela netoge (elastične) preslikave. Prav tako je smiselno preizkusiti dodatne metode nenadzorovane segmentacije in dobljene rezultate primerjati s tukaj predstavljenimi

Nuclei & Glands Instance Segmentation in Histology Images: A Narrative Review

Instance segmentation of nuclei and glands in the histology images is an important step in computational pathology workflow for cancer diagnosis, treatment planning and survival analysis. With the advent of modern hardware, the recent availability of large-scale quality public datasets and the community organized grand challenges have seen a surge in automated methods focusing on domain specific challenges, which is pivotal for technology advancements and clinical translation. In this survey, 126 papers illustrating the AI based methods for nuclei and glands instance segmentation published in the last five years (2017-2022) are deeply analyzed, the limitations of current approaches and the open challenges are discussed. Moreover, the potential future research direction is presented and the contribution of state-of-the-art methods is summarized. Further, a generalized summary of publicly available datasets and a detailed insights on the grand challenges illustrating the top performing methods specific to each challenge is also provided. Besides, we intended to give the reader current state of existing research and pointers to the future directions in developing methods that can be used in clinical practice enabling improved diagnosis, grading, prognosis, and treatment planning of cancer. To the best of our knowledge, no previous work has reviewed the instance segmentation in histology images focusing towards this direction.Comment: 60 pages, 14 figure

Radiogenomics Framework for Associating Medical Image Features with Tumour Genetic Characteristics

Significant progress has been made in the understanding of human cancers at the molecular genetics level and it is providing new insights into their underlying pathophysiology. This progress has enabled the subclassification of the disease and the development of targeted therapies that address specific biological pathways. However, obtaining genetic information remains invasive and costly. Medical imaging is a non-invasive technique that captures important visual characteristics (i.e. image features) of abnormalities and plays an important role in routine clinical practice. Advancements in computerised medical image analysis have enabled quantitative approaches to extract image features that can reflect tumour genetic characteristics, leading to the emergence of ‘radiogenomics’. Radiogenomics investigates the relationships between medical imaging features and tumour molecular characteristics, and enables the derivation of imaging surrogates (radiogenomics features) to genetic biomarkers that can provide alternative approaches to non-invasive and accurate cancer diagnosis. This thesis presents a new framework that combines several novel methods for radiogenomics analysis that associates medical image features with tumour genetic characteristics, with the main objectives being: i) a comprehensive characterisation of tumour image features that reflect underlying genetic information; ii) a method that identifies radiogenomics features encoding common pathophysiological information across different diseases, overcoming the dependence on large annotated datasets; and iii) a method that quantifies radiogenomics features from multi-modal imaging data and accounts for unique information encoded in tumour heterogeneity sub-regions. The present radiogenomics methods advance radiogenomics analysis and contribute to improving research in computerised medical image analysis

Multimodal FTIR Microscopy-guided Acquisition and Interpretation of MALDI Mass Spectrometry Imaging Data

Multimodale klinische Bildgebung stellt eine der bedeutendsten Entwicklung der letzten Jahrzehnte dar. Neben der Kombination komplementärer in vivo Sensoren in beispielsweise PET-MRI oder SPECT-CT sind auch ex vivo Analyseverfahren, welche eine genauere Beschreibung der Probe ermöglichen, in den Bereich der (prä)klinischen Diagnostik vorgedrungen. Eine der vielversprechendsten Techniken in diesem Zusammenhang stellt die bildgebende Massenspektrometrie dar, welche die Verteilungsmuster hunderter Biomoleküle oder Pharmazeutika semi-quantitativ erfasst. Dabei kommt das Verfahren ohne die Verwendung von markierten Substanzen aus und erlaubt eine höhere räumliche und spektrale Auflösung im Vergleich zu in vivo Sensoren. Allerdings unterliegt die Technik auch einigen wesentlichen Einschränkungen, da die Datenakquisition besonders bei der Verwendung von ultrahochauflösenden FTICR-Detektoren sehr langsam erfolgt. Die niedrige Durchsatzleistung und damit verbundene unhandliche Datenmenge erschwert somit die Analyse größerer Patientenkohorten, wodurch ein Bedarf an multimodalen Lösungsansätzen besteht. Ein geeignetes Verfahren in dieser Hinsicht stellt die Schwingungsspektroskopie (bsp. Infrarotspektroskopie) dar, welche räumliche Details vergleichsweise schnell erfasst; dabei allerdings keine Rückschlüsse auf die Verteilung bestimmter chemischer Substanzen ermöglicht. Im Rahmen der vorliegenden Arbeit wurde ein MATLAB-gestütztes Verfahren zur multimodalen Akquirierung von Infrarotspektroskopie- und Massenspektrometrie-Daten entwickelt und bewertet. Dabei werden räumliche Strukturen und Zellpopulationen innerhalb von Geweben mittels FTIR-basierter Clusteranalyse segmentiert. Anschließend kann die chemische Zusammensetzung einzelner Segmente zielgerichtet akquiriert und verglichen werden. Das entwickelte Verfahren funktioniert dabei unabhängig von konventioneller histopathologischer Gewebeannotation. Ein wichtiger Faktor bei Mittelinfrarot- und Massenspektrometrie-Messungen auf Gewebe stellt die Zusammensetzung der verwendeten Objektträger-Beschichtung dar. Für die Bewertung der erhaltenen Spektren und der damit verbundenen Bildsegmentierung wurden deshalb Experimente auf Indiumzinnoxid, Silberzinnoxid und Gold durchgeführt und verglichen. Dabei konnte gezeigt werden, dass Infrarot- und Massenspektrometrie-Bilder von der gleichen Probe auf Gold mit hoher Qualität aufgenommen werden können. Weiterhin konnte gezeigt werden, dass durch einfache Infrarotsegmentierung eine Identifizierung relevanter morphologischer Gehirnstrukturen möglich ist. Die erzielte räumliche Präzision und Auflösung der Infrarot-Segmente stellt dabei einen deutlichen Mehrwert gegenüber der direkten Segmentierung von Massenspektrometriebildern dar. Darüber hinaus können Infrarotsegmente bereits vor der eigentlichen MS-Messung generiert werden. Nach erfolgter Methodenentwicklung und Validierung konnte diese auf verschiedene diagnostische Studien angewendet werden. In einem ersten Anwendungsbeispiel konnten in Mäuse xenotransplantierte humane Glioblastomzellen mit erhöhter Präzision visualisiert werden. Darüber hinaus wurde eine im korrespondierenden H&E-Bild unauffällige, den Tumor-umschließende Struktur identifiziert. Durch den erfolgreichen Transfer der Infrarotsegmente in das Koordinatensystem von nachfolgend gemessenen MS-Bildern, konnten spezifische Markersignaturen automatisch extrahiert werden. Im Zuge dessen konnte die Authentizität Tumorstruktur sowie der zweiten Tumor-assoziierten Struktur durch spezifische Massen bekräftigt werden. In einer weiteren Studie, wurde die entwickelte Methode für das automatische Screening von Markersignaturen in Niemann-Pick Typ C1 ähnlichen murinen Kleinhirnschnitten getestet. Dabei konnten regionsspezifische, im Gesamtdatensatz insignifikante Änderungen in der Lipidzusammensetzung automatisiert uns Annotations-unabhängig erfasst werden. In einer weiteren Infrarotspektroskopie-Studie an 89 kryokonservierten GIST Schnitten von 27 Patienten konnte eine schnelle und simultane Segmentierung aller Gewebeproben exemplarisch gezeigt werden. Dabei wurden farbkodierte Bilder aller Proben generiert, in denen gleiche Farben für eine spektrale Ähnlichkeit stehen. Durch den Abgleich der erhaltenen Farbcodes mit histopathologisch annotierten Folgeschnitten konnten zwei der fünf dargestellten Farbgruppen mit dem Auftreten von Tumorzellen assoziiert werden. Die anderen Gruppen repräsentierten Fibrosen, Nekrosen und weitere nicht-tumoröse Gewebeanteile. Abschließend wurde die Struktur-gerichtete Akquisition von ultrahochauflösenden FTICR-MS Bildern gezeigt, welche auf Basis von Mittelinfrarotbildern der identischen Gewebeprobe abgeleitet wurden. Indem die zeitaufwändige MS-Messung ausschließlich auf kleinere Strukturen von Interesse (wie beispielsweise die Körnerzell-Schicht der Cornu Ammonis) gerichtet wurde, konnte eine Zeit- und Datenersparnis von bis zu 97.8% gegenüber der vollständigen Messung erreicht werden. Damit ist ein großer Schritt hin zur Implementierung von ultrahochauflösender Massenspektrometrie im klinischen Umfeld erfolgt