convoHER2: A Deep Neural Network for Multi-Stage Classification of HER2 Breast Cancer

Generally, human epidermal growth factor 2 (HER2) breast cancer is more aggressive than other kinds of breast cancer. Currently, HER2 breast cancer is detected using expensive medical tests are most expensive. Therefore, the aim of this study was to develop a computational model named convoHER2 for detecting HER2 breast cancer with image data using convolution neural network (CNN). Hematoxylin and eosin (H&E) and immunohistochemical (IHC) stained images has been used as raw data from the Bayesian information criterion (BIC) benchmark dataset. This dataset consists of 4873 images of H&E and IHC. Among all images of the dataset, 3896 and 977 images are applied to train and test the convoHER2 model, respectively. As all the images are in high resolution, we resize them so that we can feed them in our convoHER2 model. The cancerous samples images are classified into four classes based on the stage of the cancer (0+, 1+, 2+, 3+). The convoHER2 model is able to detect HER2 cancer and its grade with accuracy 85% and 88% using H&E images and IHC images, respectively. The outcomes of this study determined that the HER2 cancer detecting rates of the convoHER2 model are much enough to provide better diagnosis to the patient for recovering their HER2 breast cancer in future

Gold-standard of HER2 breast cancer biopsies using supervised learning based on multiple pathologist annotations

Breast cancer is one of the most common cancer in women around the world. For diagnosis, pathologists evaluate biomarkers such as HER2 protein using immunohistochemistry over tissue extracted by a biopsy. Through microscopic inspection, this assessment estimates the intensity and integrity of the membrane cells' staining and scores the sample as 0, 1+, 2+, or 3+: a subjective decision that depends on the interpretation of the pathologist. This paper presents the preliminary data analysis of the annotations of three pathologists over the same set of samples obtained using 20x magnification and including $1,252$ non-overlapping biopsy patches. We evaluate the intra- and inter-expert variability achieving substantial and moderate agreement, respectively, according to Fleiss' Kappa coefficient, as a previous stage towards a generation of a HER2 breast cancer biopsy gold-standard using supervised learning from multiple pathologist annotations

Análisis de proteínas receptoras HER2 en imágenes de histología de cáncer de mama

En aquest estudi es presenta una solució basada en Deep Learning per identificar i classificar les cèl·lules d'imatges de càncer de mama tenyides amb HER2, una tinció que afecta la membrana cel·lular. Amb aquest propòsit, s'ha seguit un enfocament de segmentació semàntica, entrenant una xarxa U-Net amb un dataset de 105 imatges amb tinció HER2. Posteriorment, s'ha aplicat un post-processament amb algorismes morfològics de segmentació per tal de quantificar les cèl·lules i calcular el score associat al HER2 que s'assigna a cada pacient. S'han obtingut resultats satisfactoris, aconseguint amb el millor model un F1-score de 0.744 per a la detecció de cèl·lules i una precisió del 90% a la quantificació del score HER2, ambdós en el conjunt de validació. Per tant, els resultats demostren que és un bon mètode per a l'anàlisi d'aquest tipus de biomarcadors i que pot proporcionar suport als patòlegs.This study presents a Deep Learning-based solution to identify and classify cells in breast cancer images with HER2 staining, a staining that affects the cell membrane. For this purpose, a semantic segmentation approach has been followed, training a U-Net on a dataset with 105 HER2-stained images. Subsequently, a post-processing with morphological segmentation algorithms has been applied in order to quantify the cells and calculate the HER2-associated score assigned to each patient. Satisfactory results have been obtained, achieving with the best model an F1-score of 0.744 for cell detection and a 90% accuracy in the quantification of the HER2 score, both in the validation set. Therefore, the results demonstrate that it is a good method for the analysis of this type of biomarker and that it can provide support to pathologists.En este estudio se presenta una solución basada en Deep Learning para identificar y clasificar las células de imágenes de cáncer de mama teñidas con HER2, tinción que afecta la membrana celular. Para ello se ha seguido un enfoque de segmentación semántica, entrenando una U-Net en un dataset con 105 imágenes con tinción HER2. Posteriormente se ha aplicado un postprocesado con algoritmos morfológicos de segmentación para poder cuantificar las células y calcular el score asociado al HER2 que se asigna a cada paciente. Se han obtenido resultados satisfactorios, consiguiendo con el mejor modelo un F1-score del 0.744 para la detección de células y un 90% de accuracy en la cuantificación del score HER2, ambos en el conjunto de validación. Por lo tanto, los resultados demuestran que es un buen método para el análisis de este tipo de biomarcador y que puede dar soporte a los patólogos

Deep Learning in Breast Cancer Imaging: A Decade of Progress and Future Directions

Breast cancer has reached the highest incidence rate worldwide among all malignancies since 2020. Breast imaging plays a significant role in early diagnosis and intervention to improve the outcome of breast cancer patients. In the past decade, deep learning has shown remarkable progress in breast cancer imaging analysis, holding great promise in interpreting the rich information and complex context of breast imaging modalities. Considering the rapid improvement in the deep learning technology and the increasing severity of breast cancer, it is critical to summarize past progress and identify future challenges to be addressed. In this paper, we provide an extensive survey of deep learning-based breast cancer imaging research, covering studies on mammogram, ultrasound, magnetic resonance imaging, and digital pathology images over the past decade. The major deep learning methods, publicly available datasets, and applications on imaging-based screening, diagnosis, treatment response prediction, and prognosis are described in detail. Drawn from the findings of this survey, we present a comprehensive discussion of the challenges and potential avenues for future research in deep learning-based breast cancer imaging.Comment: Survey, 41 page

HEROHE Challenge: Predicting HER2 Status in Breast Cancer from Hematoxylin–Eosin Whole-Slide Imaging

Breast cancer is the most common malignancy in women worldwide, and is responsible for more than half a million deaths each year. The appropriate therapy depends on the evaluation of the expression of various biomarkers, such as the human epidermal growth factor receptor 2 (HER2) transmembrane protein, through specialized techniques, such as immunohistochemistry or in situ hybridization. In this work, we present the HER2 on hematoxylin and eosin (HEROHE) challenge, a parallel event of the 16th European Congress on Digital Pathology, which aimed to predict the HER2 status in breast cancer based only on hematoxylin–eosin-stained tissue samples, thus avoiding specialized techniques. The challenge consisted of a large, annotated, whole-slide images dataset (509), specifically collected for the challenge. Models for predicting HER2 status were presented by 21 teams worldwide. The best-performing models are presented by detailing the network architectures and key parameters. Methods are compared and approaches, core methodologies, and software choices contrasted. Different evaluation metrics are discussed, as well as the performance of the presented models for each of these metrics. Potential differences in ranking that would result from different choices of evaluation metrics highlight the need for careful consideration at the time of their selection, as the results show that some metrics may misrepresent the true potential of a model to solve the problem for which it was developed. The HEROHE dataset remains publicly available to promote advances in the field of computational pathology

Digital Histopathology of Cancer

Syöpä on merkittävä ja yleistyvä kansansairaus. Maailman terveysjärjestön mukaan syöpä on maailmanlaajuisesti toiseksi yleisin kuolinsyy sydän- ja verisuonitautien jälkeen. Jos ei-melanoottisia ihosyöpiä ei oteta huomioon, ovat tavallisimmat syöpätyypit naisilla rintasyöpä ja miehillä keuhkosyöpä ja eturauhassyöpä. Sitä mukaa kun syövän biologisten syntymekanismien ymmärrys on lisääntynyt, ovat myös hoitovaihtoehdot lisääntyneet. Useampi kuin joka neljäs uusi lääke, joka lanseerattiin vuosina 2010-2018, oli tarkoitettu syövän hoitoon. Jotta potilas voisi hyötyä tarjolla olevasta laajasta syöpälääkevalikoimasta ja minimoida lääkkeiden haittavaikutukset, tulee hoito kohdistaa hänen yksilölliseen syöpäänsä. Tätä varten syöpä on sekä diagnosoitava luotettavasti että luokiteltava yksityiskohtaisesti. Vaikka kajoamattomat kuvantamistutkimukset kuten magneettikuvaus ovat viime vuosina kehittyneet huomattavasti, on syöpädiagnostiikan perusta edelleen histopatologiassa eli leikkauksessa tai neulanäytteenotossa poistetun kudoksen mikroskooppisessa tutkimuksessa. Valomikroskooppi on pysynyt patologin pääasiallisena työvälineenä yli puolentoista vuosisadan ajan. Se on sallinut kudoksen tarkastelun aina solutasolle saakka ja jopa sitä pienempiin rakenteisiin. Tärkeitä lisätutkimuksia tavallisen valomikroskooppisen tutkimuksen lisäksi ovat proteiiniantigeenien osoittamistutkimukset, kuten immunohistokemia ja in situ - hybridisaatio, joita voidaan käyttää syöpäkudoksen luokittelemiseen. Syövän tarkalla diagnosoimisella ja luokittelulla on haasteensa. Yksi sellainen on Suomessa ja ulkomailla vallitseva pula patologeista. Toinen haaste liittyy kasvainten välisen vaihtelun arviointiin, joka on tärkeää kasvainten kasvutaipumuksen luokittelussa (esim. eturauhassyövän Gleason-luokitus) ja tiettyjen värjäysten tulkinnassa (esim. rintasyövän HER2-värjäytyminen). Todellisen biologisen vaihtelun lisäksi vaihtelua esiintyy patologien välisissä arvioissa (interobserver variation) sekä saman patologin luokitteluissa eri ajan hetkellä (intraobserver variation). Kolmas haaste on itse valomikroskooppi. Vaikka se on luotettava, halpa ja helppokäyttöinen diagnostiikkalaite, on sillä omat puutteensa modernin patologian laboratorion työnkulussa. Digitaalihistopatologia edustaa uutta tapaa toteuttaa patologin pääasiallinen työtehtävä syöpäpotilaan hoidossa: asettaa diagnoosi ja luokitella syöpä yksityiskohtaisesti. Siirtyminen valomikroskoopista tietokoneympäristöön tarjoaa monia etuja, joista muutamia on tutkittu tässä väitöskirjassa. Tämän tutkimuksen tarkoituksena oli kehittää ja testata digitaalipatologian sovelluksia syöpädiagnostiikan parantamiseksi. Osatöissä tutkittiin eturauhassyövän Gleason-luokituksen opettamista ja standardointia, rinta- ja eturauhassyövän immunohistokemiallisten värjäysten tulkintaa, digitaalinäytteille kehitettyä kuvanpakkausmenetelmää, sekä näyteskannerin optimaalisen kuvausresoluution määrittämistä. Väitöskirjassa osoitetaan, että digitaalinäytteitä voi käyttää eturauhaskoepalan Gleason-luokituksen tekemiseen ja että internet-pohjainen ohjelma voi edistää tulkitsijoiden välisen vaihtelun määrittämistä sekä Gleason-luokituksen opettamista ja standardisointia. Gleason-luokituksen ohella toinen tärkeä osa eturauhassyövän histopatologiaa on immunohistokemiallisten värjäysten tulkinta. Tässä väitöskirjassa esitetään menetelmä, jolla kahta digitaalinäytettä voidaan tutkia yhtäaikaisesti ja synkronoidusti. Menetelmää testattiin eturauhassyövän immunohistokemiallisella AMACR–p63-kaksoisvärjäyksellä yhdessä rutiininomaisen hematoksyliini–eosiini- värjäyksen kanssa. Tutkimuksessa osoitettiin, että tekniikkaa voidaan käyttää hyväksi histopatologian opetuksessa ja valikoiduissa tapauksissa kliinisessä diagnostiikassa. Keskeinen asia rintasyövän diagnostiikassa on HER2-statuksen tutkiminen, koska kasvaimia, joissa HER2 on yli-ilmentynyt, voidaan hoitaa anti-HER2- lääkkeillä. Yhdessä osatöistä tutkittiin digitaalisen kuva-analyysin käyttöä niin valomikroskooppikuvilla kuin digitaalinäytteillä tarkoituksena auttaa patologia määrittämään kirurgisesti poistetun kasvainkudoksen HER2-status. Työssä osoitettiin, että ilmaista ja kaikille avointa ohjelmistoa käyttämällä voitiin vähentää HER2-statuksen suhteen vaikeatulkintaisten tapausten määrää. Digitaalihistopatologian käyttöönotto rutiinidiagnostiikkaan on laajentumassa nopeasti. Yksi tekninen haaste on digitaalinäytteiden vaatiman suuren tallennuskapasiteetin hallinta. Tarve tallentaa suuria määriä tietoa edellyttää digitaalinäytteiden kuvanlaadun ja tiedostokoon yhteensovittamista. Yhdessä tämän väitöskirjan osatöistä tutkittiin skannerimikroskoopin optimaalisen kuvausresoluution määrittämistä. Menetelmää voidaan hyödyntää esimerkiksi vertailtaessa skannereita ennen hankintaa. Toisessa osatyössä esiteltiin uusi kuvanpakkausmenetelmä, joka suunniteltiin varta vasten histopatologisia digitaalinäytteitä varten niiden tiedostokoon minimoimiseksi ja siten tallennuskustannusten pienentämiseksi. Tämän väitöskirjan kaksi ensimmäistä osatyötä edustavat digitaalipatologian alkutaivalta ja tutkimuskenttä on kehittynyt sittemmin, mahdollisesti pieneltä osin edellä mainittujen tutkimusten löydösten myötä. Yhteenvetona osatyöt toivottavasti vievät digitaalipatologian alaa eteenpäin ja siten edesauttavat syöpäpotilaiden hoitoa.Cancer is a significant and growing public health concern. According to the World Health Organisation's estimates it is – after cardiovascular diseases – the second leading cause of death worldwide. Excluding non-melanoma skin cancers the most common types of cancer are for women breast cancer and for men lung cancer followed by prostate cancer. While the biological understanding of cancer has expanded, so too has the selection of available treatments. More than one fourth of all new medicines entering the market during 2010-2018 were for treating cancer. In order for a patient to benefit from the wide variety of cancer treatments, and avoid adverse effects, their unique cancer has to be matched with the appropriate treatment. For this the cancer needs to be both diagnosed accurately and classified in detail. Although non-invasive imaging methods, such as magnetic resonance imaging, have evolved substantially in recent years, the basis of cancer diagnosis is still in histopathology, that is, the pathological evaluation of tissue removed through surgery or needle biopsy. The light microscope has remained the pathologist's main diagnostic tool for a century and a half allowing for the examination of tissue down to cellular – and even subcellular – level. Important adjuncts to routine histopathological staining of tissue, needed for light microscopy, are techniques allowing for the visualization of protein antigens and nucleic acid in the tissue. These techniques, among which are immunohistochemistry and in situ hybridization, respectively, can be used for instance in the molecular characterization of cancer. There are challenges in meeting the need for accurate diagnosing and characterization of cancer. One such challenge is posed by the shortage of pathologists observed in Finland and elsewhere. Another challenge is the variability in the interpretation of the tumor growth pattern (grading, such as Gleason grading in prostate cancer) and in the interpretation of certain tissue staining patterns (such as the immunohistochemical staining of the HER2 molecule in breast cancer). This variability manifests itself both between pathologists (interobserver variation) and also in the same pathologist's work over time (intraobserver variation). A third challenge is presented by the fact that the light microscope – although a reliable, cheap, and easy-to-use diagnostic tool – has shortcomings in the modern day pathology service. Digital histopathology presents a new way of carrying out the central task of a pathologist in managing cancer patients, namely making the diagnosis and characterising the tumor in detail. Making the shift from a light microscope to a computer environment offers many benefits, some of which have been examined in this dissertation. The present study was carried out with the purpose of developing and testing applications of digital pathology in order to improve the histopathological diagnosis of cancer. The individual studies looked at advancing the teaching and standardization of Gleason grading or prostate cancer, aiding in the interpretation of immunohistochemical staining of prostate and breast cancer, as well as facilitating the implementation of digital pathology by way of a novel whole slide image optimised image compression algorithm and mapping the determinants of an optimal imaging resolution for a whole slide scanner. We demonstrated that whole slide images can be used to assess the Gleason grade of a prostate biopsy and that the use of an internet based platform can be beneficial in assessing interobserver variation in the grading and teaching and standardising the grading. Besides Gleason grading another important aspect of prostate histopathology is the interpretation of immunohistochemistry. We created a method of viewing two whole slide images simultaneously and synchronously and tested this method in visualising the AMACR-p63 double stain along with normal hematoxylin and eosin staining of prostate biopsies. We showed that this technique can be used for histopathology education as well as in clinical diagnostics in selected cases. A key issue in breast cancer diagnostics is defining the HER2 status of a tumor, that is, whether the tumor overexpresses the molecule and can then be treated with HER2 antibody based drugs. We studied the use of digital image analysis, using both photomicrographs and whole slide images, in aiding the pathologist in defining the HER2 status on a breast cancer surgical resection specimen. We showed that using a free and publicly available image analysis software can help to resolve cases otherwise deemed equivocal by conventional light microscopy. The introduction of digital histopathology into routine diagnostic work is underway. One technical challenge is managing the large amounts of image data generated by whole slide images. When there is a need to store large numbers of whole slide images it is essential to strike a balance between image fidelity and file size. To deal with this issue we studied the optimal imaging resolution of a whole slide scanner using a methodology that can be utilised for instance in comparing whole slide scanners before acquiring one. In addition we introduced a novel way of image compression suited for whole slide images in order to reduce the storage footprint, and cost, of whole slide images. The first two studies in this dissertation represent the very beginnings of whole slide imaging in pathology, and the field has advanced since then, perhaps in small part due to the findings in these studies. Taken together, the findings in this dissertation can hopefully advance the use of digital pathology in cancer diagnostics and thereby improve the care of cancer patients