Evaluation du score mitotique des carcinomes mammaires infiltrants : développement et apport d’un algorithme de détection de mitoses

Introduction : Elston-Ellis grade, which the mitotic score assessment is one of the elements, is a major prognostic factor for invasive breast carcinoma. The reproducibility of its evaluation remains discussed. In digital pathology, the underestimation of the reported mitotic score could be avoided by the use of artificial intelligence tools. Our goal was to develop a mitosis detection algorithm and its user interface, and then test their contribution to the evaluation of the mitotic score and its impact on the intra- and inter-observer reproducibility of the evaluation. Materials and Methods : two databases were used, one of 2259 mitoses labeled from 32 slides of invasive breast carcinoma and that of the MIDOG2021 challenge. The algorithm includes the detection of objects that may correspond to mitoses, then the classification of objects (mitosis/non-mitosis). On the developed interface, retained mitoses and areas of higher mitotic density are annotated facilitating counting and scoring determination. To evaluate this tool, four pathologists performed a mitotic count without then with his assistance, with wash-out of 3 weeks, on 2 mm² predefined area on 50 slides of invasive breast carcinoma. Results : the intraclass correlation coefficient (ICC) for the mitotic count of pathologists was 0.716 CI [0.531 - 0.833] without and 0.746 CI [0.543 - 0.859] with algorithm assistance. Between pathologists, Cohen's kappa for mitotic score reproducibility ranged from 0.339 to 0.752 without and from 0.496 to 0.890 with algorithm assistance. The ICC for the mitotic count between pathologists and algorithm ranged from 0.449 CI [0.101 - 0.678] to 0.769 CI [0.627 - 0.862]. Cohen's kappa for reproducibility of the mitotic score between each pathologist and the algorithm ranged from 0.424 to 0.687. Fifty-two percent of mitoses annotated were annotated by at least two pathologists and only 14% were agreed upon by all four observers. The performance of the algorithm to recognize mitosis detected by the four pathologists was comparable to that of the pathologists among themselves. Discussion : the reproducibility of pathologists in the evaluation of the mitotic score on a defined area was not significantly increased by the use of the algorithm. The algorithm's performance in recognizing mitotic figures was comparable to that of pathologists and for three of them, the mitotic counts and corresponding scores were comparable to those predicted by the algorithm. Conclusion and Outlook : the performance of the developed mitosis detection algorithm makes it possible to consider its routine integration into the pathologist's workflow. This integration will be preceded by the evaluation of its application on whole slide image concerning the mitotic count, the corresponding score and the choice of the counting area with analysis of the reproducibility of the pathologists.Introduction : le grade d'Elston-Ellis, dont l’évaluation du score mitotique est un des éléments, est un facteur pronostique majeur du carcinome mammaire infiltrant. La reproductibilité de son évaluation reste néanmoins discutée. En pathologie numérique, la sous-estimation du score mitotique rapportée pourrait être évitée par l’utilisation d’outils d’intelligence artificielle. Notre objectif était de développer un algorithme de détection de mitoses et son interface utilisateur, puis de tester leur apport pour l’évaluation du score mitotique et son impact sur la reproductibilité intra- et inter-observateur des pathologistes.Matériel et Méthodes : deux bases de données ont été utilisées, une de 2259 mitoses labellisées à partir de 32 lames de carcinome mammaire infiltrant et celle du challenge MIDOG2021. L’algorithme comprend la détection des objets pouvant correspondre à des mitoses, puis la classification des objets (mitose/"non-mitose"). Sur l’interface développée, les mitoses retenues et les zones de plus forte densité mitotique sont annotées facilitant le comptage et la détermination du score. Pour évaluer cet outil, quatre pathologistes ont réalisé un compte mitotique sans puis avec son assistance, avec wash-out de 3 semaines, sur une surface de 2 mm² prédéfinie sur 50 lames de carcinome mammaire infiltrant.Résultats : le coefficient de corrélation intra-classe (CCI) pour le compte mitotique des pathologistes était de 0,716 IC [0,531 - 0,833] sans et de 0,746 IC [0,543 - 0,859] avec assistance de l’algorithme. Entre les pathologistes, le kappa de Cohen pour la reproductibilité du score mitotique variait entre 0,339 et 0,752 sans et entre 0,496 et 0,890 avec assistance de l’algorithme. Le CCI pour le compte mitotique entre pathologistes et algorithme variait entre 0,449 IC [0,101 - 0,678] et 0,769 IC [0,627 - 0,862]. Le kappa de Cohen pour la reproductibilité du score mitotique entre chaque pathologiste et l’algorithme variait entre 0,424 et 0,687. Cinquante-deux pour cent des mitoses annotées l’ont été par au moins deux pathologistes et seuls 14% ont fait l’objet d’un consensus par les quatre observateurs. Les performances de l’algorithme pour reconnaître les mitoses détectées par les quatre pathologistes étaient comparables à celles des pathologistes entre eux.Discussion : la reproductibilité des pathologistes dans l’évaluation du score mitotique sur une surface définie n'était pas significativement augmentée par l’utilisation de l’algorithme. Les performances de l’algorithme pour reconnaître les figures mitotiques étaient comparables à celles des pathologistes et pour trois d’entre eux, les comptes mitotiques et les scores correspondant étaient comparables à ceux prédits par l’algorithme.Conclusion et Perspectives : les performances de l’algorithme de détection de mitoses développé permettent d'envisager son intégration en routine dans le flux de travail du pathologiste. Cette intégration sera précédée de l’évaluation de son apport sur lame entière concernant le compte mitotique, le score correspondant et le choix de la zone de comptage avec analyse de la reproductibilité des pathologistes

Multicenter automatic detection of invasive carcinoma on breast whole slide images.

Breast cancer is one of the most prevalent cancers worldwide and pathologists are closely involved in establishing a diagnosis. Tools to assist in making a diagnosis are required to manage the increasing workload. In this context, artificial intelligence (AI) and deep-learning based tools may be used in daily pathology practice. However, it is challenging to develop fast and reliable algorithms that can be trusted by practitioners, whatever the medical center. We describe a patch-based algorithm that incorporates a convolutional neural network to detect and locate invasive carcinoma on breast whole-slide images. The network was trained on a dataset extracted from a reference acquisition center. We then performed a calibration step based on transfer learning to maintain the performance when translating on a new target acquisition center by using a limited amount of additional training data. Performance was evaluated using classical binary measures (accuracy, recall, precision) for both centers (referred to as "test reference dataset" and "test target dataset") and at two levels: patch and slide level. At patch level, accuracy, recall, and precision of the model on the reference and target test sets were 92.1% and 96.3%, 95% and 87.8%, and 73.9% and 70.6%, respectively. At slide level, accuracy, recall, and precision were 97.6% and 92.0%, 90.9% and 100%, and 100% and 70.8% for test sets 1 and 2, respectively. The high performance of the algorithm at both centers shows that the calibration process is efficient. This is performed using limited training data from the new target acquisition center and requires that the model is trained beforehand on a large database from a reference center. This methodology allows the implementation of AI diagnostic tools to help in routine pathology practice