Double-reading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization

BACKGROUND: In recent years, the availability of medical datasets and technologies for software development based on artificial intelligence technology has resulted in a growth in the number of solutions for medical diagnostics, particularly mammography. Registered as a medical device, this program can interpret digital mammography, significantly saving time, material, and human resources in healthcare while ensuring the quality of mammary gland preventive studies. AIM: This study aims to justify the possibility and effectiveness of artificial intelligence-based software for the first interpretation of digital mammograms while maintaining the practice of a radiologists second description of X-ray images. MATERIALS AND METHODS: A dataset of 100 digital mammography studies (50 absence of target pathology and 50 ― presence of target pathology, with signs of malignant neoplasms) was processed by software based on artificial intelligence technology that was registered as a medical device in the Russian Federation. Receiver operating characteristic analysis was performed. Limitations of the study include the values of diagnostic accuracy metrics obtained for software based on artificial intelligence technology versions, relevant at the end of 2022. RESULTS: When set to 80.0% sensitivity, artificial intelligence specificity was 90.0% (95% CI, 81.798.3), and accuracy was 85.0% (95% CI, 78.092.0). When set to 100% specificity, artificial intelligence demonstrated 56.0% sensitivity (95% CI, 42.269.8) and 78.0% accuracy (95% CI, 69.986.1). When the sensitivity was set to 100%, the artificial intelligence specificity was 54.0% (95% CI, 40.267.8), and the accuracy was 77.0% (95% CI, 68.885.2). Two approaches have been proposed, providing an autonomous first interpretation of digital mammography using artificial intelligence. The first approach is to evaluate the X-ray image using artificial intelligence with a higher sensitivity than that of the double-reading mammogram by radiologists, with a comparable level of specificity. The second approach implies that artificial intelligence-based software will determine the mammogram category (absence of target pathology or presence of target pathology), indicating the degree of confidence in the obtained result, depending on the corridor into which the predicted value falls. CONCLUSIONS: Both proposed approaches for using artificial intelligence-based software for the autonomous first interpretation of digital mammograms can provide diagnostic quality comparable to, if not superior to, double-image reading by radiologists. The economic benefit from the practical implementation of this approach nationwide can range from 0.6 to 5.5 billion rubles annually

Artificial Intelligence in Healthcare : Directions of Standardization

Artificial intelligence (AI) can have a significant positive impact on health and healthcare. AI can be used to improve the quality, efficiency and equity of health care. However, AI has the potential to have significant negative impacts. Therefore, AI medical applications should be designed and deployed in accordance with established guidelines and legislation. There may be gaps or questions in the current regulatory framework related to the interpretation and application of the existing regulatory framework to healthcare applications that include artificial intelligence solutions. Global standardization maintains a consistent approach and can reduce the burden on stakeholders when it comes to establishing regulatory frameworks, interpreting and complying with regulatory requirements. While AI is far from new, it has only recently become mainstream. This chapter outlines the research of the authors who are members of the Hoc Group on Application of AI Technologies in Health Informatics (ISO AHG2 TC215), which was formed by ISO Technical Committee 215 to define goals and directions for standardization in the field of AI in health care.acceptedVersionPeer reviewe

ВАЛИДАЦИЯ ДИАГНОСТИЧЕСКОЙ ТОЧНОСТИ АЛГОРИТМА «ИСКУССТВЕННОГО ИНТЕЛЛЕКТА» ДЛЯ ВЫЯВЛЕНИЯ РАССЕЯННОГО СКЛЕРОЗА В УСЛОВИЯХ ГОРОДСКОЙ ПОЛИКЛИНИКИ

The objective of the study is to evaluate the diagnostic accuracy of an original artificial intelligence (AI) algorithm for detecting MS in the radiology department of primary (outpatient) hospital.Materials and methods. Depersonalized results of brain magnetic resonance imaging (MRI) studies performed in the period from August 22, 2019 to September 26, 2019 in 93 patients (42 men (mean age 47,5±15,9 years) and 51 women (mean age 52,3±16,8 years)) were analyzed. All patients signed a voluntary informed consent form. Brain MRIwere carried out on the VANTAGE Atlas 1,5T MRI scanner (Toshiba, Japan) under a standard protocol.Results. All MRI studies were analyzed by AI-algorithm (index-test). It decisions were compared with a  reference test (groundtruth). The sensitivity of the index-test is 100%, specificity — 75,3%, accuracy —  76,3%, negative predictive value — 100%, area under ROC-curve — 0,861. The algorithm reliably sorts out the studies without signs of MS. The algorithmshows sufficient quality and excellent reproducibility of the results on independent data.Conclusion. The developed AI algorithm ensures effective triage of MRI studies in primary care settings, maintaining an optimal index of suspicion in MS.Цель: оценить диагностическую точность оригинального алгоритма выявления РС в условиях отделения лучевой диагностики медицинской организации, оказывающей первичную (амбулаторно-поликлиническую) медицинскую помощь.Материалы и методы. Проведен анализ деперсонализированных результатов МР-исследований головного мозга, выполненных 93 пациентам в период с 22.08.2019 г. по 26.09.2019 г., из которых 42 мужчины (средний возраст 47,5±15,9 лет) и 51 женщина (средний возраст 52,3±16,8 лет); лица европеоидной расы, жители г. Москвы. Все  пациенты подписали добровольное информированное согласие. Исследования  проводились на томографе VANTAGE Atlas (Toshiba, Япония) с индукцией магнитного поля 1,5 Тл по стандартному протоколу.Результаты. Все МР-исследования проанализированы с применением оригинального  алгоритма «искусственного интеллекта» (ИИ). Решения алгоритма (индекс-теста)  сопоставлены с референс-тестом, значения которого приняты за истинный статус  обследуемых лиц. Чувствительность индекс-теста — 100%, специфичность — 75,3%,  точность — 76,3%, прогностическая ценность отрицательного результата — 100%, площадь под характеристической кривой — 0,861. Результаты свидетельствуют о надежном «отсеивании» алгоритмом результатов исследований без признаков РС.  Показано достаточное качество и отличная воспроизводимость результатов работы  алгоритма на независимых данных.Заключение. Разработанный алгоритм ИИ обеспечивает эффективную сортировку МР-исследований в условиях первичного звена здравоохранения с поддержанием оптимального уровня настороженности относительно РС

Использование трансферного обучения для автоматизированного поиска дефектов на рентгенограммах органов грудной клетки

Purpose. To develop and test algorithms for determining the projection and searching for common technical defects on chest -rays using transfer learning with various neural network architectures.Materials and methods. Algorithms have been created to search for technical remarks such as incorrect choice of study boundaries and errors of patient positioning. Transfer learning of neural network architectures VGG19 and ResNet152V2 was chosen as the basis for creating algorithms. To train and test the algorithms, we used radiographs from open databases (over 230,000 studies in total). To validate the obtained algorithms, a test dataset was prepared from 150 anonymized chest x-rays unloaded from the Unified Radiological Information Service of the Moscow city (URIS) and evaluated by expert doctors and technicians.Results. All obtained algorithms have high classification quality indicators. The maximum accuracy on the test dataset was obtained for the model that determines the projection, AUC was 1.0, the minimum accuracy: AUC 0.968 was obtained for the model that determines the rotation of the chest on the lateral X-ray. On the validation dataset maximum accuracy was obtained for the model that determines the projection, AUC was 0.996, the minimum accuracy: AUC 0.898 was obtained for the model that determines the rotation of the chest on the lateral x-ray.Conclusions. All of diagnostic accuracy metrics for each of the models exceeded the threshold value of 0.81 and can be recommended for practical use.Цель исследования: разработать и протестировать алгоритмы определения проекции и поиска распространенных технических дефектов на рентгенограммах органов грудной клетки (ОГК) при помощи трансферного обучения, используя различные нейросетевые архитектуры.Материал и методы. Определялись такие несоответствия методики сканирования на рентгенограммах как некорректный выбор границ исследования, нарушение укладки и позиционирования пациентов. В качестве основы для создания алгоритмов было выбрано трансферное обучение нейросетевых архитектур VGG19 и ResNet152V2. Для обучения и тестирования алгоритмов были использованы рентгенограммы из баз данных с открытым доступом (общий объем более 230 тыс. исследований). Для валидации полученных алгоритмов был подготовлен тестовый набор данных из 150 анонимизированных рентгенограмм ОГК, полученных из Единого радиологического информационного сервиса города Москвы (ЕРИС) и оцененных врачами-экспертами и лаборантами-экспертами.Результаты. Все полученные алгоритмы имеют высокие показатели качества классификации. Максимальная точность на тестовом наборе данных была получена для модели, определяющей проекцию, AUC составил 1,0, минимальная точность: AUC 0,968 была получена для модели, определяющей ротацию грудной клетки на боковой проекции. На валидационном наборе данных максимальная точность была получена для модели, определяющей проекцию, AUC составил 0,996, минимальная точность: AUC 0,898 была получена для модели, определяющей ротацию грудной клетки на боковой проекции.Заключение. По значениям метрик диагностической точности для каждой из задач разработанные алгоритмы превысили пороговое значение в 0,81 и могут быть рекомендованы к практическому применению