Detecting and classifying lesions in mammograms with Deep Learning

In the last two decades Computer Aided Diagnostics (CAD) systems were developed to help radiologists analyze screening mammograms. The benefits of current CAD technologies appear to be contradictory and they should be improved to be ultimately considered useful. Since 2012 deep convolutional neural networks (CNN) have been a tremendous success in image recognition, reaching human performance. These methods have greatly surpassed the traditional approaches, which are similar to currently used CAD solutions. Deep CNN-s have the potential to revolutionize medical image analysis. We propose a CAD system based on one of the most successful object detection frameworks, Faster R-CNN. The system detects and classifies malignant or benign lesions on a mammogram without any human intervention. The proposed method sets the state of the art classification performance on the public INbreast database, AUC = 0.95 . The approach described here has achieved the 2nd place in the Digital Mammography DREAM Challenge with AUC = 0.85 . When used as a detector, the system reaches high sensitivity with very few false positive marks per image on the INbreast dataset. Source code, the trained model and an OsiriX plugin are availaible online at https://github.com/riblidezso/frcnn_cad

Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists.

BACKGROUND: Artificial intelligence (AI) systems performing at radiologist-like levels in the evaluation of digital mammography (DM) would improve breast cancer screening accuracy and efficiency. We aimed to compare the stand-alone performance of an AI system to that of radiologists in detecting breast cancer in DM. METHODS: Nine multi-reader, multi-case study datasets previously used for different research purposes in seven countries were collected. Each dataset consisted of DM exams acquired with systems from four different vendors, multiple radiologists' assessments per exam, and ground truth verified by histopathological analysis or follow-up, yielding a total of 2652 exams (653 malignant) and interpretations by 101 radiologists (28 296 independent interpretations). An AI system analyzed these exams yielding a level of suspicion of cancer present between 1 and 10. The detection performance between the radiologists and the AI system was compared using a noninferiority null hypothesis at a margin of 0.05. RESULTS: The performance of the AI system was statistically noninferior to that of the average of the 101 radiologists. The AI system had a 0.840 (95% confidence interval [CI] = 0.820 to 0.860) area under the ROC curve and the average of the radiologists was 0.814 (95% CI = 0.787 to 0.841) (difference 95% CI = -0.003 to 0.055). The AI system had an AUC higher than 61.4% of the radiologists. CONCLUSIONS: The evaluated AI system achieved a cancer detection accuracy comparable to an average breast radiologist in this retrospective setting. Although promising, the performance and impact of such a system in a screening setting needs further investigation

A Method of Using Information Entropy of an Image as an Effective Feature for Computer-Aided Diagnostic Applications

Abstract Computer-aided detection and diagnosis (CAD) systems are increasingly being used as an aid by clinicians for detection and interpretation of diseases. In general, a CAD system employs a classifier to detect or distinguish between abnormal and normal tissues on images. In the phase of classification, a set of image features and/or texture features extracted from the images are commonly used. In this article, we investigated the characteristic of the output entropy of an image and demonstrated the usefulness of the output entropy acting as a texture feature in CAD systems. In order to validate the effectiveness and superiority of the output-entropy-based texture feature, two well-known texture features, i.e., mean and standard deviation were used for comparison. The database used in this study comprised 50 CT images obtained from 10 patients with pulmonary nodules, and 50 CT images obtained from 5 normal subjects. We used a support vector machine for classification. A leave-one-out method was employed for training and classification. Three combinations of texture features, i.e., mean and entropy, standard deviation and entropy, and standard deviation and mean were used as the inputs to the classifier. Three different regions of interest (ROI) sizes, i.e., 11 × 11, 9 × 9 and 7 × 7 pixels from the database were selected for computation of the feature values. Our experimental results show that the combination of entropy and standard deviation is significantly better than both the combination of mean and entropy and that of standard deviation and mean in the case of the ROI size of 11 × 11 pixels (p < 0.05). These results suggest that information entropy of an image can be used as an effective feature for CAD applications. E. Matsuyama et al. 31

Use of normal tissue context in computer-aided detection of masses in mammograms.

Contains fulltext : 81026.pdf (publisher's version ) (Closed access)When reading mammograms, radiologists do not only look at local properties of suspicious regions but also take into account more general contextual information. This suggests that context may be used to improve the performance of computer-aided detection (CAD) of malignant masses in mammograms. In this study, we developed a set of context features that represent suspiciousness of normal tissue in the same case. For each candidate mass region, three normal reference areas were defined in the image at hand. Corresponding areas were also defined in the contralateral image and in different projections. Evaluation of the context features was done using 10-fold cross validation and case based bootstrapping. Free response receiver operating characteristic (FROC) curves were computed for feature sets including context features and a feature set without context. Results show that the mean sensitivity in the interval of 0.05-0.5 false positives/image increased more than 6% when context features were added. This increase was significant ( p < 0.0001). Context computed using multiple views yielded a better performance than using a single view (mean sensitivity increase of 2.9%, p < 0.0001). Besides the importance of using multiple views, results show that best CAD performance was obtained when multiple context features were combined that are based on different reference areas in the mammogram

Study on CAD Systems for Detection of Colorectal Cancers and Survival Prediction of Patients with Lung Diseases from CT images based on Deep Learning

近年、CT撮影装置の高性能化に伴い、高精細な画像が短時間において大量に取得が可能となった。このことから、医療において画像診断の需要は増加しており、画像の読影により様々な病気の診断、病変の検出が可能となった。一方、読影を行う医師への負担が増加しており、読影精度に対する悪影響が懸念されている。上述の背景から、医師の読影補助を目的とした、コンピュータ支援診断/検出(CAD: Computer Aided Diagnosis/Detection)システムの開発が盛んに行われている。CADシステムは、計算機による画像解析により病気の診断、あるいは、病変の検出を行い、医師に対し「第二の意見」として結果の提示を行うことにより診断の補助を行う。本論文では、CT画像を対象とした大腸がん検出と、肺疾患患者の予後予測のためのCADシステムの開発を目的とする。ところで、近年、深層学習の台頭により、深層学習に代表されるAIの医療への応用に多大な関心が集まっている。深層学習は既存の手法における数々の問題の解決を行っており、CADシステムにおいて主たる問題である、病変の診断、および、病変の検出に対し有効であると考えられる。そこで本論文では、深層学習に基づく新たなモデルを提案し、既存のCADシステムにおける問題の解決を行う。大腸がん検出CADシステムに関し、既存のCADシステムは、高感度である一方、偽陽性陰影を多く検出する傾向にある。そこで本論文では、既存のCADシステムによる検出結果に対し、2段階の分類を行う新しい分類モデルの提案を行い、偽陽性陰影の低減を図る。提案モデルは、3次元畳み込みにより対象の空間的な特徴を捉えることを可能とし、アンサンブル手法を用いることにより、サイズ変化に対する頑健性の獲得を可能とする。また、深層学習モデルの学習には大規模なモデルが求められるため、データセット不足が問題となる。そこで、Flowに基づく生成モデルにより、より効果的な疑似データ生成が可能な手法を提案し、データセットの拡張を行う。提案手法により拡張されたデータセットを用い、上記の分類モデルの性能改善を行う。一方、肺疾患患者の予後予測においては、予後予測に向けた様々なバイオマーカーが提案されているが、画像解析に基づく有効な予後予測バイオマーカーは未だ提案されていない。そこで本論文では、深層学習に基づくセグメンテーションモデルである「U-Net」から得られる画像特徴量: U-Radiomicsを、肺疾患患者の予後予測バイオマーカーとして利用し、その予測性能に関する比較実験を行う。また、敵対学習に基づき、画像解析により患者の生存時間分布のモデリングを可能とするモデルを提案し、画像から直接的に患者の生存時間の推定を行う手法を提案する。第1の画像解析手法として、既存の大腸ポリープ検出システムにより検出される偽陽性陰影の低減のため、3次元深層畳み込みニューラルネットワークによる分類モデル: E3D-ResNet、E3D-DenseNetの提案を行い、提案モデルと比較モデルによる分類性能の比較を行うことにより、提案モデルの有効性を示した。提案モデルであるE3D-ResNetは、3次元畳み込みにより対象の空間的な特徴をより効率的に捉え、アンサンブル手法を用いることにより、サイズ変化に対する頑健性の獲得を可能とした。また、E3D-DenseNetはDense Blockにより、局所的な濃度変化をより効果的に捉えることを可能とした。さらに、医用画像分野における代表的な問題であるデータ不足に対する解決手段として、Flowに基づく生成モデルであるGlowの3次元拡張を行った3D-Glowを提案し、3D-Glowによる病変データの拡張法を提案した。3D-Glowによる生成では、2つの参照ポリープからの疑似ポリープの生成が可能であり、既存の手法と比較し、実際するポリープと類似した構造を保ち、より多様な構造を持つ疑似ポリープの生成を可能とした。第2の画像解析手法として、肺疾患患者の予後予測のためのCADシステムの開発を行った。予後予測のバイオマーカーは患者の性別、年齢、肺機能検査結果等により算出されるものが主として用いられており、画像解析に基づくバイオマーカーは提案されていなかった。本論文では、画像解析に基づくバイオマーカーである「U-Radiomics」を提案し、U-Radiomicsを用いた予後予測モデルの提案を行った。U-Radiomicsと他の既存バイオマーカーとの比較により、U-Radiomicsは、間質性肺疾患患者に対し、画像解析に基づく優れたバイオマーカーに成り得ることが示された。また、画像解析により生存時間の直接的な推定を可能とする新たな予測モデルである「pix2surv」の提案を行った。敵対的生成モデルを用いた手法である「DATE」は、性別、年齢、肺機能検査結果を潜在表現として用い、対象とする患者の生存時間分布のモデリングを行う。一方、pix2survは、画像から得られる特徴量を潜在表現として用いるため、CT画像以外の情報を必要としない点においてDATEよりも優れている。比較実験より、pix2survは優れた生存時間予測モデルであると言える。以上より、提案する画像解析手法は医師のCT画像読影の補助を目的としたCADシステムに対し有効な手法であることが示された。九州工業大学博士学位論文 学位記番号：工博甲第514号 学位授与年月日：令和3年3月25日第1章 序論|第2章 2.5/3次元畳み込みニューラルネットワークを用いた腹部CT画像上の偽陽性陰影の低減|第3章 データ拡張による偽陽性陰影分類モデルの分類性能改善|第4章 U-Radiomicsを用いた間質性肺疾患患者のCT画像解析による予後予測|第5章 敵対的生成ネットワークを用いた間質性肺疾患患者の生存時間予測|第6章 考察|第7章 結論九州工業大学令和2年