Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks

A cascade of fully convolutional neural networks is proposed to segment multi-modal Magnetic Resonance (MR) images with brain tumor into background and three hierarchical regions: whole tumor, tumor core and enhancing tumor core. The cascade is designed to decompose the multi-class segmentation problem into a sequence of three binary segmentation problems according to the subregion hierarchy. The whole tumor is segmented in the first step and the bounding box of the result is used for the tumor core segmentation in the second step. The enhancing tumor core is then segmented based on the bounding box of the tumor core segmentation result. Our networks consist of multiple layers of anisotropic and dilated convolution filters, and they are combined with multi-view fusion to reduce false positives. Residual connections and multi-scale predictions are employed in these networks to boost the segmentation performance. Experiments with BraTS 2017 validation set show that the proposed method achieved average Dice scores of 0.7859, 0.9050, 0.8378 for enhancing tumor core, whole tumor and tumor core, respectively. The corresponding values for BraTS 2017 testing set were 0.7831, 0.8739, and 0.7748, respectively.Comment: 12 pages, 5 figures. MICCAI Brats Challenge 201

Deep Learning versus Classical Regression for Brain Tumor Patient Survival Prediction

Deep learning for regression tasks on medical imaging data has shown promising results. However, compared to other approaches, their power is strongly linked to the dataset size. In this study, we evaluate 3D-convolutional neural networks (CNNs) and classical regression methods with hand-crafted features for survival time regression of patients with high grade brain tumors. The tested CNNs for regression showed promising but unstable results. The best performing deep learning approach reached an accuracy of 51.5% on held-out samples of the training set. All tested deep learning experiments were outperformed by a Support Vector Classifier (SVC) using 30 radiomic features. The investigated features included intensity, shape, location and deep features. The submitted method to the BraTS 2018 survival prediction challenge is an ensemble of SVCs, which reached a cross-validated accuracy of 72.2% on the BraTS 2018 training set, 57.1% on the validation set, and 42.9% on the testing set. The results suggest that more training data is necessary for a stable performance of a CNN model for direct regression from magnetic resonance images, and that non-imaging clinical patient information is crucial along with imaging information.Comment: Contribution to The International Multimodal Brain Tumor Segmentation (BraTS) Challenge 2018, survival prediction tas

Алгоритм сегментації новоутворених пухлин на МРТ зображенні головного мозку за допомогою комбінацій нейронних мереж

Запропоновано алгоритм сегментації пухлин головного мозку на зображеннях МРТ, що реалізований на основі декількох ансамблів нейронних мереж. При ітерації алгоритму обчислення використовуються виходи базових нейронних мереж як вхідні данні для нової тренованої нейронної мережі, яка в подальшому виступає об’єднувачем для того, щоб відрізнити рубцеву тканину або не вражену тканину від клітин пухлини. Даний підхід має складний узагальнюючий характер, але, таким чином, вдається підвищити якість сегментації пухлини комбінацією нейронних мереж. Особливість алгоритму полягає в тому, що індивідуальний результат для кожного класифікатора визначається на основі натренованих раніше моделей, потім воксель класифікується як частина пухлини, якщо хоча б один з класифікаторів визначить його як пухлину. Далі, результат сегментації базових класифікаторів потрапляє на вхід вже навченого мета-класифікатора, який приймає остаточне рішення щодо приналежності вокселя на зображенні до клітин пухлини.The algorithm of segmentation of brain tumors in MRI images is proposed. In the iteration of the computation algorithm, the outputs of the base neural networks are used as input data for a new trained neural network, which in the future serves as a unifier in order to distinguish scar tissue or non-affected tissue from tumor cells. This approach has a complex generalization, but, thus, it is possible to improve the quality of segmentation of the tumor by a combination of neural networks. The components of the algorithm are basic classifiers that will extract complex functions of the regularities (often implicit) from the data stream, and the unifier will become a classifier that aggregates these functions. At the aggregation level, the data is derived from the classifiers, and the aggregation of the single output. When iterating the computation algorithm, the outputs of the basic classifiers are used as input data for the new trained neural network, which later acts as a unifier. The key idea of the algorithm is that the individual result for each classifier is determined based on the models previously trained, then the voxel is classified as part of the tumor if at least one of the classifiers determines it as a tumor. Further, the result of segmentation of the basic classifiers falls on the input of the already trained meta-classifier, which makes the final decision regarding the voxel's belonging to the image to the tumor cells. In this case, a special algorithm is used. The pixel algorithm proposes to classify pixels in adjacent areas based on gray levels. This method uses local information - the values of the gray levels of adjacent pixels, or, global information - the total distribution of the gray levels of adjacent pixels. The gray levels reflect the intensity of the light in each pixel. At the level of input data and manipulations with them there is an input to the input of the neural network for training.Предложен алгоритм сегментации опухолей головного мезга на изображениях МРТ, который реализован на основе нескольких ансамблів нейронних сетей. При интерации алгоритма вычисления используются выходы базових нейронних сетей как входные данные для новой тренированной нейронной сети, которая в дальнейшем выступает в качестве объединителя для того, чтобы от личить рубцовую ткань или не пораженную ткань от клеток опухоли. Данный поход имеет сложный обобщающий характер, но, таким образом, удается повысить качество сегментации опухоли комбинацией нейронних сетей. Особенность алгоритма заключается в том, что индивидуальный результат каждого классификатора определяется на основе натренированных ранее моделей, потом вексель классифицируется, как часть опухоли, если хоть один из классификаторов определяет его как опухоль. Далее результат сегментации базових классификаторов попадает на вход уже наученного мета-классификатора, который принимает окончательное решение по принадлежности векселя на изображении к клеткам опухоли

Semi-Supervised Variational Autoencoder for Survival Prediction

In this paper we propose a semi-supervised variational autoencoder for classification of overall survival groups from tumor segmentation masks. The model can use the output of any tumor segmentation algorithm, removing all assumptions on the scanning platform and the specific type of pulse sequences used, thereby increasing its generalization properties. Due to its semi-supervised nature, the method can learn to classify survival time by using a relatively small number of labeled subjects. We validate our model on the publicly available dataset from the Multimodal Brain Tumor Segmentation Challenge (BraTS) 2019.Comment: Published in the pre-conference proceeding of "2019 International MICCAI BraTS Challenge