NiftyNet: a deep-learning platform for medical imaging

Medical image analysis and computer-assisted intervention problems are increasingly being addressed with deep-learning-based solutions. Established deep-learning platforms are flexible but do not provide specific functionality for medical image analysis and adapting them for this application requires substantial implementation effort. Thus, there has been substantial duplication of effort and incompatible infrastructure developed across many research groups. This work presents the open-source NiftyNet platform for deep learning in medical imaging. The ambition of NiftyNet is to accelerate and simplify the development of these solutions, and to provide a common mechanism for disseminating research outputs for the community to use, adapt and build upon. NiftyNet provides a modular deep-learning pipeline for a range of medical imaging applications including segmentation, regression, image generation and representation learning applications. Components of the NiftyNet pipeline including data loading, data augmentation, network architectures, loss functions and evaluation metrics are tailored to, and take advantage of, the idiosyncracies of medical image analysis and computer-assisted intervention. NiftyNet is built on TensorFlow and supports TensorBoard visualization of 2D and 3D images and computational graphs by default. We present 3 illustrative medical image analysis applications built using NiftyNet: (1) segmentation of multiple abdominal organs from computed tomography; (2) image regression to predict computed tomography attenuation maps from brain magnetic resonance images; and (3) generation of simulated ultrasound images for specified anatomical poses. NiftyNet enables researchers to rapidly develop and distribute deep learning solutions for segmentation, regression, image generation and representation learning applications, or extend the platform to new applications.Comment: Wenqi Li and Eli Gibson contributed equally to this work. M. Jorge Cardoso and Tom Vercauteren contributed equally to this work. 26 pages, 6 figures; Update includes additional applications, updated author list and formatting for journal submissio

Template-Cut: A Pattern-Based Segmentation Paradigm

We present a scale-invariant, template-based segmentation paradigm that sets up a graph and performs a graph cut to separate an object from the background. Typically graph-based schemes distribute the nodes of the graph uniformly and equidistantly on the image, and use a regularizer to bias the cut towards a particular shape. The strategy of uniform and equidistant nodes does not allow the cut to prefer more complex structures, especially when areas of the object are indistinguishable from the background. We propose a solution by introducing the concept of a "template shape" of the target object in which the nodes are sampled non-uniformly and non-equidistantly on the image. We evaluate it on 2D-images where the object's textures and backgrounds are similar, and large areas of the object have the same gray level appearance as the background. We also evaluate it in 3D on 60 brain tumor datasets for neurosurgical planning purposes.Comment: 8 pages, 6 figures, 3 tables, 6 equations, 51 reference

Intensity modulated radiation therapy and arc therapy: validation and evolution as applied to tumours of the head and neck, abdominal and pelvic regions

Intensiteitsgemoduleerde radiotherapie (IMRT) laat een betere controle over de dosisdistributie (DD) toe dan meer conventionele bestralingstechnieken. Zo is het met IMRT mogelijk om concave DDs te bereiken en om de risico-organen conformeel uit te sparen. IMRT werd in het UZG klinisch toegepast voor een hele waaier van tumorlocalisaties. De toepassing van IMRT voor de bestraling van hoofd- en halstumoren (HHT) vormt het onderwerp van het eerste deel van deze thesis. De planningsstrategie voor herbestralingen en bestraling van HHT, uitgaande van de keel en de mondholte wordt beschreven, evenals de eerste klinische resultaten hiervan. IMRT voor tumoren van de neus(bij)holten leidt tot minstens even goede lokale controle (LC) en overleving als conventionele bestralingstechnieken, en dit zonder stralingsgeïnduceerde blindheid. IMRT leidt dus tot een gunstiger toxiciteitprofiel maar heeft nog geen bewijs kunnen leveren van een gunstig effect op LC of overleving. De meeste hervallen van HHT worden gezien in het gebied dat tot een hoge dosis bestraald werd, wat erop wijst dat deze “hoge dosis” niet volstaat om alle clonogene tumorcellen uit te schakelen. We startten een studie op, om de mogelijkheid van dosisescalatie op geleide van biologische beeldvorming uit te testen. Naast de toepassing en klinische validatie van IMRT bestond het werk in het kader van deze thesis ook uit de ontwikkeling en het klinisch opstarten van intensiteitgemoduleerde arc therapie (IMAT). IMAT is een rotationele vorm van IMRT (d.w.z. de gantry draait rond tijdens de bestraling), waarbij de modulatie van de intensiteit bereikt wordt door overlappende arcs. IMAT heeft enkele duidelijke voordelen ten opzichte van IMRT in bepaalde situaties. Als het doelvolume concaaf rond een risico-orgaan ligt met een grote diameter, biedt IMAT eigenlijk een oneindig aantal bundelrichtingen aan. Een planningsstrategie voor IMAT werd ontwikkeld, en type-oplossingen voor totaal abdominale bestraling en rectumbestraling werden onderzocht en klinisch toegepast

A Survey on Deep Learning in Medical Image Analysis

Deep learning algorithms, in particular convolutional networks, have rapidly become a methodology of choice for analyzing medical images. This paper reviews the major deep learning concepts pertinent to medical image analysis and summarizes over 300 contributions to the field, most of which appeared in the last year. We survey the use of deep learning for image classification, object detection, segmentation, registration, and other tasks and provide concise overviews of studies per application area. Open challenges and directions for future research are discussed.Comment: Revised survey includes expanded discussion section and reworked introductory section on common deep architectures. Added missed papers from before Feb 1st 201