Column Generation-Based Techniques for Intensity-Modulated Radiation Therapy (IMRT) and Volumetric Modulated Arc Therapy (VMAT) Treatment Planning

RÉSUMÉ: Les statistiques ont estimé à environ 14,1 millions le nombre de cas de cancer en 2018 dans le monde, et qui devrait passer à 24 millions d’ici 2035. La radiothérapie est l’une des premières méthodes de traitement du cancer, qu’environ 50% des patients reçoivent au cours de leur maladie. Cette méthode endommage le matériel génétique des cellules cancéreuses, détruisant ainsi leur capacité de reproduction. Cependant, les cellules normales sont également affectées par le rayonnement ; par conséquent, le traitement doit être effectué de manière à maximiser la dose de rayonnement aux tumeurs, tout en minimisant les effets néfastes des radiations sur les tissus sains. Les techniques d’optimisation sont utilisées afin de déterminer la dose et la position du rayonnement à administrer au corps du patient. Ce projet aborde la radiothérapie externe à travers la radiothérapie par modulation d’intensité (IMRT), ainsi qu’une nouvelle forme appelée modulation d’intensité volumétrique par thérapie par arcs (VMAT). En IMRT, un nombre fini de directions sont déterminées pour le rayonnement du faisceau, tandis qu’en VMAT l’accélérateur linéaire tourne autour du corps du patient alors que le faisceau est allumé. Cette technologie permet de modifier dynamiquement la forme du faisceau et le débit de dose pendant le traitement. Le problème de planification du traitement consiste à choisir une séquence de distribution des formes de faisceaux, à optimiser le dé bit de dose du faisceau et à déterminer la vitesse de rotation du portique, si nécessaire. Cette recherche tire profit de la méthode de génération de colonnes, en tant que méthode d’optimisation efficace en particulier pour les problèmes à grande échelle. Cette technique permet d’améliorer le temps de traitement et les objectifs cliniques non linéaires et non convexes, dans la planification de traitement en VMAT. Un nouveau modèle multi-objectif de génération de colonnes pour l’IMRT est également développé. Dans le premier essai, nous développons un nouvel algorithme de génération de colonnes qui optimise le compromis entre le temps et la qualité du traitement délivré pour la planification de traitement en VMAT. Pour ce faire, une génération simultanée de colonnes et de rangées est développée, afin de relier les colonnes, contenant la configuration des ouvertures de faisceaux, aux rangées du modèle, représentant la restriction de temps de traitement. De plus, nous proposons une technique de regroupement par grappe modifiée, afin d’agréger des éléments de volume similaires du corps du patient, et de réduire efficacement le nombre de contraintes dans le modèle. Les résultats de calcul montrent qu’il est possible d’obtenir un traitement de haute qualité sur quatre processeurs en parallèle. Dans le deuxième essai, nous développons une approche de planification automatique intégrant les critères de l’histogramme dose-volume (DVH). Les DVH sont la représentation de dose la plus courante pour l’évaluation de la qualité de traitement en technologie VMAT. Nous profitons de la procédure itérative de génération de colonnes pour ajuster les paramètres du modèle lors de la génération d’ouverture, et répondre aux critères DVH non linéaires, sans tenir compte des contraintes dures dans le modèle. Les résultats sur les cas cliniques montrent que notre méthodologie a été significativement améliorée, pour obtenir des plans cliniquement acceptables sans intervention humaine par rapport à une simple optimisation VMAT. De plus, la comparaison avec un système de planification de traitement commercial existant montre que la qualité des plans obtenus à partir de la méthode proposée, en particulier pour les tissus sains, est largement meilleure alors que le temps de calcul est moindre. Dans le troisième essai, nous abordons la planification de traitement en IMRT, qui est formulée comme un problème d’optimisation convexe à grande échelle, avec un espace de faisabilité simplex. Nous intégrons d’abord une nouvelle approche de solution basée sur la méthode Frank-Wolfe, appelée Blended Conditional Gradients, dans la génération de colonnes, pour améliorer les performances de calcul de la méthode. Nous proposons ensuite une technique de génération de colonnes multi-objectif, pour obtenir directement des ouvertures qui se rapprochent d’un ensemble efficace de plans de traitement non dominés. A cette fin, nous trouvons les limites inférieure et supérieure du front de Pareto, et générons une colonne avec un vecteur de poids des objectifs pré-assigné ou nouveau, réduisant la distance maximale de deux bornes. Nous prouvons que cet algorithme converge vers le front de Pareto. Les résultats de recherche d’un bon compromis de traitement entre la destruction des volumes cibles et la protection des structures saines dans un espace objectif bidimensionnel, montrent l’efficacité de l’algorithme dans l’approche du front de Pareto, avec des plans de traitement livrables en 3 minutes environ, et évitant un grand nombre de colonnes. Cette méthode s’applique également à d’autres classes de problèmes d’optimisation convexe, faisant appel à la fois à une génération de colonnes et à une optimisation multi-objectifs.----------ABSTRACT: The statistics have estimated about 18.1 million cancer cases in 2018 around the world, which is expected to increase to 24 million by 2035. Radiation therapy is one of the most important cancer treatment methods, which about 50% of patients receive during their illness. This method works by damaging the genetic material within cancerous cells and destroying their ability to reproduce. However, normal cells are also affected by radiation; therefore, the treatment should be performed in such a way that it maximizes the dose of radiation to tumors, while simultaneously minimizing the adverse effects of radiations to healthy tissues. The optimization techniques are useful to determine where and how much radiation should be delivered to patient’s body. In this project, we address the intensity-modulated radiation therapy (IMRT) as a widelyused external radiotherapy method and also a novel form called volumetric modulated arc therapy (VMAT). In IMRT, a finite number of directions are determined for the beam radiation, while in VMAT, the linear accelerator rotates around the patient’s body while the beam is on. These technologies give us the ability of changing the beam shape and the dose rate dynamically during the treatment. The treatment planning problem consists of selecting a delivery sequence of beam shapes, optimizing the dose rate of the beam, and determining the rotation speed of the gantry, if required. In this research, we take advantages of the column generation technique, as a leading optimization method specifically for large-scale problems, to improve the treatment time and non-linear non-convex clinical objectives in VMAT treatment planning, and also develop a new multi-objective column generation framework for IMRT. In the first essay, we develop a novel column generation algorithm optimizing the trade-off between delivery time and treatment quality for VMAT treatment planning. To this end, simultaneous column-and-row generation is developed to relate the configuration of beam apertures in columns to the treatment time restriction in the rows of the model. Moreover, we propose a modified clustering technique to aggregate similar volume elements of the patient’s body and efficiently reduce the number of constraints in the model. The computational results show that a high-quality treatment is achievable using a four-thread CPU. In the second essay, we develop an automatic planning approach integrating dose-volume histogram (DVH) criteria, the most common method of treatment evaluation in practice, for VMAT treatment planning. We take advantage of the iterative procedure of column generation to adjust the model parameters during aperture generation and meet nonlinear DVH criteria without considering hard constraints in the model. The results on clinical cases show that our methodology had significant improvement to obtain clinically acceptable plans without human intervention in comparison to simple VMAT optimization. In addition, the comparison to an existing commercial treatment planning system shows the quality of the obtained plans from the proposed method, especially for the healthy tissues, is significantly better while the computational time is less. In the third essay, we address the IMRT treatment planning, which is formulated as a large scale convex optimization problem with simplex feasibility space. We first integrate a novel Frank-Wolfe-based solution approach, so-called Blended Conditional Gradients, into the column generation to improve the computational performance for the method. We then propose a multi-objective column generation technique to directly obtain apertures that approximate an efficient non-dominated set of treatment plans. To this end, we find lower and upper bounds for the Pareto front and generate a column with a pre-assigned or new weight-vector of the objectives, reducing the maximum distance of two bounds. We prove this algorithm converges to the Pareto front. The results in a two-dimensional objective space to find the trade-off plans between the treat of target volumes and sparing the healthy structures show the efficiency of the algorithm to approximate the Pareto front with deliverable treatment plans in about 3 minutes, avoiding a large number of columns. This method is also applicable for other classes of convex optimization problems requiring both column generation and multi-objective optimization

Optimization via Benders' Decomposition

In a period when optimization has entered almost every facet of our lives, this thesis is designed to establish an understanding about the rather contemporary optimization technique: Benders' Decomposition. It can be roughly stated as a method that handles problems with complicating variables, which when temporarily fixed, yield a problem much easier to solve. We examine the classical Benders' Decomposition algorithm in greater depth followed by a mathematical defense to verify the correctness, state how the convergence of the algorithm depends on the formulation of the problem, identify its correlation to other well-known decomposition methods for Linear Programming problems, and discuss some real-world examples. We introduce present extensions of the method that allow its application to a wider range of problems. We also present a classification of acceleration strategies which is centered round the key sections of the algorithm. We conclude by illustrating the shortcomings, trends, and potential research directions

On the minimum cardinality problem in intensity modulated radiotherapy

The thesis examines an optimisation problem that appears in the treatment planning of intensity modulated radiotherapy. An approach is presented which solved the optimisation problem in question while also extending the approach to execute in a massively parallel environment. The performance of the approach presented is among the fastest available

A novel combination of Cased-Based Reasoning and Multi Criteria Decision Making approach to radiotherapy dose planning

In this thesis, a set of novel approaches has been developed by integration of Cased-Based Reasoning (CBR) and Multi-Criteria Decision Making (MCDM) techniques. Its purpose is to design a support system to assist oncologists with decision making about the dose planning for radiotherapy treatment with a focus on radiotherapy for prostate cancer. CBR, an artificial intelligence approach, is a general paradigm to reasoning from past experiences. It retrieves previous cases similar to a new case and exploits the successful past solutions to provide a suggested solution for the new case. The case pool used in this research is a dataset consisting of features and details related to successfully treated patients in Nottingham University Hospital. In a typical run of prostate cancer radiotherapy simple CBR, a new case is selected and thereafter based on the features available at our data set the most similar case to the new case is obtained and its solution is prescribed to the new case. However, there are a number of deficiencies associated with this approach. Firstly, in a real-life scenario, the medical team considers multiple factors rather than just the similarity between two cases and not always the most similar case provides with the most appropriate solution. Thus, in this thesis, the cases with high similarity to a new case have been evaluated with the application of the Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS). This approach takes into account multiple criteria besides similarity to prescribe a final solution. Moreover, the obtained dose plans were optimised through a Goal Programming mathematical model to improve the results. By incorporating oncologists’ experiences about violating the conventionally available dose limits a system was devised to manage the trade-off between treatment risk for sensitive organs and necessary actions to effectively eradicate cancer cells. Additionally, the success rate of the treatment, the 2-years cancer free possibility, has a vital role in the efficiency of the prescribed solutions. To consider the success rate, as well as uncertainty involved in human judgment about the values of different features of radiotherapy Data Envelopment Analysis (DEA) based on grey numbers, was used to assess the efficiency of different treatment plans on an input and output based approach. In order to deal with limitations involved in DEA regarding the number of inputs and outputs, we presented an approach for Factor Analysis based on Principal Components to utilize the grey numbers. Finally, to improve the CBR base of the system, we applied Grey Relational Analysis and Gaussian distant based CBR along with features weight selection through Genetic Algorithm to better handle the non-linearity exists within the problem features and the high number of features. Finally, the efficiency of each system has been validated through leave-one-out strategy and the real dataset. The results demonstrated the efficiency of the proposed approaches and capability of the system to assist the medical planning team. Furthermore, the integrated approaches developed within this thesis can be also applied to solve other real-life problems in various domains other than healthcare such as supply chain management, manufacturing, business success prediction and performance evaluation

A Polyhedral Study of Mixed 0-1 Set

We consider a variant of the well-known single node fixed charge network flow set with constant capacities. This set arises from the relaxation of more general mixed integer sets such as lot-sizing problems with multiple suppliers. We provide a complete polyhedral characterization of the convex hull of the given set

On High-Performance Benders-Decomposition-Based Exact Methods with Application to Mixed-Integer and Stochastic Problems

RÉSUMÉ : La programmation stochastique en nombres entiers (SIP) combine la difficulté de l’incertitude et de la non-convexité et constitue une catégorie de problèmes extrêmement difficiles à résoudre. La résolution efficace des problèmes SIP est d’une grande importance en raison de leur vaste applicabilité. Par conséquent, l’intérêt principal de cette dissertation porte sur les méthodes de résolution pour les SIP. Nous considérons les SIP en deux étapes et présentons plusieurs algorithmes de décomposition améliorés pour les résoudre. Notre objectif principal est de développer de nouveaux schémas de décomposition et plusieurs techniques pour améliorer les méthodes de décomposition classiques, pouvant conduire à résoudre optimalement divers problèmes SIP. Dans le premier essai de cette thèse, nous présentons une revue de littérature actualisée sur l’algorithme de décomposition de Benders. Nous fournissons une taxonomie des améliorations algorithmiques et des stratégies d’accélération de cet algorithme pour synthétiser la littérature et pour identifier les lacunes, les tendances et les directions de recherche potentielles. En outre, nous discutons de l’utilisation de la décomposition de Benders pour développer une (méta- )heuristique efficace, décrire les limites de l’algorithme classique et présenter des extensions permettant son application à un plus large éventail de problèmes. Ensuite, nous développons diverses techniques pour surmonter plusieurs des principaux inconvénients de l’algorithme de décomposition de Benders. Nous proposons l’utilisation de plans de coupe, de décomposition partielle, d’heuristiques, de coupes plus fortes, de réductions et de stratégies de démarrage à chaud pour pallier les difficultés numériques dues aux instabilités, aux inefficacités primales, aux faibles coupes d’optimalité ou de réalisabilité, et à la faible relaxation linéaire. Nous testons les stratégies proposées sur des instances de référence de problèmes de conception de réseau stochastique. Des expériences numériques illustrent l’efficacité des techniques proposées. Dans le troisième essai de cette thèse, nous proposons une nouvelle approche de décomposition appelée méthode de décomposition primale-duale. Le développement de cette méthode est fondé sur une reformulation spécifique des sous-problèmes de Benders, où des copies locales des variables maîtresses sont introduites, puis relâchées dans la fonction objective. Nous montrons que la méthode proposée atténue significativement les inefficacités primales et duales de la méthode de décomposition de Benders et qu’elle est étroitement liée à la méthode de décomposition duale lagrangienne. Les résultats de calcul sur divers problèmes SIP montrent la supériorité de cette méthode par rapport aux méthodes classiques de décomposition. Enfin, nous étudions la parallélisation de la méthode de décomposition de Benders pour étendre ses performances numériques à des instances plus larges des problèmes SIP. Les variantes parallèles disponibles de cette méthode appliquent une synchronisation rigide entre les processeurs maître et esclave. De ce fait, elles souffrent d’un important déséquilibre de charge lorsqu’elles sont appliquées aux problèmes SIP. Cela est dû à un problème maître difficile qui provoque un important déséquilibre entre processeur et charge de travail. Nous proposons une méthode Benders parallèle asynchrone dans un cadre de type branche-et-coupe. L’assouplissement des exigences de synchronisation entraine des problèmes de convergence et d’efficacité divers auxquels nous répondons en introduisant plusieurs techniques d’accélération et de recherche. Les résultats indiquent que notre algorithme atteint des taux d’accélération plus élevés que les méthodes synchronisées conventionnelles et qu’il est plus rapide de plusieurs ordres de grandeur que CPLEX 12.7.----------ABSTRACT : Stochastic integer programming (SIP) combines the difficulty of uncertainty and non-convexity, and constitutes a class of extremely challenging problems to solve. Efficiently solving SIP problems is of high importance due to their vast applicability. Therefore, the primary focus of this dissertation is on solution methods for SIPs. We consider two-stage SIPs and present several enhanced decomposition algorithms for solving them. Our main goal is to develop new decomposition schemes and several acceleration techniques to enhance the classical decomposition methods, which can lead to efficiently solving various SIP problems to optimality. In the first essay of this dissertation, we present a state-of-the-art survey of the Benders decomposition algorithm. We provide a taxonomy of the algorithmic enhancements and the acceleration strategies of this algorithm to synthesize the literature, and to identify shortcomings, trends and potential research directions. In addition, we discuss the use of Benders decomposition to develop efficient (meta-)heuristics, describe the limitations of the classical algorithm, and present extensions enabling its application to a broader range of problems. Next, we develop various techniques to overcome some of the main shortfalls of the Benders decomposition algorithm. We propose the use of cutting planes, partial decomposition, heuristics, stronger cuts, and warm-start strategies to alleviate the numerical challenges arising from instabilities, primal inefficiencies, weak optimality/feasibility cuts, and weak linear relaxation. We test the proposed strategies with benchmark instances from stochastic network design problems. Numerical experiments illustrate the computational efficiency of the proposed techniques. In the third essay of this dissertation, we propose a new and high-performance decomposition approach, called Benders dual decomposition method. The development of this method is based on a specific reformulation of the Benders subproblems, where local copies of the master variables are introduced and then priced out into the objective function. We show that the proposed method significantly alleviates the primal and dual shortfalls of the Benders decomposition method and it is closely related to the Lagrangian dual decomposition method. Computational results on various SIP problems show the superiority of this method compared to the classical decomposition methods as well as CPLEX 12.7. Finally, we study parallelization of the Benders decomposition method. The available parallel variants of this method implement a rigid synchronization among the master and slave processors. Thus, it suffers from significant load imbalance when applied to the SIP problems. This is mainly due to having a hard mixed-integer master problem that can take hours to be optimized. We thus propose an asynchronous parallel Benders method in a branchand- cut framework. However, relaxing the synchronization requirements entails convergence and various efficiency problems which we address them by introducing several acceleration techniques and search strategies. In particular, we propose the use of artificial subproblems, cut generation, cut aggregation, cut management, and cut propagation. The results indicate that our algorithm reaches higher speedup rates compared to the conventional synchronized methods and it is several orders of magnitude faster than CPLEX 12.7