Dynamic Stochastic Orienteering Problems for Risk-Aware Applications

Singapore National Research Foundatio

The Autonomous Attack Aviation Problem

An autonomous unmanned combat aerial vehicle (AUCAV) performing an air-to-ground attack mission must make sequential targeting and routing decisions under uncertainty. We formulate a Markov decision process model of this autonomous attack aviation problem (A3P) and solve it using an approximate dynamic programming (ADP) approach. We develop an approximate policy iteration algorithm that implements a least squares temporal difference learning mechanism to solve the A3P. Basis functions are developed and tested for application within the ADP algorithm. The ADP policy is compared to a benchmark policy, the DROP policy, which is determined by repeatedly solving a deterministic orienteering problem as the system evolves. Designed computational experiments of eight problem instances are conducted to compare the two policies with respect to their quality of solution, computational efficiency, and robustness. The ADP policy is superior in 2 of 8 problem instances - those instances with less AUCAV fuel and a low target arrival rate - whereas the DROP policy is superior in 6 of 8 problem instances. The ADP policy outperforms the DROP policy with respect to computational efficiency in all problem instances

Orienteering Problem: A survey of recent variants, solution approaches and applications

National Research Foundation (NRF) Singapore under International Research Centres in Singapore Funding Initiativ

The bid construction problem for truckload transportation services procurement in combinatorial auctions : new formulations and solution methods

De nos jours, l'évolution du commerce électronique ainsi que des niveaux de la consommation requièrent des acteurs de la chaine logistique et en particulier les transporteurs de gérer efficacement leurs opérations. Afin de rester concurrentiels et maximiser leurs profits, ils doivent optimiser leurs opérations de transport. Dans cette thèse de doctorat, nous nous focalisons sur les enchères combinatoires en tant que mécanisme de négociation pour les marchés d'approvisionnement des services de transport routier par camions permettant à un expéditeur d'externaliser ses opérations de transport et aux transporteurs d'acquérir des contrats de transport. Les mises combinatoires permettent à un transporteur participant à l'enchère d'exprimer ses intérêts pour une combinaison de contrats mis à l'enchère dans une même mise. Si la mise gagne, tous les contrats qui la forment seront alloués au transporteur au tarif exigé. Les défis majeurs pour le transporteur sont de déterminer les contrats de transport sur lesquels miser, les regrouper dans plusieurs mises combinatoires, s'il y a lieu, et décider des prix à soumettre pour chaque mise générée. Ces défis décisionnels définissent le problème de construction de mises combinatoires (BCP pour Bid Construction Problem). Chaque transporteur doit résoudre le BCP tout en respectant ses engagements préexistants et ses capacités de transport et en tenant compte des offres des compétiteurs, ce qui rend le problème difficile à résoudre. Dans la pratique, la majorité des transporteurs se basent sur leur connaissance du marché et leur historique pour fixer leurs prix des mises. Dans la littérature, la majorité des travaux sur le BCP considèrent des modèles déterministes où les paramètres sont connus et se limitent à un contexte de flotte homogène. En plus, nous notons qu'un seul travail à considérer une variante stochastique du BCP. Dans cette thèse de doctorat, nous visons à faire avancer les connaissances dans ce domaine en introduisant de nouvelles formulations et méthodes de résolution pour le BCP Le premier chapitre de cette thèse introduit une nouvelle variante du BCP avec une flotte hétérogène. En partant d'une comparaison des similitudes et des différences entre le BCP et les problèmes classiques de de tournées de véhicules, nous proposons une nouvelle formulation basée sur les arcs avec de nouvelles contraintes de bris de symétrie pour accélérer la résolution. Ensuite, nous proposons une approche heuristique et une autre exacte pour résoudre ce problème. L'heuristique développée est une recherche adaptative à grands voisinages (ALNS pour Adaptive Large Neighborhood Search) et se base sur le principe de destruction puis réparation de la solution à l'aide d'opérateurs conçus spécifiquement pour le BCP traité. La méthode exacte utilise la meilleure solution heuristique pour résoudre notre modèle mathématique avec le solveur CPLEX. Les résultats obtenus montrent la pertinence de nos méthodes en termes de qualités des solutions et des temps de calculs et ce pour des instances de grande taille. Dans le deuxième chapitre, nous nous attaquons à un cas particulier du BCP où le transporteur n'a pas d'engagements existants et vise à déterminer un ensemble de contrats mis à l'enchère profitables à miser dessus. Cette problématique correspond à un problème de tournées de véhicules avec profits (TOP pour Team Orienteering Problem). Nous proposons pour le TOP une heuristique ALNS hybride avec de nouveaux opérateurs ainsi que de nouvelles fonctionnalités tenant compte de la nature du problème. Ensuite, nous comparons les performances de notre méthode avec toutes les méthodes déjà publiées dans la littérature traitant du TOP. Les résultats montrent que notre méthode surpasse généralement toutes les approches existantes en termes de qualité des solutions et/ou temps de calculs quand elle est testée sur toutes les instances de la littérature. Notre méthode améliore la solution d'une instance de grande taille, ce qui surligne sa performance. Dans le troisième chapitre, nous nous focalisons sur l'incertitude associée aux prix de cessions des contrats mis à l'enchère et sur les offres des transporteurs concurrents. Il n'existe qu'un seul article qui traite de l'incertitude dans le BCP cependant il ne permet pas de générer des mises multiples. Ainsi, nous proposons une nouvelle formulation pour le BCP avec des prix stochastiques permettant de générer des mises combinatoires et disjointes. Nous présentons deux méthodes pour résoudre ce problème. La première méthode est hybride et à deux étapes. Dans un premier temps, elle résout un problème de sélection pour déterminer un ensemble de contrats profitables. Dans un second temps, elle résout simultanément un problème de sélection de contrats et de détermination de prix des mises (CSPP pour Contracts Selection and Pricing Problem) en ne considérant que les contrats sélectionnés dans la première étape. Notre méthode exacte résout, avec l'algorithme de branch-and-cut, le CSPP sans présélectionner des contrats. Les résultats expérimentaux et de simulations que nous rapportons soulignent la performance de nos deux méthodes et évaluent l'impact de certains paramètres sur le profit réel du transporteur. Dans le quatrième chapitre, nous nous focalisons sur l'incertitude liée au succès des mises et à la non-matérialisation des contrats. Généralement, le transporteur souhaite avoir la garantie que si certaines des mises ne sont pas gagnées ou un contrat ne se matérialise pas, il n'encourra pas de perte en servant le sous-ensemble de contrats gagnés. Dans cette recherche, nous adressons le BCP avec prix stochastiques et développons une méthode exacte qui garantit un profit non négatif pour le transporteur peu importe le résultat des enchères. Nos simulations des solutions optimales démontrent, qu'en moyenne, notre approche permet au transporteur d'augmenter son profit en plus de garantir qu'il reste non-négatif peu importe les mises gagnées ou la matérialisation des contrats suivant l'enchère.Nowadays, the evolution of e-commerce and consumption levels require supply chain actors, in particular carriers, to efficiently manage their operations. In order to remain competitive and to maximize their profits, they must optimize their transport operations. In this doctoral thesis, we focus on Combinatorial Auctions (CA) as a negotiation mechanism for truckload (TL) transportation services procurement allowing a shipper to outsource its transportation operations and for a carrier to serve new transportation contracts. Combinatorial bids offer a carrier the possibility to express his valuation for a combination of contracts simultaneously. If the bid is successful, all the contracts forming it will be allocated to the carrier at the submitted price. The major challenges for a carrier are to select the transportation contracts to bid on, formulate combinatorial bids and associated prices. These decision-making challenges define the Bid Construction Problem (BCP). Each carrier must solve a BCP while respecting its pre-existing commitments and transportation capacity and considering unknown competitors' offers, which makes the problem difficult to solve. In practice, the majority of carriers rely on their historical data and market knowledge to set their prices. In the literature, the majority of works on the BCP propose deterministic models with known parameters and are limited to the problem with a homogeneous fleet. In addition, we found a single work addressing a stochastic BCP. In this thesis, we aim to advance knowledge in this field by introducing new formulations and solution methods for the BCP. The first chapter of this thesis introduces the BCP with a heterogeneous fleet. Starting from a comparison between the BCP and classical Vehicle Routing Problems (VRPs), we propose a new arc-based formulation with new symmetry-breaking constraints for the BCP. Next, we propose exact and heuristic approaches to solve this problem. Our Adaptive Large Neighborhood Search (ALNS) heuristic is based on a destroy-repair principle using operators designed for this problem. Our exact method starts from the heuristic solution and solves our mathematical model with CPLEX. The results we obtained revealed the relevance of our methods in terms of solutions quality and computational times for large instances with up to 500 contracts and 50 vehicles. In the second chapter, we tackle a particular case of the BCP where the carrier has no pre-existing commitments and aims to select a set of profitable auctioned contracts to bid on. This problem corresponds to a Team Orienteering Problem (TOP). We propose a hybrid ALNS heuristic for the TOP with new operators as well as new features taking into account the nature of the problem. Then, we compare the performance of our algorithm against the best solutions from the literature. The results show that our method generally outperforms all the existing ones in terms of solutions quality and/or computational times on benchmark instances. Our method improves one large instance solution, which highlights its performance. In the third chapter, we focus on the uncertainty associated with the auctioned contracts clearing prices and competing carriers offers. Only one article dealing with uncertainty in the BCP existed but it does not allow to generate multiple bids. Thus, we propose a new formulation for the BCP with stochastic prices allowing to generate non-overlapping combinatorial bids. We present two methods to solve this problem. The first one is a two-step hybrid heuristic. First, it solves a Contracts Selection Problem to determine a set of profitable contracts to bid on. Secondly, it simultaneously solves a Contracts Selection and Pricing Problem (CSPP) by considering only the set of auctioned contracts selected in the first stage. Our exact method solves a CSPP by branch-and-cut without pre-selecting contracts. The experimental and simulation results underline the performance of our two methods and evaluate the impact of certain parameters on the carrier's real profit. In the fourth chapter, we focus on the uncertainty associated with bids success and contracts non-materialization. Generally, the carrier seeks to be assured that if some of the submitted bids are not won or a contract does not materialize, it will not incur a loss by serving the remaining contracts. In this research, we address the BCP with stochastic prices and develop an exact method that ensures a non-negative profit for the carrier regardless of the auction outcomes and contracts materialization. Our simulations of the optimal solutions show that, on average, our approach increases the carrier's profit in addition to guaranteeing its non-negativity regardless of the bids won or the contracts materialization

Risk-Aware Planning for Sensor Data Collection

With the emergence of low-cost unmanned air vehicles, civilian and military organizations are quickly identifying new applications for affordable, large-scale collectives to support and augment human efforts via sensor data collection. In order to be viable, these collectives must be resilient to the risk and uncertainty of operating in real-world environments. Previous work in multi-agent planning has avoided planning for the loss of agents in environments with risk. In contrast, this dissertation presents a problem formulation that includes the risk of losing agents, the effect of those losses on the mission being executed, and provides anticipatory planning algorithms that consider risk. We conduct a thorough analysis of the effects of risk on path-based planning, motivating new solution methods. We then use hierarchical clustering to generate risk-aware plans for a variable number of agents, outperforming traditional planning methods. Next, we provide a mechanism for distributed negotiation of stable plans, utilizing coalitional game theory to provide cost allocation methods that we prove to be fair and stable. Centralized planning with redundancy is then explored, planning for parallel task completion to mitigate risk and provide further increased expected value. Finally, we explore the role of cost uncertainty as additional source of risk, using bi-objective optimization to generate sets of alternative plans. We demonstrate the capability of our algorithms on randomly generated problem instances, showing an improvement over traditional multi-agent planning methods as high as 500% on very large problem instances

An energy-aware architecture : a practical implementation for autonomous underwater vehicles

Energy awareness, fault tolerance and performance estimation are important aspects for extending the autonomy levels of today’s autonomous vehicles. Those are related to the concepts of survivability and reliability, two important factors that often limit the trust of end users in conducting large-scale deployments of such vehicles. With the aim of preparing the way for persistent autonomous operations this work focuses its efforts on investigating those effects on underwater vehicles capable of long-term missions. A novel energy-aware architecture for autonomous underwater vehicles (AUVs) is presented. This, by monitoring at runtime the vehicle’s energy usage, is capable of detecting and mitigating failures in the propulsion subsystem, one of the most common sources of mission-time problems. Furthermore it estimates the vehicle’s performance when operating in unknown environments and in the presence of external disturbances. These capabilities are a great contribution for reducing the operational uncertainty that most underwater platforms face during their deployment. Using knowledge collected while conducting real missions the proposed architecture allows the optimisation of on-board resource usage. This improves the vehicle’s effectiveness when operating in unknown stochastic scenarios or when facing the problem of resource scarcity. The architecture has been implemented on a real vehicle, Nessie AUV, used for real sea experiments as part of multiple research projects. These gave the opportunity of evaluating the improvements of the proposed system when considering more complex autonomous tasks. Together with Nessie AUV, the commercial platform IVER3 AUV has been involved in the evaluating the feasibility of this approach. Results and operational experience, gathered both in real sea scenarios and in controlled environment experiments, are discussed in detail showing the benefits and the operational constraints of the introduced architecture, alongside suggestions for future research directions