Using MapReduce Streaming for Distributed Life Simulation on the Cloud

Distributed software simulations are indispensable in the study of large-scale life models but often require the use of technically complex lower-level distributed computing frameworks, such as MPI. We propose to overcome the complexity challenge by applying the emerging MapReduce (MR) model to distributed life simulations and by running such simulations on the cloud. Technically, we design optimized MR streaming algorithms for discrete and continuous versions of Conway’s life according to a general MR streaming pattern. We chose life because it is simple enough as a testbed for MR’s applicability to a-life simulations and general enough to make our results applicable to various lattice-based a-life models. We implement and empirically evaluate our algorithms’ performance on Amazon’s Elastic MR cloud. Our experiments demonstrate that a single MR optimization technique called strip partitioning can reduce the execution time of continuous life simulations by 64%. To the best of our knowledge, we are the first to propose and evaluate MR streaming algorithms for lattice-based simulations. Our algorithms can serve as prototypes in the development of novel MR simulation algorithms for large-scale lattice-based a-life models.https://digitalcommons.chapman.edu/scs_books/1014/thumbnail.jp

Approximation d’espérances conditionnelles guidée par le problème en optimisation stochastique multi-étapes

RÉSUMÉ: Dans cette thèse, nous considérons d’une façon générale la résolution de problèmes d’optimisation stochastique multi-étapes. Ces derniers apparaissent dans de nombreux domaines d’application tels que la finance, l’énergie, la logistique, le transport, la santé, etc. Ils sont généralement insolubles de façon exacte car ils contiennent des espérances mathématiques qui ne peuvent pas être calculées analytiquement. Il est donc nécessaire de considérer pour cela des méthodes numériques. Nous nous intéressons particulièrement aux méthodes de génération d’arbres de scénarios. Ceux-ci remplacent le processus stochastique sous-jacent au problème afin de ramener ce dernier à une taille raisonnable permettant sa résolution pratique. Numériquement, cela permet de remplacer les opérateurs d’espérance qui apparaissent dans la formulation originale du problème (et qui tiennent compte de toutes les scénarios possibles en les pondérant avec une certaine densité de probabilité), par des sommes finies qui, pour leur part, ne prennent en compte qu’un sous-ensemble de scénarios seulement. Cette approximation permet ensuite à un ordinateur de résoudre le problème discrétisé à l’aide de solveurs classiques d’optimisation. L’arbre de scénarios doit satisfaire un compromis entre la qualité d’approximation, qui voudrait que l’arbre soit le plus grand possible, et la complexité de résolution du problème discrétisé qui, à l’inverse, voudrait qu’il soit le plus petit possible. Alors que ce compromis est relativement facile à satisfaire pour les problèmes à deux étapes, il l’est beaucoup moins pour les problèmes multi-étapes (c.-à-d. à partir de trois étapes). Ceci est dû à la nécessité de considérer des structures d’arbres dont la taille (le nombre de noeuds) croît exponentiellement avec le nombre d’étapes. Dans ce contexte multi-étapes, la recherche d’un compromis satisfaisant entre qualité et complexité a mené la communauté d’optimisation stochastique à développer de nombreuses approches de génération d’arbres de scénarios basées sur des justifications théoriques ou pratiques différentes. Ces justifications portent essentiellement sur la qualité d’approximation du processus stochastique par l’arbre de scénarios. Pour cette raison, ces approches sont dites guidées par la distribution, étant donné qu’elles souhaitent reproduire le mieux possible –suivant leur propre critère de qualité– la distribution du processus stochastique (ou certaines propriétés de celle-ci). Prendre en compte la distribution permet sous certaines conditions assez faibles d’assurer la consistance de la méthode de résolution. Pour cette raison, ces méthodes sont utilisées avec succès dans de nombreux problèmes. Cependant, cette stratégie ne permet pas de tirer profit de la structure même du problème d’optimisation, par exemple la variabilité de sa fonction objectif ou l’influence de ses contraintes, qui joue aussi un rôle important dans la qualité d’approximation. La prise en compte de ces caractéristiques permettrait de construire des arbres de scénarios plus adaptés aux problèmes et ainsi de satisfaire un meilleur compromis entre qualité et complexité. En pratique, cela permettrait de pouvoir résoudre des problèmes avec un plus grand nombre d’étapes.----------ABSTRACT: In this thesis, we consider solution methods for general multistage stochastic optimization problems. Such problems arise in many fields of application, including finance, energy, logistic, transportation, health care, etc. They generally do not have closed-form solutions since they feature mathematical expectations, which cannot be computed exactly in most applications. For this reason, it is necessary to consider solutions through numerical methods. One of them, which is the focus of this thesis, is the scenario-tree generation approach. Its aim is to substitute the underlying stochastic process with a finite subset of scenarios so as to replace the conditional expectations with their finite sum estimators. This reduces the size of the problem, which is then solved using some generic optimization solvers. The generation of scenario trees is subject to a trade-off between the approximation accuracy and the complexity of the resulting discretized problem. The former tends to increase the number of scenarios, whereas the latter tends to decrease it. This trade-off turns out to be fairly easy to satisfy when dealing with two-stage problems. However, it becomes much more difficult when problems are multistage, that is, when they have 3 stages of more. This stems from the fact that multistage problems require specific tree structures whose size (the number of nodes) grow exponentially as the number of stages increases. For this reason, a lot of attention has been drawn on generating scenario trees in the multistage setting. Many methods have been developed based on different theoretical or practical grounds. Most of them can be described as distribution-driven, as they aim at approximating the distribution of the stochastic process (or some features of it), according to their own idea of what a good approximation is. The distribution-driven strategy allows to have consistent scenario-tree estimators under some weak conditions. For this reason, these methods have been successfully applied to many problems. However, it does not allow to capitalize on some specific features of the multistage problem (e.g., the variability of its revenue function or the influence of its constraints), although they play an important role in the scenario-tree approximation quality as well. Taking them into account would lead to more suitable scenario trees that may satisfy a better trade-off between accuracy and complexity. This, in turn, may allow to consider problems with more stages. In this thesis, we introduce a new problem-driven scenario-tree generation approach. It takes into account the whole structure of the optimization problem through its stochastic process, revenue (or cost) function and sets of constraints. This approach is developed in a general setting of multistage problems, hence it is not tied to a particular application or field of applications. The conditions that are introduced along the lines of this thesis about the revenue function, constraints, or probability distribution essentially aims at making sure that the problems is mathematically well-defined

Méthodes numériques probabilistes en grande dimension pour le contrôle stochastique et problèmes de valorisation sur les marchés d'électricité

This thesis deals with the numerical solution of general stochastic control problems, with notable applications for electricity markets. We first propose a structural model for the price of electricity, allowing for price spikes well above the marginal fuel price under strained market conditions. This model allows to price and partially hedge electricity derivatives, using fuel forwards as hedging instruments. Then, we propose an algorithm, which combines Monte-Carlo simulations with local basis regressions, to solve general optimal switching problems. A comprehensive rate of convergence of the method is provided. Moreover, we manage to make the algorithm parcimonious in memory (and hence suitable for high dimensional problems) by generalizing to this framework a memory reduction method that avoids the storage of the sample paths. We illustrate this on the problem of investments in new power plants (our structural power price model allowing the new plants to impact the price of electricity). Finally, we study more general stochastic control problems (the control can be continuous and impact the drift and volatility of the state process), the solutions of which belong to the class of fully nonlinear Hamilton-Jacobi-Bellman equations, and can be handled via constrained Backward Stochastic Differential Equations, for which we develop a backward algorithm based on control randomization and parametric optimizations. A rate of convergence between the constrained BSDE and its discrete version is provided, as well as an estimate of the optimal control. This algorithm is then applied to the problem of superreplication of options under uncertain volatilities (and correlations).Cette thèse traite de la résolution numérique de problèmes de contrôle stochastique, illustrée d'applications sur les marchés d'électricité. Tout d'abord, nous proposons un modèle structurel pour le prix d'électricité, autorisant des pics de prix bien au delà du coût marginal de production lorsque le marché est tendu. Ce modèle permet de valoriser et couvrir partiellement des produits dérivés sur l'électricité, avec pour actifs de couverture des contrats à terme sur combustibles. Nous étudions ensuite un algorithme, à base de simulations de Monte-Carlo et régressions à base locale, pour résoudre des problèmes généraux de commutation optimale. Nous établissons un taux de convergence complet de la méthode. De plus, nous rendons l'algorithme parcimonieux en usage mémoire en permettant d'éviter le stockage du faisceau de trajectoires. Nous l'illustrons sur le problème d'investissements en centrales électriques (lesquelles se répercutent sur le prix d'électricité grâce à notre modèle structurel). Enfin, nous étudions des problèmes de contrôle stochastique plus généraux (où le contrôle peut être continu et modifier la dynamique du processus d'état), dont la solution peut être étudiée via des Équations Différentielles Stochastiques Rétrogrades contraintes, pour lesquelles nous développons un algorithme, qui combine randomisation du contrôle et optimisation paramétrique. Un taux de convergence entre l'EDSR contrainte et sa version discrète est fourni, ainsi qu'un estimateur du contrôle optimal. Nous appliquons ensuite cet algorithme au problème de sur-réplication d'option sous volatilité incertaine