Replication procedure for grouped Sobol' indices estimation in dependent uncertainty spaces

International audienceThis paper deals with the estimation of grouped Sobol' indices in the case where the dependence inside each group is given by sets of linear ordered constraints. In the framework of independent inputs, the replication method allows to estimate first-order indices with only two designs. Through the use of orthogonal arrays of strength two the replication method can be applied to estimate closed second-order indices. We extend this methodology to estimate first-order and closed second-order grouped Sobol' indices under sets of linear constraints. The construction of the two designs required by the replication method is now based on the simplex geometric structure to handle the constraints within each set. We propose a space filling strategy to construct these designs

Reliable error estimation for Sobol' indices

International audienceIn the field of sensitivity analysis, Sobol’ indices are sensitivity measures widely used to assess the importance of inputs of a model to its output. The estimation of these indices is often performed trough Monte Carlo or quasi-Monte Carlo methods. A notable method is the replication procedure that estimates first-order indices at a reduced cost in terms of number of model evaluations. An inherent practical problem of this estimation is how to quantify the number of model evaluations needed to ensure that estimates satisfy a desired error tolerance. This paper addresses this challenge by proposing a reliable error bound for first-order and total effect Sobol’ indices. Starting from the integral formula of the indices, the error bound is defined in terms of the discrete Walsh coefficients of the different integrands.We propose a sequential estimation procedure of Sobol’ indices using the error bound as a stopping criterion. The sequential procedure combines Sobol’ sequences with either Saltelli’s strategy to estimate both first-order and total effect indices, or the replication procedure to estimate only first-order indices

Monte Carlo and quasi-Monte Carlo sampling methods for the estimation of Sobol' indices : application to a LUTI model

Le développement et l'utilisation de modèles intégrés transport-urbanisme sont devenus une norme pour représenter les interactions entre l'usage des sols et le transport de biens et d'individus sur un territoire. Ces modèles sont souvent utilisés comme outils d'aide à la décision pour des politiques de planification urbaine.Les modèles transport-urbanisme, et plus généralement les modèles mathématiques, sont pour la majorité conçus à partir de codes numériques complexes. Ces codes impliquent très souvent des paramètres dont l'incertitude est peu connue et peut potentiellement avoir un impact important sur les variables de sortie du modèle.Les méthodes d'analyse de sensibilité globales sont des outils performants permettant d'étudier l'influence des paramètres d'un modèle sur ses sorties. En particulier, les méthodes basées sur le calcul des indices de sensibilité de Sobol' fournissent la possibilité de quantifier l'influence de chaque paramètre mais également d'identifier l'existence d'interactions entre ces paramètres.Dans cette thèse, nous privilégions la méthode dite à base de plans d'expériences répliqués encore appelée méthode répliquée. Cette méthode a l'avantage de ne requérir qu'un nombre relativement faible d'évaluations du modèle pour calculer les indices de Sobol' d'ordre un et deux.Cette thèse se focalise sur des extensions de la méthode répliquée pour faire face à des contraintes issues de notre application sur le modèle transport-urbanisme Tranus, comme la présence de corrélation entre paramètres et la prise en compte de sorties multivariées.Nos travaux proposent également une approche récursive pour l'estimation séquentielle des indices de Sobol'. L'approche récursive repose à la fois sur la construction itérative d'hypercubes latins et de tableaux orthogonaux stratifiés et sur la définition d'un nouveau critère d'arrêt. Cette approche offre une meilleure précision sur l'estimation des indices tout en permettant de recycler des premiers jeux d'évaluations du modèle. Nous proposons aussi de combiner une telle approche avec un échantillonnage quasi-Monte Carlo.Nous présentons également une application de nos contributions pour le calage du modèle de transport-urbanisme Tranus.Land Use and Transportation Integrated (LUTI) models have become a norm for representing the interactions between land use and the transportation of goods and people in a territory. These models are mainly used to evaluate alternative planning scenarios, simulating their impact on land cover and travel demand.LUTI models and other mathematical models used in various fields are most of the time based on complex computer codes. These codes often involve poorly-known inputs whose uncertainty can have significant effects on the model outputs.Global sensitivity analysis methods are useful tools to study the influence of the model inputs on its outputs. Among the large number of available approaches, the variance based method introduced by Sobol' allows to calculate sensitivity indices called Sobol' indices. These indices quantify the influence of each model input on the outputs and can detect existing interactions between inputs.In this framework, we favor a particular method based on replicated designs of experiments called replication method. This method appears to be the most suitable for our application and is advantageous as it requires a relatively small number of model evaluations to estimate first-order or second-order Sobol' indices.This thesis focuses on extensions of the replication method to face constraints arising in our application on the LUTI model Tranus, such as the presence of dependency among the model inputs, as far as multivariate outputs.Aside from that, we propose a recursive approach to sequentially estimate Sobol' indices. The recursive approach is based on the iterative construction of stratified designs, latin hypercubes and orthogonal arrays, and on the definition of a new stopping criterion. With this approach, more accurate Sobol' estimates are obtained while recycling previous sets of model evaluations. We also propose to combine such an approach with quasi-Monte Carlo sampling.An application of our contributions on the LUTI model Tranus is presented

Échantillonnages Monte Carlo et quasi-Monte Carlo pour l'estimation des indices de Sobol' : application à un modèle transport-urbanisme

Land Use and Transportation Integrated (LUTI) models have become a norm for representing the interactions between land use and the transportation of goods and people in a territory. These models are mainly used to evaluate alternative planning scenarios, simulating their impact on land cover and travel demand.LUTI models and other mathematical models used in various fields are most of the time based on complex computer codes. These codes often involve poorly-known inputs whose uncertainty can have significant effects on the model outputs.Global sensitivity analysis methods are useful tools to study the influence of the model inputs on its outputs. Among the large number of available approaches, the variance based method introduced by Sobol' allows to calculate sensitivity indices called Sobol' indices. These indices quantify the influence of each model input on the outputs and can detect existing interactions between inputs.In this framework, we favor a particular method based on replicated designs of experiments called replication method. This method appears to be the most suitable for our application and is advantageous as it requires a relatively small number of model evaluations to estimate first-order or second-order Sobol' indices.This thesis focuses on extensions of the replication method to face constraints arising in our application on the LUTI model Tranus, such as the presence of dependency among the model inputs, as far as multivariate outputs.Aside from that, we propose a recursive approach to sequentially estimate Sobol' indices. The recursive approach is based on the iterative construction of stratified designs, latin hypercubes and orthogonal arrays, and on the definition of a new stopping criterion. With this approach, more accurate Sobol' estimates are obtained while recycling previous sets of model evaluations. We also propose to combine such an approach with quasi-Monte Carlo sampling.An application of our contributions on the LUTI model Tranus is presented.Le développement et l'utilisation de modèles intégrés transport-urbanisme sont devenus une norme pour représenter les interactions entre l'usage des sols et le transport de biens et d'individus sur un territoire. Ces modèles sont souvent utilisés comme outils d'aide à la décision pour des politiques de planification urbaine.Les modèles transport-urbanisme, et plus généralement les modèles mathématiques, sont pour la majorité conçus à partir de codes numériques complexes. Ces codes impliquent très souvent des paramètres dont l'incertitude est peu connue et peut potentiellement avoir un impact important sur les variables de sortie du modèle.Les méthodes d'analyse de sensibilité globales sont des outils performants permettant d'étudier l'influence des paramètres d'un modèle sur ses sorties. En particulier, les méthodes basées sur le calcul des indices de sensibilité de Sobol' fournissent la possibilité de quantifier l'influence de chaque paramètre mais également d'identifier l'existence d'interactions entre ces paramètres.Dans cette thèse, nous privilégions la méthode dite à base de plans d'expériences répliqués encore appelée méthode répliquée. Cette méthode a l'avantage de ne requérir qu'un nombre relativement faible d'évaluations du modèle pour calculer les indices de Sobol' d'ordre un et deux.Cette thèse se focalise sur des extensions de la méthode répliquée pour faire face à des contraintes issues de notre application sur le modèle transport-urbanisme Tranus, comme la présence de corrélation entre paramètres et la prise en compte de sorties multivariées.Nos travaux proposent également une approche récursive pour l'estimation séquentielle des indices de Sobol'. L'approche récursive repose à la fois sur la construction itérative d'hypercubes latins et de tableaux orthogonaux stratifiés et sur la définition d'un nouveau critère d'arrêt. Cette approche offre une meilleure précision sur l'estimation des indices tout en permettant de recycler des premiers jeux d'évaluations du modèle. Nous proposons aussi de combiner une telle approche avec un échantillonnage quasi-Monte Carlo.Nous présentons également une application de nos contributions pour le calage du modèle de transport-urbanisme Tranus

rcaracas/UMD_package: Magmatomix/UMD major release

<ul> <li>optimisation of all major routines</li> <li>integration of C sources</li> <li>parallelisation on CPUs</li> <li>portability on GPUs</li> <li>first GUI interface</li> </ul&gt

Making best use of permutations to compute sensitivity indices with replicated orthogonal arrays

International audienceAmong practitioners, the importance of inputs to a model output is commonly measured via the computation of Sobol' sensitivity indices. Various estimation strategies exist in the literature, most of them requiring a very high number of model evaluations. Designing methods that compete favorably both in terms of computational cost and accuracy is therefore an issue of crucial importance. In this paper, an efficient replication-based strategy is proposed to estimate the full set of first- and second-order Sobol' indices. It relies on a Sobol' pick-freeze estimation scheme and requires only two replicated designs based on randomized orthogonal arrays of strength two. The precision of this procedure is assessed with bootstrap confidence intervals, presented for the first time in the replication framework. Our developments are compared to known approaches and validated on numerical test cases. A way to estimate the full set of first-, second-order but also total-effect Sobol' indices at a very competitive cost is also described, as a combination of our procedure and the one introduced by Saltelli

Iterative estimation of Sobol’ indices based on replicated designs

International audienceIn the field of sensitivity analysis, Sobol’ indices are widely used to assess the importance of the inputs of a model to its output. Among the methods that estimate these indices, the replication procedure is noteworthy for its efficient cost. A practical problem is how many model evaluations must be performed to guarantee a sufficient precision on the Sobol’ estimates. The present paper tackles this issue by rendering the replication procedure iterative. The idea is to enable the addition of new model evaluations to progressively increase the accuracy of the estimates. These evaluations are done at points located in under-explored regions of the experimental designs, but preserving their characteristics. The key feature of this approach is the construction of nested space-filling designs. For the estimation of first-order indices, a nested Latin hypercube design is used. For the estimation of closed second-order indices, two constructions of a nested orthogonal array design are proposed. Regularity and uniformity properties of the nested designs are studied

Sensitivity Analysis and Optimisation of a Land Use and Transport Integrated Model

Land Use and Transportation Integrated (LUTI) models have become a norm for representing the interactions between land use and the transportation of goods and people in a territory. Through the use of these models, urban planning policies and development scenarios can be evaluated. The calibration of LUTI models is a heavy task, involving gathering of massive amounts of data and the estimation of an important number of parameters. In this paper, we consider the calibration of the open-source LUTI model Tranus. Classical calibrations of Tranus rely on ad-hoc econometric techniques and time-consuming trial and error procedures. Here, we propose a two steps calibration procedure comprise of global sensitivity analysis and optimisation. The sensitivity analysis presented is based on the replication method for the estimation of Sobol' indices and generalised to take into account multivariate outputs. The optimisation step is an iterative process combining stochastic and deterministic procedures. Our calibration method is applied to a North-Carolina urban area. Compared to a previous ad-hoc procedure, our approach results in a significant improvement of the adjustment factors of Tranus while reducing drastically the calibration time.Les modèles « transport-urbanisme » sont devenus une norme pour représenter les interactions entre l'usage des sols et le transport de marchandises et d'individus. Ces modèles sont principalement utilisés dans le cadre d'évaluations de politiques d'urbanisme et de scénarios de développement urbain. Le calage des modèles « transport-urbanisme » est une tâche difficile qui nécessite l'estimation d'un nombre important de paramètres. Dans ce papier, nous considérons le calage du modèle en libre accès Tranus. Une estimation classique des paramètres de Tranus repose à la fois sur des techniques ad-hoc d'économétrie et sur des procédures de type essais-erreurs coûteuses en temps. Dans ce papier, nous proposons un calage en deux étapes comprenant une phase d'analyse de sensibilité globale et une phase d'optimisation itérative. La méthode d'analyse de sensibilité présentée ici est basée sur la méthode répliquée, estimant des indices de Sobol', et généralisée au cas de sorties multidimensionnelles. La phase d'optimisation est une procédure itérative combinant deux approches : une stochastique et une analytique. Notre méthode de calage est appliquée à la zone d'étude de Caroline du Nord. Par comparaison avec une précédente méthode de calage ad-hoc, notre approche aboutit à une amélioration significative des facteurs d'ajustement de Tranus avec un temps de calage considérablement réduit