Estimating Middle Tier Acquisition Schedule Risk

Excerpt from the Proceedings of the Nineteenth Annual Acquisition Research SymposiumCongress recently created Middle Tier Acquisition (MTA) programs, which provide the military services rapid prototyping and fielding pathways with new program flexibilities and an explicit schedule constraint. The services are executing multiple MTAs, resulting in a set of MTA experiments related to development, execution, and governance. There is little published information on MTA performance; we use public data to quantify planned schedules. We introduce a quantified schedule risk measure based on Monte Carlo simulations. The simulations provide insights into MTA programs’ schedule risk and program performance relative to a statistically based reference.Approved for public release; distribution is unlimited

A comparative study of government agencies and QA2-consultants P50 estimates

Nyttemaksimerende og kostnadseffektiv bruk av offentlig midler er essensielt for å sørge for at store statlige investeringsprosjekter bidrar til dekke samfunnets behov. Hvis offentlige investeringsprosjekter overskrider de økonomiske rammebetingelsene som er satt for prosjektene, vil dette kunne ha innvirkning på bevilgning av offentlige midler til andre prosjekter, ordninger og tilbud som er finansiert av velferdsstaten. For å sikre at offentlige midler brukes på en måte som gir samfunnet den forespeilede nytten av prosjektrealiseringer, uten at sluttkostnaden overskrider de økonomiske rammebingelsene som er satt for prosjektene, skal offentlige investeringsprosjekter med investeringskostnad over 1000 millioner kroner, heretter mnok, utvikles gjennom statens prosjektmodell. Der kvalitetssikring av konseptvalg og styringsgrunnlag skal gjøres av eksterne kvalitetssikrere før prosjektene vedtas. Kvalitetssikringen av kostnadsestimat ligger under KS2, som er siste kontrollpunkt i statens prosjektmodell. Hensikten med KS2 er å kvalitetssikre styringsgrunnlaget som er utviklet av etatene gjennom forprosjektet. En sentral del av KS2 er at kvalitetssikrer utvikler et selvstendig kostnadsestimat for prosjektet. Ut fra kostnadsestimatet gir kvalitetssikrer en anbefaling til økonomiske rammebetingelser for prosjektet. Kostnadsestimatet fra kvalitetssikre skal utvikles gjennom kostnadsestimering under usikkerhet. I prosjektene der etatene også har gjennomført kostnadsestimering under usikkerhet i forkant av KS2, vil det foreligge to kostnadsestimater for ett og samme prosjekt. Et estimat som er utviklet av kvalitetssikrer gjennom KS2, og et som er utviklet av ansvarlig etat i de prosjektutviklende fasene som leder opp til KS2. Denne oppgaven konsentrerer seg kun om ett punktestimat fra kostnadsanalysene gjort av etat og kvalitetssikrer i KS2. Dette estimatet kalles P50 estimatet og er estimatet som styringsrammen for prosjektene settes ut fra. Studien har to hovedtemaer, forskjellen mellom P50 estimater fra etat og kvalitetssikrer, og treffsikkerhet på sluttkostnad for P50 estimatene fra etat og kvalitetssikrer. Med treffsikkerhet menes hvem som anbefaler P50 estimatene som avviker minst fra sluttkostnad og hvem som anbefaler P50 estimatene som fungerer best som styringsramme. Datagrunnlaget er i hovedsak hentet ut fra KS2-rapporter. Det er hentet ut for data fra 119 prosjekter hvor P50 estimater fra etat og kvalitetssikrer har vært tilgjengelig i KS2-rapportene. For 64 av de 119 prosjektene har sluttkostnad vært tilgjengelig. Forskningsmetoden som er brukt for å svare på forskningsspørsmålene oppgave er kvantitativ. Det er i hovedsak tatt i bruk relative målestørrelser for å evaluere forskjellen mellom etat og kvalitetssikrers P50 estimat og treffsikkerheten for estimatene. De relative målestørrelsene er analysert ved bruk av enkel lineær regresjon med minste kvadraters metode. Prosjektene er i studien også delt inn porteføljer som er analysert ved bruk av enveis variansanalyse og student t-test. I tilfellene der datagrunnlaget ikke følger antakelser for disse testene er porteføljer av prosjekter sammenlignet ved bruk av Kruskal Wallis og MannWhitney-Wilcoxon test.Cost-efficient spending of public funds is essential to ensure that public investment projects provide the intended utility for society. If cost overruns occur in large investment projects, it can impact desired project objectives or other state-funded investment projects or programs since there is a threshold for public funds. To secure spending of public funds that reflects society's best interest. Public investment projects with an estimated cost above 1000 million Norwegian kroner are developed through the state project model, also called the QA scheme. Before the decision to build is finalized and public funds are set aside for completion of the project, the project documentation developed by the GA (a government agency) in charge of the project must pass through two rounds of quality assurance QA1 and QA2. An integral part of QA2 is the quality assurance of the investment cost for the project. The QA2C (QA2 consultant) must produce a cost estimate based on an uncertainty analysis of project cost. If the GA has done a similar project cost analysis, two comparable cost estimates for the same project will be available at the end of QA2. One from the QA2C and one from the GA responsible for the project. This thesis will only make use of a point estimate from these cost estimates from the GA and QA2C. The point estimate studied in this thesis is called the P50 estimate. The P50 estimate is the foundation for deciding the budget for the GA to complete the project. The study has two main topics: The difference between the P50 estimates from GA and QA2C. The accuracy of the P50 estimates from GA and QA2C. Accuracy is measured from the size of cost overruns/underruns and the size of deviation between the final project cost and the P50 estimate. A quantitative research method is the applied tool for answering the research questions in this thesis. The primary source of data has been QA2-reports. Data stem from 119 projects where P50 estimates from GA and QA2C are available in the QA2-report. Of the 119 projects with available P50 estimates, 64 had finalized project costs. The difference between P50 estimates and the difference between P50 estimates and project cost is studied in relative sizes. The data is analyzed whit linear regression. Data has been split into portfolios one-way ANOVA and t-tests. Data that does not meet the required normality assumption is analyzed with a Kruskal-Wallis and Mann-Whitney-Wilcoxen test.M-I

Volume II Acquisition Research Creating Synergy for Informed Change, Thursday 19th Annual Acquisition Research Proceedings

ProceedingsApproved for public release; distribution is unlimited