Quality control and due diligence in project management: Getting decisions right by taking the outside view

This paper explores how theories of the planning fallacy and the outside view may be used to conduct quality control and due diligence in project management. First, a much-neglected issue in project management is identified, namely that the front-end estimates of costs and benefits – used in the business cases, cost–benefit analyses, and social and environmental impact assessments that typically support decisions on projects – are commonly significantly different from actual ex post costs and benefits, and are therefore poor predictors of the actual value and viability of projects. Second, it is discussed how Kahneman and Tversky's theories of the planning fallacy and the outside view may help explain and remedy this situation through quality control of decisions. Third, it is described what quality control and due diligence are in the context of project management, and an eight-step procedure is outlined for due diligence based on the outside view. Fourth, the procedure is tested on a real-life, multibillion-dollar project, organized as a public–private partnership. Finally, Akerlof and Shiller's recent discussion in economics of “firing the forecaster” is discussed together with its relevance to project management. In sum, the paper demonstrates the need, the theoretical basis, a practical methodology, and a real-life example for how to de-bias project management using quality control and due diligence based on the outside view

Software Project Failure Process Definition

Many researchers have attempted to identify the factors behind software project failures and their solutions from various perspectives. However, systematic and integrated process definitions of failure as process models for success are lacking. This study aims to build a process definition for software project failure as an anti-pattern by identifying the main phases and their relationships in terms of team behavior. We researched software engineering literature and case studies to gather information about critical incidents and repeating behaviors of teams in failed projects into a novel dataset. Grounded theory was employed to build a theoretical foundation for failure phase definitions from the collected data. The design structure matrix and Bayesian belief network were used for the quantitative assessment of the transitions between phases. The results revealed that common behavioral patterns occurred in approximately 89 percent of the case studies, supporting the decision to consider software project failure as a process. The proposed failure process definition has a simple structure that uses everyday concepts for phase names and reveals the critical behaviors leading a software project to failure Thus, it provides critical insights for software professionals, non-technical stakeholders, and managers to evaluate the progress of their projects and design strategies to avoid failure

Error-Resilient Consumer Contracts

When firms contracting with consumers make mistakes, people get hurt. Inaccurate billing, misapplied payments, and similar problems push lucky consumers into Kafkaesque customer service queues—and unlucky ones off the financial cliff. Despite significant regulatory interventions, firms contracting with consumers continue to struggle to accurately bill customers, update accounts, and process payments. Firms largely rely on technology, especially databases and software, to discharge these servicing obligations. This technology must accommodate firms’ innovations in their contracts, shifting governmental regulations, and consumers’ unpredictable behavior. Given the complexity of servicing, even when firms invest significantly in technology, it will inevitably produce mistakes. When firms skimp on their servicing technology, errors that harm consumers become even more likely. And even if it were possible to build perfect servicing technology, the costs that firms would pass on to consumers may outweigh the benefits. The challenge, then, is how to reduce customer harm, accepting that perfect servicing is neither possible nor desirable. This Article argues that structural improvements to consumer contracts can make them more resilient to errors. Far from being new, these structural improvements have long been recognized in contract theory. But the resulting theoretical insights have not been applied to modern consumer financial contracts. Specifically, modularity and formalities improve resilience by mitigating the complexity of servicing, regulation, and consumer behavior. While mitigating complexity may reduce errors ex ante, the bigger payoff is in simplifying customer redress if and when errors occur. Intervening in the structure of consumer financial contracts is an underappreciated tool for achieving substantive consumer protection

Interaction Room - Eine Methode zur Förderung der Wertorientierung in Planung und Requirements Engineering von Informationssystemen

Software wird immer wichtiger in unserer Gesellschaft, trotzdem dauern IT-Projekte länger und werden teurer, als ursprünglich geplant, sie verfehlen ihre funktionalen und qualitativen Ziele oder werden vorzeitig abgebrochen. Durch inhärente Ungewissheit, Komplexität und mangelnde Wertorientierung wird eine realistische Projektplanung für die Entwicklung von Informationssystemen erschwert. Auf Basis eines unzureichenden Verständnisses über Anforderungen, Risiken und Ziele kann der zu leistende Aufwand nicht realistisch geschätzt werden, die daraufhin allokierten Ressourcen, bereitgestellten monetären Mittel und die geplante Projektlaufzeit reichen für eine erfolgreiche Projektumsetzung nicht aus. Die initiale Verständnisbildung über Anforderungen und Risiken geschieht in plangetriebenen Vorgehensweisen zu Beginn eines Projekts durch eine umfangreiche Analyse und möglichst vollständige Spezifikation. Das Schreiben vollständiger Spezifikationen ist jedoch unwirtschaftlich, weil soziotechnische Systeme nicht vollständig beschreibbar sind und emergente Anforderungen in erkenntnisgetriebenen Softwareprozessen zu Änderungen führen. In agilen Vorgehensweisen wird das Verständnis durch die gleichen Aktivitäten, jedoch in kurzen Zyklen und ohne vollständige Spezifikation zu Projektbeginn, durch enge Zusammenarbeit zwischen Kunden und Entwicklungsteams hergestellt. Um Projekte erfolgreich planen zu können, müssen die richtigen Anforderungen in angemessenem Detailniveau verstanden und dokumentiert sein. Plangetriebene und agile Vorgehensweisen liefern den organisatorischen Rahmen zur Herstellung eines expliziten und impliziten gemeinsamen Verständnisses. Das Erkennen erfolgskritischer Projektinhalte obliegt der Verantwortung einzelner Rolleninhaber in den Vorgehensweisen – eine strukturierte Herangehensweise, um die Aspekte eines Projektes explizit zu machen, die über Erfolg und Misserfolg eines Projektes entscheiden können, existiert nicht. Um einen Beitrag zum Erfolg von IT-Projekten durch deren realistische Planung zu leisten, wird in dieser Arbeit der Interaction Room vorgestellt: Eine Methode, in der interdisziplinäre Teams pragmatische Modelle über das Verhalten sowie die Struktur eines Informationssystems in moderierten Workshops skizzieren. Sie kennzeichnen Wert-, Aufwands- und Risikotreiber in Modellskizzen, die auf Interaction-Room-Landkarten visualisiert werden. Dabei veranschaulicht die Feature-Landkarte den funktionalen Projekt-umfang. Die Prozesslandkarte veranschaulicht durch das Informationssystem unterstützte Prozesse zur Erfüllung der funktionalen Anforderungen. Die Objektlandkarte veranschaulicht erzeugte und verarbeitete Geschäftsobjekte und die Integrationslandkarte veranschaulicht direkte Schnittstellen des Informationssystems zu benachbarten Systemen sowie ausgetauschte Geschäftsobjekte. Die Kennzeichnung von Wert-, Aufwands- und Risikotreiber geschieht mit Hilfe von getypten Annotationen, die von den Stakeholdern des interdisziplinären Teams auf die Landkarten geheftet, im Anschluss diskutiert und dokumentiert werden. Durch die Annotationstypen lassen sich z. B. Werte für Nutzer, Flexibilitätsanforderungen und Ungewissheit kennzeichnen. Die Erkenntnisse aus Inter-action-Room-Workshops werden in eine pragmatische Struktur für Anforderungsdokumente überführt und können dadurch unmittelbar in Softwareprozessen weiter verwendet werden. Zwischen November 2011 und Februar 2017 wurden 23 Analyse-, Neuentwicklungs-, Weiterentwicklungs- und Migrationsprojekte mit Industriepartnern unterschiedlicher Branchen durchgeführt. Auf dieser Datenbasis wurden unterschiedliche Methodenparameter auf Zusammenhänge untersucht. Erwartungsgemäß bestehen positive Zusammenhänge zwischen Metriken der Projektgröße, zwischen dem Vorschlag zur Verwendung von Annotationstypen und deren tatsächlicher Verwendung, sowie zwischen der Menge verwendeter Annotationstypen und der Anzahl Duplikate. Außerdem besitzen die Inter-action-Room-Annotationen positiven Einfluss auf die Genauigkeit der Aufwandsschätzung. Die Planung von Entwicklungsiterationen kann durch Interaction-Room-Landkarten unterstützt werden, wodurch eine quantitative Verbesserung bei der Identifikation von Arbeitspaketen beobachtet wurde. Die Verbesserung besitzt positiven Einfluss auf die Fortschrittsmessung während einer Iteration und damit auf ihre Erfolgsprognose. Die Intervention kann in ein übliches Vorgehen zur Planung von Entwicklungsiterationen integriert werden, weil sie von den Planenden nicht als störend wahrgenommen wurde

Exact analysis for requirements selection and optimisation

Requirements engineering is the prerequisite of software engineering, and plays a crit- ically strategic role in the success of software development. Insufficient management of uncertainty in the requirements engineering process has been recognised as a key reason for software project failure. The essence of uncertainty may arise from partially observable, stochastic environments, or ignorance. To ease the impact of uncertainty in the software development process, it is important to provide techniques that explicitly manage uncertainty in requirements selection and optimisation. This thesis presents a decision support framework to exactly address the uncertainty in requirements selection and optimisation. Three types of uncertainty are managed. They are requirements uncertainty, algorithmic uncertainty, and uncertainty of resource constraints. Firstly, a probabilistic robust optimisation model is introduced to enable the manageability of requirements uncertainty. Requirements uncertainty is probabilis- tically simulated by Monte-Carlo Simulation and then formulated as one of the opti- misation objectives. Secondly, a probabilistic uncertainty analysis and a quantitative analysis sub-framework METRO is designed to cater for requirements selection deci- sion support under uncertainty. An exact Non-dominated Sorting Conflict Graph based Dynamic Programming algorithm lies at the heart of METRO to guarantee the elim- ination of algorithmic uncertainty and the discovery of guaranteed optimal solutions. Consequently, any information loss due to algorithmic uncertainty can be completely avoided. Moreover, a data analytic approach is integrated in METRO to help the deci- sion maker to understand the remaining requirements uncertainty propagation through- out the requirements selection process, and to interpret the analysis results. Finally, a more generic exact multi-objective integrated release and schedule planning approach iRASPA is introduced to holistically manage the uncertainty of resource constraints for requirements selection and optimisation. Software release and schedule plans are inte- grated into a single activity and solved simultaneously. Accordingly, a more advanced globally optimal result can be produced by accommodating and managing the inherent additional uncertainty due to resource constraints as well as that due to requirements. To settle the algorithmic uncertainty problem and guarantee the exactness of results, an ε-constraint Quadratic Programming approach is used in iRASPA