Evaluating State Performance: A Critical View of State Failure and Fragility Indexes

Abstract

The article criticizes poor state performance (PSP) indexes, that is to say, cross-national data sets that mark or rank contemporary states according to their performance. In particular, I claim that current indexes provide very little genuine information about performance orderings. The criticism focuses on ‘structural’ PSP problems: those that cannot be circumvented, have no obvious solution, and generally stem from the very nature of the exercise. I suggest that there is a generalized failure to acknowledge, let alone solve, in all three stages of index building – conceptualization, codification/operationalization, aggregation – fundamental issues including defining, dealing with intrinsic ambiguity, and with lack of complete order in the informational domain (that is, the database).Cet article est une critique des indicateurs de mauvaise performance de l′État, c′est à dire des ensembles de données nationales transversales qui classent les États contemporains en fonction de leurs performances. En particulier, je soutiens que les indicateurs utilisés actuellement fournissent très peu de réelles informations concernant les classifications des performances. Notre critique est centrée sur les problèmes «structurels» qui caractérisent ces indicateurs: ceux qui sont inévitables, n′ont pas de solutions évidentes, et résultent en général de la nature même de l′exercice. Je considère qu′on néglige généralement de reconnaître, et par conséquent de résoudre – lors des trois phases de construction des indicateurs (conceptualisation, codification/opérationalisation, et agrégation) – certains problèmes fondamentaux liés, notamment, à l′ambiguïté intrinsèque au domaine informationnel et au manque d′ordre qui caractérise ce dernier.