Empirical validity of the evaluation of public policies: models of evaluation and quality of evidence

There is a wide range of evaluation methods. On the basis of which criteria should one method be chosen? On what scientific foundations are the results of numerous evaluations based? How can reliability and empirical validity be tested? The relevance of such questions is heightened in new fields of action such as agri-environmental policy. This paper aims to demonstrate that theoretical advances on level and types of evidence (existence, causality, effectiveness) can help resolve these issues. The main evaluation methods are classified into three main categories, according to their main goal (to learn, measure, understand) and linked to the debate on types of evidence. The analysis is illustrated by comparing evaluation methods in the field of agroenvironmental policies and farm advisory services. Attention is drawn to the shortcomings of each method with respect to corroborating facts as well as existing complementarities and trade-offs between methods in terms of empirical validity.evaluation, evidence, agricultural extension, agri-environment, Agricultural and Food Policy, B49 H83 Q18 Q58,

KNOWLEDGE PRODUCTION, MULTIFUNCTIONALITY OF AGRICULTURE AND PUBLIC DECISIONS: CRITICAL ISSUES OF CONTEMPORARY CONTROVERSIES

Various theoretical models of public policy analysis are used to treat situations of decision-making in which public deciders have to take into account the multifunctionality of agriculture. For some, science-society relations are not really problematical. Others acknowledge the current attempts of these policy-makers to find adequate scientific knowledge, and the difficulties they encounter. These difficulties stem partly from the very content of knowledge produced by research. Could other modes of production be more efficient? The status of the knowledge produced by these approaches is a subject of debate. Bridging the divide between science and policy more effectively is not only a question of knowledge brokerage. Accessibility and reliability of the existing evidences are also problems to be addressed. The debates around evidence-based practices may provide some landmarks in this new situation although they also emphasize the limits of the tools that can be built for this purpose.Multifunctionality, Agriculture, Knowledge, Policy, Agribusiness, Community/Rural/Urban Development, Labor and Human Capital,

MENTOR ou une méthodologie et des outils opérationnels de conception et de qualification de sites de mesures en réseau d'assainissement

International audienceLe projet MENTOR (MEasurement sites conception method for sewer NeTwORks) a pour objectif principal d'aider les gestionnaires dans la mise en place d'une instrumentation intégrée de la chaîne de mesures visant à mieux surveiller en continu la quantité et la qualité des masses d'eau rejetées par les systèmes urbains d'assainissement. Ce projet permettra la mise au point d'outils opérationnels destinés aux gestionnaires et aux responsables de métrologie des réseaux d'assainissement urbains. Il fournira également des recommandations au niveau organisationnel qui aideront à l'acquisition de " bonnes pratiques métrologiques ". Nous présenterons le détail de la démarche puis nous illustrerons cela par quelques cas concrets traités par les partenaires du projet

Modélisation d'un débit en temps réel en canaux perturbés à partir de profileurs de vitesse

L'installation de systèmes de mesure est d'une utilisation cruciale pour la gestion des réseaux d'assainissement ou des canaux d 'irrigation. La plupart des structures gouvernementales ou privées ainsi que les agglomérations s'équipent de systèmes de mesure de débit afin de se conformer avec la législation européenne. La plupart des débitmètres fournissent des données en temps réel i.e. l'information est transmise en permanence. aux centrales d'acquisition pour une gestion de l'architecture du système de canaux. La mesure en canaux ouverts est souvent ultrasonore. L'objectif de cette thèse est de proposer une méthode en temps réel afin de corréler les vitesses locales en une vitesse moyenne dans les conditions observables par les utilisateurs en canaux ouverts. Les thématiques impliquées à cette étude sont multiples: les techniques de mesure, l'hydrodynamique en canaux ouverts représentée par la turbulence (ici plus particulièrement les courants secondaires), les lois de paroi, le nombre de Froude ... l'ensemble de ces thématiques doit être investi en canaux pleinement développés où les conditions sont stables dans l'espace mais aussi pour des conditions perturbées telles que les structures hétérogènes ou transitoires.La technique de mesure est un point clé: quelle est la technique la plus applicable aux conditions de mesure i.e. les canaux étroits? Les canaux étroits varient très rapidement en tem1es de taux de remplissage : la technique la plus adaptée est le profileur ultrasonique.La compréhension des effets hydrodynamiques est essentielle afin de développer un modèle de conversion. Les canaux droits sont influencés par l'hydrodynamique des écoulements, la géométrie mais aussi et principalement par leurs interactions. En canaux droits, les courants secondaires sont primordiaux même s'ils se traduisent par un effet le plus observable : le dip-phénomène, i.e. la présence d'un maximum de vitesse non pas à la surface d'eau mais en dessous pour les canaux étroits. Ces courants secondaires sont fortement sensibles au rapport d'aspect, la géométrie et la variabilité de la rugosité le long de la paroi, passablement sensible à la rugosité et indépendant du nombre de Froude .Les perturbations, à l'aval desquelles sont installés les débitmètres ultrasonores, sont majoritairement représentées par les coudes et les jonctions. Dans les coudes, les tourbillons sont liés aux forces centrifuges (gros tourbillon) et la turbulence (petit tourbillon). Pour les jonctions, les tourbillons diffèrent des deux précédentes configurations avec la présence à l'aval de la jonction de 3 tourbillons (due à un étirement des tourbillons par l'arrivée latérale). Les capteurs ne sont pas installés directement au niveau de la perturbation mais à l'aval. Dans la littérature, les distances requises pour retrouver des conditions proches de l'écoulement pleinement développé devraient excéder environ 50 hauteurs d'eau. En pratique, ces distances sont plus proches de5-10 fois la largeur du canal ou du tirant d'eau. L'application de modèle basée sur l'écoulement pleinement développé corrélé à un capteur n'est pas recommandable...The installation of flow rate measurement systems is an important factor in regard to the management of sewer and irrigation networks. Most cities and infrastructure succeed in obtaining sufficient flow measurements to satisfy European Regulation rules. Most flow meters comprise real time systems; this means that the information is permanently transferred to a data base for the management and optimization of the particular network. The measurement technology deployed is typically ultrasound based. Within the number of measurement points a high percentage are often deficient and create specific difficulties (>75% of Venturi flumes are inaccurate according to Anglian Water, a UK water and wastewater company). The study presented here focuses on flow meters which calculate discharge using measurement of level, cross sectional area and the correlation of local velocity to generate a mean value. The aim of this thesis is to propose a real time method to enable determination of this “conversion” under realistic configurations which Users find in open channels. The synthesis of measurement points through an understanding of hydraulic conditions (Bonakdari, 2006) provides a method to create flow data allowing local point velocities to be converted into an overall mean value. The approach has limitations and may fail in industrial situations but can be used for very complex configurations. It also requires specialists with knowledge of the technique who are rarely available to Users. What is proposed here is an alternative method to Bonakdari for simpler configurations. The aim is to evaluate the flow rate with acceptable accuracy using these technics and to establish a relationship between local velocities and the mean velocity according to Regulatory requirements (8% are required in UK, 5 to 8% in Germany depending on area). The individual components are here: the measurement techniques; the hydrodynamics represented with the turbulence (secondary currents in open channels); the wall / roughness effects; the Froude number … for fully developed conditions where conditions become stable in space but for disturbed conditions, as well such as heterogeneous structures or transition conditions

Modélisation d'un débit en temps réel en canaux perturbés à partir de profileurs de vitesse

L'installation de systèmes de mesure est d'une utilisation cruciale pour la gestion des réseaux d'assainissement ou des canaux d 'irrigation. La plupart des structures gouvernementales ou privées ainsi que les agglomérations s'équipent de systèmes de mesure de débit afin de se conformer avec la législation européenne. La plupart des débitmètres fournissent des données en temps réel i.e. l'information est transmise en permanence. aux centrales d'acquisition pour une gestion de l'architecture du système de canaux. La mesure en canaux ouverts est souvent ultrasonore. L'objectif de cette thèse est de proposer une méthode en temps réel afin de corréler les vitesses locales en une vitesse moyenne dans les conditions observables par les utilisateurs en canaux ouverts. Les thématiques impliquées à cette étude sont multiples: les techniques de mesure, l'hydrodynamique en canaux ouverts représentée par la turbulence (ici plus particulièrement les courants secondaires), les lois de paroi, le nombre de Froude ... l'ensemble de ces thématiques doit être investi en canaux pleinement développés où les conditions sont stables dans l'espace mais aussi pour des conditions perturbées telles que les structures hétérogènes ou transitoires.La technique de mesure est un point clé: quelle est la technique la plus applicable aux conditions de mesure i.e. les canaux étroits? Les canaux étroits varient très rapidement en tem1es de taux de remplissage : la technique la plus adaptée est le profileur ultrasonique.La compréhension des effets hydrodynamiques est essentielle afin de développer un modèle de conversion. Les canaux droits sont influencés par l'hydrodynamique des écoulements, la géométrie mais aussi et principalement par leurs interactions. En canaux droits, les courants secondaires sont primordiaux même s'ils se traduisent par un effet le plus observable : le dip-phénomène, i.e. la présence d'un maximum de vitesse non pas à la surface d'eau mais en dessous pour les canaux étroits. Ces courants secondaires sont fortement sensibles au rapport d'aspect, la géométrie et la variabilité de la rugosité le long de la paroi, passablement sensible à la rugosité et indépendant du nombre de Froude .Les perturbations, à l'aval desquelles sont installés les débitmètres ultrasonores, sont majoritairement représentées par les coudes et les jonctions. Dans les coudes, les tourbillons sont liés aux forces centrifuges (gros tourbillon) et la turbulence (petit tourbillon). Pour les jonctions, les tourbillons diffèrent des deux précédentes configurations avec la présence à l'aval de la jonction de 3 tourbillons (due à un étirement des tourbillons par l'arrivée latérale). Les capteurs ne sont pas installés directement au niveau de la perturbation mais à l'aval. Dans la littérature, les distances requises pour retrouver des conditions proches de l'écoulement pleinement développé devraient excéder environ 50 hauteurs d'eau. En pratique, ces distances sont plus proches de5-10 fois la largeur du canal ou du tirant d'eau. L'application de modèle basée sur l'écoulement pleinement développé corrélé à un capteur n'est pas recommandable...The installation of flow rate measurement systems is an important factor in regard to the management of sewer and irrigation networks. Most cities and infrastructure succeed in obtaining sufficient flow measurements to satisfy European Regulation rules. Most flow meters comprise real time systems; this means that the information is permanently transferred to a data base for the management and optimization of the particular network. The measurement technology deployed is typically ultrasound based. Within the number of measurement points a high percentage are often deficient and create specific difficulties (>75% of Venturi flumes are inaccurate according to Anglian Water, a UK water and wastewater company). The study presented here focuses on flow meters which calculate discharge using measurement of level, cross sectional area and the correlation of local velocity to generate a mean value. The aim of this thesis is to propose a real time method to enable determination of this “conversion” under realistic configurations which Users find in open channels. The synthesis of measurement points through an understanding of hydraulic conditions (Bonakdari, 2006) provides a method to create flow data allowing local point velocities to be converted into an overall mean value. The approach has limitations and may fail in industrial situations but can be used for very complex configurations. It also requires specialists with knowledge of the technique who are rarely available to Users. What is proposed here is an alternative method to Bonakdari for simpler configurations. The aim is to evaluate the flow rate with acceptable accuracy using these technics and to establish a relationship between local velocities and the mean velocity according to Regulatory requirements (8% are required in UK, 5 to 8% in Germany depending on area). The individual components are here: the measurement techniques; the hydrodynamics represented with the turbulence (secondary currents in open channels); the wall / roughness effects; the Froude number … for fully developed conditions where conditions become stable in space but for disturbed conditions, as well such as heterogeneous structures or transition conditions

Théorie des « preuves », évaluation des politiques publiques

Théorie des « preuves », évaluation des politiques publiques. conférence de la Société Française d’Evaluatio

Quel avenir pour les pays dans le mille-feuille français ?

National audienceCette contribution revisite la question du « mille-feuille » français en se focalisant plus spécifiquement sur les pays, actuellement menacés par la réforme territoriale. Elle s’appuie sur l’expérience des auteurs dans le domaine de l’analyse et de l’évaluation des politiques territoriales et sur leur participation conjointe à une recherche évaluative récente sur les pôles d’excellence rurale. L’ambition est double : contribuer à recadrer un débat aujourd’hui organisé autour d’argumentaires qui apparaissent parfois simplistes et erronés et proposer une grille d’analyse plus pertinente à partir de l’interrogation suivante : est-ce que réduire un échelon territorial permet effectivement de répondre à une recherche d’efficacité ? La grille d’analyse s’articule ainsi autour de trois axes : la nécessité d’intégrer des aspects non budgétaires pour analyser la pertinence de l’échelon d’intervention ; l’intérêt de raisonner l’échelon d’intervention en fonction du problème posé ; la prise en compte des formes de coopération et de coordination entre échelons d’administration plutôt que la concurrence/compétition entre eux. Dans le prolongement de récentes analyses sur l’inter-territorialité (Vannier, 2009) qui invitent à dépasser l’idée d’une « politique des échelles » basée sur une répartition des champs sectoriels ou des domaines d’intervention pour aller vers des collaborations entre niveaux adaptées à chaque phase de l’action publique (conception, maîtrise d’ouvrage, maîtrise d’oeuvre, gestion), les auteurs concluent que « les pays (…) représentent peut-être, de ce point de vue, des formes d’organisation à caractère précurseur dont la disparition dans le paysage français pourrait être synonyme de marche en arrière

L’évaluation de politique publique : un exemple de pratique d’amélioration des institutions publiques en tension entre efficience et pluralisme

National audienceDémarche héritée des pratiques anglo-saxonnes, l’évaluation de politique s’est progressivement développée en France depuis les années 90. Dans la plupart des cas, l’enjeu pour le commanditaire est de « mesurer » et d’améliorer la performance des institutions publiques. La présente communication propose une analyse critique de ce développement de l’évaluation de politique publique depuis une vingtaine d’années et analyse en particulier la place et le rôle d’une part de la Commission Européenne, d’autre part de la Société Française de l’Evaluation dans cette évolution. Les auteurs, en tant qu’acteurs de ce développement à différents titres (consultant, administratif et enseignant-chercheur), proposent d’appuyer leurs analyses sur leurs expériences et pratiques relatives à l’évaluation des politiques interministérielles à l’échelle nationale, et à l’évaluation dans les pays membres de deux politiques majeures de la Commission Européenne : Politique Agricole Commune et politique dite de cohésion

Models of evaluation and quality of evidence

A paraîtreabsen

Goals of evaluation and types of evidence

JEL classification : B49 - Economic Methodology - Other H83 - Public Administration; Public Sector Accounting and Audits Q18 - Agricultural Policy; Food Policy Q58 - Environmental economics - Government PolicyAll stakeholders are urged to pay more attention to the quality of evidence used and produced during the evaluation process in order to select appropriate evaluation methods. A ‘theory of evidence for evaluation’ is needed to better address this issue. This article discusses the relationships between the three main goals of evaluation (to learn, measure and understand) and the various types of evidence (evidence of presence, of difference-making, of mechanism) which are produced and/or used in the evaluation process. It argues for the need to clearly distinguish between this approach and that of levels of evidence, which is linked to data collection and processing methods (e.g. single case observations, difference methods, randomized controlled trials…). The analysis is illustrated by examples in the field of agro-environmental policymaking and farm advisory services