da Costa, Nicole

Bibliothèque numérique de l'enssib

 26  bbf : 2010   t. 55, no 4Évaluations  Un contrat de performance à la Bibliothèque nationale de FranceAvec le contrat de performance, l’évaluation de l’activité de la Bibliothèque nationale de France (BnF) s’inscrit dans le cadre plus général de l’évaluation des politi-ques publiques, défini par la loi orga-nique relative aux lois de finances du 1er août 2001 (Lolf). Mais, en s’interro-geant sur la place de l’évaluation dans un établissement public tel que la BnF, il s’agit ici de s’intéresser à l’évaluation comme à une pratique régulière et intégrée à l’action elle-même, qui per-met de délivrer quotidiennement des services de qualité, de proposer des offres adaptées ou encore de conduire tel programme de développement.Associée à un travail programma-tique et prospectif, l’évaluation prati-quée à la BnF est bien une activité qui produit à la fois de la connaissance, du jugement par rapport à des normes ou des cibles, et qui aide à la décision 1. Elle est mise en œuvre par toute une gamme d’outils et de méthodes, dont on pourrait dire que le cœur est le recueil de l’information (études docu-mentaires ou de cas, enquêtes, entre-tiens et auditions), son traitement (par le biais des statistiques, des indica-teurs, et par le contrôle de gestion) et son analyse contextuelle (rapport).L’ensemble de ces outils est ainsi mobilisé dans le cadre du pilotage du contrat de performance 2 de la BnF, 1. On pourra lire ou relire avec intérêt le « Petit guide de l’évaluation » réalisé par le Conseil national de l’évaluation :  www.evaluation.gouv.fr2. Le contrat de performance 2009-2011 de la BnF a été approuvé par son conseil d’administration le 24 juillet 2009 et signé par le ministre de la Culture et de la Communication le 8 décembre 2009.  qui fixe la stratégie pluriannuelle de l’établissement, précise les projets qui permettront d’atteindre ces objectifs ainsi que leurs calendriers de mise en œuvre et les résultats attendus. Chacun des objectifs stratégiques du contrat de performance est accom-pagné d’une série d’indicateurs qui visent à mesurer l’avancement des ac-tions prévues et les résultats obtenus, au regard de cibles définies (voir an-nexe 1).Si les indicateurs, en permettant de donner de manière immédiate et lisible une information ou un ensem-ble d’informations sur l’appréciation d’une situation ou d’une tendance, sont la porte d’entrée de l’évaluation du contrat de performance, celle-ci doit être complétée par d’autres dis-positifs pour pouvoir former un juge-ment aussi précis, objectif et pertinent que possible sur la réussite ou l’échec d’une action entreprise. Car les indi-cateurs sont d’abord des instruments de mesure, et leurs valeurs ne fournis-sent jamais que des éclairages partiels sur une action.Une démarche d’évaluation naturelleDans le cadre des activités de re-cherche conduites par la BnF, les indi-cateurs du contrat de performance ne rendent compte que partiellement – et cela volontairement – des réalisations de cette mission de l’établissement. En effet, pour la programmation, l’ani-Voir sa version synthétique à l’adresse : www.bnf.fr/fr/la_bnf/connaitre_bnf/a.contrat_performance.htmlNicole da CostaBibliothèque nationale de France (BnF)nicole.da-costa@bnf.frNicole da Costa est déléguée à la stratégie et à la recherche à la Bibliothèque nationale de France depuis janvier 2008. Licenciée en histoire et en philosophie, diplômée de l’Institut d’études politiques de Paris et ancienne élève de l’ENA (promotion Averroès 2000), elle a occupé précédemment les fonctions de directrice juridique et financière du Centre Pompidou (2005-2007) et de chef de mission du développement de l’activité et de l’insertion professionnelle à la Délégation générale à l’emploi et à la formation professionnelle au ministère en charge de l’emploi (2000-2004). Un contrat de performance à la Bibliothèque nationale de France : bbf : 2010  27  t. 55, no 4ainsi les trois grandes dimensions de la performance publique :efficacité socio-économique•   : in-dicateurs mesurant l’évolution de la fréquentation physique et virtuelle des différents services et activités, sur place et à distance, de la bibliothèque ;qualité de service•   : indicateurs de satisfaction des usagers ou mesurant l’évolution du délai de catalogage des monographies reçues par dépôt légal ;efficience•   : indicateurs mesurant l’optimisation des moyens employés, comme par exemple l’évolution des dépenses de fluides au mètre carré.La volonté de couvrir l’ensemble des objectifs, des activités et des pro-jets de la BnF au travers d’indicateurs a également été l’occasion d’ouvrir des chantiers qui restent en cours de consolidation.Par exemple, il est apparu perti-nent de coupler les indicateurs mesu-rant l’enrichissement de l’offre docu-mentaire de la bibliothèque numérique Gallica en terme de nombre de docu-ments selon leur type (monographies, fascicules de périodiques, documents spécialisés, documents audiovisuels et sonores) et leur origine (fonds de la BnF, documents de bibliothèques par-tenaires et documents sous droits mis à disposition par les éditeurs) et les in-dicateurs d’audience de la bibliothèque numérique (nombre de visites du site) actions et de décider, le cas échéant, des mesures correctrices à prendre. Un rapport de performance est élaboré à la fin de l’année, qui est annexé au rapport d’activité, et qui analyse l’en-semble des résultats, à partir des indi-cateurs, des bilans d’étape des services ou d’autres évaluations réalisées.Par ramification, le contrat de per-formance engage ainsi une pratique de l’évaluation qui va se décliner, non seulement pour son pilotage, mais aussi à tous les niveaux de l’activité de l’établissement, et qui va contribuer à élaborer une meilleure analyse et com-préhension des actions conduites et des résultats obtenus. •Mai 2010Annexes•   Annexe 1 : définir des indicateurs de performanceLa définition des indicateurs du contrat de performance de la BnF a constitué un exercice contraint. Il fal-lait en effet reprendre des indicateurs du projet annuel de performance (PAP) du programme « Patrimoines » de la Mission Culture, auxquels la BnF contribue. Nous avions aussi la volonté de les compléter par des indicateurs, sinon directement repris, du moins s’inscrivant dans le cadre des normes édictées et des préconisations formu-lées par l’ISO en la matière 3 . Enfin, il fallait rester nécessairement prag-matique, ce qui limite in fine le choix des indicateurs à ceux qui reposent sur des données aisément disponibles, fiables, vérifiables et pertinentes, tant au regard des objectifs stratégiques de  l’établissement que de l’activité des ser vices.Les différents indicateurs retenus dans le contrat de performance et sur lesquels la BnF s’engage couvrent 3. ISO 2789 : Statistiques internationales des bibliothèques, ISO 11620 : Indicateurs de performance des bibliothèques, ISO/TR 28118 : Performance indicators for national libraries.mation et la valorisation des activités de recherche de la BnF, la démarche d’évaluation est centrale et en est deve-nue progressivement une composante naturelle. Ce sont donc aussi les résul-tats de ces évaluations courantes de l’activité de recherche qu’il faut convo-quer pour apprécier plus largement les résultats de l’établissement dans ce domaine (voir annexe 2).De même, la question fondamen-tale des publics, qui est traitée prin-cipalement dans un des objectifs du contrat de performance, mobilise dif-férentes techniques de l’évaluation : soit pour renseigner directement des indicateurs de performance, soit pour rendre compte d’actions prévues au contrat de performance mais non me-surées par un indicateur, soit encore pour contribuer à la mise en œuvre de ces actions. La démarche d’évalua-tion va alors utiliser autant la statisti-que – pour connaître la composition du public, son évolution et ses usages ou bien pour mesurer l’activité d’un service (voir annexe 3) – que l’enquête barométrique appliquée à un panel d’usagers afin de mesurer, par exem-ple, leurs satisfactions ou leurs atten-tes. Elle peut aussi recourir à des prati-ques d’auto-évaluation pour travailler à l’amélioration de la qualité des services (voir annexe 4).Le réflexe d’évaluation se décline à tous les niveauxUn élément déterminant de la qualité du pilotage du contrat de per-formance est la formalisation du cadre dans lequel s’inscrivent sa mise en œuvre et son évaluation. Le contrat de performance de la BnF comporte ainsi un chapitre portant sur son suivi et ses modalités de révision ; une note de service interne est venue complé-ter les dispositions retenues pour son pilotage interne. La démarche procé-durale dans laquelle s’inscrit sa mise en œuvre a ainsi été définie et énon-cée dès le départ pour tous les acteurs concernés. Deux grandes séries de réunions d’évaluation sont organisées chaque année (des revues d’avance-ment pour chacun des objectifs), per-mettant de faire des évaluations « che-min faisant » sur la réalisation des “Il fallait limiter le choix des indicateurs à ceux qui reposent sur des données aisément disponibles, fiables, vérifiables et pertinentes” 28  bbf : 2010   t. 55, no 4Évaluationsdiscipline ou la thématique du projet, est une garantie de la qualité du pro-cessus d’évaluation. L’évaluation an-nuelle conduite par ces commissions va porter sur les résultats obtenus (catalogues de collections, répertoires bibliographiques, inventaires, guides de recherche, travaux de laboratoires scientifiques, recherche appliquée, etc.). Les investissements réalisés sont également mesurés (les intrants ou inputs) en plus des extrants (outputs), tels que les publications résultant des programmes de recherche, mais ils servent davantage à évaluer l’efficience de la recherche menée que sa qualité, plus difficilement mesurable.L’évaluation de la recherche conduite à la BnF est à considérer comme un outil de valorisation, un instrument de connaissance et de rayonnement. En appréhendant mieux les résultats de la recherche, leur vo-lume et ampleur, meilleure pourra être la diffusion des résultats auprès de la communauté des chercheurs.Olivier JacquotCoordonnateur de la recherche à la DSGolivier.jacquot@bnf.fr•   Annexe 3 : les différents usages des statistiques de fréquentationL’exploitation des statistiques de fréquentation des salles de lecture va permettre de répondre autant à des préoccupations opérationnelles que stratégiques. Ainsi, les statistiques ser-vant une finalité plus opérationnelle vont concerner, par exemple, le circuit des documents et, plus largement, tout ce qui a trait aux services mis à dispo-sition du public des salles de lecture. L’exploitation de ces statistiques, qui est assurée quotidiennement, répond à des préoccupations de plusieurs or-dres :mesurer l’ensemble des activités • induites par la venue du public lec-teur ;fournir des éléments d’apprécia-• tion sur la qualité des services mis à disposition ;le nombre de projets évalués par • an par des comités spécifiques ;le nombre de conventions de re-• cherche signées avec des partenaires ;le montant des financements ex-• térieurs des programmes de recherche ;l’attractivité pour les doctorants.• Pour renseigner certains de ces in-dicateurs, des procédures d’évaluation sont mises en œuvre, qui permettent ainsi d’appréhender de manière plus qualitative les résultats et d’éclairer les valeurs. Les méthodes d’évaluation mises en place à la BnF relèvent du pragmatisme plutôt que d’une stricte application de la méthode de mesure des activités scientifiques telle que proposée par le Manuel d’Oslo ou le Manuel de Frascati de l’Organisation de coopération et de développement économiques (OCDE)5.Dans le cadre du Plan triennal de la recherche de la BnF, une évaluation des projets de recherche est faite en amont de leur financement puis après leur réalisation : elle résulte d’une décision du Conseil scientifique de 2003, complétée par une décision du Comité de la recherche en 2005 de mettre en place une procédure systé-matique d’évaluation des programmes de recherche, sur la base de rapports annuels ayant une dimension plus qualitative que financière.En amont, les procédures couran-tes des instances de financement de la recherche sont appliquées : lancement d’un « appel à projets » avec un formu-laire de soumission puis dépouille-ment et évaluation des projets au filtre d’une grille comprenant une série de critères permettant d’apprécier l’éli-gibilité, la scientificité, la faisabilité, le rayonnement ou les retombées du projet proposé.En cours de réalisation et à la fin des projets, des commissions d’éva-luation sont créées. Elles sont compo-sées, pour chacun des programmes, du directeur de département de la BnF concerné, du responsable du pro-gramme, du directeur des collections et de la délégation à la stratégie et à la recherche, ainsi que d’une person-nalité extérieure à la BnF, dont la pré-sence, en tant qu’expert et pair dans la 5. www.ocde.orgavec un indicateur d’usage de ces res-sources en ligne, dans une perspective d’évaluation de la pertinence de l’offre documentaire proposée.S’appuyant sur la définition pro-posée par le rapport technique ISO/TR 28118 pour le calcul du nombre d’unités de contenu consultées en ligne par document numérisé (indica-teur A.5.3 : Number of Content Units Downloaded per Document Digiti-zed), le principe d’un indicateur de taux de consultation des ressources en ligne dans Gallica a ainsi été inscrit au contrat de performance de l’établisse-ment. La définition concrète du mode de calcul le plus efficient et fiable de l’indicateur a donné lieu à de nom-breux échanges techniques internes, afin d’identifier la source la plus fiable et la plus aisément disponible pour la mesure du nombre de documents en ligne effectivement consultés, entre les statistiques de fréquentation du site, qui supposent une identification exhaustive et homogène de l’ensem-ble des documents en ligne (tagage des pages), et l’analyse des logs des serveurs informatiques, plus lourde à mettre en œuvre.Julien BarbierChef de projet « performance et contrôle de gestion » à la DSGjulien.barbier@bnf.fr•   Annexe 2 : évaluer la recherche à la BnFDans le contrat de performance, les activités de recherche 4 ne sont tra-duites que par deux indicateurs : l’évo-lution du nombre de chercheurs invi-tés et associés et celle du nombre de bourses attribuées à des chercheurs. Mais d’autres indicateurs, déjà exis-tants ou à développer, viennent rendre compte de manière plus large des ré-sultats de cette activité en dehors du contrat :le nombre annuel de program-• mes de recherche menés à terme ;le nombre annuel de publica-• tions scientifiques ;4. Pour une présentation des activités de recherche de la BnF, voir :www.bnf.fr/fr/la_bnf/strategie_recherche.html Un contrat de performance à la Bibliothèque nationale de France : bbf : 2010  29  t. 55, no 4permettre le pilotage des infor-• mations à destination du public quant à la saturation éventuelle des salles ;prévoir les personnels nécessai-• res au service public et établir les plan-nings.L’exploitation des statistiques ser-vant une finalité stratégique va s’ins-crire dans une démarche générale de connaissance des publics et des usages en complément des enquêtes et étu-des sur le public. Ces statistiques s’ap-puient sur une exploitation croisée des données issues des procédures d’ins-cription et d’accréditation des lecteurs avec les données associées au sys-tème de contrôle d’accès aux espaces de lecture. Elles s’inscrivent dans une temporalité annuelle et permettent de mieux connaître les publics, leur com-position sociodémographique, leurs pratiques et leurs choix de lecture par disciplines.Selon cette approche, la fréquenta-tion des salles de lecture n’est plus me-surée seulement à travers le décompte des entrées (une personne peut gé-nérer plusieurs entrées) mais égale-ment à travers le nombre de person-nes différentes, le niveau d’assiduité moyen annuel, la fidélité à l’institu-tion (primo-adhésion, renouvellement d’inscription ou ré-adhésion après une période d’interruption), ainsi que les usages différenciés selon les salles de lecture et les disciplines.Véronique MichelChef de projet « statistiques et process » à la DSG veronique.michel@bnf.fr•   Annexe 4 : de l’auto-évaluation à la certificationLa Charte Marianne lancée en 2004 visait à simplifier et améliorer les relations entre les services publics et leurs usagers. Après une phase de test en 2004, elle est entrée officielle-ment en vigueur en 2005 : tous les éta-blissements du ministère de la Culture et de la Communication recevant du public avaient vocation à l’appliquer.Pour la mettre en place à la BnF, un groupe de travail associant tous les services concernés a alors été consti-tué afin de décliner et d’adapter au contexte de la Bibliothèque les cinq grands engagements prévus par la Charte. Ce travail s’est concrétisé par l’élaboration d’un dépliant qui a été mis à la disposition du public à comp-ter de juin 2005. Sa mise en place a permis d’apporter trois grandes nou-veautés :la création d’un calendrier indi-• quant les jours probables de saturation des salles de lecture ;l’engagement sur les délais de • réponse aux courriers reçus par voie postale et électronique ;l’affichage lisible du nom des • agents au contact du public.La BnF a réalisé en 2008 un bilan de ses actions menées en matière d’ac-cueil à travers une démarche d’auto-évaluation mobilisant tous les services impliqués. Cette démarche a permis de proposer des perspectives d’amélio-ration réalistes et réalisables en tenant compte, une fois encore, des moyens mobilisables, de l’environnement réel dans lequel s’inscrit la mise en œuvre de la Charte ainsi que de l’organisation des services. Aujourd’hui, la Charte est devenue Référentiel Marianne, et dans la perspective de son application à la BnF, prévue au contrat de perfor-mance dans le cadre du développe-ment d’une démarche qualité d’accueil des publics, la pratique de l’auto-éva-luation sera reconduite avant d’enga-ger par la suite une procédure forma-lisée de certification par un organisme extérieur.Cécile TouitouChef de projet « public et démarche qualité » à la DSGcecile.touitou@bnf.frVue de deux tours et du jardin central de la BnF. Photo : Bert Kommerij (sur Flickr)

Un contrat de performance à la Bibliothèque nationale de France

http://www.enssib.fr/bibliotheque-numerique/documents/48491-un-contrat-de-performance-a-la-bibliotheque-nationale-de-france.pdf

Un contrat de performance à la Bibliothèque nationale de France

Abstract

Similar works

Full text

Available Versions

Bibliothèque numérique de l'enssib