Pitfalls in the Assessment of Postgraduate Scholarship Programs: The Need for New Indicators

Very few published studies have examined the outcomes of postgraduate scholarship programs. Basing our analysis on these studies and on internal reports from U.S. and Canadian organizations involved in scholarship programs, we have compiled an overview of the wide variety of indicators and methods that have been used, and conducted a comparative study of outcomes using the four most commonly used indicators: awarded diploma, obtained job, obtained related job, and pursuing studies. Our analysis revealed several methodological pitfalls in comparing the results. Although the use of available data limits the depth of a comparative analysis, our results show that scholarship programs tend to increase the rate of awarded diplomas.Très peu d'études publiées ont examiné les retombées des programmes de bourses d'études supérieures. En fondant notre analyse sur ces études, mais surtout sur des rapports internes d'organismes américains et canadiens, nous avons répertorié une variété des méthodologies et d'indicateurs utilisés puis nous avons réalisé une étude comparative avec les quatre indicateurs les plus fréquents : le taux de diplômation, le taux d'emploi, le taux d'emploi en relation avec les études et le taux de poursuite des études. Notre analyse a révélé plusieurs difficultés méthodologiques dans la comparaison des résultats. Malgré le fait que les données disponibles limitent la portée d'une analyse comparative, nos résultats montrent que ces programmes favorisent l'obtention d'un diplôme