Les effets éducatifs des portfolios sur l'apprentissage des étudiants pendant le cursus prégradué : une revue systématique de la collaboration

Introduction : Au cours des dernières années, l'utilisation des portfolios en tant qu'outil d'apprentissage et d'évaluation est devenue une pratique de plus en plus répandue au sein des programmes de formation des professionnels de santé. Malgré le nombre croissant de publications qui rend compte de cette tendance, il manque une synthèse claire des données probantes qui en documente les effets éducatifs chez les étudiants au cours du cursus pré-gradué dans le milieu des professions de santé. Tel est l’objet de la présente contribution qui expose les résultats d’une revue méthodique et systématique. Méthodes : Nous avons élaboré un protocole de revue systématique sur la base des recommandations de la Best Evidence Medical Education (BEME) Collaboration. Les références obtenues grâce à une recherche électronique analysant dix bases de données ont été évaluées par deux examinateurs indépendants en fonction de critères d'inclusion et d'exclusion préalablement définis. Les textes intégraux ont été obtenus pour les articles potentiellement pertinents. Ceux-ci ont ensuite été analysés par deux examinateurs indépendants qui ont défini les études à inclure dans la revue systématique. À chaque étape, les points de désaccord entre eux ont été discutés jusqu'à ce qu'un accord soit trouvé. Les données relatives aux caractéristiques de la population étudiante, de l'intervention, des indicateurs de résultats, du plan et des résultats de l'étude ont été recueillies grâce à un formulaire pilote d'extraction de données. Chaque étude a été évaluée en fonction de onze indicateurs de qualité visant à définir comment l’étude était conçue et menée au regard du modèle hiérarchique de Kirkpatrick, modifié compte tenu du contexte pédagogique. Des comparaisons entre différents groupes ont été effectuées à l'aide du test de Kruskal-Wallis (ANOVA non paramétrique) ou du test de Mann-Whitney U, le cas échéant. Résultats : Les recherches électroniques ont identifié 2 348 références. Vingt-trois références supplémentaires ont été détectées manuellement dans des listes bibliographiques. Cinq cent cinquante-quatre articles in extenso ont été obtenus et évalués en fonction de nos critères d'inclusion. Sur les 69 études retenues dans notre revue systématique, 18 sont issues du domaine de la médecine, 32 des soins infirmiers et 19 d'autres professions de santé, incluant la dentisterie, la kinésithérapie et la radiographie. Dans tous les groupes professionnels, les portfolios sont principalement utilisés dans le milieu clinique. Dans la majorité des cas, il est obligatoire de les mener à terme, la démarche réflexive étant requise et l'évaluation (formative, sommative ou mixte) constituant la norme. Trois études font état de l'usage de portfolios électroniques. Alors que de nombreuses études combinent plusieurs méthodes de collecte des données, plus de la moitié des études retenues a recours à des questionnaires ; un tiers organise des entretiens selon le format de « groupes de discussion focalisée » et un autre tiers évalue directement les portfolios. La majorité des études évaluent la perception des étudiants ou des tuteurs quant à l'impact de l'usage des portfolios sur le processus d'apprentissage. Cinq études sont de nature comparative, l'une d’entre elles étant un essai randomisé. Les études s’efforcent de satisfaire les indicateurs de qualité relatifs à la pertinence des sujets d'étude, à la clarté de la question de recherche et à l'exhaustivité des données. Cependant, dans de nombreuses études, les méthodes ne sont pas décrites de manière suffisamment détaillée pour permettre de porter un jugement. Dix-neuf études sur les soixante-neuf incluses (27 %) répondent à au moins sept indicateurs de qualité. Les publications de ces études dites « de qualité supérieure » sont plutôt récentes, quelle que soit la profession. Le « score de qualité » médian (nombre d'indicateurs positifs) varie de deux pour les études publiées avant ou en 2000 à sept pour les études publiées à partir de 2005. Des différences significatives ont été observées entre les scores de qualité des études publiées avant ou en 2000 et de celles publiées entre 2001 et 2004 (p = 0,027), entre celles publiées avant ou en 2000 et celles publiées à partir de 2005 (p = 0,002) et entre toutes les études (p = 0,004). Des tendances similaires sont observées dans tous les groupes professionnels. Cinquante-neuf études (85 %) ont été évaluées en référence au niveau 1 du modèle hiérarchique de Kirkpatrick modifié (c'est-à-dire les effets « participatifs », y compris les évaluations de la perception qu'ont les étudiants a posteriori de l'impact de leur portfolio sur leur apprentissage). Dans neuf études (13 %), les évolutions deshabiletés ou des attitudes des étudiants sont mesurées directement. Une étude rapporte un changement comportemental des étudiants. D'après les études sélectionnées dans notre revue, les principaux effets que peut avoir l'usage de portfolios sont : l'amélioration des connaissances et de la compréhension des étudiants (vingt-huit études, dont six au niveau de Kirkpatrick égal ou supérieur à 2), une « conscience de soi » plus importante et l'approfondissement du processus réflexif (quarante-quatre études, dont sept au niveau de Kirkpatrick égal ou supérieur à 2), ainsi que la capacité à apprendre de manière autonome (dix études, dont l'une au niveau 2 de Kirkpatrick). Les résultats des études de qualité supérieure identifient également des avantages dans ces domaines, à savoir de meilleures connaissances et une meilleure compréhension des étudiants, en particulier une aptitude à intégrer la théorie à la pratique bien que la corrélation avec l'amélioration des résultats d'autres évaluations ne soit pas toujours évidente. Ils montrent également une meilleure « conscience de soi » et un approfondissement de la démarche réflexive, bien que certaines études mettent en question la qualité de la réflexivité. Les études de qualité supérieure suggèrent également  que l'usage des portfolios : améliore la rétro-action fournie aux étudiants et rend les tuteurs plus conscients des besoins des étudiants ; permet de les aider à gérer les situations précaires ou éprouvantes sur le plan émotionnel. L’usage du portfolio prépare également les étudiants aux cycles ultérieurs où la pratique réflexive est indispensable. L'engagement en temps nécessaire pour mettre en œuvre un portfolio constitue une contrainte majeure. Deux études ont démontré que cela portait atteinte aux autres apprentissages cliniques. Conclusion : À l'heure actuelle, le corpus des données probantes relatives aux effets éducatifs des portfolios au cours de cursus pré-gradués est d’une importance et d’une portée limitées. Cependant, la qualité des études publiées tend clairement à s'améliorer. D'après les articles de « qualité supérieure », l'usage des portfolios a pour principaux avantages : une amélioration des connaissances et de la compréhension des étudiants, une meilleure « conscience de soi » et un approfondissement de leur démarche réflexive ainsi qu'une amélioration dans les relations étudiant-tuteur. Toutefois, les résultats suggèrent aussi que si les portfolios favorisent l'approfondissement du processus réflexif des étudiants, la qualité de celui-ci n'est pas acquise pour autant. En outre, l'engagement en temps requis pour l’élaboration du portfolio peut nuire à d'autres apprentissages ou dissuader les étudiants de s'engager dans le processus, à moins qu’ils y soient obligés par le dispositif d'évaluation. Des travaux ultérieurs sont don c nécessaires pour consolider le corpus de données probantes relatives à l'usage des portfolios ; en particulier, seraient nécessaires des études comparatives observant directement l'évolution des connaissances et des aptitudes des étudiants, plutôt que des enquêtes faisant simplement état de leurs perceptions après la réalisation du portfolio