From placement to diagnostic testing: Improving feedback to learners and other stakeholders in SELF (Système d’Evaluation en Langues à visée Formative)

Since 2012 an interdisciplinary and culturally heterogeneous team composed of more than 30 people has been engaged in the complex process of conceiving, designing and validating an online placement test with formative orientation called SELF (Système d’Evaluation en Langues à visée Formative), developed and already deployed in six different languages – Italian and English as pilots, followed by French, Mandarin, Japanese and Spanish. Its results are used to form groups and classes of similar ability, or to identify students’ strengths and weaknesses in three macro skills (listening, reading, limited writing). In this report, we describe the steps the multilingual team is currently taking to transform SELF into a diagnostic test that will fulfill its original formative purpose and provide students and other stakeholders with more precise information about their performance. This can be done in two ways, by using the data automatically recorded by the online administration platform more thoroughly and by enriching user feedback with clear and informative graphics. This will enhance the validity of our test, and help close the gap between testing and learning

Benchmarking comprehension exams on the CEFR a posteriori: an exploratory experiment

Comment s’assurer que des étudiants attestent d’un niveau B2 en langue de spécialité ? C’est à cette question que permet de répondre le compte rendu d’expérience pédagogique proposé par Marie-Pierre Jouannaud et ses collègues de l’Université Grenoble Alpes, en nous faisant part d’une démarche innovante dans la conception d’examens de compréhension écrite en anglais de spécialité, conçus pour être calibrés sur le niveau B2 du CECRL. Si l’évaluation a pu être considérée jusque dans les années..

Comment former des groupes d'étudiants homogènes à partir des résultats de SELF ?

International audienc

GWAS in the SIGNAL/PHARE clinical cohort restricts the association between the FGFR2 locus and estrogen receptor status to HER2-negative breast cancer patients

International audienceGenetic polymorphisms are associated with breast cancer risk. Clinical and epidemiological observations suggest that clinical characteristics of breast cancer, such as estrogen receptor or HER2 status, are also influenced by hereditary factors. To identify genetic variants associated with pathological characteristics of breast cancer patients, a Genome Wide Association Study was performed in a cohort of 9365 women from the French nationwide SIGNAL/PHARE studies (NCT00381901/RECF1098). Strong association between the FGFR2 locus and ER status of breast cancer patients was observed (ER-positive n=6211, ER-negative n=2516; rs3135718 OR=1.34 p=5.46x10-12). This association was limited to patients with HER2-negative tumors (ER-positive n=4267, ER-negative n=1185; rs3135724 OR=1.85 p=1.16x10-11). The FGFR2 locus is known to be associated with breast cancer risk. This study provides sound evidence for an association between variants in the FGFR2 locus and ER status among breast cancer patients, particularly among patients with HER2-negative disease. This refinement of the association between FGFR2 variants and ER-status to HER2-negative disease provides novel insight to potential biological and clinical influence of genetic polymorphisms on breast tumors

Evidence in favor of combining different kinds of vocabulary tests as diagnostic tools of inadequate listening comprehension

International audienc

Diagnostic et remédiation orientés vers le lexique en compréhension aurale de l’anglais

This thesis applies a diagnostic perspective to the assessment of listening comprehension in English as a foreign language, which implies, on the one hand, attention to the underlying processes of comprehension (and not simply to its outcome), and on the other hand, an explicit link to associated remedial activities. In order to identify the strengths and weaknesses of French-speaking students as early as possible in their academic career, five diagnostic tests inspired by the results of research in foreign language acquisition and psycholinguistics were designed, focusing on phonemic discrimination, prosodic sensitivity, aural recognition of vocabulary, aural judgment of grammaticality, and phraseological knowledge, all of which are potential contributors to aural comprehension. A validity argument for each of these tests is presented, showing that each of them is reliable, unidimensional, and has satisfactory discriminatory power. They are also practical: they can be used online, are self-correcting and require a fairly short amount of time to complete. Finally, the items they are composed of show an influence of lexical frequency and the L1 of our subjects (French). We continued this validation by comparing the results of the five diagnostic instruments with those of a placement test in aural comprehension aligned with the CEFR. This allowed us to replicate well-established results, namely a significant correlation between lexical and grammatical knowledge on the one hand, and on the other the hierarchy of correlations with listening comprehension generally reported in the scientific literature: weak correlation between listening and phonemic discrimination, and medium to strong correlation between listening and lexical and grammatical knowledge. We also observed a weak to medium correlation between prosodic sensitivity and English L2 listening comprehension, already observed in a previous study with Japanese speaking subjects, and which we confirm here with French speaking subjects. A more peripheral result, previously observed in English-speaking adolescents, is the apparent lack of correlation between phonemic and prosodic discrimination in our population of English L2 students. Finally, a strong correlation was found between phraseological knowledge and listening comprehension. This strong role was confirmed by a logistic regression study in which the only significant predictor of listening comprehension was phraseological knowledge. We interpreted this result as showing the importance of higher level processing (involving meaning) in comprehension, and in particular the integration of the meaning of the different lexical elements recognized. It also shows that it is important to include a measure of phraseological knowledge when assessing linguistic skills in general and lexical knowledge in particular. Lexical assessment that focuses on single words will tend to overestimate learners’ knowledge, as they may not recognize the meaning of non-compositional expressions constructed from very frequent words. We conclude with an outline of a remediation module whose design principles are derived from our previous results: focus on the components of the oral comprehension process (especially lexical knowledge), importance of feedback, personalization, repeated, decontextualized and contextualized exposure, and cognitive engagement.Dans cette thèse, nous adoptons une perspective diagnostique sur l’évaluation de la compréhension aurale en anglais langue étrangère, ce qui implique, d’une part, une attention portée aux processus sous-jacents de la compréhension (et pas simplement à son résultat), et d’autre part, un lien explicite avec des activités de remédiation associées. Afin de permettre d'identifier le plus tôt possible dans le parcours universitaire des étudiants francophones leurs lacunes et leurs acquis, nous avons conçu cinq tests diagnostiques inspirés des résultats de la recherche en acquisition des langues étrangères et en psycholinguistique, portant sur la discrimination phonémique, la sensibilité prosodique, la reconnaissance aurale du vocabulaire, le jugement aural de grammaticalité, et les connaissances phraséologiques, qui sont tous des contributeurs potentiels à la compréhension de l’oral (CO) en anglais. Nous avons présenté un argument de validité pour chacun de ces tests, montrant tout d’abord qu’ils étaient fiables, discriminants, et unidimensionnels. Ils sont également pratiques, utilisables en ligne, autocorrectifs, et demandant un temps de passation assez court. Enfin, les items dont ils sont composés reflètent lors de leur administration, comme attendu, une influence de la fréquence lexicale et de la langue maternelle de nos sujets (le français). Nous avons ensuite poursuivi cette validation avec la mise en rapport des résultats aux cinq instruments diagnostiques avec ceux d’un test de positionnement en compréhension de l’oral aligné sur le CECR. Cela nous a permis de retrouver des résultats bien établis, à savoir d’une part une corrélation importante entre connaissances lexicales et grammaticales, et d’autre part la hiérarchie de corrélations avec la compréhension aurale généralement rapportée dans la littérature scientifique : corrélation faible entre CO et capacité de discrimination phonémique, et moyenne à forte entre CO et connaissances lexicales et grammaticales. Nous avons également observé une corrélation faible à moyenne entre sensibilité prosodique et compréhension de l’oral en anglais L2, déjà constatée dans une étude précédente avec des sujets japonophones, et que nous confirmons ici avec des sujets francophones. Nous pouvons ajouter un résultat plus périphérique, observé auparavant chez des adolescents anglophones, à savoir l’absence apparente de corrélation entre capacités de discrimination phonémique et prosodique, que nous retrouvons également avec notre population d’étudiants en anglais L2. Enfin, nous avons trouvé un résultat nouveau, à savoir une forte corrélation entre connaissances phraséologiques et compréhension de l’oral. Ce rôle prépondérant a été confirmé par une étude de régression logistique dans laquelle seules les connaissances phraséologiques étaient prédictives du niveau de compréhension de l’oral. Nous avons interprété ce résultat comme montrant l’importance des processus de traitement de niveau supérieur (impliquant le sens) dans la compréhension, et en particulier l’intégration du sens des différents éléments lexicaux reconnus. Il montre également à quel point il est important d’inclure une mesure des connaissances phraséologiques lors de l’évaluation des connaissances linguistiques en général et lexicales en particulier. Une évaluation des connaissances lexicales focalisée uniquement sur les mots isolés aura tendance à surestimer les connaissances des apprenants, qui ne reconnaissent pas forcément le sens d’expressions non compositionnelles fabriquées à partir de mots très fréquents. Nous terminons par l’exposition des grandes lignes d’un dispositif de remédiation centré sur le lexique dont les principes de conception découlent de nos résultats antérieurs : focalisation sur les composants du processus de compréhension de l’oral (en particulier les connaissances lexicales), importance du feedback, personnalisation. exposition répétée, décontextualisée et contextualisée, et engagement cognitif

Diagnostic et remédiation orientés vers le lexique en compréhension aurale de l'anglais

This thesis applies a diagnostic perspective to the assessment of listening comprehension in English as a foreign language, which implies, on the one hand, attention to the underlying processes of comprehension (and not simply to its outcome), and on the other hand, an explicit link to associated remedial activities. In order to identify the strengths and weaknesses of French-speaking students as early as possible in their academic career, five diagnostic tests inspired by the results of research in foreign language acquisition and psycholinguistics were designed, focusing on phonemic discrimination, prosodic sensitivity, aural recognition of vocabulary, aural judgment of grammaticality, and phraseological knowledge, all of which are potential contributors to aural comprehension. A validity argument for each of these tests is presented, showing that each of them is reliable, unidimensional, and has satisfactory discriminatory power. They are also practical: they can be used online, are self-correcting and require a fairly short amount of time to complete. Finally, the items they are composed of show an influence of lexical frequency and the L1 of our subjects (French). We continued this validation by comparing the results of the five diagnostic instruments with those of a placement test in aural comprehension aligned with the CEFR. This allowed us to replicate well-established results, namely a significant correlation between lexical and grammatical knowledge on the one hand, and on the other the hierarchy of correlations with listening comprehension generally reported in the scientific literature: weak correlation between listening and phonemic discrimination, and medium to strong correlation between listening and lexical and grammatical knowledge. We also observed a weak to medium correlation between prosodic sensitivity and English L2 listening comprehension, already observed in a previous study with Japanese speaking subjects, and which we confirm here with French speaking subjects. A more peripheral result, previously observed in English-speaking adolescents, is the apparent lack of correlation between phonemic and prosodic discrimination in our population of English L2 students. Finally, a strong correlation was found between phraseological knowledge and listening comprehension. This strong role was confirmed by a logistic regression study in which the only significant predictor of listening comprehension was phraseological knowledge. We interpreted this result as showing the importance of higher level processing (involving meaning) in comprehension, and in particular the integration of the meaning of the different lexical elements recognized. It also shows that it is important to include a measure of phraseological knowledge when assessing linguistic skills in general and lexical knowledge in particular. Lexical assessment that focuses on single words will tend to overestimate learners’ knowledge, as they may not recognize the meaning of non-compositional expressions constructed from very frequent words. We conclude with an outline of a remediation module whose design principles are derived from our previous results: focus on the components of the oral comprehension process (especially lexical knowledge), importance of feedback, personalization, repeated, decontextualized and contextualized exposure, and cognitive engagement.Dans cette thèse, nous adoptons une perspective diagnostique sur l’évaluation de la compréhension aurale en anglais langue étrangère, ce qui implique, d’une part, une attention portée aux processus sous-jacents de la compréhension (et pas simplement à son résultat), et d’autre part, un lien explicite avec des activités de remédiation associées. Afin de permettre d'identifier le plus tôt possible dans le parcours universitaire des étudiants francophones leurs lacunes et leurs acquis, nous avons conçu cinq tests diagnostiques inspirés des résultats de la recherche en acquisition des langues étrangères et en psycholinguistique, portant sur la discrimination phonémique, la sensibilité prosodique, la reconnaissance aurale du vocabulaire, le jugement aural de grammaticalité, et les connaissances phraséologiques, qui sont tous des contributeurs potentiels à la compréhension de l’oral (CO) en anglais. Nous avons présenté un argument de validité pour chacun de ces tests, montrant tout d’abord qu’ils étaient fiables, discriminants, et unidimensionnels. Ils sont également pratiques, utilisables en ligne, autocorrectifs, et demandant un temps de passation assez court. Enfin, les items dont ils sont composés reflètent lors de leur administration, comme attendu, une influence de la fréquence lexicale et de la langue maternelle de nos sujets (le français). Nous avons ensuite poursuivi cette validation avec la mise en rapport des résultats aux cinq instruments diagnostiques avec ceux d’un test de positionnement en compréhension de l’oral aligné sur le CECR. Cela nous a permis de retrouver des résultats bien établis, à savoir d’une part une corrélation importante entre connaissances lexicales et grammaticales, et d’autre part la hiérarchie de corrélations avec la compréhension aurale généralement rapportée dans la littérature scientifique : corrélation faible entre CO et capacité de discrimination phonémique, et moyenne à forte entre CO et connaissances lexicales et grammaticales. Nous avons également observé une corrélation faible à moyenne entre sensibilité prosodique et compréhension de l’oral en anglais L2, déjà constatée dans une étude précédente avec des sujets japonophones, et que nous confirmons ici avec des sujets francophones. Nous pouvons ajouter un résultat plus périphérique, observé auparavant chez des adolescents anglophones, à savoir l’absence apparente de corrélation entre capacités de discrimination phonémique et prosodique, que nous retrouvons également avec notre population d’étudiants en anglais L2. Enfin, nous avons trouvé un résultat nouveau, à savoir une forte corrélation entre connaissances phraséologiques et compréhension de l’oral. Ce rôle prépondérant a été confirmé par une étude de régression logistique dans laquelle seules les connaissances phraséologiques étaient prédictives du niveau de compréhension de l’oral. Nous avons interprété ce résultat comme montrant l’importance des processus de traitement de niveau supérieur (impliquant le sens) dans la compréhension, et en particulier l’intégration du sens des différents éléments lexicaux reconnus. Il montre également à quel point il est important d’inclure une mesure des connaissances phraséologiques lors de l’évaluation des connaissances linguistiques en général et lexicales en particulier. Une évaluation des connaissances lexicales focalisée uniquement sur les mots isolés aura tendance à surestimer les connaissances des apprenants, qui ne reconnaissent pas forcément le sens d’expressions non compositionnelles fabriquées à partir de mots très fréquents. Nous terminons par l’exposition des grandes lignes d’un dispositif de remédiation centré sur le lexique dont les principes de conception découlent de nos résultats antérieurs : focalisation sur les composants du processus de compréhension de l’oral (en particulier les connaissances lexicales), importance du feedback, personnalisation. exposition répétée, décontextualisée et contextualisée, et engagement cognitif

The diagnosis of listening in English as a foreign language, with a special focus on lexical knowledge

Dans cette thèse, nous adoptons une perspective diagnostique sur l’évaluation de la compréhension aurale en anglais langue étrangère, ce qui implique, d’une part, une attention portée aux processus sous-jacents de la compréhension (et pas simplement à son résultat), et d’autre part, un lien explicite avec des activités de remédiation associées. Afin de permettre d'identifier le plus tôt possible dans le parcours universitaire des étudiants francophones leurs lacunes et leurs acquis, nous avons conçu cinq tests diagnostiques inspirés des résultats de la recherche en acquisition des langues étrangères et en psycholinguistique, portant sur la discrimination phonémique, la sensibilité prosodique, la reconnaissance aurale du vocabulaire, le jugement aural de grammaticalité, et les connaissances phraséologiques, qui sont tous des contributeurs potentiels à la compréhension de l’oral (CO) en anglais. Nous avons présenté un argument de validité pour chacun de ces tests, montrant tout d’abord qu’ils étaient fiables, discriminants, et unidimensionnels. Ils sont également pratiques, utilisables en ligne, autocorrectifs, et demandant un temps de passation assez court. Enfin, les items dont ils sont composés reflètent lors de leur administration, comme attendu, une influence de la fréquence lexicale et de la langue maternelle de nos sujets (le français). Nous avons ensuite poursuivi cette validation avec la mise en rapport des résultats aux cinq instruments diagnostiques avec ceux d’un test de positionnement en compréhension de l’oral aligné sur le CECR. Cela nous a permis de retrouver des résultats bien établis, à savoir d’une part une corrélation importante entre connaissances lexicales et grammaticales, et d’autre part la hiérarchie de corrélations avec la compréhension aurale généralement rapportée dans la littérature scientifique : corrélation faible entre CO et capacité de discrimination phonémique, et moyenne à forte entre CO et connaissances lexicales et grammaticales. Nous avons également observé une corrélation faible à moyenne entre sensibilité prosodique et compréhension de l’oral en anglais L2, déjà constatée dans une étude précédente avec des sujets japonophones, et que nous confirmons ici avec des sujets francophones. Nous pouvons ajouter un résultat plus périphérique, observé auparavant chez des adolescents anglophones, à savoir l’absence apparente de corrélation entre capacités de discrimination phonémique et prosodique, que nous retrouvons également avec notre population d’étudiants en anglais L2. Enfin, nous avons trouvé un résultat nouveau, à savoir une forte corrélation entre connaissances phraséologiques et compréhension de l’oral. Ce rôle prépondérant a été confirmé par une étude de régression logistique dans laquelle seules les connaissances phraséologiques étaient prédictives du niveau de compréhension de l’oral. Nous avons interprété ce résultat comme montrant l’importance des processus de traitement de niveau supérieur (impliquant le sens) dans la compréhension, et en particulier l’intégration du sens des différents éléments lexicaux reconnus. Il montre également à quel point il est important d’inclure une mesure des connaissances phraséologiques lors de l’évaluation des connaissances linguistiques en général et lexicales en particulier. Une évaluation des connaissances lexicales focalisée uniquement sur les mots isolés aura tendance à surestimer les connaissances des apprenants, qui ne reconnaissent pas forcément le sens d’expressions non compositionnelles fabriquées à partir de mots très fréquents. Nous terminons par l’exposition des grandes lignes d’un dispositif de remédiation centré sur le lexique dont les principes de conception découlent de nos résultats antérieurs : focalisation sur les composants du processus de compréhension de l’oral (en particulier les connaissances lexicales), importance du feedback, personnalisation. exposition répétée, décontextualisée et contextualisée, et engagement cognitif.This thesis applies a diagnostic perspective to the assessment of listening comprehension in English as a foreign language, which implies, on the one hand, attention to the underlying processes of comprehension (and not simply to its outcome), and on the other hand, an explicit link to associated remedial activities. In order to identify the strengths and weaknesses of French-speaking students as early as possible in their academic career, five diagnostic tests inspired by the results of research in foreign language acquisition and psycholinguistics were designed, focusing on phonemic discrimination, prosodic sensitivity, aural recognition of vocabulary, aural judgment of grammaticality, and phraseological knowledge, all of which are potential contributors to aural comprehension. A validity argument for each of these tests is presented, showing that each of them is reliable, unidimensional, and has satisfactory discriminatory power. They are also practical: they can be used online, are self-correcting and require a fairly short amount of time to complete. Finally, the items they are composed of show an influence of lexical frequency and the L1 of our subjects (French). We continued this validation by comparing the results of the five diagnostic instruments with those of a placement test in aural comprehension aligned with the CEFR. This allowed us to replicate well-established results, namely a significant correlation between lexical and grammatical knowledge on the one hand, and on the other the hierarchy of correlations with listening comprehension generally reported in the scientific literature: weak correlation between listening and phonemic discrimination, and medium to strong correlation between listening and lexical and grammatical knowledge. We also observed a weak to medium correlation between prosodic sensitivity and English L2 listening comprehension, already observed in a previous study with Japanese speaking subjects, and which we confirm here with French speaking subjects. A more peripheral result, previously observed in English-speaking adolescents, is the apparent lack of correlation between phonemic and prosodic discrimination in our population of English L2 students. Finally, a strong correlation was found between phraseological knowledge and listening comprehension. This strong role was confirmed by a logistic regression study in which the only significant predictor of listening comprehension was phraseological knowledge. We interpreted this result as showing the importance of higher level processing (involving meaning) in comprehension, and in particular the integration of the meaning of the different lexical elements recognized. It also shows that it is important to include a measure of phraseological knowledge when assessing linguistic skills in general and lexical knowledge in particular. Lexical assessment that focuses on single words will tend to overestimate learners’ knowledge, as they may not recognize the meaning of non-compositional expressions constructed from very frequent words. We conclude with an outline of a remediation module whose design principles are derived from our previous results: focus on the components of the oral comprehension process (especially lexical knowledge), importance of feedback, personalization, repeated, decontextualized and contextualized exposure, and cognitive engagement

Ouvertures et tensions liées à la conception d'un système d'évaluation en langues, numérique, multilingue et en ligne, dans une perspective communicative et actionnelle

La volonté de s'inscrire dans une approche communicative, voire actionnelle, peut sembler incompatible avec les contraintes d'une évaluation à large échelle et ses exigences de rapidité et d'autocorrection. De même, il est difficile de traduire le concept de tâche dans son sens primaire didactique ("toute visée actionnelle que l'acteur se représente comme devant parvenir à un résultat donné en fonction d'un problème à résoudre, d'une obligation à remplir, d'un but qu'on s'est fixé" ; CECRL, 2001 : 16) dans un contexte d'évaluation numérique en ligne. Cela ouvre plusieurs questions concernant l'opérationnalisation du construit du test. L'enjeu principal concerne la traduction du principe d'authenticité, soit situationnelle, soit interactionnelle, dans un test visant trois compétences : compréhension de l'oral, compréhension de l'écrit, expression écrite courte (Bachman & Palmer, 1996 ; 2010). Dans cette contribution nous essaierons d'expliquer comment cette tension a été gérée dans la démarche de rédaction des tâches d'évaluation sur les trois compétences, conduite dans le cadre d'un travail de création d'un "Système d'évaluation en langues à visée formative (Self)" multilingue et administré en ligne. Self s'inscrit dans le cadre du projet Innovalangues porté par le service Lansad de l'université Stendhal Grenoble 3 (Masperi, 2012).In this paper, we grapple with the problem of what it means for a placement test to be communicative or even "action-oriented" (CEFR, 2001). Communicative tasks ("any purposeful action considered by an individual as necessary in order to achieve a given result, an obligation to fulfil or an objective to be achieved", ibid.: 10) are especially difficult to translate into short, self-correcting assessment tasks. We explain how this difficulty was dealt with when we operationalized the construct of a multilingual online formative assessment tool (Self, "Système d'évaluation en langues à visée formative"), using among others the concepts of situational and interactional authenticity (Bachman & Palmer, 1996; 2010). Self is being developed as part of the Innovalangues project at Stendhal University, Grenoble, France (Masperi, 2012)

Defining, modeling and piloting SELF, a new formative assessment test for foreign languages

International audienc