Perplexity as a tool for the allocation of proficiency levels to utterances written by foreign language learners

La asignación de niveles de competencia a escritos producidos por aprendices de una lengua es una tarea altamente subjetiva. Es por esto que el desarrollo de métodos que evalúen escritos de manera automática puede ayudar tanto al profesorado como al alumnado. En este trabajo, hemos explorado dos vías mediante el uso del corpus CAES. Dicho corpus está formado por escritos de aprendices de español y etiquetado con niveles CEFR (hasta el C1). La primera aproximación es un modelo de aprendizaje profundo llamado Deep-ELE que asigna niveles de competencia a las frases. La segunda aproximación llevada a cabo ha consistido en estudiar la perplejidad de las frases de los estudiantes de distintos niveles, para luego clasificarlos en niveles. Ambas aproximaciones han sido evaluadas, y se ha comprobado que pueden usarse de manera exitosa para clasificar frases por niveles. En concreto, el modelo Deep-ELE obtiene una accuracy de 81,3% y un QWK de 0,83. Como conclusión, este trabajo es un paso para entender cómo las herramientas del procesado de lenguaje natural pueden ayudar a las personas que aprenden un segundo idioma.The allocation of proficiency levels to utterances written by foreign language learners is a subjective task. Therefore, the development of methods to automatically evaluate written sentences can help both students and teachers. In this work, we have explored two different approaches to tackle this task by using the corpus CAES, which contains written utterances of learners of Spanish labelled with CEFR levels (up to C1). The first approach is a deep learning model called Deep-ELE which assigns proficiency levels to sentences. The second approach consists in studying the perplexity of sentences written by students of different levels, to later allocate levels to those sentences based on such an analysis. Both approaches have been evaluated, and results confirm that they can be used to successfully classify written sentences into proficiency levels. In particular, the Deep-ELE model reaches an accuracy of 81.3% and a weighted Cohen Kappa of 0.83. As a conclusion, this work is a step towards better understanding how natural language processing methods can help learners of a second language.Esta investigación ha sido parcialmente financiada por los proyectos AFIANZA 2022/02, PID2020-115225RB-I00 de MCIN/AEI/ 10.13039/501100011033 y PID2020-116641GB-I00 de MCIN/AEI/10.13039/501100011033

La perplejidad como herramienta para estimar la asignación de nivel de competencia en escritos de una lengua extranjera

The allocation of proficiency levels to utterances written by foreign language learners is a subjective task. Therefore, the development of methods to automatically evaluate written sentences can help both students and teachers. In this work, we have explored two different approaches to tackle this task by using the corpus CAES, which contains written utterances of learners of Spanish labelled with CEFR levels (up to C1). The first approach is a deep learning model called Deep-ELE which assigns proficiency levels to sentences. The second approach consists in studying the perplexity of sentences written by students of different levels, to later allocate levels to those sentences based on such an analysis. Both approaches have been evaluated, and results confirm that they can be used to successfully classify written sentences into proficiency levels. In particular, the Deep-ELE model reaches an accuracy of 81.3% and a weighted Cohen Kappa of 0.83. As a conclusion, this work is a step towards better understanding how natural language processing methods can help learners of a second language.La asignación de niveles de competencia a escritos producidos por aprendices de una lengua es una tarea altamente subjetiva. Es por esto que el desarrollo de métodos que evalúen escritos de manera automática puede ayudar tanto al profesorado como al alumnado. En este trabajo, hemos explorado dos vías mediante el uso del corpus CAES. Dicho corpus está formado por escritos de aprendices de español y etiquetado con niveles CEFR (hasta el C1). La primera aproximación es un modelo de aprendizaje profundo llamado Deep-ELE que asigna niveles de competencia a las frases. La segunda aproximación llevada a cabo ha consistido en estudiar la perplejidad de las frases de los estudiantes de distintos niveles, para luego clasificarlos en niveles. Ambas aproximaciones han sido evaluadas, y se ha comprobado que pueden usarse de manera exitosa para clasificar frases por niveles. En concreto, el modelo Deep-ELE obtiene una accuracy de 81,3% y un QWK de 0,83. Como conclusión, este trabajo es un paso para entender cómo las herramientas del procesado de lenguaje natural pueden ayudar a las personas que aprenden un segundo idioma

The relationship of lexical error and their types t o the quality of ESL compositions: an empirical study

En este estudio se investigo la existencia de una relación sistemática entre: el porcentaje de errores léxicos, las clases de errores léxicos, y la calidad de la composición escrita. La calidad se define como la puntuación obtenida en la composición. El coeficiente de correlación da Pearson se nos en asta investigación para probar la hipótesis nula de que no hay relación significativa entre atoo tres aspectos antes mencionados. El estudio se basa en el análisis de 19 composiciones de estudiantes de inglés empresarial de la Universidad da La Rioja. Se probó que efectivamente existe una correlación significativa entre errores léxicos, clases de errores léxicos y calidad de la composición" (r=78). La discusión de los resultados se centra en determinar la relevancia de la correlación y de las predicciones subsiguientes y lo que esto significa para los diseñadores de cursos de escritura

Lexical Errors in Writing at the End of Primary and Secondary Education: Description and Pedagogical Implications

In this paper, we present a study which describes and compares the production of lexical errors at the end of two important educational stages: Primary and the compulsory years of Secondary education. Identifying the most frequent lexical error types at each acquisition stage can be very insightful in distinguishing among proficiency levels and establishing lexical benchmarks. Our results show a slight decrease in lexical error production, only significant for direct L1 borrowings. However, they also reveal an increase of misselections and coinages at higher levels. Furthermore, we observed presence of fossilized errors and errors in constructions. Results are interpreted in light of previous research-related literature concerning the evolution of lexical errors along proficiency levels. Finally, some pedagogical implications are suggested to improve the lexical production of Primary and Secondary school learners in order to prevent and remedy the lexical errors they committed. Keywords: lexical error, fossilization, L1 influence, Primary and Secondary education, misselection.En este artículo presentamos un estudio que describe y compara la producción de errores léxicos al final de dos importantes etapas educativas: Primaria y Secundaria Obligatoria. Identificar las categorías de errores léxicos más recurrentes en cada estadio puede resultar muy relevante para diferenciar niveles de lengua, así como para establecer puntos de referencia desde el punto de vista del léxico. Nuestros resultados muestran una muy ligera reducción de la presencia de errores léxicos, siendo los préstamos los únicos que disminuyen de manera significativa. Por otro lado, las creaciones léxicas y las selecciones erróneas aumentan su presencia en niveles más altos. También, pudimos observar la presencia de errores fosilizados y de errores en construcciones. Interpretamos los resultados en función investigaciones previas relacionadas con el tema de la evolución de la producción de errores léxicos conforme aumenta el nivel de lengua. Finalmente, ofrecemos algunas implicaciones pedagógicas destinadas a mejorar la producción léxica de alumnos de Primaria y Secundaria, así como a prevenir y remediar los errores léxicos que cometen

The effect of reading only, reading and comprehension, and sentence writing in lexical learning in a foreign language:: some preliminary results

Este estudio investiga la efectividad de tres métodos de adquisición incidental de vocabulario en una lengua extranjera. Los participantes fueron asignados de manera aleatoria a un grupo de solo lectura, lectura con glosas y preguntas de comprensión o redacción de oraciones con palabras de una lista bilingüe. Los resultados revelan que los participantes que escribieron oraciones con las palabras meta de una lista bilingüe consiguieron aprender y retener más palabras de modo productivo y receptivo inmediatamente y tres semanas después del tratamiento. Sin embargo estos resultados sólo son significativos para las pruebas inmediatas. El menos efectivo de los tres métodos fue el de solo lectura. De estos resultados podemos concluir que las actividades que presentan el vocabulario de una manera descontextualizada poniendo el foco en la relación entre forma y significado del elemento léxico deben ser centrales en la instrucción del vocabulario. Además éstos deberían complementarse con actividades de lectura.The present paper investigates the effectiveness of three different methods of incidental vocabulary acquisition in a foreign language. Participants were randomly assigned to a reading only group, to a group assigned a glossed text reading with comprehension questions from the target words, and to a sentence writing group from words in a bilingual list. Results revealed that participants who wrote the sentences with the target words from a bilingual list managed to recall more words productively and receptively immediately and after three weeks. However, results are only significant for immediate testing but not for delayed testing. The least effective method is the reading only. From these results, we argue that activities that present vocabulary in a decontextualized way with focus on the relationship between form and meaning should be central in vocabulary instruction, and they should be complemented with reading activities where attention is drawn to the target lexical items