Los principales objetivos de este proyecto son los siguientes: por un
lado, ayudar a mejorar la pronunciación en inglés de los estudiantes
del Grado en Estudios Ingleses y, por otro, concienciar al alumnado
de la importancia del inglés como lingua franca en el contexto
europeo.Según el informe EF EPI (Índice de nivel de inglés), publicado online (http://www.ef.com.es/sitecore/__/~/media/efcom/epi/pdf/EFEPI-
2011-Spain.pdf), España ocupa el puesto número 24 en el ranking de niveles mundiales de inglés, un nivel considerado bajo, y el penúltimo puesto en nivel de inglés de los países europeos,superando tan solo a Rusia. Al contrario, Holanda ocupa el puesto número 2 en el ranking mundial. Con este proyecto queremos acometer una labor hasta ahora no emprendida en la universidad española y que representa uno de los mayores problemas a los que se enfrentan los estudiantes de inglés como segunda lengua: ofrecer al alumnado medios y pautas de mejora de la pronunciación inglesa dentro y fuera del aula, que les ayuden a superar los problemas de aprendizaje a los que estos se enfrentan. De esta forma, conseguiremos establecer diversos niveles de inteligibilidad, comparando la pronunciación de los estudiantes españoles con la de otros estudiantes de distintos países europeos

Eizaga Rebollar, Bárbara

Levey, David Trevor

Spanish

Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz

Proyectos de INNOVACIÓN Y MEJORA DOCENTE   2012/2013  PI_13_077, Julio de 2013 David Levey et al  1 Evaluación de la pronunciación y de la mejora en la lengua: Evaluación por pares y variabilidad en la percepción de niveles David Levey & Bárbara Eizaga  Dr. David Levey      Dr. Bárbara Eizaga Departamento de Filología Francesa e Inglesa   Departamento de Filología Francesa e Inglesa Universidad de Cádiz     Universidad de Cádiz     Despacho 15       Despacho 84 Facultad de Filosofía y Letras     Facultad de Filosofía y Letras     Avda Dr. Gómez Ulla s/n      Avda Dr. Gómez Ulla s/n      Cádiz 11003      Cádiz 11003      david.levey@uca.es   RESUMEN: El creciente número de estudiantes en los grados universitarios dentro del marco de Bolonia ha obligado al profesorado a buscar nuevas formas de evaluación, capaces de adaptarse a las exigencias de las nuevas pedagogías. El presente proyecto explora las posibilidades de la evaluación por pares, un método cada vez más común en una enseñanza orientada al aprendizaje autónomo. Para ello, mediante un test específicamente diseñado para este proyecto, tratamos de comprobar, en primer lugar, si era posible evaluar de forma objetiva y efectiva la pronunciación y mejora del alumnado de 2º curso del grado anteriormente mencionado; y si, además, dicha mejora se reflejaba en el nivel MCERL global de los estudiantes. El segundo objetivo consistía en analizar hasta qué punto los criterios de evaluación y percepciones tanto sobre la competencia lingüística y pronunciación de los estudiantes como sobre la mejora variaron, por un lado, entre profesores y estudiantes y, por otro, entre nativos y no nativos. Los resultados mostraron que tanto los profesores nativos como no nativos estimaron que el 81.25% de los sujetos habían mejorado su nivel de inglés durante el semestre. De igual forma, se consideró que aproximadamente el 72% de esos sujetos mejoraron su pronunciación. Los estudiantes españoles fueron consistentemente los evaluadores más estrictos, proporcionando notas más bajas que los profesores nativos y no nativos. Estos datos arrojan indudablemente material de reflexión significativo tanto para profesores como para alumnos en el ámbito de la enseñanza.   PALABRAS CLAVE: proyecto, innovación, mejora, docente, evaluación por pares, evaluadores independientes, test de pronunciación, MCERL  INTRODUCTION Este proyecto se planteó con diversos objetivos interconectados entre sí. El objetivo principal era evaluar la mejora lingüística y fonética de los estudiantes del Grado en Estudios Ingleses de la Universidad de Cádiz, desde el final del primer año de carrera hasta el segundo, y comprobar si dicha mejora se podía evaluar de forma objetiva. Para ello, desarrollamos un test de pronunciación breve que los estudiantes realizaron (como parte de una entrevista más amplia) al principio y al final del semestre.  Dados los problemas que plantea la evaluación de un elevado número de estudiantes (entre 100 y 130 por asignatura), nos planteamos analizar si las técnicas de evaluación breve, cada vez más comunes por reducir tiempo, serían potencialmente eficaces. Concretamente, el propósito era analizar si un test de pronunciación de 30 segundos podía ser un indicador fiable para evaluar la pronunciación del alumnado y hasta qué punto la actuación de estos reflejaba su nivel global de lengua. En segundo lugar, queríamos verificar la utilidad de la la evaluación por pares.  La evaluación por pares es el proceso mediante el cual los estudiantes evalúan la actuación de sus compañeros utilizando criterios previamente establecidos. Además de las ventajas y ahorro de tiempo que este método conlleva,  estimamos un beneficio pedagógico y metacognitivo al implicar a los estudiantes en el proceso de evaluación. No obstante, el éxito de dicha técnica radica, en gran medida, en la necesidad de que todos compartan los mismos criterios de evaluación. Como Cheng y Warren (2005) apuntan, es importante que los profesores tengan control sobre la metodología, los procedimientos y el resultado del proceso (1). Así pues, durante el desarrollo de las asignaturas se destacó mucho la importancia de la precisión en la pronunciación, en cuándo y dónde la transferencia de la L1 afecta a la inteligibilidad de la L2, Proyectos de INNOVACIÓN Y MEJORA DOCENTE   2012/2013  PI_13_077, Julio de 2013 David Levey et al  2 y en cómo esto se relaciona con los niveles del MCERL (2).  METODOLOGÍA Y MATERIALES El proyecto comenzó en septiembre de 2012 cuando se entrevistó y examinó a 16 de los estudiantes matriculados en el Grado en Estudios Ingleses, antes de que comenzaran su segundo año de carrera y tuvieran clases teóricas y prácticas de dos asignaturas claves: Inglés Instrumental 3, asignatura de lengua inglesa impartida a nivel B21, y Fonética y Fonología Inglesa, centrada en la fonética inglesa tanto teórica como práctica y cuyo fin es mejorar el nivel de pronunciación y expresión oral. Como parte de la entrevista inicial, se seleccionó y grabó a 16 sujetos voluntarios, a los que se pidió que pronunciaran 14 oraciones (Cfr. PI_13_099_Anexo 1.pdf) especialmente diseñadas para abarcar el sistema fonético inglés y detectar posibles dificultades en su pronunciación. Tras este test inicial no se proporcionó ningún feedback a los estudiantes. En enero de 2013, 4 meses más tarde, se volvió a pedir a esos 16 sujetos que realizaran el mismo test de nuevo. Como habían pasado 16 semanas desde el primer test, los estudiantes no recordaban las oraciones y, por tanto, las diferencias en la actuación de este segundo test se consideraron significativas. Seguidamente, se editaron los 32 tests individuales (16 realizados en septiembre y 16, en enero), se borraron los nombres y referencias, y se ordenaron los tests de 1 a 32 de forma aleatoria.  Entre mayo y julio de 2013, se seleccionaron 20 evaluadores independientes, a los que se les pidió que escucharan las grabaciones, de acuerdo con unas instrucciones (Cfr. PI_13_099_Anexo 1.pdf). Se les permitió escuchar las grabaciones solo una vez, para inmediatamente después evaluar la pronunciación y el nivel de cada uno de los sujetos, según una escala Likert de 1-6 (Cfr. PI_13_099_Anexo 2.pdf). Su labor consistió en determinar el grado en que la pronunciación2 de los sujetos grabados era inteligible. A continuación, se les pedía que determinasen el nivel MCERL de inglés  de cada sujeto, según su criterio. Los evaluadores no sabían que en realidad no había 32 sujetos distintos sino 16, que habían hecho el test dos veces.  Los evaluadores que participaron en el experimento se escogieron cuidadosamente en base a 4 categorías distintas:                                                  1 Aunque en dicha asignatura se trabajan las cuatro destrezas explicitadas en el MCERL (comprensión auditiva, comprensión de lectura, expresión oral y expresión escrita), para este proyecto tan solo consideramos la expresión oral.   2 El test evaluaba la pronunciación de las vocales, las consonantes,  la cadencia, el acento y la posible interferencia de la lengua materna (ver Anexo 2). - 4 profesores nativos de inglés (PN de ahora en adelante) - 4 profesores españoles de inglés (PE de ahora en adelante) - 4 estudiantes nativos de ingles de Estudios Ingleses (EN de ahora en adelante) - 8 estudiantes españoles de Estudios Ingleses (EE de ahora en adelante)  RESULTADOS DEL ANÁLISIS DE DATOS Una vez realizadas las evaluaciones, se creó una base de datos con las puntuaciones de los evaluadores, y se analizaron los resultados utilizando Microsoft Office Excel y el programa estadístico informático de IBM, SPSS.  Tal y como se recoge en la Tabla 1, los resultados mostraron una mejora significativa del nivel de inglés en el intervalo mencionado (desde septiembre de 2012 hasta enero de 2013) tanto el caso de los PN (que percibieron dicha mejora en 14 de los 16 sujetos) como en las categorías de PE y EN (cuyas evaluaciones mostraron mejora en 13 de los 16 sujetos). Los EE percibieron una menor mejora de sus compañeros (en 10 de los 16 casos).   Tabla1. Comparación de la puntuación de la 2ª entrevista sobre el nivel global con respecto a la 1ª.   Con respecto a la pronunciación3, los PN y EN coincidieron en su percepción de mejora (12 de los 16 casos), y los PE notaron mejoría en 13 casos, como muestra la Tabla 2. Mientras que los resultados de las 3 categorías (PN, PE y EN) fueron similares, los EE fueron los más críticos de nuevo con solo una mejora percibida para 8 de los 16 casos (50%). Por tanto, los EE demostraron de forma consistente ser los evaluadores más exigentes a la hora de evaluar la pronunciación y el nivel global de sus compañeros.                                                  3 Con el fin de facilitar la lectura de los datos, se realizó una media de las puntuaciones obtenidas en los 4 aspectos analizados en pronunciación. Proyectos de INNOVACIÓN Y MEJORA DOCENTE   2012/2013  PI_13_077, Julio de 2013 David Levey et al  3 Tabla2. Comparación de la puntuación de la 2ª entrevista sobre pronunciación con respecto a la 1ª.   DISCUSIÓN Y CONCLUSIONES Indudablemente, la evaluación por pares ofrece muchos beneficios. Resulta una herramienta útil para ayudar a desarrollar destrezas colaborativas y una actitud analítica en los estudiantes (Nilson 2003) (3). Asimismo, no solo proporciona un sentido de auto-suficiencia y responsabilidad (Sivan, 2000) (4) sino que también ayuda a desarrollar la capacidad de aprender autónomamente (Orsmond & Merry 1996) (5).  No obstante, este método de evaluación no está exento de problemas. Como Topping (1998) señala, la evaluación por pares es una técnica complementaria de evaluación, no una sustitución de la evaluación tradicional (6). Aunque puede contribuir al proceso de aprendizaje, Orsmond y Merry (1996) (5) y Cheng y Warren (2005) (1) hallaron que los estudiantes no se encontraban cómodos criticando a amigos o evaluando a compañeros. Nuestra investigación difiere, en este sentido, en que no hay un encuentro cara a cara entre evaluador y evaluado; además, nos aseguramos de que los estudiantes evaluadores no conociesen personalmente a los evaluados. El hecho de que los EE fueran más estrictos en su evaluación que los profesores evaluadores puede deberse en parte a la inexperiencia o falta de una visión global sobre los niveles requeridos. Asimismo, consideramos que factores de corte psicológico y cultural relacionados con el ego lingüístico y la intolerancia propia y ajena a los errores de los propios evaluadores pueden haber influido en su percepción. Además y estrechamente relacionada con la conclusión anterior, parece que los EE fueron más críticos que el resto de las categorías con la transferencia de acentos españoles fuertemente marcados (y difícilmente modificables) a la pronunciación inglesa, aun en aquellos casos en los que la pronunciación era inteligible.  Sin embargo, esta autocrítica, no siempre fundada, también presenta la ventaja de una conciencia cada vez mayor de los errores cometidos por parte de los EE y desarrollada, al menos parcialmente, tras cursar las dos asignaturas anteriormente mencionadas. El hecho de que los propios EE fueran los más exigentes resulta un buen augurio para futuras mejoras en la pronunciación. No obstante, el camino por recorrer en este campo aún es largo, por lo que es necesario realizar muchos más estudios en el ámbito de la producción oral en inglés.  REFERENCIAS 1. Cheng, Winnie & Warren, Martin. Peer assessment of language proficiency. Language Testing. 2005, 22(1), 93– 121. 2. Council of Europe (2001). Common European Framework for Languages: learning, teaching, assessment. Cambridge: CU.P. 3. Nilson, Linda, B. (2003). Improving student peer feedback. College Teaching. 2003, 51(1), 34–38. 4. Sivan, Atara. The implementation of peer assessment: An action research approach. Assessment inEducation: Principles, Policy & Practice. 2000, 7(2), 193–213. 5. Orsmond, Paul & Merry, Stephen. The importance of marking criteria in the use of peer assessment. Assessment and Evaluation in Higher Education. 1996, 21(3), 239–250. 6. Topping, Keith. Peer assessment between students in colleges and universities. Review of Educational Research. 1998, 68(3), 249–276.  ANEXOS PI_13_077_Anexo 1.pdf PI_13_077_Anexo 2.pdf  AGRADECIMIENTOS Nos gustaría expresar nuestro más sincero agradecimiento a todos aquellos profesores y alumnos que, de forma voluntaria, participaron en este proyecto. Asimismo, a la Unidad de Innovación y Formación Docente por la concesión del proyecto PI_13_077, Comparación, Evaluación y Mejora de la Pronunciación inglesa de los estudiantes del grado en Estudios Ingleses.  PI_13_077_ANEXO 1  Instructions for raters  Thank you for agreeing to help us with this experiment    You will find a total of 32 numbered recordings, each lasting approximately 30-40 seconds (total 21 minutes). They vary in sound quality as students were recorded in situ.  Each student is asked to read the following utterances:  She hit him hard                  Wash the palm of your hand The nurse’s red dress   Girls start to read Football bag    Orange juice and cheese I have decided to buy a big bed                 A better price Cold ice                    Black horses Cold eyes    Children are happy watching television She’s very hot    Rob the bank   Instructions for raters  Each recording begins with the reference number and the sex of the student and finishes with “End please rate”. Please listen to each of the 32 recordings only ONCE. You may of course press pause between recordings.  Please rate each of the 32 informants following the instructions and descriptors on the sheet provided, circling one number for each of the 5 questions.  Thanks once again  David Levey & Bárbara Eizaga    PI_13_077 ANEXO 2 Please answer each question by circling the option which best reflects your opinion   Based on what you have heard, how would you rate the student’s level of English? Beginners A1 Elementary A2 Intermediate B1 Upper-Intermediate B2 Advanced C1 Proficiency C2   Please answer each question by circling the option which best reflects your opinion   Based on what you have heard, how would you rate the student’s level of English? Beginners A1 Elementary A2 Intermediate B1 Upper-Intermediate B2 Advanced C1 Proficiency C2 STUDENT 1 Always Frequently Occasionally Rarely Hardly ever Never 1. Is the speaker’s pronunciation of consonants difficult to understand?  1  2  3  4  5  6 2. Is the speaker’s pronunciation of vowels difficult to understand?  1  2  3  4  5  6 3. Do the speaker’s stress, intonation and rhythm patterns make him/her difficult to understand?  1  2  3  4  5  6 4. Does the speaker’s accent make him/her difficult to understand?  1  2  3  4  5  6 STUDENT 2 Always Frequently Occasionally Rarely Hardly ever Never 1. Is the speaker’s pronunciation of consonants difficult to understand?  1  2  3  4  5  6 2. Is the speaker’s pronunciation of vowels difficult to understand?  1  2  3  4  5  6 3. Do the speaker’s stress, intonation and rhythm patterns make him/her difficult to understand?  1  2  3  4  5  6 4. Does the speaker’s accent make him/her difficult to understand?  1  2  3  4  5  6 

Evaluación de la pronunciación y de la mejora en la lengua: Evaluación por pares y variabilidad en la percepción de niveles

RODIN - Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz

https://rodin.uca.es/xmlui/bitstream/10498/17168/1/Memoria%20final.pdf

Evaluación de la pronunciación y de la mejora en la lengua: Evaluación por pares y variabilidad en la percepción de niveles

Abstract

Similar works

Full text

Available Versions

Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz

RODIN - Repositorio de Objetos de Docencia e Investigación de la Universidad de Cádiz