Focusing on Rater Variability and Phonetic Correlates

학위논문(박사) -- 서울대학교대학원 : 사범대학 외국어교육과(영어전공), 2022. 8. 안현기.유창성은 제2언어 수행과 언어능력에서 매우 중요한 부분을 구성하고 있으며, 많은 제2언어 학습자가 유창성을 획득하고자 노력하고 있다. 그러나 제2언어 연구자나 EFL(외국어로서의 영어) 교육자들은 유창성에 대해 명확히 이해하지 못하고 있으며, 그 개념 또한 일관성 있게 정의하지 못하고 있다. 게다가 EFL 환경에서 다양한 평가자들이 어떻게 유창성을 인식하고 평가하는지에 대한 연구는 매우 부족하다. 이러한 학문적인 필요성을 충족하고, 유창성의 다차원적 구성에 대한 깊은 이해를 위해 본 연구는 원어민 교사, 비원어민 교사, 그리고 동료 학생들이 한국 고등학생의 영어 말하기 유창성을 어떻게 인식하고 평가하는지를 인식 유창성과 발화 유창성이라는 두 가지 관점에서 연구하였다. 연구 1은 혼합 연구 방법을 이용하여 세 평가 집단의 인식 유창성이 어떻게 다른지를 비교한 것이다. 세 집단의 평가자는 다른 말하기 능력(상, 중, 하)을 가진 발화자가 두 과제 유형(그림 이야기, 자유 발화)에 대해 수행한 샘플을 듣고 유창성을 평가하였고, 연구자는 세 집단의 전반적인 유창성 점수는 양적인 방법으로, 채점자의 서면 평가는 질적인 방법으로 분석하였다. 두 과제와 세 언어 능력 집단 모두에게서 원어민과 비원어민 교사 집단은 비슷한 수준의 엄격성 패턴을 보였지만 동료 학생 집단은 교사 집단에 비해 유의미하게 낮은 점수를 주었음이 드러났다. 이어진 질적 분석은 EFL 교사 집단과 동료 학생 집단의 차이를 다시 한번 확인시켜주었다. 그리고 세 평가 집단이 하 수준의 학생들을 평가할 때, 그림 이야기에는 낮은 점수를 준 반면 자유 발화에는 높은 점수를 주는 경향을 보여, 모든 평가 집단이 과제 유형에 상당한 영향을 받음이 드러났다. 연구 1에서 발견된 세 그룹의 유창성 인식의 차이는 연구 2에서 좀 더 뒷받침된다. 연구 2에서는 발화 유창성의 특성 중 어떤 요소나 어떤 음향 모델이 평가자들의 인식 유창성을 가장 잘 예측할 수 있는지, 또한 어떤 발화 유창성 특성이 평가자로 하여금 발화자의 유창성 수준을 판단하는 데 영향을 미치는지를 알아보기 위해 발화 유창성과 인식 유창성 간의 관계를 분석하였다. 그 결과 두 가지 속도와 관련된 특질(평균 발화 길이, 발화 속도)과 휴지와 관련된 특질(절 내 무음 휴지기 비율, 평균 무음 휴지 길이)이 세 평가 집단의 인식 유창성과 가장 큰 상관이 있는 것으로 나타났다. 회귀 분석 결과 평균 발화 길이와 평균 무음 휴지 길이가 회귀 모형의 가장 많은 변화량을 설명하며 세 평가 집단의 유창성 점수를 가장 잘 예측하는 것으로 드러났다. 하지만 원어민과 비원어민 교사 집단의 모델은 입력 변수와 변수의 상대적인 순위 측면에서 완전히 동일한 반면 동료 학생 집단의 회귀 모형은 교사 집단의 모형과 차이가 있음이 발견되었다. 그리고 무음 휴지의 평균 길이와 같은 휴지와 관련된 특질은 하 수준의 유창성을 가진 학생을 구분하는 데 사용되고, 발화 속도와 같은 속도 관련 특질은 상 수준의 유창성을 가진 학생을 구분하는 데 사용되고 있음이 밝혀졌다. 이러한 연구 결과들은 원어민 교사와 비교하여 유창성 평가자로서 비원어민 교사들의 역할에 대한 논의에 바탕이 되었고, 동료 학생 평가의 타당성과 신뢰성을 논의하는 토대를 만들었다. 연구 1과 연구 2에서 드러난 여러 실증적인 증거들을 바탕으로 원어민과 비원어민 교사는 모두 제2언어로서 영어 말하기 유창성을 비슷한 방식으로 인식하고 평가하는 것으로 결론 지을 수 있고, 비원어민 교사 평가자도 원어민 교사 평가자와 같이 유창성 평가에 동일한 평가자로 기능할 수 있음을 보여주었다. 하지만 동료 학생 집단은 교사 집단에 비해 다른 평가 양상을 보여주었고, 이는 이들이 한국의 EFL 환경에서 능숙한 유창성 평가자로서의 역할을 수행하기 위해서는 많은 교육적인 노력이 필요함을 시사한다. 현 논문은 다양한 평가 집단이 학생들의 영어 말하기 유창성을 어떻게 인식하고 평가하는지를 체계적으로 분석하며, 한국 EFL 환경에서 타당하고 신뢰성이 있는 유창성 평가 방식을 수립하는데 기여한다. 게다가 본 연구는 동료 학생들의 평가를 교사 집단의 평가와 비교하여 연구함으로서 동료 평가의 가능성과 한계에 대한 직접적인 증거를 제시하였다. 또한 연구 방법론과 관련하여 본 연구는 유창성의 두 가지 측면인 인식 유창성과 발화 유창성을 결합함으로서 유창성의 다차원적 구성을 이해하는데 도움을 주고, 양적인 방법론과 질적인 방법론을 결합하여 다양한 평가 집단의 평가 패턴을 종합적으로 이해하는데 기여한다.Fluency constitutes a crucial aspect of understanding second language (L2) performance and proficiency, and attaining high levels of fluency is one essential goal for many L2 learners. However, fluency has not been well understood, and the term has not been used consistently by L2 researchers and EFL educators. In addition, there is a paucity of studies concerning how raters in the EFL context perceive and evaluate fluency. To fill the academic gap and deepen understanding of the multidimensional construct of fluency, the current dissertation investigated how Korean English teachers, native English teachers, and peer students perceive and rate Korean high school students' speaking fluency in terms of perceived fluency and utterance fluency. Study 1 investigated the differences in perceived fluency by three rater groups, employing a mix-method approach. Overall fluency ratings across two task types (picture narration, spontaneous speech) at speakers' different oral proficiency levels (low, mid, high) were analyzed quantitatively, and raters' written comments were examined qualitatively. The native and non-native teacher groups showed comparable severity patterns, but the peer group provided significantly lower fluency rating scores than the two EFL teacher groups on both tasks across all proficiency levels. The following qualitative analyses confirmed the discrepancy between the two EFL teacher groups and the peer group. In addition, it was revealed that the three rater groups' evaluations for low-level learners were significantly affected by task types, with the spontaneous speech task scoring higher than the picture narration task. The disparities in the three groups' perceptions of fluency reported in Study 1 were further supported and accounted for in Study 2. Study 2 examined the relationship between utterance fluency and perceived fluency to determine which acoustic model best predicted the three listener groups' perceived fluency and which acoustic features were associated with the three groups' decision-making of speakers' fluency levels. Two speed features (i.e., mean length of run, articulation rate) and two breakdown measures (i.e., silent pause rate within a clause, mean length of silent pauses) were found to be most strongly correlated with their perceived fluency. The regression analysis indicated that the mean length of run and the mean length of silent pauses were the two strongest predictors for the three rater groups, explaining most of the variance in the three regression models. However, the data further revealed that the regression models for native and non-native teachers were identical regarding the four entered variables and their relative contribution rankings, while the best regression model for the peer group showed some disparities. In addition, it was found that breakdown measures, such as the mean length of silent pauses, helped to distinguish the low-level from higher level (mid, high) groups, while speed measures, such as articulation rate, discriminated the high-level group from lower level (low, mid) groups. These findings served as a foundation for a discussion of native versus non-native English teachers as fluency assessors on the one hand and the validity and reliability of peer assessment on the other. Based on empirical evidence drawn from Study 1 and 2, it can be concluded that native and non-native English teachers perceived and rated L2 fluency in a similar way, confirming that non-native teachers are as equally capable of serving as fluency raters as native teachers are. However, the peer group displayed rating patterns distinct from those of the teacher group, implying that much pedagogical effort is required to prepare peer students to serve as competent fluency raters in the Korean EFL context. The current dissertation contributes to establishing a valid and reliable fluency assessment in the Korean EFL context by systematically analyzing how various groups of raters perceive and evaluate students' English speaking fluency. In addition, the study provides direct evidence regarding the possibility and limitations of peer assessment by comparing the peer group's judgments with those of the teacher groups. Regarding research methodology, the study contributes to illuminating the multidimensional constructs of fluency by combining two facets of fluency, like perceived fluency and utterance fluency. It is also shown that a comprehensive understanding of rating patterns drawn by different raters can be achieved by combining quantitative and qualitative research methods.CHAPTER 1. INTRODUCTION 1 1.1 Aims of Study 1 1.2 Background of Study 2 1.3 Research Questions 7 1.4 Organization of the Dissertation 9 CHAPTER 2. LITERATURE REVIEW 11 2.1 Defining and Measuring Fluency 11 2.2 Perceived Fluency 18 2.2.1 Rater Variables on Fluency Ratings 18 2.2.2 Task Variables on Fluency Ratings 26 2.3 Utterance Fluency 30 2.3.1 Predictors of Utterance Fluency 30 2.3.1.1 Speed Fluency 31 2.3.1.2 Breakdown Fluency 34 2.3.1.3 Repair Fluency 39 2.3.2 Utterance Fluency Model 42 2.3.3 Utterance Fluency Features and Fluency levels 46 CHAPTER 3. Study 1: PERCEIVED FLUENCY 49 3.1 Methodology 49 3.1.1 Participants 50 3.1.2 Instruments 53 3.1.3 Procedures 55 3.1.4 Data Analysis 57 3.2 Results 59 3.2.1 A Quantitative Study 59 3.2.1.1 Comparison of the Three Rater Groups 59 3.2.1.2 Effects of Raters and Task Types on Fluency Ratings 64 3.2.2 A Qualitative Study 73 3.3 Summary and Discussion 87 CHAPTER 4. Study 2: UTTERANCE FLUENCY 96 4.1 Methodology 96 4.1.1 Participants and Procedures 97 4.1.2 Temporal Measures 98 4.1.3 Acoustic Analysis 101 4.1.4 Statistical Analysis 103 4.2 Results 106 4.2.1 Predictors of Three Rater Groups’ Fluency Ratings 106 4.2.2 A Best Prediction Model on L2 Speaking Fluency 113 4.2.3 Utterance Measures Distinguishing Fluency Levels 119 4.3 Summary and Discussion 125 CHAPTER 5. CONCLUSION 134 5.1 Findings and Pedagogical Implications 134 5.2 Limitations and Suggestions for Future Research 143 REFERENCES 145 APPENDICES 155 ABSTRACT IN KOREAN 163박