Yu, Guoxing

本文阐述高利害英语语言考试中概要写作的特征和问题，并提出使用IFOE 框架（输入、过滤、输出、评价），从多个视角来探索概要写作的复杂性，以期了解不同的因素是如何影响考生的表现（或对他们表现的评价）。输入指的是用以做概述的源文本，过滤涉及考生自身的特点；输出指的是不同类型的概要产出；评价指的是对概要的质量进行评判。基于IFOE 框架，我们可以进一步完善概要写作题目的设置和评估标准的建立。本文同时也针对教师在概要写作的教学与测试这一过程当中能够扮演的角色提出建议

Explore Bristol Research

                          Yu, G. (2017). .  (English Language Learning), 26-30.Peer reviewed versionLink to publication record in Explore Bristol ResearchPDF-documentThis is the author accepted manuscript (AAM). The final published version (version of record) is available via thepublisher. Please refer to any applicable terms of use of the publisher.University of Bristol - Explore Bristol ResearchGeneral rightsThis document is made available in accordance with publisher policies. Please cite only the publishedversion using the reference above. Full terms of use are available:http://www.bristol.ac.uk/pure/about/ebr-terms高利害英语考试中的概要写作  余国兴 英国布里斯托大学  【摘要】在过去大规模高利害语言测试受心理测量学的影响通常不采用概要写作（又称缩写）来考查学生的写作能力，主要是担心概要写作需要融合阅读和写作能力因此会超越对写作能力本身的考查。然而，大量的实证研究和教学实践表明概要写作能够有效培养和考查学生使用目标语言的能力，因此近期许多高利害的英语语言测试开始使用概要写作。本文阐述高利害英语语言考试中概要写作的特征和问题，并提出使用 IFOE 框架（输入、过滤、输出、评价），从多个视角来探索概要写作的复杂性，以期了解不同的因素是如何影响考生的表现的（或对他们表现的评价）。输入指的是用以做概述的源文本，过滤涉及考生自身的特点，输出指的是不同类型的概要产出，评价指的是对概要的质量进行评判。基于 IFOE框架我们可以进一步完善概要写作题目的设置和评估标准的建立。本文同时针对教师在概要写作的教学与测试这一过程当中能够扮演的角色提出一些可操作的建议。  【关键词】高利害英语考试；缩写；概要写作；评估；教师   一、高利害英语考试中概要写作的前提、优势及问题  阅读理解是读者能够概括总结的先决条件(Yu, 2005, 2007, 2008, 2009, 2010, 2013a, 2013b)，而概括总结也是读者阅读理解过程中自然的、必须产生的一个过程(Kintsch & van Dijk, 1978; van Dijk & Kintsch, 1983)，尽管概括总结不一定会轻松地、自动地发生(Johnson, 1983)。概括总结需要在阅读理解的基础之上做出合理评估与浓缩，进而对原始文本材料进行多次加工和提炼，即所谓“概括总结要求读者理解，评估，浓缩和频繁变更已经提出的想法。”(Hidi & Anderson, 1986, pp. 473-474)。要完成高利害英语考试中的概要写作，考生必须理解和评估原始文本信息，这是必不可少的前提。如果考生对原始文本信息的理解和评估出现任何问题, 他的概要写作就会受到影响。这也是以前在高利害考试中概要写作不被使用的主要顾虑，担心概要写作需要融合阅读和写作能力因此会超越对写作能力本身的考查。然而，大量的实证研究和教学实践表明概要写作能够有效培养和考查学生使用目标语言的能力，因此近期许多高利害的英语语言测试开始使用概要写作。掌握概要写作的要义，具有多方面的优势和意义。概括总结作为一种最基本的交际能力(Brown & Smiley, 1978)和阅读理解的轴心(Axelrod, 1975)，它不仅可以作为一种阅读能力的测量，同时还可以是对于写作能力的测量。在英语教材当中，这方面的概要写作训练也是很常见的(Seidlhofer, 1995; Weir, Yang, & Jin, 2000)。概要写作能力不仅对于中小学生学习英语而言是一项重要的能力指标，而且将在今后的学习生涯当中起到至关重要的作用。比如硕士研究生在撰写论文过程当中经常需要查找文献进行综述，并提炼出其中核心观点，这就需要学生具备扎实的概括总结能力，可以说概括总结能力是内容获取和学术成功必不可少的(Friend, 2001; Holmes & Ramos, 1993; Maclellan, 1997; Rea-Dickins, Kiely, & Yu, 2007)。同时概括总结的考试形式也具有自然的吸引力，因为概括总结能够模拟或接近现实世界语言使用的基本场景(Cohen, 1994, p. 174)。“无论一个人对学习外语的兴趣和目的如何，似乎没有一个学生能够逃脱对概括总结能力的学习和培养。”(Johns, 1988, p. 79) 尽管概要写作从教学和测试的角度来说都有很大益处, 但是考试机构通常从心理测量学的角度担心概要写作因需要融合阅读和写作能力会超越对写作能力本身的考查，因此概要写作以前在大规模高利害的考试中很少用。原本在中国的英语考试当中也不存在概要写作这项考核内容。托福网考创新性的使用概要写作，对全世界范围内语言考试产生了很大的、积极的影响。很多语言测试开始效仿使用概要写作。然而在发展过程当中，这一考核方式也面临着一些问题，特别是对概要写作 (缩写）的理论界定模糊不清。什么是缩写？如Ratteray(1985, p. 457)指出“在许多相关文献中，一个严重的问题就是大家都臆想只存在一种缩写形式。”而事实上, 缩写有各种不同的类型和目的，因此缩写的内容、内容的顺序、长度等等都会有所不同。另外对于不同年龄的考生而言，他们的概括总结能力也不同，因此考查的不一定是语言能力而已。字数要求的不同也会影响总结提炼的程度，所有这些都需要研究者加大力度去分析题目的设置特征对考生的影响。同时考试机构和试题设计者必须告诉考生一个明确的、透明的任务方向, 这对于确保考生准确地知道他们应当撰写何种内容范围的缩写至关重要，我们不能只是告诉考生“总结一下”。同时我们必须规范整个考试流程设置，并对概要写作各个影响因素进行系统的研究。  二、IFOE框架下试题设计的优化以及评分标准的制定 所谓 IFOE框架（IFOE Framework）是指: 输入（Input） - 过滤（Filter Plant） - 输出（Output） - 评估（Evaluation）。这个框架的意义在于，能够让评估流程变得更为规范化、系统化和科学化。因为时间关系, 我只讲两个方面：原文文本的选择和评估标准的建立。     IFOE framework for assessing summarization Note: Items italicized represent research focus of Yu (2005) ©  Guoxing Yu  INPUT • Text type (texts of three types) • Text length (2100-2300 words) • Text presentation mode (computer, print, audio-recorded) • Number of text(s): single-/multiple-sourced • Text exposure chances/availability/whereabouts (present, absent) • Readability  (Flesch-Kincaid Grade Level 11-12) • Lexical density (by VOCD) • Syntactic complexity • Rhetorical conventions • Summarizability • Pre-summarization tasks (reading, listening, reading+listening) • Summarization strategy training (full pre-test, partial on-site) • …  FILTER PLANT Reading ability (L2 measured by FCE & TOEFL, L1) • Writing ability (L2, L1) • Translation ability (L2L1, L1 L2) • L1 literacy/experience in summarization (by questionnaire + interviews) • Computer familiarity (by computer familiarity questionnaire) • Topic familiarity with the source text (by questionnaire + interviews) • Cognitive styles (field-dependent, field-independent…) • Summarizer’s age (20s) • Summarization purposes (reader-/writer-based, public/private…) • L2 vocabulary knowledge • Summarization strategies • Task mediation (individual, pair, group work) • …   OUTPUT Production or selection (summary-choice, summary-cloze, summary  production) • Languages (L1, L2, oral, written) • Presentation mode (Word-processed, handwritten …) • Length (constrained/free) • Literal or critical • … EVALUATION SYSTEM • Content coverage (RSC, WSP) • Summarization strategies employed (copy, deletion, integration…) • Succinctness (5% Score) • Topographical relationships with the source text (SSS) • Whose criteria (expert, popular, auto-summarizer) • Syntactic complexity • Lexical density (D for English summaries) • Summaries in 2 languages (differences between L1 and L2) • Overall quality (holistic score by augmentation method) • Other discourse features • …  首先，是阅读文本的选择 对于阅读文本而言，它的体裁、类型、宏观结构、长短、可读性、词汇多样性、信息密度、读者对于话题的感兴趣程度等，都会成为影响概要写作的关键因素。概要写作任务的认知难度取决于“原文的文本特征，在写概要时原文是否可以看, 以及要生成的概要的类型”(Hidi & Anderson, 1986, p. 473)。我们需要更为精准地研究每一项要素在多大程度上影响着整体测量的结果，从而对阅读文本特征（如文本的可概括性, 即 summarizability）的选择以及题目的设置都进行更加细致的优化。为了选择适合于概要写作任务的文本，我们必须对这些文本特征进行详细分析，尽管分析可能不是完全令人满意，因为很多时候没有一个单一的指标可以完全解释原文本的概括性。 其次，是评估标准的透明度问题 Rosenau(1992, p. 37)认为：文本意义的阐述并不在于文本的作者，而在于读者。文本在面世的一刻，已经将解释权给了读者。因此，我们对文本可能有很多种不同的解释，而且各种解释没有“正确”或“错误”之分, 只有适合或不适合我们的需要之分。后现代主义的文本阐述理论对概要写作评估标准的建立是一个巨大的挑战。Urquhart & Weir (1998)指出试题设计者通常花大量的时间层层深入地挖掘文本的意思却要求考生在 20 分钟内考试紧张的状态下达到相同的理解程度, 这显然是不公平的。(Alderson, 2000, p. 29)建议试题设计者应该对文本的各种可能的解释采取开放的态度。大量的研究也表明由于读者/缩写者的认知风格、认知成熟度、对原文内容的熟悉程度和感兴趣程度、对原文文体和结构的熟悉程度、文化素养、年龄、以及缩写的目的等等都会影响他们的缩写过程和结果。那么, 究竟谁的理解和缩写是最合理的?我们应该如何建立透明的、被大多数人接受的、同时又能对考生和教学产生积极的影响的概要写作评分标准？我建议让尽可能多的利益相关者参与评分标准的建立。首先让专家(包括英语作为母语的专家)参与进来，帮助撰写概要；但是正如 Bachman(1990, pp. 248-249)所说，“越来越多的证据表明，母语人士并不是每项语言能力的测试中的表现都是统一地好，也不统一地优于非母语者。” 第二，要重视考生的参与。Bachman and Palmer (1996, p. 32)建议“让考生参与试题的设计和开发，并收集他们对测试和测试任务的看法的相关信息能够促进考试的积极影响。如果考生以这种方式参与测试，他们就更有可能认为测试任务更具真实性和交互性，考生会对测试有更积极的认知，更有动力学习，甚至有可能会考得更好”另外，需要特别指出，由于概要（缩写）是一个独特的文体，它不同于命题作文，因此概要写作的评分标准也应该相应地体现这一文体的特殊性, 采用不同于独立命题作文的评分参数或指标，以便更好地衡量概要的质量。  三、教师在课堂教学和评估中的角色 总的说来，教师在课堂教学和评估中的任务，主要是三个层面。首先，提高教师自己的语言测评素养；其次，是全面系统地理解和明确什么是概要和概要写作任务，哪些因素会影响考生的表现，以及有关测试的考试大纲；第三，把概要写作策略培训作为教学的重要日常组成部分。 这里提到的概要策略，主要是以下六大总结规则： （1） 删除 - 删除源文本中的冗余和细节信息； （2） 升级 - 将细目列表替换为更上一级条款； （3） 选择 - 选择已经存在的主题句和重要信息； （4） 创造 - 如果主题句不存在，就创造归纳主题句； （5） 重构 - 将已经选择和创造的重要信息整合到一个连贯，简洁和自成一体的摘要中，使其代表和反映源文本的浓缩中心思想或本质； （6） 打磨摘要 -仔细修改, 使摘要具有可读性，并忠实于源文本。 理顺了教学和实践当中的具体关系。教师在阅卷时主要考虑以下内容:考 生对原文要点的理解和呈现情况、应用语法结构和词汇的准确性、上下文的连贯性以及对要点表达的独立性情况。  展望 从国家层面上讲，要想更好地了解中国英语考试中的概要写作，需要 从三个方面着手：（1）加强公众的参与，要通过一些科普的渠道让家长、学生和任课老师了解概要写作（缩写）到底是什么；（2）提高教师的评估素养；（3）开展概要写作（缩写）的系统科学研究。如概要的文体特征，概要写作的答题过程的眼动研究，考生中、英文概要的能力差异和特征差别，考生概要写作能力的跟踪研究, 中国考生与其他国家考生概要写作的对比研究, 概要写作的教学与测试的互动关系研究, 概要写作试题设计和评分标准的研究，等等。    参考文献: Alderson, J. C. (2000). Assessing reading. Cambridge: Cambridge University Press. Axelrod, J. (1975). Getting the main idea is still the main idea. Journal of Reading, 18(5), 383-387.  Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford: Oxford University Press. Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Press. Brown, A. L., & Smiley, S. S. (1978). The development of strategies for studying text. Child Development, 49(4), 1076-1088.  Cohen, A. D. (1994). English for academic purposes in brazil: The use of summary tasks. In C. Hill & K. Parry (Eds.), From testing to assessment: English as an international language (pp. 174-204). London: Longman. Friend, R. (2001). Effects of strategy instruction on summary writing of college students. Contemporary Educational Psychology, 26(1), 3-24.  Hidi, S., & Anderson, V. (1986). Producing written summaries: Task demands, cognitive operations, and implications for instruction. Review of Educational Research, 56(4), 473-493.  Holmes, J. L., & Ramos, R. G. (1993). Study summaries as an evaluation instrument: Questions of validity. English for Specific Purposes, 12(1), 83-94.  Johns, A. M. (1988). Reading for summarizing: An approach to text orientation and processing. Reading in a Foreign Language, 4(2), 79-90.  Johnson, N. S. (1983). What do you do if you can't tell the whole story? The development of summarization skills. In K. E. Nelson (Ed.), Children's language, volume 4 (pp. 315-383). Hillsdale, NJ: Lawrence Erlbaum. Kintsch, W., & van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85(5), 363-394.  Maclellan, E. (1997). Reading to learn. Studies in Higher Education, 22(3), 277-288.  Ratteray, O. M. T. (1985). Expanding roles for summarized information. Written Communication, 2(4), 457-472.  Rea-Dickins, P. M., Kiely, R., & Yu, G. (2007). Student identity, learning and progression: The affective and academic impact of IELTS on ‘successful’ candidates. In P. McGovern & S. Walsh (Eds.), IELTS research reports volume 7 (pp. 59-136). Canberra: IELTS Australia and British Council. Rosenau, P. M. (1992). Post-modernism and the social sciences: Insights, inroads and intrusions. Princeton: Princeton University Press. Seidlhofer, B. (1995). Approaches to summarization: Discourse analysis and language education. Tübingen: Gunter Narr. Urquhart, A. H., & Weir, C. J. (1998). Reading in a second language: Process, product and practice. London: Longman. van Dijk, T. A., & Kintsch, W. (1983). Strategies of discourse comprehension. New York: Academic Press. Weir, C. J., Yang, H., & Jin, Y. (2000). An empirical investigation of the componentiality of L2 reading in English for academic purposes. Cambridge: Cambridge University Press with University of Cambridge Local Examinations Syndicate. Yu, G. (2005). Towards a model of using summarization tasks as a measure of reading comprehension. PhD PhD thesis, University of Bristol, Bristol.    Yu, G. (2007). Students' voices in the evaluation of their written summaries: Empowerment and democracy for test takers? Language Testing, 24(4), 539-572.  Yu, G. (2008). Reading to summarize in English and Chinese: A tale of two languages? Language Testing, 25(4), 521-551. doi: 10.1177/0265532208094275 Yu, G. (2009). The shifting sands in the effects of source text summarizability on summary writing. Assessing Writing, 14(2), 116-137.  Yu, G. (2010). Effects of presentation mode and computer familiarity on summarization of extended texts. Language Assessment Quarterly, 7(2), 119-136. doi: 10.1080/15434300903452355 Yu, G. (2013a). From integrative to integrated language assessment: Are we there yet? Language Assessment Quarterly, 10(1), 110-114. doi: 10.1080/15434303.2013.766744 Yu, G. (2013b). The use of summarization tasks: Some lexical and conceptual analyses. Language Assessment Quarterly, 10(1), 96-109. doi: 10.1080/15434303.2012.750659   

Summary writing tasks in high-stakes tests

https://research-information.bris.ac.uk/ws/files/149328641/Yu_summarywriting.pdf

Summary writing tasks in high-stakes tests

Abstract

Similar works

Full text

Available Versions

Explore Bristol Research