完型填空中测试方法效应.doc

完型填空中测试方法效应研究摘 要：本研究旨在考察三种完型填空中的方法效应，以及测 试成绩可能反映的不同语言能力。分析结果显示：完型填空中测试 方法确实影响考生成绩；选择完型主要考了考生词汇语法能力，开 放完型有效测试了写作能力，集库完型则和阅读能力相关性最咼。关键词：测试方法；选择完型；开放完型；集库完型1. 研究背景和目的测试方法指的是测试考生语言能力或语言知识的方法 (davies,1999)。测试方法效应则指用来测试考生语言能力的测试 方法对考生成绩的影响。上世纪60年代以来，研究者开始关注方法效应存在和否的问题。 在语言测试领域，美国语言学家bachma n的方法效应模式是最有影 响力和综合性的。bachman (1999)在他的测试理论专著“ fun dame ntal con sideratio n in Ian guage testi ng”中指出测试方法的特点影响考生测试成绩，并在此基础上提出他自己的语言 测试模式。它包括五个方面：测试环境、测试说明、测试材料的输 入方式、答题方式、测试材料的输入及答题之间的关系。完型填空从1953年产生以来，被广泛使用于语言测试领域。选 择式完型、开放式完型和集库式完型是完型天空的三种题型。虽然 大多数学者同意在完型填空中不同的删词方法考了不同的语言能 力，但对于它们具体考察了哪些能力，学者们却一直没有定论。i本研究旨在考察完型填空的方法效应，即不同题型的完型填空对考生成绩可能造成的影响，以及测试成绩反映的不同语言能力。具 体研究问题如下：1）不同完型填空中是否存在方法效应？2）三种不同题型的完型填空分别考了考生哪些语言能力？2. 研究方法2.1测试对象本研究是一个实验研究。99名英语专业大学新生参加了一个水平 测试。水平测试试题主要选自大学英语四级测试试题，内容包括： 词汇语法、阅读理解和写作。这些学生根据测试成绩被分为高、中、 低三组，每个水平组又随机分成三组，共九组。2.2试卷设计本研究包括三份试卷，每份试卷有三篇文章，每篇文章有20个问题。每份试卷的文章相同，测试点也相同，但测试方法不同。具 体安排如下表：3. 研究步骤本研究主要分为三个步骤：水平测试并分组、实施不同题型的完 型填空测试、评分并分析结果。在水平测试前，受试者被告知水平测试的目的仅供研究所用，并 不和他们的学业成绩相关。水平测试后，99名受试者被分成高、中、 低三小组，每组33人，然后各组又随机分成三小组。三份完型填 空试卷随机分给每个水平组的三个小组， 一小组做一份试卷。这样, 每份试卷都有33个受试者，高、中、低水平组各11个人。记分方法是每道题1分，每篇文章20分。评分方法上，选择式和集库式完型填空属客观题，原则上只有一个正确选项。开放式完 型的评分则遵循可接受原则，即只要考生所给答案语义通顺语法正 确就视为正确答案。4. 研究结果4.1不同完型填空中的方法效应考生完成完型填空之后，数据被收集并用spss进行了分析。表1 列出了每篇文章各种测试方法的平均分和标准差。table 1 mean and std. deviatio n of the three test methodsin three passages从上表可以看出选择式和集库式完型填空的平均分高于开放式 完型填空，这说明开放式完型填空对考生来说最难。为了进一步验 证不同题型的完型填空是否存在方法效应，研究者对测试数据进行 了单向方差分析，结果如下表：table 2 one-way anova test of three test methods in three passages如上表所示：f值分别为31.581, 30.177, 33.305 ；ig值均为.000, 均低于0.05。这说明三篇文章中不同的测试方法对考生的成绩产生 了显著影响。笔者对数据进行了多重比较以便明确不同测试方法的 区别：table-3 post hoc of test methods从表3我们可以看出开放式完型填空的成绩显著区别于选择式和” 集库式完型填空的成绩，而选择完型和集库完型的成绩则不存在显著性差异。这表明开放式完型对考生成绩影响最大。总结表2、3可以得出以下结论：这三种不同的测试方法对考生 成绩具有显著影响。当笔者对这三种测试方法进行进一步的比较和 分析发现：开放完型较之其它两种题型难度较大，对考生的影响也 最大，这和刘建达(1998)的研究结果一致；然而选择完型和集库 完型对考生的影响相差不大。这一结果的原因可能是由于开放完型 属于语言产出性质的题型，而选择式和集库式完型都是有选项可供 选择的。这和swain的语言输出理论相吻合。根据swain语言输出 理论，语言和语言输出是两种不同的能力(joh nso n. k 2001)。语言输出比语言输入更难，要求更高。4.2不同题型和考生语言能力的相关性通过相关性分析，笔者研究了这三种不同类型的完型填空和考生 语法词汇能力、阅读能力和写作能力的相关性。table-4 correlatio n betwee n test methods and Ian guage abilities*. sig nifica nt at .01 (two-tailed) level* sig nifica nt at 0.05 (two-tailed) level如上表所示，选择完型和考生的语法词汇成绩的皮尔逊相关系数 为.352, sig 为.000，这说明两者显著相关。同理可看出选择完型 和考生写作成绩的相关性也达到显著水平，而和考生的阅读成绩则 没有显著相关性。开放完型和考生写作成绩和语法词汇成绩都具有 显著相关性(sig分别为.003和.031)，而集库完型则和考生的三种成绩都显著相关（sig分别为.008, .000, .002）。总体来说，首先这三种完型填空都和考生的语法词汇能力显著相 关，且以选择完型和之相关性最高。这一结果和其他研究者一致。 如何莲珍（1999）的实验研究中，选择完型和语法词汇的相关系数 在两个实验组中分别达到.572和.645。这可能主要是因为考生在做 选择式完型时有多种策略可以使用（如排除法、推理等）或是可以 随意猜测（正确率为25%。因此考生的语法词汇能力将足以使他们 选出正确答案，而不需要太多更高层次的语言能力。其次就阅读能力而言，集库完型和之相关性最高。然而选择和开 放完型和阅读成绩都没有显著相关性。这说明集库式完型最能反映 出考生的阅读能力。在做集库式完型时，考生需要从许多的已给词 汇中进行选择，仅凭词汇和语法能力他们无法从这么多词中选出正 确答案。他们需要更好地理解整个句子或整篇文章才能做出正确的 选择。这就意味着考生需要句子和语篇的处理能力，而这些能力正 是阅读能力的关键所在。这一结果也得到了其他研究者的证实：在 集库式完型中句子层面的信息是考生使用最频繁的信息，而第二频 繁的则是语篇层面的信息。（gao, gu, 2008 ）第三，这三种不同的测试方法都和写作成绩显著相关。但是相比 而言，选择式完型和写作成绩的相关性不如集库式完型或开放式完 型和写作成绩的相关性高。（原因如第一点中已经分析）5. 结论通过一系列的研究和分析，笔者得出如下结论：完型填空测试中方法效应确实存在；选择式完型主要考了学生语法词汇能力，开放 式完型有效测试了写作能力，集库式完型则和阅读能力相关最高。参考文献：1. bachma n, If fun dame ntal con siderati ons in Ian guagetesting m. shanghai foreign Ianguages and education press, 19992. davies, a. dictionary of Ianguage testing m beijing:foreig n Ian guage teach ing and research press, 19993. gao xiao ying, gu xia ngdong. an in trospective study ontest-takingprocess for banked cloze j celea journal,2008,31(4) 3164. joh nson, keith. an in troducti on to foreig n Ian guage learning and teachi ng m. foreig n Ian guage teach ing and research press, 20015. 何莲珍.分题选择完型填空和集库式完型填空的对比实验j.浙江大学学报，1999, 6 : 97-1026. 刘建达.测试方法对阅读测试的影响j.外语教学和研究，1998, 2 : 48-52