论文部分内容阅读
【摘要】本文结合了2013-2018年的TEM 8段落改错试题，从考点的错误性质入手，对其内容效度进行评估。采用了李筱菊提出的考点层次分析法后发现：这六年内的专八段落改错试题所处层次较高，重点考点范围主要是语法和意义，考点分布较为合理，即越来越高对稳定性有效性的考验达到了测试学生自由灵活运用语言知识的能力，尤其在真实语用环境下，学生能找到错误并加以更正。
【关键词】TEM8；段落改错；效度
【Abstract】This paper combines the TEM 8 proofreading in the year of 2013 to 2018， and evaluates the contents validity. It’s found that the test level of the proofreading was set high in these six years， the main test points were set in grammars and meaning and the distribution of test points were arranged appropriately through level analysis method proposed by Li Xiaojv. That is to say， increasingly high stability and effectiveness have enabled students to test their ability to use language knowledge freely and flexibly. Students can find the errors and correcting them especially in real environment of language in use.
【Key words】Tem 8； proof-reading； validity
【作者簡介】贵文春（1994.04-），湖南衡阳人，桂林理工大学，研究方向：外国语言学及应用语言学。
一、前言
全国高校英语八级考试（TEM8），也被称为“专业八级”（为英语专业高年级设置的成套检测考试，为测试其语言的熟练运用能力。）长期以来一直被认为是考查综合性大学英语专业学生英语语言综合运用能力最高水平的考试。自从1991年中国大陆教育部实施TEM8以来，段落改错在过去八年来一直是必须审查的考试题型。这部分考试的要求是学生可以“使用语法，词汇，修辞和其他语言知识来识别给定段落中的语言错误，并提出更正方法”。考试的测试目的是为了测试学生在使用语言知识方面的自由度和灵活性。 特别是在语用学和真是语境中，使学生发现错误并加以更正。
二、段落改错命题背景
段落改错（proofreading，现已更改为language usage）是我国考试中常见的题型。其题目是给出一段或两段完整的段落，因此有语境可作为参考。其考点的错误类型多样，因此考点的覆盖面广。其答案是大部分都是唯一的，因此评分标准较为客观。所以，段落改错试题是能有效地测试学生语言的准确性。
刘建达，杨满珍（2001）认为段落改错对考生的能力测试已超出语法知识范围，并且可以测试到考生在词、短语、句子以及语篇各个层次上的知识。
卲晓霞（2006）主要通过将“图式理论”引入段落改错过程的阐释，她认为“图式理论”可解释段落改错中过程及选择机制，考生在段落改错不同阶段需调用语言和内容图式，并结合语言中获得的信息，达达到改错目的。
以上研究都没有提到段落改错题型自身的问题：即是否能否反映受试者的语言水平。本文从2013-2018年全国高校英语专业八级历年段落改错真题入手，分析真题是否考了学生的综合语言水平；受试答题是否要求语境理解；是否是只要句子层面的理解就能找出错误。
三、试题分析
Bachman（1990：130）认为，虽然长度本身可能不是影响性能的一个关键方面，但语言样本越长，下面讨论的其他特性的潜在影响就越大。文章长度指的是在专八改错试题中所给出文章的总词数。然而，段落改错试题要求的不仅仅是受试者的阅读能力，而是要求受试者在读出在错误的同时更正错误。
段落改错试题词数长度表：
从表中我们可以看出，2013至2015年的段落改错试题词数长度有着较大的差距。字数最少的2013年总字数为204词，词数最多的2017年总次数达到319词，总词数差距超过100词。同时，这六年的平均词数为242.3词。
在专业八级考题大纲中要求到：段落改错的文章词数大概在250词左右。参照这一标准，其中只有2017年段落改错的总词数超过250词，其他五年并未达到这里标准，并且这六年的平均词数也少于250词。因此从段落长度来评判信度的可行的。
1.传统分析。表1把2013-2018TEM8历年考试真题的错误按词汇、搭配、语法和语篇分为四类并统计其考点错误频数。
表中所列词汇错误涉及词的语义差别以及词语辨析；搭配错误多为动词搭配，介词搭配和其他固定搭配；语法错误是以句子为单位；语篇标准是至少要求两个或两个以上的句子才能找出错误的。
从图中可以看出，2013-2018历年的段落改错考试真题中，错误类型主要以语法改错题为主，这类错误题数大都占了总试题数的一半以上。搭配的词汇考点都是考词汇辨析，或是形近词，与上下文语篇没有关系，属于只要记得准就能答对的题。表中的词汇考点是词汇辨析类型或词组搭配，属于搭配使用上的错误，但其词语自身并无语法错误，从图中可见涉及的都很少。最后篇章考点的数目也很少，并且错误几乎全都集中在容易找见的原因，承接，转折的连词上。 例如，语法改错类题：
It’is only in exceptional circumstances （应加that）we might become aware of the complexity involved.（2013年TEM8段落改错第五题）
l What is the explanation for the fact（应加that）adults have more difficulty in acquiring additional languages than children have？（2014年TEM8段落改错第四题）
That is， the spotlight is on what mental capabilities are involving，what（改成how）psychological factors play a role in the learning or acquisition， （2014年TEM8段落改错第九题）
Often we can indeed infer from the context what a word roughly means， and that is in fact the way（应加in）which we usually acquire both（2015年TEM8段落改错第六题）
But often this opportunity does not exist for the learner of English. So dictionary have been（去掉been） developed for mend the gap.（2015年TEM8段落改错第十题）
词汇辨析类题：
I try to infer its meaning from the context. “Plush” was clearly intended as a complimentary（改成 compliment）， a positive evaluation；（2015年TEM8段落改错第三题）
内容效度又称逻辑效度，是指项目对将要预测的内容范围取样的适当程度，即测量内容给的适当性和相符性。在英语专八考试中给的内容效度，是指考题是否考了大纲规定要考的内容，或是指考题在多大程度上代表了它所要测量的目标（刘建达，2001）。依据这个标准，段落改错的内容效度不太高，他的内容效度对于语言测试类型的覆盖并不平均，仅仅只是测试了大学阶段应掌握的基础语法知识。要想设计和使用合适的语言测试，要准确定义所测能力及观察和测量的方法。当前的第三代语言测试应该是交际语言测试，主要测试交际能力（包括知识、技能、能力），分为语言能力，语篇能力，语用能力（李筱菊，1997）。
从分析上看出，段落改错的试题表面效度较低，相对于其他题型的难度也较低，因其十分注重意义的准确表达，因此在语码及语言形式上会有较多关注。语法错误的辨析，短语搭配的准确性，在TEM8这样不注重语法和词汇的考试中稍显偏重。段落改错是测试语言能力，但这类题型只限制于语法能力的测试。在语篇能力的测试偏轻，并且没有在整体篇章的基础上测试其语言能力。因此段落改错试题在选题上应选择语篇连贯性显著，上下文互动明显的短文，并且要提高题目的层次，着重将考试题重点覆盖在语篇层面和意义的理解辨析上，提高文章深度，可加入修辞方面的辨析题，让英语专业学生的做题水准并不仅是停留在语法语句和词语搭配上的修改上，而是将眼光放高到语篇、修辞、文体上。
2.层次分析法。层次分析方法最开始是用于分析完形填空试题的考点效度，主要用来测试完形填空试题的内容质量。由于完形填空和段落改错都属于C类试题，二者有着共同的理论依据，并且有着许多相似之处，因此英语专业八级也可用层次分析法进行考点效度分析。
此方法是将完型填空的填空或段落改错题型的错误按照语篇Discourse、句子Sentence、词组Phrase、单词Word分成四個层次。这四个层次的划分依据是在填写这个词的时候，需要考虑多广的上下文，才能作出决定。也就是说这个词的决定，受什么语境的限制（李筱菊，1997）。同样在段落改错中，对错误点进行曾删改补的行为受什么层次语境的制约。
将2013-2018年TEM8历年段落改错考试真题的错误按照这四个层次，将其分成四类并统计其考点错误频数制作成表（见表2）。
从该表来看，词汇层面的考点在近六年基本保持一定数量不变。即使段落改错是为测试语言学习者高水平语言能力，但还是有涉及词汇层面的测试。由于段落改错核心是考形式而不是考意义，因此试题对题层次的要求不完全如完心填空那样，任何情况之下都是越高越好（李筱菊，1997）。除此之外，从表中跟我们可以预估在今后的专八段落改错中，词汇层面的考点仍然会覆盖1-2道题。
词组层面的考点少多于词汇层面的考点。从表中可看出，近六年词组层面的考点，包括固定表达、固定搭配或谚语，几乎都是确定数量的，但也从未超出过3题。对考生来说这个层次的考点不难，因此即便是必要考点，也会控制其数量。词组和语法改错题大概占到总题量的三分之一，但这并不表示在高级语言考试中，等级低的语法结构就不重要了，在段落改错题型是以语码为基础，而不是意义为基础。此外，通过表2可以看出，专八段落改错题是以高级语法结构的句子和语篇改错占总题量的百分之七十，为主要改错题型。李筱菊（1997）认为，越高级的考试应考察越高级的考点。考虑到这一点，专八跟更侧重于测试考生的语言理解能力，这与高级语言考试的考点目的相一致。因此，专八段落改错中句子与语篇层面题型数目所占的高比例保证了专八考试的效度。再者，因为专八中无单项语法题，在短文改错试题中保留一定数量对语法知识考察的题目对整套专八试题来说是一种平衡，是科学合理的。
四、结论
本文分别通过传统分析法和层次分析法对2013年至2018年英语专八真题进行了分析。通过传统分析法得出段落改错的试题表面效度较低，相对于其他题型的难度也较低，因其十分注重意义的准确表达，因此在语码及语言形式上会有较多关注。在语篇能力的测试偏轻，并且没有在整体篇章的基础上测试其语言能力。因此段落改错试题在选题上应选择语篇连贯性显著，上下文互动明显的短文，并且要提高题目的层次。层次分析法得出专八段落改错中句子与语篇层面题型数目所占的高比例保证了专八考试的效度。再者，因为专八中无单项语法题，在短文改错试题中保留一定数量对语法知识考察的题目对整套专八试题来说是一种平衡，是科学合理的。
参考文献：
[1]高等英语专业八级考试大纲修订小组编.高等英语专业八级考试大纲（2004年新版）[M].上海：上海外语教育出版社，2004.
[2]韩景峰.专八成段改错的效度分析[J].忻州师范学院学报， 2007（6）.
[3]李彬彬.TEM8之校对与改错成绩分析及其解题策略[J].怀化学院学报，2007（8）.
[4]李莜菊.语言测试科学与艺术[M].长沙：湖南教育出版社，1997.
[5]李玉英.浅谈TEM8中Proofreading考项的反思性教学[J].江西师范大学学报，2007（4）.
[6]刘会镯.基于语料库的TEM8短文改错内容效度分析[D].武汉科技大学，2010.
[7]刘建达，杨满珍.成段改错试题考了什么[J].现代外语，2001（2）.
[8]娄喜祥.英语专业八级新旧版短文改错题信度与效度研究[J].牡丹江师范学院学报，2007（3）.
[9]Bachman，L.F.The trait stucture of cloze test scores[M].TESOL Quarterly，1982（16）：61-67.
【关键词】TEM8；段落改错；效度
【Abstract】This paper combines the TEM 8 proofreading in the year of 2013 to 2018， and evaluates the contents validity. It’s found that the test level of the proofreading was set high in these six years， the main test points were set in grammars and meaning and the distribution of test points were arranged appropriately through level analysis method proposed by Li Xiaojv. That is to say， increasingly high stability and effectiveness have enabled students to test their ability to use language knowledge freely and flexibly. Students can find the errors and correcting them especially in real environment of language in use.
【Key words】Tem 8； proof-reading； validity
【作者簡介】贵文春（1994.04-），湖南衡阳人，桂林理工大学，研究方向：外国语言学及应用语言学。
一、前言
全国高校英语八级考试（TEM8），也被称为“专业八级”（为英语专业高年级设置的成套检测考试，为测试其语言的熟练运用能力。）长期以来一直被认为是考查综合性大学英语专业学生英语语言综合运用能力最高水平的考试。自从1991年中国大陆教育部实施TEM8以来，段落改错在过去八年来一直是必须审查的考试题型。这部分考试的要求是学生可以“使用语法，词汇，修辞和其他语言知识来识别给定段落中的语言错误，并提出更正方法”。考试的测试目的是为了测试学生在使用语言知识方面的自由度和灵活性。 特别是在语用学和真是语境中，使学生发现错误并加以更正。
二、段落改错命题背景
段落改错（proofreading，现已更改为language usage）是我国考试中常见的题型。其题目是给出一段或两段完整的段落，因此有语境可作为参考。其考点的错误类型多样，因此考点的覆盖面广。其答案是大部分都是唯一的，因此评分标准较为客观。所以，段落改错试题是能有效地测试学生语言的准确性。
刘建达，杨满珍（2001）认为段落改错对考生的能力测试已超出语法知识范围，并且可以测试到考生在词、短语、句子以及语篇各个层次上的知识。
卲晓霞（2006）主要通过将“图式理论”引入段落改错过程的阐释，她认为“图式理论”可解释段落改错中过程及选择机制，考生在段落改错不同阶段需调用语言和内容图式，并结合语言中获得的信息，达达到改错目的。
以上研究都没有提到段落改错题型自身的问题：即是否能否反映受试者的语言水平。本文从2013-2018年全国高校英语专业八级历年段落改错真题入手，分析真题是否考了学生的综合语言水平；受试答题是否要求语境理解；是否是只要句子层面的理解就能找出错误。
三、试题分析
Bachman（1990：130）认为，虽然长度本身可能不是影响性能的一个关键方面，但语言样本越长，下面讨论的其他特性的潜在影响就越大。文章长度指的是在专八改错试题中所给出文章的总词数。然而，段落改错试题要求的不仅仅是受试者的阅读能力，而是要求受试者在读出在错误的同时更正错误。
段落改错试题词数长度表：
从表中我们可以看出，2013至2015年的段落改错试题词数长度有着较大的差距。字数最少的2013年总字数为204词，词数最多的2017年总次数达到319词，总词数差距超过100词。同时，这六年的平均词数为242.3词。
在专业八级考题大纲中要求到：段落改错的文章词数大概在250词左右。参照这一标准，其中只有2017年段落改错的总词数超过250词，其他五年并未达到这里标准，并且这六年的平均词数也少于250词。因此从段落长度来评判信度的可行的。
1.传统分析。表1把2013-2018TEM8历年考试真题的错误按词汇、搭配、语法和语篇分为四类并统计其考点错误频数。
表中所列词汇错误涉及词的语义差别以及词语辨析；搭配错误多为动词搭配，介词搭配和其他固定搭配；语法错误是以句子为单位；语篇标准是至少要求两个或两个以上的句子才能找出错误的。
从图中可以看出，2013-2018历年的段落改错考试真题中，错误类型主要以语法改错题为主，这类错误题数大都占了总试题数的一半以上。搭配的词汇考点都是考词汇辨析，或是形近词，与上下文语篇没有关系，属于只要记得准就能答对的题。表中的词汇考点是词汇辨析类型或词组搭配，属于搭配使用上的错误，但其词语自身并无语法错误，从图中可见涉及的都很少。最后篇章考点的数目也很少，并且错误几乎全都集中在容易找见的原因，承接，转折的连词上。 例如，语法改错类题：
It’is only in exceptional circumstances （应加that）we might become aware of the complexity involved.（2013年TEM8段落改错第五题）
l What is the explanation for the fact（应加that）adults have more difficulty in acquiring additional languages than children have？（2014年TEM8段落改错第四题）
That is， the spotlight is on what mental capabilities are involving，what（改成how）psychological factors play a role in the learning or acquisition， （2014年TEM8段落改错第九题）
Often we can indeed infer from the context what a word roughly means， and that is in fact the way（应加in）which we usually acquire both（2015年TEM8段落改错第六题）
But often this opportunity does not exist for the learner of English. So dictionary have been（去掉been） developed for mend the gap.（2015年TEM8段落改错第十题）
词汇辨析类题：
I try to infer its meaning from the context. “Plush” was clearly intended as a complimentary（改成 compliment）， a positive evaluation；（2015年TEM8段落改错第三题）
内容效度又称逻辑效度，是指项目对将要预测的内容范围取样的适当程度，即测量内容给的适当性和相符性。在英语专八考试中给的内容效度，是指考题是否考了大纲规定要考的内容，或是指考题在多大程度上代表了它所要测量的目标（刘建达，2001）。依据这个标准，段落改错的内容效度不太高，他的内容效度对于语言测试类型的覆盖并不平均，仅仅只是测试了大学阶段应掌握的基础语法知识。要想设计和使用合适的语言测试，要准确定义所测能力及观察和测量的方法。当前的第三代语言测试应该是交际语言测试，主要测试交际能力（包括知识、技能、能力），分为语言能力，语篇能力，语用能力（李筱菊，1997）。
从分析上看出，段落改错的试题表面效度较低，相对于其他题型的难度也较低，因其十分注重意义的准确表达，因此在语码及语言形式上会有较多关注。语法错误的辨析，短语搭配的准确性，在TEM8这样不注重语法和词汇的考试中稍显偏重。段落改错是测试语言能力，但这类题型只限制于语法能力的测试。在语篇能力的测试偏轻，并且没有在整体篇章的基础上测试其语言能力。因此段落改错试题在选题上应选择语篇连贯性显著，上下文互动明显的短文，并且要提高题目的层次，着重将考试题重点覆盖在语篇层面和意义的理解辨析上，提高文章深度，可加入修辞方面的辨析题，让英语专业学生的做题水准并不仅是停留在语法语句和词语搭配上的修改上，而是将眼光放高到语篇、修辞、文体上。
2.层次分析法。层次分析方法最开始是用于分析完形填空试题的考点效度，主要用来测试完形填空试题的内容质量。由于完形填空和段落改错都属于C类试题，二者有着共同的理论依据，并且有着许多相似之处，因此英语专业八级也可用层次分析法进行考点效度分析。
此方法是将完型填空的填空或段落改错题型的错误按照语篇Discourse、句子Sentence、词组Phrase、单词Word分成四個层次。这四个层次的划分依据是在填写这个词的时候，需要考虑多广的上下文，才能作出决定。也就是说这个词的决定，受什么语境的限制（李筱菊，1997）。同样在段落改错中，对错误点进行曾删改补的行为受什么层次语境的制约。
将2013-2018年TEM8历年段落改错考试真题的错误按照这四个层次，将其分成四类并统计其考点错误频数制作成表（见表2）。
从该表来看，词汇层面的考点在近六年基本保持一定数量不变。即使段落改错是为测试语言学习者高水平语言能力，但还是有涉及词汇层面的测试。由于段落改错核心是考形式而不是考意义，因此试题对题层次的要求不完全如完心填空那样，任何情况之下都是越高越好（李筱菊，1997）。除此之外，从表中跟我们可以预估在今后的专八段落改错中，词汇层面的考点仍然会覆盖1-2道题。
词组层面的考点少多于词汇层面的考点。从表中可看出，近六年词组层面的考点，包括固定表达、固定搭配或谚语，几乎都是确定数量的，但也从未超出过3题。对考生来说这个层次的考点不难，因此即便是必要考点，也会控制其数量。词组和语法改错题大概占到总题量的三分之一，但这并不表示在高级语言考试中，等级低的语法结构就不重要了，在段落改错题型是以语码为基础，而不是意义为基础。此外，通过表2可以看出，专八段落改错题是以高级语法结构的句子和语篇改错占总题量的百分之七十，为主要改错题型。李筱菊（1997）认为，越高级的考试应考察越高级的考点。考虑到这一点，专八跟更侧重于测试考生的语言理解能力，这与高级语言考试的考点目的相一致。因此，专八段落改错中句子与语篇层面题型数目所占的高比例保证了专八考试的效度。再者，因为专八中无单项语法题，在短文改错试题中保留一定数量对语法知识考察的题目对整套专八试题来说是一种平衡，是科学合理的。
四、结论
本文分别通过传统分析法和层次分析法对2013年至2018年英语专八真题进行了分析。通过传统分析法得出段落改错的试题表面效度较低，相对于其他题型的难度也较低，因其十分注重意义的准确表达，因此在语码及语言形式上会有较多关注。在语篇能力的测试偏轻，并且没有在整体篇章的基础上测试其语言能力。因此段落改错试题在选题上应选择语篇连贯性显著，上下文互动明显的短文，并且要提高题目的层次。层次分析法得出专八段落改错中句子与语篇层面题型数目所占的高比例保证了专八考试的效度。再者，因为专八中无单项语法题，在短文改错试题中保留一定数量对语法知识考察的题目对整套专八试题来说是一种平衡，是科学合理的。
参考文献：
[1]高等英语专业八级考试大纲修订小组编.高等英语专业八级考试大纲（2004年新版）[M].上海：上海外语教育出版社，2004.
[2]韩景峰.专八成段改错的效度分析[J].忻州师范学院学报， 2007（6）.
[3]李彬彬.TEM8之校对与改错成绩分析及其解题策略[J].怀化学院学报，2007（8）.
[4]李莜菊.语言测试科学与艺术[M].长沙：湖南教育出版社，1997.
[5]李玉英.浅谈TEM8中Proofreading考项的反思性教学[J].江西师范大学学报，2007（4）.
[6]刘会镯.基于语料库的TEM8短文改错内容效度分析[D].武汉科技大学，2010.
[7]刘建达，杨满珍.成段改错试题考了什么[J].现代外语，2001（2）.
[8]娄喜祥.英语专业八级新旧版短文改错题信度与效度研究[J].牡丹江师范学院学报，2007（3）.
[9]Bachman，L.F.The trait stucture of cloze test scores[M].TESOL Quarterly，1982（16）：61-67.