论文部分内容阅读
【摘要】当一场考试确实考核了它打算考核的内容时，才会被称为有效的考试，效度在考试设计中起着指导性作用。本文从内容效度（Content Validity）、效標效度（Criterion Validity）和建构效度（Construct Validity）三个方面论述效度并给出了每种效度的测试方法和框架。最后针对雅思学术写作考试，就其是否具有从属于效标效度下的预测效度进行了详细的分析。
【关键词】考试;效度;雅思学术写作
【作者简介】薛睿哲，电子科技大学成都学院。
考试的效度是衡量其是否为有效考试的重要标准，效度体现在哪几个方面以及如何检测考试的效度是需要掌握的。雅思考试是很多国家的高校判断学生是否具备足够的英语能力在英语授课国家进行学习的标准。论文写作是很多高校主要的作业形式，雅思学术写作是否具有足够的预测效度，能够预测学生入学后的写作能力和水平，也是本文讨论的话题。
一、 内容效度
内容效度反映了考试内容在多大程度上覆盖和关联了考试设计者想要测试的内容。比如，一个打算测试学生口语交流能力的考试却给了学生一些需要用到语法知识的写作题目，那么这个考试就没有足够的内容效度。但是如果学生被给了一些真实的对话场景并被要求进行口语输出，这就具有很高的内容效度。
通常测试内容效度的方法是请专家判断某项考试多大程度上能够测验其打算测验的内容。具体方法是把关于考试的说明和考试的实际内容进行系统对比，过程为：（1）专家写下自己认为每道问题在测验什么技能，或专家会拿到一个列表，然后在他们认为每道题测验的技能旁打勾。（2）收集专家和学生所写的列表内容并寻找他们之间的共同点。专家普遍认为，出试题者打算测试的技能和实际测试的技能相符度高的考试可以被称作有高度内容效度的考试。
然而一次考试只能容纳有限范围的知识，很难确定让专家评估的例卷是足够有代表性的，所以选取哪些题目放在考试里是需要很慎重考虑的。此外，考试任务的设置、答案的形式、题目的顺序都是判断内容效度的因素，这些也都是出题人需要考虑的方面。
二、效标效度
效标效度是指考试结果与用其他标准测量考生某方面能力的结果具有较高的一致性。效标效度下有两个分支，一个是同时效度（concurrent validity），一个是预测效度（predictive validity）。同时效度指的是一个考试结果和考试者参加其他考试的结果一致，需要注意的是，这些考试的时间应该是相距较近的。预测效度指的是考试者在该考试中的表现可以被用来预测他在该领域未来的表现。
为了检测同时效度，在获取了第一个考试结果后，其他反映该能力的指标可以通过以下方法获得：首先，其他和第一个考试类似的考试的结果;其次，教过该学生很长一段时间的老师给出的学生排名;再次，给老师一个表格，请老师对该学生的技能进行打分。
检测预测效度需要先对学生进行一个考试，然后该种能力在未来需要进行检测时，通常通过获取该生另一个同类型考试的成绩、在学期末获取的相关课程的成绩、来自老师或同事的评价三种方式，但需要注意的是，来自老师和同事的评价不一定是可靠或客观的。
三、建构效度
建构效度指的是考试结果和基于理论对考试者作出的预判之间的相关度。它可以用来检测考试分数与一些无法直接通过考试来考核的能力之间的关系。
检测建构效度的主要方法有以下几种：一是比较要检测的理论和考试的关系，把需要检测的理论提供给专家，并判断考试和该理论的关联度。二是内部关联性检测，即一个考试的组成部分之间的相关性以及子测验和总测验之间的关联性。三是因素分析，包括两方面探索性因素分析（EFA），即探索和考试相关度最大的因素并在基于理论的情况下给它们标上标签;验证性因素分析（CFA），即先从理论上对某些因素和考试之间的关系进行检验，然后再通过数据进行证明。
四、雅思学术写作考试的预测效度讨论
雅思考试是很多英语授课国家的大学要求国际学生参加的考试，雅思分数也是进行学校申请的一个必要条件。其作用是检测考试参与者是否准备好在英语授课国家进行学习和生活。这意味着在雅思学术写作考试中，如果学生得到了符合要求的分数，就证明他们已经做好了出国上学的准备，能够按要求完成国外课程的学习。下面将会就两个实验讨论雅思学术写作是否具有预测效度，即雅思学术写作考试是否能够预测考生在国外学校的写作水平。一个实验是关于雅思学术写作和大学学术写作之间内容和所需技能的比较，另一个是关于学生雅思学术写作分数和大学作业分数之间关系的研究。
Moorea和Morton做了一个关于雅思学术写作Task 2和大学作业的体裁、参考信息来源和修辞功能的对比研究。数据显示，大学里的作业涉及各种体裁，其中论文是最常见的体裁，其次是案例研究、练习和研究报告。然而，在雅思学术写作中，体裁是比较有限的。学生一般会被要求写多大程度上他们同意或不同意某种观点，或针对一个现象给出理由和解决方案，这是考试中最常见的两种题目方向。可以看出，雅思学术写作和大学里所需的写作体裁之间的共性是比较小的。
从参考信息来源方面来分析，大学的作业通常要求学生借鉴很多学者的著作或者发表的文章，或者用课上老师提供的文献，引用文献的能力是很重要的。学生论文中每个观点都需要文献的支撑来进行论证，而不是凭借自己的生活常识或经验进行空想，或主观地认为某些观点是成立的。并且引用文献的格式方面也有系统的要求，时常有学生因为引用格式不正确或引用方式不恰当而挂科。然而在雅思学术写作中，学生不需要知道引用文献的方法，而需要很大程度上用到考生以前的知识或常识来论证观点，所举的例子也是来源于考生自己的积累，可以是自身经历也可以是社会现象。但是在大学作业中，对以前知识和生活常识的掌握程度的要求是很少被提及的，但这却是雅思学术写作用来论证观点的重要积累。所以，雅思学术写作没有让学生知道在真正的大学场景中，需要用到什么样的写作能力，导致不少学生出国之后才发现国外的论文作业要求和他们之前所以为的并不一致，短时间内很难适应国外论文的写作方式并达到要求。 在修辞功能方面，在大学学术写作的作业中，平均每个作业会要求有2.5个修辞功能。在认识功能方面（epistemic function），2/3的作业会要求评价功能（evaluation），这也是被要求最多的一个功能，其次是描述功能（description）和总结功能（summarisation）。然而在雅思学术写作中，虽然评价功能也是被要求最多的，但是其他大学学术写作需要的功能却很少被要求。
Dooey和Oliver做的实验，对学生的雅思分数和他们出国上学后在大学的分数进行了对比研究，65名以英语为第二语言的学生和23名以英语为母语的学生被包括在内，只有15%没有达到雅思分数要求的学生在大学中挂科，并且一个雅思单科和总分都没有达到要求的学生在第一学期的大学课程中拿到了81分。对于以英语为母语的学生来说，他们的雅思分数很明显会比第二语言学习者高。然而，他们中有15人在大学中挂了科，他们中甚至有雅思学术写作分数和在大学中的分数呈现相反关系的情况出现，即雅思学术写作分数高的学生在大学中得到的分数却相对更低。虽然在大学中影响分数的因素有很多，但鉴于大学的作业多数为论文形式，需要学生进行学术写作，学生的期末分数在某种程度上来说还是可以反映学生的写作水平的。通过这个实验我们可以看出，从分数上来看，雅思学术写作分数高的学生，在大学里的学术写作方面的表现不一定好。相反，雅思学术写作单科没有达到入学分数要求的学生，在大学里也有可能获得高分。由此可见，雅思学术写作的分数，并不能准确预测学生在今后的大学学习过程中的写作表现。
五、结语
内容效度、效标效度和建构效度并不是完全分开的，而是互为补充。在选择方法去检测效度时，建议采用组合的方式进行，以保證检测的有效性。雅思考试组织者宣称学术写作分数能够反映学生是否为国外大学的学习做好准备，也就是符合所谓的预测效度。但从文中提到的两个实验来看，它并不具备预测效度。
参考文献：
[1]Lynch B K. Language Assessment and Programme Evaluation， 1st edn[M]. Edinburgh： Edinburgh University Press Ltd， 2003.
[2]Green A. Exploring Language Assessment and Testing， 1st edn[M]. Oxon： Routledge， 2014.
[3]Alderson J C， Clapham C， Wall D. Language Test Construction and Evaluation， 1st edn[M]. Cambridge： Cambridge University Press， 1995.
[4]Weir C J. Language Testing and Validation， 1st edn[M]. New York： Palgrave Macmillan， 2005.
[5]Fulcher G， Davidson F. Language Testing and Assessment， 1st edn[M]. New York： Routledge， 2007.
[6]Bachman L F. Fundamental Considerations in Language Testing， 1st edn[M]. Oxford： Oxford University Press， 1990.
[7]Cronbach L J， Meehl P E.Construct validity in psychological tests[J]. Psychological Bulletin， 52： 281-302. http：//dx.doi.org/10.1037/h0040957， 1995.
[8]Moorea T， Morton J. Dimensions of difference： a comparison of university writing and IELTS writing[J]. Journal of English for Academic Purposes， 4： 43-66. https：//doi.org/10.1016/j.jeap.2004.02. 001， 2005.
【关键词】考试;效度;雅思学术写作
【作者简介】薛睿哲，电子科技大学成都学院。
考试的效度是衡量其是否为有效考试的重要标准，效度体现在哪几个方面以及如何检测考试的效度是需要掌握的。雅思考试是很多国家的高校判断学生是否具备足够的英语能力在英语授课国家进行学习的标准。论文写作是很多高校主要的作业形式，雅思学术写作是否具有足够的预测效度，能够预测学生入学后的写作能力和水平，也是本文讨论的话题。
一、 内容效度
内容效度反映了考试内容在多大程度上覆盖和关联了考试设计者想要测试的内容。比如，一个打算测试学生口语交流能力的考试却给了学生一些需要用到语法知识的写作题目，那么这个考试就没有足够的内容效度。但是如果学生被给了一些真实的对话场景并被要求进行口语输出，这就具有很高的内容效度。
通常测试内容效度的方法是请专家判断某项考试多大程度上能够测验其打算测验的内容。具体方法是把关于考试的说明和考试的实际内容进行系统对比，过程为：（1）专家写下自己认为每道问题在测验什么技能，或专家会拿到一个列表，然后在他们认为每道题测验的技能旁打勾。（2）收集专家和学生所写的列表内容并寻找他们之间的共同点。专家普遍认为，出试题者打算测试的技能和实际测试的技能相符度高的考试可以被称作有高度内容效度的考试。
然而一次考试只能容纳有限范围的知识，很难确定让专家评估的例卷是足够有代表性的，所以选取哪些题目放在考试里是需要很慎重考虑的。此外，考试任务的设置、答案的形式、题目的顺序都是判断内容效度的因素，这些也都是出题人需要考虑的方面。
二、效标效度
效标效度是指考试结果与用其他标准测量考生某方面能力的结果具有较高的一致性。效标效度下有两个分支，一个是同时效度（concurrent validity），一个是预测效度（predictive validity）。同时效度指的是一个考试结果和考试者参加其他考试的结果一致，需要注意的是，这些考试的时间应该是相距较近的。预测效度指的是考试者在该考试中的表现可以被用来预测他在该领域未来的表现。
为了检测同时效度，在获取了第一个考试结果后，其他反映该能力的指标可以通过以下方法获得：首先，其他和第一个考试类似的考试的结果;其次，教过该学生很长一段时间的老师给出的学生排名;再次，给老师一个表格，请老师对该学生的技能进行打分。
检测预测效度需要先对学生进行一个考试，然后该种能力在未来需要进行检测时，通常通过获取该生另一个同类型考试的成绩、在学期末获取的相关课程的成绩、来自老师或同事的评价三种方式，但需要注意的是，来自老师和同事的评价不一定是可靠或客观的。
三、建构效度
建构效度指的是考试结果和基于理论对考试者作出的预判之间的相关度。它可以用来检测考试分数与一些无法直接通过考试来考核的能力之间的关系。
检测建构效度的主要方法有以下几种：一是比较要检测的理论和考试的关系，把需要检测的理论提供给专家，并判断考试和该理论的关联度。二是内部关联性检测，即一个考试的组成部分之间的相关性以及子测验和总测验之间的关联性。三是因素分析，包括两方面探索性因素分析（EFA），即探索和考试相关度最大的因素并在基于理论的情况下给它们标上标签;验证性因素分析（CFA），即先从理论上对某些因素和考试之间的关系进行检验，然后再通过数据进行证明。
四、雅思学术写作考试的预测效度讨论
雅思考试是很多英语授课国家的大学要求国际学生参加的考试，雅思分数也是进行学校申请的一个必要条件。其作用是检测考试参与者是否准备好在英语授课国家进行学习和生活。这意味着在雅思学术写作考试中，如果学生得到了符合要求的分数，就证明他们已经做好了出国上学的准备，能够按要求完成国外课程的学习。下面将会就两个实验讨论雅思学术写作是否具有预测效度，即雅思学术写作考试是否能够预测考生在国外学校的写作水平。一个实验是关于雅思学术写作和大学学术写作之间内容和所需技能的比较，另一个是关于学生雅思学术写作分数和大学作业分数之间关系的研究。
Moorea和Morton做了一个关于雅思学术写作Task 2和大学作业的体裁、参考信息来源和修辞功能的对比研究。数据显示，大学里的作业涉及各种体裁，其中论文是最常见的体裁，其次是案例研究、练习和研究报告。然而，在雅思学术写作中，体裁是比较有限的。学生一般会被要求写多大程度上他们同意或不同意某种观点，或针对一个现象给出理由和解决方案，这是考试中最常见的两种题目方向。可以看出，雅思学术写作和大学里所需的写作体裁之间的共性是比较小的。
从参考信息来源方面来分析，大学的作业通常要求学生借鉴很多学者的著作或者发表的文章，或者用课上老师提供的文献，引用文献的能力是很重要的。学生论文中每个观点都需要文献的支撑来进行论证，而不是凭借自己的生活常识或经验进行空想，或主观地认为某些观点是成立的。并且引用文献的格式方面也有系统的要求，时常有学生因为引用格式不正确或引用方式不恰当而挂科。然而在雅思学术写作中，学生不需要知道引用文献的方法，而需要很大程度上用到考生以前的知识或常识来论证观点，所举的例子也是来源于考生自己的积累，可以是自身经历也可以是社会现象。但是在大学作业中，对以前知识和生活常识的掌握程度的要求是很少被提及的，但这却是雅思学术写作用来论证观点的重要积累。所以，雅思学术写作没有让学生知道在真正的大学场景中，需要用到什么样的写作能力，导致不少学生出国之后才发现国外的论文作业要求和他们之前所以为的并不一致，短时间内很难适应国外论文的写作方式并达到要求。 在修辞功能方面，在大学学术写作的作业中，平均每个作业会要求有2.5个修辞功能。在认识功能方面（epistemic function），2/3的作业会要求评价功能（evaluation），这也是被要求最多的一个功能，其次是描述功能（description）和总结功能（summarisation）。然而在雅思学术写作中，虽然评价功能也是被要求最多的，但是其他大学学术写作需要的功能却很少被要求。
Dooey和Oliver做的实验，对学生的雅思分数和他们出国上学后在大学的分数进行了对比研究，65名以英语为第二语言的学生和23名以英语为母语的学生被包括在内，只有15%没有达到雅思分数要求的学生在大学中挂科，并且一个雅思单科和总分都没有达到要求的学生在第一学期的大学课程中拿到了81分。对于以英语为母语的学生来说，他们的雅思分数很明显会比第二语言学习者高。然而，他们中有15人在大学中挂了科，他们中甚至有雅思学术写作分数和在大学中的分数呈现相反关系的情况出现，即雅思学术写作分数高的学生在大学中得到的分数却相对更低。虽然在大学中影响分数的因素有很多，但鉴于大学的作业多数为论文形式，需要学生进行学术写作，学生的期末分数在某种程度上来说还是可以反映学生的写作水平的。通过这个实验我们可以看出，从分数上来看，雅思学术写作分数高的学生，在大学里的学术写作方面的表现不一定好。相反，雅思学术写作单科没有达到入学分数要求的学生，在大学里也有可能获得高分。由此可见，雅思学术写作的分数，并不能准确预测学生在今后的大学学习过程中的写作表现。
五、结语
内容效度、效标效度和建构效度并不是完全分开的，而是互为补充。在选择方法去检测效度时，建议采用组合的方式进行，以保證检测的有效性。雅思考试组织者宣称学术写作分数能够反映学生是否为国外大学的学习做好准备，也就是符合所谓的预测效度。但从文中提到的两个实验来看，它并不具备预测效度。
参考文献：
[1]Lynch B K. Language Assessment and Programme Evaluation， 1st edn[M]. Edinburgh： Edinburgh University Press Ltd， 2003.
[2]Green A. Exploring Language Assessment and Testing， 1st edn[M]. Oxon： Routledge， 2014.
[3]Alderson J C， Clapham C， Wall D. Language Test Construction and Evaluation， 1st edn[M]. Cambridge： Cambridge University Press， 1995.
[4]Weir C J. Language Testing and Validation， 1st edn[M]. New York： Palgrave Macmillan， 2005.
[5]Fulcher G， Davidson F. Language Testing and Assessment， 1st edn[M]. New York： Routledge， 2007.
[6]Bachman L F. Fundamental Considerations in Language Testing， 1st edn[M]. Oxford： Oxford University Press， 1990.
[7]Cronbach L J， Meehl P E.Construct validity in psychological tests[J]. Psychological Bulletin， 52： 281-302. http：//dx.doi.org/10.1037/h0040957， 1995.
[8]Moorea T， Morton J. Dimensions of difference： a comparison of university writing and IELTS writing[J]. Journal of English for Academic Purposes， 4： 43-66. https：//doi.org/10.1016/j.jeap.2004.02. 001， 2005.