论文部分内容阅读
[摘要]本文作者采用由广东外语外贸大学自主研发的项目分析软件GITEST，对大学英语非英语专业本科一定数量期末试卷中的多项选择题进行了分析，包括其信度、效度、难度及区分度等，得出定量分析数据，对同类考试起到一定的参考和借鉴作用。
[关键词]多项选择题 GITEST 信度 效度
一、引言
本文所采用的期末试卷属于成就考试的一种。用于分析的试卷来自于2008年1月的非英语专业本科二年级上学期期末考试。参加本次考试的学生有1021人，笔者在自己所教班中（共132人）通过系统随机抽样选出40名学生的试卷作为本项目分析的对象。试题包括写作（二选一）、听力理解（30题）、阅读理解（20题）和词汇（10题）四个部分。笔者将采用由广东外语外贸大学自主研发的试题分析软件GITEST对本份试卷中多项选择题做项目分析（其中听力20题，阅读理解15题），包括平均分、难度、区分度、信度等各项数据和效度分析，并对所得出的数据进行分析解释，对同类考试起到参考和借鉴作用。
二、项目分析
1.名词解释
（1）信度：测试的信度，指它的结果分数对受试者的表现而言的可靠程度……具体说来，就是代表分数与试题，及试题与受试者（test population）的关系。（李筱菊，2001）
（2）效度：亦称有效性，指测试所考的，是否就是所要考的。效度总体上来说可分为四大类，包括内在效度，外在效度，使用效度和超考试效度。其中，内在效度是指测试本身的效度，包括内容效度和结构效度。前者是指测试是否考了考试大纲规定要考的。后者指考试的原则理论的效度。外在效度指利用测试之外的标准，包括同期效度和预测效度。同期效度要求两次考试在同一时段进行，或时间相近，为的是让受试者不发生什么变化。预测效度则刚好相反，为的是让受试者在目标能力上有所发展或发生变化。使用效度指使用者反应效度，包括表面效度和反应效度。表面效度指受试者是否觉得它是一份有效的试卷。反应效度指受试者是否按试题设计的要求去做题。超考试效度指超出考试的目的，说明受试者的目标能力状况的为实效效度，对教学是不是有良好的作用的为反拨效应。（李筱菊，2001）
（3）GITEST：为项目分析软件，由广东外语外贸大学自主研发，用于试卷分析。
2.数据分析
本次分析的多项选择题题数有35道，按照每题1分来算，总分为35分。表1：
通过数据输入，并运用GITEST软件分析，可以得出（表1）：被分析的试题平均分为25.20分，总区分度较好，Rbis=0.52。SD=3.01，偏态值Skew=0.04,峰值Kurt=-0.10，全距为13，总体呈正态分布（Skew>0），分数分布正常。试题R11=0.40，a值为0.26，标准测量误差为+- 2.34，表明所分析试题的信度不够好，理想的R11值为0.9，a值为0.8。另外，所分析项目难度（pd）为10.66，P值为0.72，表明试题趋向容易。
表2：
从表2可以看出，在35道题当中，非常难的题目占5%，较难的题目占15%，中等难度的题目占60%，15%的属于较容易的题目，非常容易的题目占5%。此外，有8道题目没达到考试要求，属于不适宜试题，需要进一步修改。
3.效度分析
根据效度的定义，可以看出，本次考试是基于大学英语考试大纲并围绕教材内容出题，因此具有较好的内在效度。由于考试本身的性质，无法将考试对同一类受试者分两次进行，故不具有外在效度。本次考试完全按照学校规定时间进行，并以正规的书面试卷呈现给受试者，因此，具有表面效度，试卷各部分题目要求表达清晰，没发现受试者有误答和错答现象，所以也具有较好的反应效度。本套试卷没有涉及到口语测试，实效效度较差。但本次考试为公共英语考试，有着无可否认的反拨效应（李筱菊，2001）。
4.对不适宜试题的分析
鉴于篇幅，笔者从8道不适宜试题中选出两道有代表性的题来做具体分析。
20.（A) History of Western dress.
（B) Functions of Western fashion.
（C) Western fashion and its future trend.
（D) Types of Western fashion.
表3：
本題是听力理解题，考的是对短文听力篇章的理解。本题难度系数P=1.00，属于非常容易题，无人答错。本题要求学生选出最符合短文主题的一项。A, B, D选项同正确选项C的主题相差甚大，因此都可以排除，没有起到干扰项的作用。建议将C选项后半部分的its future trend加在其他三个选项中，让各选项结构一致，从而起到干扰项的作用。
40. It can be inferred from the passage that.
（A）the best way of avoiding sharks is to put on heavy clothes
（B）the Great White sharks are the most dangerous
（C）taking sea fish as their rich diet, sharks no longer want to kill people
（D）most of the shark’s brain is used for looking for food in water
表4：
本题为阅读理解题，难度系数P值为0.57，属中等难度题。本题考的是逻辑推理能力。从表中可以看出，选A选项和C选项的人数极少，分别只有2人和1人，说明A和C两项基本上没有起到干扰项的作用。从试题上来看，A选项和C选项明显跟正常的逻辑相悖，就算没有看阅读文章，也可以排除掉。笔者建议，对于阅读理解题，最好不要出现用正常逻辑思维就可以排除掉的无用的选项。
三、对未来研究的建议
1.该项目分析的不足之处
（1）被用于本次分析的试卷份数较少，且都来自同一个学校和年级，因此具有一定的局限性。（2）本次分析仅对多项选择题做了项目分析，因此，不一定能反应出整套试卷的情况。
2.未来研究的建议
建议在此类项目分析的基础上，运用更先进更完善的分析手段，如利用Rasch模型对主观题等进行信度和效度的相关分析，进一步完善整个语言测试的制度。
四、小结
通过分析表明，本套期末试卷呈正态分布，分数分布正常，但整体难度较小，信度、效度和区分度不高。导致的原因是多方面的，主要因素为考试出题时，没有对其进行有效的信度和效度测试，出题过程过于简单化，并不是通过几套模拟试题的机械组合就能达到测试的最终目的。
参考文献：
[1]李筱菊.语言测试科学与艺术.湖南教育出版社,2001.
[2]教育部高等教育司.大学英语课程教学要求（试行）.外语教学与研究出版社，2004.
（作者单位：华南师范大学南海校区）
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
[关键词]多项选择题 GITEST 信度 效度
一、引言
本文所采用的期末试卷属于成就考试的一种。用于分析的试卷来自于2008年1月的非英语专业本科二年级上学期期末考试。参加本次考试的学生有1021人，笔者在自己所教班中（共132人）通过系统随机抽样选出40名学生的试卷作为本项目分析的对象。试题包括写作（二选一）、听力理解（30题）、阅读理解（20题）和词汇（10题）四个部分。笔者将采用由广东外语外贸大学自主研发的试题分析软件GITEST对本份试卷中多项选择题做项目分析（其中听力20题，阅读理解15题），包括平均分、难度、区分度、信度等各项数据和效度分析，并对所得出的数据进行分析解释，对同类考试起到参考和借鉴作用。
二、项目分析
1.名词解释
（1）信度：测试的信度，指它的结果分数对受试者的表现而言的可靠程度……具体说来，就是代表分数与试题，及试题与受试者（test population）的关系。（李筱菊，2001）
（2）效度：亦称有效性，指测试所考的，是否就是所要考的。效度总体上来说可分为四大类，包括内在效度，外在效度，使用效度和超考试效度。其中，内在效度是指测试本身的效度，包括内容效度和结构效度。前者是指测试是否考了考试大纲规定要考的。后者指考试的原则理论的效度。外在效度指利用测试之外的标准，包括同期效度和预测效度。同期效度要求两次考试在同一时段进行，或时间相近，为的是让受试者不发生什么变化。预测效度则刚好相反，为的是让受试者在目标能力上有所发展或发生变化。使用效度指使用者反应效度，包括表面效度和反应效度。表面效度指受试者是否觉得它是一份有效的试卷。反应效度指受试者是否按试题设计的要求去做题。超考试效度指超出考试的目的，说明受试者的目标能力状况的为实效效度，对教学是不是有良好的作用的为反拨效应。（李筱菊，2001）
（3）GITEST：为项目分析软件，由广东外语外贸大学自主研发，用于试卷分析。
2.数据分析
本次分析的多项选择题题数有35道，按照每题1分来算，总分为35分。表1：
通过数据输入，并运用GITEST软件分析，可以得出（表1）：被分析的试题平均分为25.20分，总区分度较好，Rbis=0.52。SD=3.01，偏态值Skew=0.04,峰值Kurt=-0.10，全距为13，总体呈正态分布（Skew>0），分数分布正常。试题R11=0.40，a值为0.26，标准测量误差为+- 2.34，表明所分析试题的信度不够好，理想的R11值为0.9，a值为0.8。另外，所分析项目难度（pd）为10.66，P值为0.72，表明试题趋向容易。
表2：
从表2可以看出，在35道题当中，非常难的题目占5%，较难的题目占15%，中等难度的题目占60%，15%的属于较容易的题目，非常容易的题目占5%。此外，有8道题目没达到考试要求，属于不适宜试题，需要进一步修改。
3.效度分析
根据效度的定义，可以看出，本次考试是基于大学英语考试大纲并围绕教材内容出题，因此具有较好的内在效度。由于考试本身的性质，无法将考试对同一类受试者分两次进行，故不具有外在效度。本次考试完全按照学校规定时间进行，并以正规的书面试卷呈现给受试者，因此，具有表面效度，试卷各部分题目要求表达清晰，没发现受试者有误答和错答现象，所以也具有较好的反应效度。本套试卷没有涉及到口语测试，实效效度较差。但本次考试为公共英语考试，有着无可否认的反拨效应（李筱菊，2001）。
4.对不适宜试题的分析
鉴于篇幅，笔者从8道不适宜试题中选出两道有代表性的题来做具体分析。
20.（A) History of Western dress.
（B) Functions of Western fashion.
（C) Western fashion and its future trend.
（D) Types of Western fashion.
表3：
本題是听力理解题，考的是对短文听力篇章的理解。本题难度系数P=1.00，属于非常容易题，无人答错。本题要求学生选出最符合短文主题的一项。A, B, D选项同正确选项C的主题相差甚大，因此都可以排除，没有起到干扰项的作用。建议将C选项后半部分的its future trend加在其他三个选项中，让各选项结构一致，从而起到干扰项的作用。
40. It can be inferred from the passage that.
（A）the best way of avoiding sharks is to put on heavy clothes
（B）the Great White sharks are the most dangerous
（C）taking sea fish as their rich diet, sharks no longer want to kill people
（D）most of the shark’s brain is used for looking for food in water
表4：
本题为阅读理解题，难度系数P值为0.57，属中等难度题。本题考的是逻辑推理能力。从表中可以看出，选A选项和C选项的人数极少，分别只有2人和1人，说明A和C两项基本上没有起到干扰项的作用。从试题上来看，A选项和C选项明显跟正常的逻辑相悖，就算没有看阅读文章，也可以排除掉。笔者建议，对于阅读理解题，最好不要出现用正常逻辑思维就可以排除掉的无用的选项。
三、对未来研究的建议
1.该项目分析的不足之处
（1）被用于本次分析的试卷份数较少，且都来自同一个学校和年级，因此具有一定的局限性。（2）本次分析仅对多项选择题做了项目分析，因此，不一定能反应出整套试卷的情况。
2.未来研究的建议
建议在此类项目分析的基础上，运用更先进更完善的分析手段，如利用Rasch模型对主观题等进行信度和效度的相关分析，进一步完善整个语言测试的制度。
四、小结
通过分析表明，本套期末试卷呈正态分布，分数分布正常，但整体难度较小，信度、效度和区分度不高。导致的原因是多方面的，主要因素为考试出题时，没有对其进行有效的信度和效度测试，出题过程过于简单化，并不是通过几套模拟试题的机械组合就能达到测试的最终目的。
参考文献：
[1]李筱菊.语言测试科学与艺术.湖南教育出版社,2001.
[2]教育部高等教育司.大学英语课程教学要求（试行）.外语教学与研究出版社，2004.
（作者单位：华南师范大学南海校区）
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。