论文部分内容阅读
分析各地高考政治模拟试卷,其中不乏一些好试题,但质量不高者也不在少数,即使一些名校联考卷也是如此。那么,我们应从哪些方面去考量一份高考模拟卷质量的高低呢?高考大纲要求“高考应具有较高的信度、效度”。那么是否具有较高信度、效度应该是衡量试卷质量的最重要指标。
本文结合近年来各地高考模拟题、高考题,就如何提高试题的信度和效度,谈谈笔者认为应坚持的几个原则。
一、提高试题的信度应坚持科学性的原则
要提高试题检测结果的可信程度,就要使试题具有科学性,如果试题本身存在缺陷或错误,检测结果就不能真实反映被检测者的实际水平。试题的信度是保证试题质量的基本前提。
(一)信度的基本含义及其高考要求
如果用同一测量工具反复测量同一特定对象,则多次测量结果的一致性程度就叫信度。试题的信度指的是同一试题多次对同一对象进行测试结果的一致性程度,一致性程度高则说明该试题测试成绩准确地反映了受试者实际具有的知识能力水平,信度较高;相反,如果一道试题多次给一位学生做,一会做对,一会做错,或一般学生做对,优秀学生反而做错,则说明该试题测试成绩不能真正反映学生的实际知识能力水平,信度较低。
试题与试卷是部分与整体的关系,试题信度是影响试卷信度的重要因素。高考试卷的信度,表现为知识能力水平相似的两组考生考试答案(包括答对和答错)相一致的程度,可以简化地用两者答案相一致的试题分数与总分之比来计算。高考试卷对信度的基本要求是:选择题总分信度≥0.9,非选择题总分信度≥0.7,全卷信度≥0.8。
(二)影响信度的因素和应对方法
试卷的信度是对全卷而言的,但与每道试题的信度有着直接关系。从试题结构看,每道试题一般都由材料、设问和答案(选项)组成,任何一部分存在的科学性问题,都会影响试题的信度。
1.材料的选择或编制不科学会影响试题的信度
(1)材料的选择要具有典型性、真实性和公平性。典型性就是所选材料应具有代表性、普遍性,是具有重大意义或影响的事件、时政热点、问题,但一家之说或还没有定论的观点以及在发展中的事件一般不作为材料进入试题;真实性就是材料应来自国家正规出版刊物和网站,是真实可靠的、权威的;公平性就是材料不会造成不同学生(城市与乡村、沿海与内地、不同民族)的理解差别。此外,材料的选择不能过繁或过难。采用过难的文言文或古诗词、可作多角度理解的漫画、烦琐的数据等作为试题的材料,都可能影响学科的考试信度。
【例1】(自拟题)由于阿里巴巴的“余额宝”、腾讯的“理财通”等有着较银行更高的利息而深受个人用户的热捧,也给金融市场带来了生机与活力。“余额宝”等作为一种金融创新,将有利于
①推动利率市场化深化金融业的改革
②提高个人财产性收入实现社会公平
③集中更多的闲散资金助力经济建设
④促进互联网对资本配置起决定作用
A.②③ B.①③ C.②④ D.①④
(答案:B)
本题材料所示事件还处于变化之中,人们对它的看法褒贬不一,所引用的观点为一家之说,对金融业的作用也有待进一步考察,用其说明选项所含意义就不甚妥当,因为考生很可能提出自己的不同见解,从而会降低试题的信度。
(2)材料的处理要科学,取舍要得当。试题材料肯定要为命题者所需,但剪裁时不能断章取义、任意取舍。为了实现试题立意与材料科学性的统一,可在真实材料的基础上采用虚拟化主体(某人、A市、B企业),或理想化情景(假定其他条件不变等)等方式,根据试题立意对材料进行增添删减,但所编材料情景必须在现实生活中是有可能发生的。
【例2】(2008年海南省高考卷第1卷第2题)假设某国生产M商品的企业只有甲乙两家。2007年甲企业的产量为10万件,每件商品的生产时间为6小时;乙企业的产量为8万件,每件商品的生产时间为10小时。如果2008年甲企业的劳动生产率提高20%,其他条件不变,则2008年M商品的社会必要劳动时间为
A.5小时 B.7小时
C.7.5小时 D.8小时
(答案:B)
试题假设某国只有两家生产M商品的企业,且根据题设可得2008年甲企业的劳动生产率为5小时/件,是乙企业的两倍。这在现实生活中是不可能存在的,因为在此情况下甲企业早把乙企业挤垮了或挤得市场份额很小了,于是甲企业的生产条件就成了社会正常生产条件,社会必要劳动时间就应该是5小时。
(3)材料的编制、组织要符合思维逻辑,符合试题立意,要简明、清晰,与设问、答案无关的部分要果断删除,避免不必要的干扰。选择题的材料要尽量控制在3行以内,主观题材料一般不超过5行。
【例3】(2014年稽阳联谊学校高三联考卷第24题)2014年以来,国际黄金价格虽然起起伏伏,总体却一路走高,从年前低谷时期的约230元/克,上涨到如今约260克。此番上涨行情也让不少年前抢购黄金的大妈得以解套。这告诉我们
A.黄金价格在供求影响下围绕不变的价值上下波动
B.黄金价格与需求间关系具有高档耐用品的特征
C.黄金从商品中分离出来固定地充当了一般等价物
D.抢购黄金现象是由消费者盲目的从众心理引发
(答案:B)
本题材料初看还算简明清晰,但细看文字表述相互矛盾,大妈们低谷买进黄金就是为了高价时卖出赚钱,何来“解套”之说?这会使知识面广、知道股市用语的学生很纠结。再者,那些只看到低谷时中国大妈抢购黄金的考生会选B,但那些思维全面的考生会认为:既然黄金价格上涨时大妈们得以“解套”,就说明另有人买了这些“高价”黄金, B不能选。可见材料不符试题立意,存在逻辑矛盾会使试题信度降低。 2.设问指向不明确、范围界限模糊会影响试题的信度
(1)设问的知识指向要明确,界限要清楚。
【例4】(2011年浙江省高考卷第41题)材料为东部地区的“用工荒”问题。“材料三:就‘用工荒’问题,三位同学各抒己见。……小王认为,‘用工荒’与劳动力价格太低有关,企业只要大大提高工资,‘用工荒’就能迎刃而解,企业也没有什么可‘慌’……”第(2)问为:运用劳动和就业、社会主义市场经济的有关知识分别评析三位同学的观点。
本题考试结果表明,有相当多的考生都力图用设问中的两个知识点对每个观点进行评析。可见设问知识指向含混不明确,易导致考生误解,影响了试题信度。若将设问改为“选择劳动者、社会主义市场经济的有关知识分别评析三位同学的观点”,就不会产生上述结果。
(2)设问的材料指向要明确,选择题设问的材料指向更要简洁清楚。
如【例3】中的设问“这告诉我们”中的“这”是指“国际黄金价格一路走高”还是“抢购黄金的大妈得以解套”,又或者是“黄金价格处于低谷时中国大妈大量抢购”?如果让人把握不准,答案就无法选择。
(3)设问的主体指向、角度或类型要符合试题设计者的意图。
【例5】(2013年稽阳联谊学校高三联考卷第25题)2013年2月15日美国财政部统计数据显示中国持有美国国债总额突破1.2万亿美元,中国成为美国国债的最大债权国。同时世界各国也不断增持美国国债。中国和世界各国增持美国国债的目的是
A.为了弥补国家财政赤字
B.看好美国资本市场
C.为了规避投资风险
D.是经济全球化的需要
(答案:B)
此题问的是目的,选项A、C是目的,但都不符合题意。选项B、D是原因,又不符合设问要求,然而命题者提供的答案却是B。如此设问,难免使考生在选择答案时发生犹豫或错选,影响了试题的信度。
3.试题的答案(或选项)编制不规范会影响试题的信度
(1)选择题的应选项编制要准确,不能出现知识性错误。
【例6】(自拟题)北大校长王恩哥送给毕业生这样一句话:人要具备“两种力量”,一种是思想的力量,一种是利剑的力量。思想的力量往往战胜利剑的力量,一个人的思想走多远,他就有可能走多远。这表明
A.文化对人的影响是深远持久的
B.文化能够增强人的精神力量
C.思想道德修养促进科学文化修养
D.文化能够丰富人的精神世界
(答案:B)
本题对初学者来说,答案选B不成问题,因为书本的框题、目题就是如此表达的;但对优秀生来说,因其知道能增强人精神力量的是“优秀文化”而可能会排除B选择A。可见,试题一旦出现知识性错误,就必然降低试题的信度。
(2)选择题的选项编写要规范,要注意选项之间的相互关系。单项选择题选项间关系如是同一含义的不同表达,是包含关系,且设问中又没有明确用“最符合、直接、根本、关键” 等词加以限制,就很容易导致选择上的困难或错误,降低试题的信度。组合选择题选项间关系最好是并列关系、同层次关系、不同角度关系。若选项中既有符合部分材料的、也有符合总体材料的,或存在根本原因和具体原因的,或是对材料不同层面的、本质和现象的概括,都会导致试题的不科学性,使信度降低。
【例7】(温州市2012届高三第二次适应性测试)“劣币驱逐良币”是经济学中的一个著名定律。在铸币时代,当那些低于法定重量或者成色的铸币——“劣币”进入流通领域之后,人们就倾向于将那些足值货币——“良币”收藏起来。最后,市场上流通的就只剩下劣币了。这是因为
①劣币能代替良币在市场上流通
②良币不贬值劣币会贬值
③良币的价值高于劣币的价值
④劣币与良币都是一般等价物
A.①③ B.②④
C.①② D.③④
(答案:A)
因为劣币与良币都是一般等价物,具有流通手段的职能,故劣币能代替良币在市场上流通。劣币能流通的根本原因是选项④,直接原因是选项①,因此答案也可选D,以致使善于深入思考的考生失分,影响试题信度。
(3) 综合题的答案编制要规范,即使是开放性试题也要有比较确定的方向和要求。阅卷前要根据学生的答题情况,制定具体、全面、客观、可操作的评卷标准,否则会导致阅卷时评分误差过大,影响试题信度。
【例8】 (2014年江苏高考卷第37题)材料(略)(3)综合运用经济、政治生活知识,以“促进互联网金融健康有序发展 ”为主题写一篇时事评论。要求: ①论点紧扣论题,评述全面深入,合乎逻辑。②根据论题要求,运用相关材料,理论联系实际地加以分析、论证。③学科术语使用规范,字数控制在 300 字以内。在参考答案中编写了“答题示例(略)”。
上例试题尽管具有开放性,但由于设问严谨、要求明确,而且还在参考答案中作了答案示例,对阅卷工作来说具有较好的可操作性,因此试题信度应该是在许可范围内的。
二、提高效度应坚持目的性原则
犹如学校招聘数学教师只用语文试卷去考查,结果虽然可信但却无效一样,试题信度高不等于效度也高。要使检测有效,就要围绕考试目的进行命题,如果命题者心中没有目标或命题时偏离目标,所命试题的检测效果就会降低。试卷效度是提高试题质量的重要基础。
(一)效度的基本含义及高考要求
效度是指测试结果与测试目标的符合程度,试卷效度指的是试卷的内容、结构、形式等与考试目标的相关程度。试卷效度包括:①内容效度,即试题与《考试大纲》所规定的知识范围、《教学指导意见》及平时教学内容相符合的程度;②结构效度,即模拟试卷的结构(如模块知识、题型题量和能力要求等结构)与目标要求相符的程度;③标准相关效度,即试卷测验与作为标准的试卷测验(如高考模拟卷与高考卷)相符的程度。 试卷效度可以简化地用有效分数(考试结果或试卷内容与考试目标一致的分数)与总分之比来计算。一份好的高考试卷其效度应大于0.8,效度在0.6~0.8之间属于中等,效度小于0.6属于较差的试卷。
(二)影响效度的因素与应对要求
试卷效度必然受试题效度的影响,试题效度与其考查目标的达成度密切相关。考试的类型不同目标不同,高考大纲(说明)规定的高考目标包括知识目标、能力目标、情感态度和价值观目标等。如试题不能体现命题目标,就会降低试题的效度。
1.试卷命制的各类目标不明确会影响试题的效度
(1)试卷命制应遵循高考知识目标,符合考试大纲中的考试范围所包括的考试条目,不能出偏题、怪题。
如【例4】,根据当年的高考条目 “劳动者”(二级指标)包括“劳动与就业”“树立正确的就业观”“依法维护劳动者权益”(三级指标),也就是说“劳动与就业”并不包括“依法维护劳动者权益”,但根据命题者的意图对小王观点的评价却要运用“依法维护劳动者权益”知识。知识指向与命题者设计的考查目标不一致性,会降低试题的效度。
(2)试题命制应体现高考大纲的能力目标,通过不同的试题设置考查四个方面的能力——获取和解读信息、调动和运用知识、描述和阐释事物、论证和探究问题的能力,体现能力要求的层次性、灵活性以及思维的深度和广度。能力要求过高或太低,考生都不会做或都能做,均属低效题。
【例9】(2014年浙江省高考卷第40题)以浙江全面展开“五水共治”为材料。材料一为一表一图,材料二、三为文字材料(具体略),设问分别是:(1)指出材料一反映的经济信息。(2)运用公司经营与发展知识,简述B集团华丽转身对企业转型升级的启示。(3)结合浙江经济和治水现状,根据公民参与政治生活基本原则的相关知识,阐述公民在“五水共治”中应有的态度和行为。
本题三个设问体现了明显的能力梯度:第一问考的是获取和解读信息与描述事物的能力;第二问需要解读材料中“B集团华丽转身”的相关信息,然后与“公司营业与发展”的知识相对应,简述相关启示,难度显然高于第一问;第三问要结合的不仅是试题所给的材料,要运用的知识也需根据材料作选择,因此解读信息的能力要求提高了,调动和运用知识的要求也提高了,且答问时要说明、论证为何需有这样的态度和行为,能力要求更高了。
(3)试题命制要注意体现情感、态度和价值观目标,试题的选材、立意都要体现正确的价值导向,实现思想道德教育目标。
从【例5】中我们看到,世界各国不断增持美国国债,美国未来经济必然向好,买美国国债仍然有稳定可靠的利息收入,美国很牛!显然,该试题的情感教育是负面的,从目标效度讲是负值。这启示我们在材料的选择上要尽量选择具有正面教育意义的材料,即使非选用一些负面的材料,也要尽可能从正面切入设题。如【例5】我们可作如下处理。
2013年2月15日美国财政部统计数据显示中国持有美国国债总额突破1.2万亿美元,中国成为美国国债的最大债权国。这从一个侧面说明了
A.中国是外汇储备世界最多国家
B.中国“走出去”步伐在不断加快
C.中国对外经济关系在不断发展
D.中国已成为世界第一对外贸易大国
(答案:C)
这样的修改,有助于提高考生对中国改革开放成就的自豪感,有助于增强发展对外经济的信心,实现情感价值观教育目标。
2.试题的材料、设问与选项(答案)间相关性差会影响试题的效度
(1)选择题的选项要与设问、材料具有相关性,若与两者都无关,则不形成干扰性,属于无效选项。
【例10】(2014金华市浦江县高考政治适应性考试卷第34题)2013年科罗拉多州罢免选举是美国历史上首次由基层市民成功罢免州参议院议员的选举。下列对联邦制下美国州的权力的理解正确的有
①主要是处理本州范围内的事务
②在规定的权限范围内享有国家最高权力
③任命本州州长和政府主要官员
④州制定的法律法案可以先于联邦
A.①④ B.②③
C.①③ D.③④
(答案:A)
从试题内容看,本题的设问与材料无关,没有材料照样能选出正确答案,故本题的材料是无效的。当然,本题四个选项都与设问中的主体“州”的权力有关,所以均为有效选项。
从能力要求看,若选项与材料、设问无关,就无需分析材料,只需比较与知识的关系,找出知识性错误即可。如本题中,找出选项②③的知识性错误,即可排除。反之,若与设问或材料有关,就会有干扰,从而达到考查考生能力的目的。
(2)主观题的设问与材料也要有相关性,若与材料无关,则材料无效。
【例11】(2014届宁波市六校高三3月联考卷第41题·节选)【新闻一】 2012年某省政府工作报告强调,2013年要努力保障和改善民生,积极而为,量力而行,巩固完善已出台的民生政策,继续兴办一批惠民工程,让人民群众生活得更加舒心、更有尊严。全省新增财力的七成投向民生,民生支出占财政支出的比重达到54.8%。
回答:运用社会历史观知识,分析说明该省政府努力保障和改善民生做法的正确性。
答案:①先进的社会意识对社会发展起积极的推动作用。巩固完善已出台的民生政策,可以更好地保障和改善民生。②正确的价值判断和价值选择必须符合社会发展规律、自觉站在最广大人民的立场上,该省政府努力保障和改善民生的做法是正确的价值选择。③人民群众是历史的创造者,是社会历史的主体。该省政府努力保障和改善民生的做法坚持了群众观点和群众路线。
在本例中,设问体现了与材料的关系,但答案的设置中只涉及了一个做法即“巩固完善已出台的民生政策”,其他改善民生的做法“兴办惠民工程”“新增财政民生投入”等都没有涉及,材料的三分之二属于无效材料。因此,试题初步命好之后,要反观材料、设问、答案三者的内在联系,除了必要的背景交代、过渡转承,要果断地把与设问、答案无关的材料舍去,或对设问、答案进行调整和修改。
影响高考模拟试卷质量的因素除了信度和效度外,还有难度和区分度。关于在命题中如何达成适当难度和必要区分度,笔者在《教学月刊·中学版》(教学参考)2014年第1期发表的《挽弓当挽强 用箭当用长——谈谈如何把握高考模拟试题的难度、区分度》已有探讨,这里就不再赘述了。
本文结合近年来各地高考模拟题、高考题,就如何提高试题的信度和效度,谈谈笔者认为应坚持的几个原则。
一、提高试题的信度应坚持科学性的原则
要提高试题检测结果的可信程度,就要使试题具有科学性,如果试题本身存在缺陷或错误,检测结果就不能真实反映被检测者的实际水平。试题的信度是保证试题质量的基本前提。
(一)信度的基本含义及其高考要求
如果用同一测量工具反复测量同一特定对象,则多次测量结果的一致性程度就叫信度。试题的信度指的是同一试题多次对同一对象进行测试结果的一致性程度,一致性程度高则说明该试题测试成绩准确地反映了受试者实际具有的知识能力水平,信度较高;相反,如果一道试题多次给一位学生做,一会做对,一会做错,或一般学生做对,优秀学生反而做错,则说明该试题测试成绩不能真正反映学生的实际知识能力水平,信度较低。
试题与试卷是部分与整体的关系,试题信度是影响试卷信度的重要因素。高考试卷的信度,表现为知识能力水平相似的两组考生考试答案(包括答对和答错)相一致的程度,可以简化地用两者答案相一致的试题分数与总分之比来计算。高考试卷对信度的基本要求是:选择题总分信度≥0.9,非选择题总分信度≥0.7,全卷信度≥0.8。
(二)影响信度的因素和应对方法
试卷的信度是对全卷而言的,但与每道试题的信度有着直接关系。从试题结构看,每道试题一般都由材料、设问和答案(选项)组成,任何一部分存在的科学性问题,都会影响试题的信度。
1.材料的选择或编制不科学会影响试题的信度
(1)材料的选择要具有典型性、真实性和公平性。典型性就是所选材料应具有代表性、普遍性,是具有重大意义或影响的事件、时政热点、问题,但一家之说或还没有定论的观点以及在发展中的事件一般不作为材料进入试题;真实性就是材料应来自国家正规出版刊物和网站,是真实可靠的、权威的;公平性就是材料不会造成不同学生(城市与乡村、沿海与内地、不同民族)的理解差别。此外,材料的选择不能过繁或过难。采用过难的文言文或古诗词、可作多角度理解的漫画、烦琐的数据等作为试题的材料,都可能影响学科的考试信度。
【例1】(自拟题)由于阿里巴巴的“余额宝”、腾讯的“理财通”等有着较银行更高的利息而深受个人用户的热捧,也给金融市场带来了生机与活力。“余额宝”等作为一种金融创新,将有利于
①推动利率市场化深化金融业的改革
②提高个人财产性收入实现社会公平
③集中更多的闲散资金助力经济建设
④促进互联网对资本配置起决定作用
A.②③ B.①③ C.②④ D.①④
(答案:B)
本题材料所示事件还处于变化之中,人们对它的看法褒贬不一,所引用的观点为一家之说,对金融业的作用也有待进一步考察,用其说明选项所含意义就不甚妥当,因为考生很可能提出自己的不同见解,从而会降低试题的信度。
(2)材料的处理要科学,取舍要得当。试题材料肯定要为命题者所需,但剪裁时不能断章取义、任意取舍。为了实现试题立意与材料科学性的统一,可在真实材料的基础上采用虚拟化主体(某人、A市、B企业),或理想化情景(假定其他条件不变等)等方式,根据试题立意对材料进行增添删减,但所编材料情景必须在现实生活中是有可能发生的。
【例2】(2008年海南省高考卷第1卷第2题)假设某国生产M商品的企业只有甲乙两家。2007年甲企业的产量为10万件,每件商品的生产时间为6小时;乙企业的产量为8万件,每件商品的生产时间为10小时。如果2008年甲企业的劳动生产率提高20%,其他条件不变,则2008年M商品的社会必要劳动时间为
A.5小时 B.7小时
C.7.5小时 D.8小时
(答案:B)
试题假设某国只有两家生产M商品的企业,且根据题设可得2008年甲企业的劳动生产率为5小时/件,是乙企业的两倍。这在现实生活中是不可能存在的,因为在此情况下甲企业早把乙企业挤垮了或挤得市场份额很小了,于是甲企业的生产条件就成了社会正常生产条件,社会必要劳动时间就应该是5小时。
(3)材料的编制、组织要符合思维逻辑,符合试题立意,要简明、清晰,与设问、答案无关的部分要果断删除,避免不必要的干扰。选择题的材料要尽量控制在3行以内,主观题材料一般不超过5行。
【例3】(2014年稽阳联谊学校高三联考卷第24题)2014年以来,国际黄金价格虽然起起伏伏,总体却一路走高,从年前低谷时期的约230元/克,上涨到如今约260克。此番上涨行情也让不少年前抢购黄金的大妈得以解套。这告诉我们
A.黄金价格在供求影响下围绕不变的价值上下波动
B.黄金价格与需求间关系具有高档耐用品的特征
C.黄金从商品中分离出来固定地充当了一般等价物
D.抢购黄金现象是由消费者盲目的从众心理引发
(答案:B)
本题材料初看还算简明清晰,但细看文字表述相互矛盾,大妈们低谷买进黄金就是为了高价时卖出赚钱,何来“解套”之说?这会使知识面广、知道股市用语的学生很纠结。再者,那些只看到低谷时中国大妈抢购黄金的考生会选B,但那些思维全面的考生会认为:既然黄金价格上涨时大妈们得以“解套”,就说明另有人买了这些“高价”黄金, B不能选。可见材料不符试题立意,存在逻辑矛盾会使试题信度降低。 2.设问指向不明确、范围界限模糊会影响试题的信度
(1)设问的知识指向要明确,界限要清楚。
【例4】(2011年浙江省高考卷第41题)材料为东部地区的“用工荒”问题。“材料三:就‘用工荒’问题,三位同学各抒己见。……小王认为,‘用工荒’与劳动力价格太低有关,企业只要大大提高工资,‘用工荒’就能迎刃而解,企业也没有什么可‘慌’……”第(2)问为:运用劳动和就业、社会主义市场经济的有关知识分别评析三位同学的观点。
本题考试结果表明,有相当多的考生都力图用设问中的两个知识点对每个观点进行评析。可见设问知识指向含混不明确,易导致考生误解,影响了试题信度。若将设问改为“选择劳动者、社会主义市场经济的有关知识分别评析三位同学的观点”,就不会产生上述结果。
(2)设问的材料指向要明确,选择题设问的材料指向更要简洁清楚。
如【例3】中的设问“这告诉我们”中的“这”是指“国际黄金价格一路走高”还是“抢购黄金的大妈得以解套”,又或者是“黄金价格处于低谷时中国大妈大量抢购”?如果让人把握不准,答案就无法选择。
(3)设问的主体指向、角度或类型要符合试题设计者的意图。
【例5】(2013年稽阳联谊学校高三联考卷第25题)2013年2月15日美国财政部统计数据显示中国持有美国国债总额突破1.2万亿美元,中国成为美国国债的最大债权国。同时世界各国也不断增持美国国债。中国和世界各国增持美国国债的目的是
A.为了弥补国家财政赤字
B.看好美国资本市场
C.为了规避投资风险
D.是经济全球化的需要
(答案:B)
此题问的是目的,选项A、C是目的,但都不符合题意。选项B、D是原因,又不符合设问要求,然而命题者提供的答案却是B。如此设问,难免使考生在选择答案时发生犹豫或错选,影响了试题的信度。
3.试题的答案(或选项)编制不规范会影响试题的信度
(1)选择题的应选项编制要准确,不能出现知识性错误。
【例6】(自拟题)北大校长王恩哥送给毕业生这样一句话:人要具备“两种力量”,一种是思想的力量,一种是利剑的力量。思想的力量往往战胜利剑的力量,一个人的思想走多远,他就有可能走多远。这表明
A.文化对人的影响是深远持久的
B.文化能够增强人的精神力量
C.思想道德修养促进科学文化修养
D.文化能够丰富人的精神世界
(答案:B)
本题对初学者来说,答案选B不成问题,因为书本的框题、目题就是如此表达的;但对优秀生来说,因其知道能增强人精神力量的是“优秀文化”而可能会排除B选择A。可见,试题一旦出现知识性错误,就必然降低试题的信度。
(2)选择题的选项编写要规范,要注意选项之间的相互关系。单项选择题选项间关系如是同一含义的不同表达,是包含关系,且设问中又没有明确用“最符合、直接、根本、关键” 等词加以限制,就很容易导致选择上的困难或错误,降低试题的信度。组合选择题选项间关系最好是并列关系、同层次关系、不同角度关系。若选项中既有符合部分材料的、也有符合总体材料的,或存在根本原因和具体原因的,或是对材料不同层面的、本质和现象的概括,都会导致试题的不科学性,使信度降低。
【例7】(温州市2012届高三第二次适应性测试)“劣币驱逐良币”是经济学中的一个著名定律。在铸币时代,当那些低于法定重量或者成色的铸币——“劣币”进入流通领域之后,人们就倾向于将那些足值货币——“良币”收藏起来。最后,市场上流通的就只剩下劣币了。这是因为
①劣币能代替良币在市场上流通
②良币不贬值劣币会贬值
③良币的价值高于劣币的价值
④劣币与良币都是一般等价物
A.①③ B.②④
C.①② D.③④
(答案:A)
因为劣币与良币都是一般等价物,具有流通手段的职能,故劣币能代替良币在市场上流通。劣币能流通的根本原因是选项④,直接原因是选项①,因此答案也可选D,以致使善于深入思考的考生失分,影响试题信度。
(3) 综合题的答案编制要规范,即使是开放性试题也要有比较确定的方向和要求。阅卷前要根据学生的答题情况,制定具体、全面、客观、可操作的评卷标准,否则会导致阅卷时评分误差过大,影响试题信度。
【例8】 (2014年江苏高考卷第37题)材料(略)(3)综合运用经济、政治生活知识,以“促进互联网金融健康有序发展 ”为主题写一篇时事评论。要求: ①论点紧扣论题,评述全面深入,合乎逻辑。②根据论题要求,运用相关材料,理论联系实际地加以分析、论证。③学科术语使用规范,字数控制在 300 字以内。在参考答案中编写了“答题示例(略)”。
上例试题尽管具有开放性,但由于设问严谨、要求明确,而且还在参考答案中作了答案示例,对阅卷工作来说具有较好的可操作性,因此试题信度应该是在许可范围内的。
二、提高效度应坚持目的性原则
犹如学校招聘数学教师只用语文试卷去考查,结果虽然可信但却无效一样,试题信度高不等于效度也高。要使检测有效,就要围绕考试目的进行命题,如果命题者心中没有目标或命题时偏离目标,所命试题的检测效果就会降低。试卷效度是提高试题质量的重要基础。
(一)效度的基本含义及高考要求
效度是指测试结果与测试目标的符合程度,试卷效度指的是试卷的内容、结构、形式等与考试目标的相关程度。试卷效度包括:①内容效度,即试题与《考试大纲》所规定的知识范围、《教学指导意见》及平时教学内容相符合的程度;②结构效度,即模拟试卷的结构(如模块知识、题型题量和能力要求等结构)与目标要求相符的程度;③标准相关效度,即试卷测验与作为标准的试卷测验(如高考模拟卷与高考卷)相符的程度。 试卷效度可以简化地用有效分数(考试结果或试卷内容与考试目标一致的分数)与总分之比来计算。一份好的高考试卷其效度应大于0.8,效度在0.6~0.8之间属于中等,效度小于0.6属于较差的试卷。
(二)影响效度的因素与应对要求
试卷效度必然受试题效度的影响,试题效度与其考查目标的达成度密切相关。考试的类型不同目标不同,高考大纲(说明)规定的高考目标包括知识目标、能力目标、情感态度和价值观目标等。如试题不能体现命题目标,就会降低试题的效度。
1.试卷命制的各类目标不明确会影响试题的效度
(1)试卷命制应遵循高考知识目标,符合考试大纲中的考试范围所包括的考试条目,不能出偏题、怪题。
如【例4】,根据当年的高考条目 “劳动者”(二级指标)包括“劳动与就业”“树立正确的就业观”“依法维护劳动者权益”(三级指标),也就是说“劳动与就业”并不包括“依法维护劳动者权益”,但根据命题者的意图对小王观点的评价却要运用“依法维护劳动者权益”知识。知识指向与命题者设计的考查目标不一致性,会降低试题的效度。
(2)试题命制应体现高考大纲的能力目标,通过不同的试题设置考查四个方面的能力——获取和解读信息、调动和运用知识、描述和阐释事物、论证和探究问题的能力,体现能力要求的层次性、灵活性以及思维的深度和广度。能力要求过高或太低,考生都不会做或都能做,均属低效题。
【例9】(2014年浙江省高考卷第40题)以浙江全面展开“五水共治”为材料。材料一为一表一图,材料二、三为文字材料(具体略),设问分别是:(1)指出材料一反映的经济信息。(2)运用公司经营与发展知识,简述B集团华丽转身对企业转型升级的启示。(3)结合浙江经济和治水现状,根据公民参与政治生活基本原则的相关知识,阐述公民在“五水共治”中应有的态度和行为。
本题三个设问体现了明显的能力梯度:第一问考的是获取和解读信息与描述事物的能力;第二问需要解读材料中“B集团华丽转身”的相关信息,然后与“公司营业与发展”的知识相对应,简述相关启示,难度显然高于第一问;第三问要结合的不仅是试题所给的材料,要运用的知识也需根据材料作选择,因此解读信息的能力要求提高了,调动和运用知识的要求也提高了,且答问时要说明、论证为何需有这样的态度和行为,能力要求更高了。
(3)试题命制要注意体现情感、态度和价值观目标,试题的选材、立意都要体现正确的价值导向,实现思想道德教育目标。
从【例5】中我们看到,世界各国不断增持美国国债,美国未来经济必然向好,买美国国债仍然有稳定可靠的利息收入,美国很牛!显然,该试题的情感教育是负面的,从目标效度讲是负值。这启示我们在材料的选择上要尽量选择具有正面教育意义的材料,即使非选用一些负面的材料,也要尽可能从正面切入设题。如【例5】我们可作如下处理。
2013年2月15日美国财政部统计数据显示中国持有美国国债总额突破1.2万亿美元,中国成为美国国债的最大债权国。这从一个侧面说明了
A.中国是外汇储备世界最多国家
B.中国“走出去”步伐在不断加快
C.中国对外经济关系在不断发展
D.中国已成为世界第一对外贸易大国
(答案:C)
这样的修改,有助于提高考生对中国改革开放成就的自豪感,有助于增强发展对外经济的信心,实现情感价值观教育目标。
2.试题的材料、设问与选项(答案)间相关性差会影响试题的效度
(1)选择题的选项要与设问、材料具有相关性,若与两者都无关,则不形成干扰性,属于无效选项。
【例10】(2014金华市浦江县高考政治适应性考试卷第34题)2013年科罗拉多州罢免选举是美国历史上首次由基层市民成功罢免州参议院议员的选举。下列对联邦制下美国州的权力的理解正确的有
①主要是处理本州范围内的事务
②在规定的权限范围内享有国家最高权力
③任命本州州长和政府主要官员
④州制定的法律法案可以先于联邦
A.①④ B.②③
C.①③ D.③④
(答案:A)
从试题内容看,本题的设问与材料无关,没有材料照样能选出正确答案,故本题的材料是无效的。当然,本题四个选项都与设问中的主体“州”的权力有关,所以均为有效选项。
从能力要求看,若选项与材料、设问无关,就无需分析材料,只需比较与知识的关系,找出知识性错误即可。如本题中,找出选项②③的知识性错误,即可排除。反之,若与设问或材料有关,就会有干扰,从而达到考查考生能力的目的。
(2)主观题的设问与材料也要有相关性,若与材料无关,则材料无效。
【例11】(2014届宁波市六校高三3月联考卷第41题·节选)【新闻一】 2012年某省政府工作报告强调,2013年要努力保障和改善民生,积极而为,量力而行,巩固完善已出台的民生政策,继续兴办一批惠民工程,让人民群众生活得更加舒心、更有尊严。全省新增财力的七成投向民生,民生支出占财政支出的比重达到54.8%。
回答:运用社会历史观知识,分析说明该省政府努力保障和改善民生做法的正确性。
答案:①先进的社会意识对社会发展起积极的推动作用。巩固完善已出台的民生政策,可以更好地保障和改善民生。②正确的价值判断和价值选择必须符合社会发展规律、自觉站在最广大人民的立场上,该省政府努力保障和改善民生的做法是正确的价值选择。③人民群众是历史的创造者,是社会历史的主体。该省政府努力保障和改善民生的做法坚持了群众观点和群众路线。
在本例中,设问体现了与材料的关系,但答案的设置中只涉及了一个做法即“巩固完善已出台的民生政策”,其他改善民生的做法“兴办惠民工程”“新增财政民生投入”等都没有涉及,材料的三分之二属于无效材料。因此,试题初步命好之后,要反观材料、设问、答案三者的内在联系,除了必要的背景交代、过渡转承,要果断地把与设问、答案无关的材料舍去,或对设问、答案进行调整和修改。
影响高考模拟试卷质量的因素除了信度和效度外,还有难度和区分度。关于在命题中如何达成适当难度和必要区分度,笔者在《教学月刊·中学版》(教学参考)2014年第1期发表的《挽弓当挽强 用箭当用长——谈谈如何把握高考模拟试题的难度、区分度》已有探讨,这里就不再赘述了。