经验命题是我国高考命题质量问题的根源。近几年,考试界倾向于以量化技术取代经验,题库建设也从理论研究走向实践,应和了这种发展趋势。本文认为,考试开发缺乏教育测量学理论指导,才是影响我国高考开发质量的最大症结。长期以来,高考开发中存在考试设计注重行政化程序、考试命题忽视学科认知结构、考试评价以学科为中心,考试开发以“命题”偏盖“开发”等问题,这些问题的产生并非由于开发中缺少试测环节、数据分析等质量控制技术手段,而是源于考试开发者过份依赖个人主观意志,缺少对教育测量学规律的把握。当前,对经验的褒贬取舍不是解决问题的关键,关键在于建立一支具有教育测量学经验的考试开发者队伍,建立基于教育测量学的考试开发标准化流程、教育考试行业标准和考试评价体系。本文旨在构建一种适合于我国高考实际的考试评价模型,设想以评价反思经验,改进考试开发质量,实现从经验命题向以教育测量学为基础的考试开发的转变。本文分绪论、正文和结语三个部分。绪论部分通过对国内外考试开发比较研究,将我国高考开发中存在的问题概括为四个方面,以此为缘起,提出考试质量评价模型应当符合完整性、统一性和反思性等要求。通过进一步的文献探究,发现Kane的基于论证效度检验(argument-based validation)理论与模型寻求的理论需求相契合。以上述内容为基础,形成研究方案,第一步,提出考试开发质量基于论证评价的理论框架；第二步,应用理论框架,以2010年上海高考政治开发为例,对考试开发进行效度评价,在评价过程中构建模型；第三步,确立我国高考开发质量基于论证的评价模型。正文第一章提出解释论证。解释论证主要阐释考试分数解释与预设解释相一致所需要的一系列推断、假设及其证据。首先围绕考试分数的意义,论证2010年上海高考政治考试分数预设解释,并勾勒解释论证思路。其次以为什么要收集这些证据为主题,根据考试开发的逻辑线索,论证考试设计、评分、概化、外延、内涵及解释论证合理性等六个推断成立所需要满足的13个假设以及30个证据。根据理论框架,解释论证有一个从提出论证、证明论证合理、修改论证,直至论证合理性得到证明的收敛过程。正文第二、三章论述效度论证。效度论证是收集证据的过程,主要回答如何收集证据?证据能否证明假设?根据理论框架,论证分两个阶段完成。第一阶段收集解释论证合理性证据；第二阶段收集解释论证成立证据。证据收集采用了定性和定量相结合的方法。定性分析方法有,专家咨询法、文本比较分析法、问卷调查法、资料分析法；定量分析方法有,选项功能分析法、主观题评分规则分数等级分析法、评分误差研究法、CTT、G理论和IRT信度和测量标准误差研究法、DIF和DBF探测法、相关分析法、因子分析法。运用的统计软件包括SPSS、Parscale、Winsteps、Multilog、mGENOVA、DIF PACK等。正文第四章形成评价结论,包括考试开发质量和反思两个方面。评价质量的结论是解释论证的逻辑结果,围绕证据最终证明了什么,对实际考试分数能否且何种程度上解释为预设解释,对考试分数的误差来源作出终结性和诊断性评价。证据表明,2010年上海高考政治解释论证成立,80%考试分数方差可以解释为考生学科认知结构水平,20%误差主要由偏难偏易试题、选择题选项质量、主观题分数等级设计、全卷试题布局等问题造成。总体上,低端水平考生的考试分数被高估。反思性评价结论是对误差来源的反思结果。本文从考试设计和考试命题两个方面进行反思：提出从属性关系描述学科认知结构内涵,强调学科认知结构的各内容领域认知结构有机组成对考试设计的影响；从试题情景、设问、选项、评分方法及其评分规则等角度,提出命题技术改进建议。正文第五章以模型的确立作为研究成果。评价过程表明,本文提出的考试开发质量基于论证评价的理论框架适合于我国高考实践,抓住了我国高考开发质量控制的主要环节及其影响因素,基本框架符合完整性、统一性和反思性要求。模型由解释论证、效度论证和评价结论三个模块组成,解释论证以考试开发过程为逻辑线索；解释论证和效度论证具有互动关系；推断之间、假设之间和证据之间具有递推关系；解释论证是评价结论的逻辑主干；评价结论具有质量评价和开发反思双重特性。结语部分围绕模型和学科认知结构概念,提出了未来研究的两个方向,即运用模型控制考试开发过程的质量；运用学科认知结构模型数学表达方法设计命题蓝图本文创新之处在于：(1)突破传统效度检验框架,构建基于论证的我国高考开发质量评价模型,并提供一部完整的实证研究文本；(2)突破Kane考试分数解释四个推断框架,根据我国高考实践,提出解释论证中阐述考试分数预设解释和增加考试设计推断的必要；(3)以教育测量学视角详细阐述考试分数解释中每个推断成立需要的假设及其证据,系统论证证据与考试分数解释的联系；(4)整合国内外考试效度研究的各种定性和定量研究方法,构建适合于我国高考评价的效度论证方法体系；(5)借鉴认知科学理论“领域特殊性认知结构”,提出学科认知结构概念,并注意到学科认知结构内涵的不同描述方法对考试开发和评价的影响。