一项完整的测试工作不仅包括测试的设计开发而且包括对测试结果的阐释和使用,论证其合理性和公正性。从事后研究角度讲(ex post facto study),测试工作者不仅要证明测试的有效性,而且要证明测试使用环节的公正性(Bachman,2005),因此任何角度的研究所收集的任何证据都是为了证明测试的效度(Messick,1989;Shohamy & Inbar,1991)。本研究选取任务特征作为切入点探讨测试的效度。已有研究探讨了影响测试效度的具体任务特征,但却没有涉及任务特征与测试构念的联系,更没有涉及基于任务表现所做决策的公正性问题。本研究以TEM4听力理解项目(2005-2008)作为研究对象,借鉴Bachman(2005)的测试使用论证模式,从任务特征角度分析影响英语专业听力理解效度的任务特征;剖析这些特征与听力理解构念的联系;解析基于听力理解任务表现所做决策的公正性。首先,本研究从2005-2008年的测试成绩中随机抽取10%的数据,采用验证性因子分析方法,从听力项目材料的体裁视角分析听力理解测试的构念效度,探讨不同年份的试题是否具有可比性,为任务特征分析做铺垫。结果表明四年的听力理解项目的构念相同,具有很强的可比性。会话部分的题目对听力理解的贡献值介于0.95-1;短文部分的项目对听力理解的贡献值介于0.95-1;新闻部分的项目对听力理解的贡献值介于0.88-0.97。会话、短文和新闻之间的联系非常紧密,其相关系数介于0.82-0.99。接着,本研究将四年的听力项目成绩的难度参数(Rasch)做Z分数标准分转换,分析任务特征与项目难度的联系。Spearman非参数双侧检验的相关分析表明共有19个任务特征与听力试题的难度显著相关:文本特征7个,题目特征4个,文本和题目交互特征8个。逐步迭代回归分析显示由自变量推理题、干扰项关键词和文本关键词匹配、文本词汇密度、答案长度、文本状语从句数等特征构成的模型对听力理解难度的预测能力最强。模型回归系数为0.663,回归系数的平方为0.439;即是说,该模型能预测43.9%的题目难度方差。预测指标按标准化回归系数大小排列依次为推理题、干扰项关键词和文本关键词匹配、文本词汇密度、答案长度、状语从句数。基于结构方程模型的回归分析也得出相似结果:题目因素对任务难度的影响很小,而文本及文本相关因素对任务难度的影响大于题目因素,并且文本和题目交互因素的影响最大。本研究还探讨了不同体裁的题目难度的预测指标。会话题目难度的预测指标只有一个:推理题,能够解释45.8%的题目难度方差。短文题目难度的预测指标有两个:干扰项关键词和文本关键信息匹配、推理题,能够解释39.1%的题目难度方差。新闻理解难度的预测指标有三个:推理题、关键信息音节数、题干关键词和文本关键词匹配,能够解释50.7%的题目难度方差。三种体裁的题目难度分析显示,题目特征对难度的影响很小,体裁越复杂,题目因素对难度的影响越小,文本和题目交互因素的影响越大。本研究采用探索性因子分析方法和验证性因子分析方法探讨了任务特征与任务难度的联系,任务特征与听力理解测试构念的联系,以及基于任务特征的测试构念与难度的联系。首先,采用探索性因子分析方法得出共有13个任务特征组成了三个因子:文本因子(6个任务特征)、题目因子(3个任务特征)和认知活动因子(4个任务特征)。回归方程模型显示认知活动因子对任务难度的影响最大,文本次之,题目特征的影响最小。回归方程的决定性系数R平方非常理想,充分说明了三个任务特征因子对题目难度有很强的解释力度。验证性因子分析结果显示认知活动因子的方差能够100%由听力理解这一构念来解释,文本特征因子能够被听力理解所解释的方差可以忽略不计,而题目特征大约有8.4%的方差能由听力理解这一构念所解释。这说明TEM4听力理解项目是基于文本和题目交互因素的认知活动过程,单一的文本因素并不构成听力理解,但是事先预览题目或许会对听力理解构念造成轻微的影响。回归模型表明由13个任务特征所构建的听力理解测试构念与任务难度密切联系,回归方程的决定性系数R平方非常理想,说明本研究的听力理解测试构念建构非常理想,对题目难度有很强的解释力度。在验证听力测试有效性的基础上,本研究探讨了标准参照理论框架下基于任务表现的决策公正性问题。Rasch模型的测验信息函数表明2005-2008年的听力理解测验信息量比较满意,能够很好地诊断考生的听力理解水平。不同听力理解水平的考生具有明显不同的听力理解技能。除2005年以外,其他三年的考生听力理解表现相对保持稳定。根据教学大纲和决策可靠性系数的要求,除2006年以外,70%的分数线(答对21道题目)具有良好的可靠性,能相对有效地保证决策的公正性。整体而言,过关组考生具备了很好的会话、短文和新闻理解能力,能有效地理解信息。优生(答对率为80%及以上)除了具备中等生和差生的能力外还具备核对各类体裁中的各种信息并识别其关系、理解日常会话中的隐含语用信息、理解特定文本(如导游词)中短语的含义、掌握国际新闻的主旨大意等能力。中等生(答对率为60%-70%)除具备差生的能力外还具备理解日常会话(如校园话题、就业面试等)、短文(如学术和文化话题)、以及国内新闻中的隐含信息、理解所谈话题、识别特定文本(如导游词)中明确信息的关系等能力。差生(答对率低于60%)具备基本理解各种体裁和话题的明确信息、核对并识别明确信息关系、大体领会国际新闻和非学术讲座的话题等能力,并且具备一定的推理能力。