本研究以美雅国际教育学院使用的ESL分班测试(ESLPT)的听力测试为研究对象,从测试题目效应的角度对该测试的听力部分进行效度分析。通过收集和分析实际测试数据、回溯性口头报告以及问卷调查反馈这三类数据,我们对所提出的研究问题进行了定量和定性研究。研究问题主要包括听力测试中所使用的三种题型题目效应。另外,我们运用Bachman和Palmer提出的测试有用性框架在交际语言测试的环境下对ESLPT听力测试进行了评估。 定量和定性分析的结果表明:1)听写填空测试的技能主要是识辨词汇和词缀,属于词汇层面的语言能力。高水平受试与低水平受试的差异主要体现在词汇量以及对分句理解的监控能力方面。这道题对于受试的理解能力几乎没有做什么要求。2)单句判断的信度指标不高,而且它与其他测试和其他听力题目的相关性偏低。内容分析结果证明该部分的题目编写不是很理想,受试听到的单句与看到的四个选项之间有过多的重合部分;这个现象可能使得原本测试单句理解的听力题目变相地成了另一种词汇能力和辩音能力测试,从而导致了上述的问题产生。3)短篇听力测试部分的题型为简答题(SAQ),在简答题中写作能力对答题有较大的影响,尤其是答案比较长的题目。同时受试在不同的短篇材料和题目类型中表现也不尽相同。短文材料要比对话材料难一些,而推断性题目(inferential items)比表述性题目(literal items)难。另外,综合分析听力测试的第二部分‘小对话’,我们发现简答题允许受试自己组织答案可能会导致同一题出现多个可接受答案的情况。4)最后从整体上看,ESLPT显示出较好的测量属性。但是它不是一个真正意义上的交际语言测试,大部分听力材料缺乏真实性,部分测试任务缺乏真实的交际目的,部分试题不属于现实生活中的活动。 本研究的意义首先体现在对ESLPT听力测试的整体评估和效度分析,为听力测试的进一步完善和发展提供了实证依据。本研究指出了在使用这三类听力测试题型中可能出现的问题并对这些题型提出了修改建议。这些题目效应的研究成果对其他类似的听力测试研究也有借鉴意义。本研究中对听力作为测试构念所作的讨论有助于我们重新思考听力测试的测试范围和重点。另外本研究中采用的定量和定性分析相结合的研究方法可以推广到其他理解类测试研究中去。