在评价学生英语口语水平时,评分的信度至关重要。大部分英语口试都是通过制定相关的评分量表,从各个语言能力构成方面,采用不同方法对学生口语表现进行评价的,尤其在大规模口试中显得尤为突出。而对课堂口语测试的评分缺乏科学的评分机制和相应的评分量表。本文结合课堂口语测试及评分量表的特点和作用,旨在研发用于课堂口语测试的评分量表,并通过验证性因素分析和概化理论方法对这一量表进行实证研究,以提高课堂口语测试评分的信度和效度,使课堂口语测试评分更加规范化。本文首先回顾了国内外口语测试中运用评分量表进行评分的情形,以及对评分量表进行的效验研究,发现编班测试、成就性测试等小规模的口语测试并不完全基于评分量表进行评分,部分是教师自命评分标准,评分的信度与效度令人质疑;而且也无对随堂性的课堂口语测试评分的研究。其次,又回顾了评分量表的效度、效验的证据基础以及收集证据的方法。并针对分析评分量表的效验问题从三方面进行了分析:①关于分析评分量表内在关系的研究。先前研究中对量表的聚合度和区分度的探讨较少,缺乏运用反证法对量表的内在关系进行论证的研究。本文试图提出相关的模式运用反证法对量表内在关系进行实证研究。②关于基于分析评分量表进行评分的可靠性探讨。先前的研究方法主要集中在运用概化理论和项目反应理论来解决这一问题。作者试图将验证性因素及概化理论两者相结合的方法对评分的可靠性进行验证。③关于分析性评分量表中对分析性评分同总分的关系研究也很少,只有McNamara(1990),Elder(1993),和Yasuyo Sawaki(2007)做了相应的探讨。随后,作者邀请了2名长期从事英语专业口语教学的老师参加此项实验。首先我们认真研读了高校英语专业英语教学大纲(2002)对英语专业英语口语教学的测试内容及要求,并参考了文秋芳老师于1994年对英语专业四级录音口试所提供的评分标准,编制了口语测试题目和分析评分量表。然后,随机抽取了某大学英语专业二年级的学生30名,让受试者按要求完成两道题目。按照大纲的要求,考虑到测试的真实性以及教师可随时得到反馈信息,我们采用了直接口试的方法。两位教师对考生作答表现同时进行独立评分,两位教师最后的总分作为对受试者的分数报道。口试结束后,先运用G-theory和CFA方法分析评分情况,并分别获得分析评分量表的范围平均数和路径系数。结果表明,分析评分量表的内在相关性比较高;但缺失了代表总分与分项评分间的关系模式,进而引入了三种模式并运用反证法对量表的聚合度和区分度进行了讨论。其后,又运用CFA中的因素分析法及G-theory的方差分解对评分的可靠性进行了验证。结果显示,口试评分同受试者自身的特征因素紧密联系且受试者在方差分解中占的比例较大,说明分数的差异性主要来自受试者自身的能力水平,其它因素的影响较小,评分信度较为理想。最后,又通过计算Φ_λ的值来证明在事先决定的划线处所作出的决策是可靠的。通过研究问题的解决,说明课堂口语测试采用分析评分量表对学生的口语表现进行评价是一种行之有效的方法;G-theory和CFA相结合使用的效验方法也为效验研究提供了新的视角。