本文针对中国科学技术大学05、06级在校本科生2007年使用SCEOTS(SFLEP Coliege English Oral Test System)进行口语机考的实测情况，从教育测量的角度出发，研究分析了使用SCEOTS进行口语机考的信度和效度。 本文首先对口语测试、教育测量、计算机辅助测试的理论与实践进行理论分析，选取经典测量理论和概化理论作为本文的理论基础。然后，在保证内容效度的前提下，设定信度系数值和效度系数值作为达到可接受的测试质量的标准，对口语机考进行了四个方面的实证研究：表面效度调查研究、经典信度分析、概化信度分析、经典效标效度分析。研究发现：(1)机考习惯、设定的思考时间和话题是影响学生发挥的主要因素，这些因素还直接影响到学生对口语机考的满意度、支持度和口试方式的选择。同时，78％的老师认为口语机考成绩与期末笔试成绩有70-80％的相关度，71．4％的老师认为自己能保证对不同录音评分达到80％以上的一致性。(2)经典信度无论是跨项目还是跨评分者，都能达到事先设定的最低信度指标0．70，说明口语机考结果具有较好的稳定性。(3)通过概化分析，发现一个评分者匹配五个测试项目是提高测试精度的最佳可行的实际测验方案。(4)使用期末笔试成绩作效标，口语机考与它的相关度能达到0．50的最低限制，说明口语机考能够有效测试到学牛的口语能力。