为分析句酷英语作文自动评分系统的评分效度,本研究从“中国学习者英语语料库”(CLEC)中分别随机抽取150篇大学英语四六级考试作文为研究语料,比较人工评分和自动评分的差异。本文旨在回答以下几个问题：(1)句酷自动批改系统给出的分数与人工批改的分数是否一致?如果不一致,在多大程度上存在差异?(2)句酷自动批改系统对哪一类的作文更容易误判?(3)作文量化特征如何影响人工评分和机器评分?本研究有如下步骤：(1)通过分层随机取样法,从“中国学习者英语语料库”中抽取分数介于6分至15分之间的四六级作文各150篇。所有样本作文由句酷批改网批改,获得自动批改的分数。(2)利用EXCEL和SPSS18.0计算以下三大指标：相邻吻合一致性(exact-plus-adjacent agreement)、皮尔逊相关系数(Pearson correlation coefficient r)以及最大分数差(maximum score difference)。(3)校对语料库中已标注的作文错误,统计每篇作文的错误数量和类型,并利用文本分析工具Vocabprofilers、L2Syntactic Complexity Analyzer和Coh-Metrix3.0分析样本作文在词汇、句法和语篇方面的量化特征。然后以这些量化特征值为自变量,人工分数与机器分数为因变量,进行回归分析建立人工分数和批改网分数的回归模型。主要研究结果如下：(1)三大指标值显示批改网不能可靠地评阅大学英语考试作文。虽然四六级作文人机评分之间的相邻吻合一致率较高,但相关分析显示,四级作文人机评分不存在相关性,而六级作文的人机评分也只存在显著的弱相关。此外,四六级人机分数差较大,对批改网的评分效度提出巨大挑战。(2)配对样本t检验显示机器分数均值显著低于人工分数。所有分析表明,批改网容易误判人工高分作文。(3)作文量化特征对机器评分的影响更大。回归分析显示,在错误、词汇、句法和语篇四方面的11个量化特征能够预测人工分数并能解释不到25%的分数差异,13个量化特征能够预测机器评分并能解释超过65%的分数差异。文章最后分析指出：(1)与国外自动评分系统效度研究相比,本研究所得到的一致率和相关系数较低,这可能与评分分制不同以及建立自动评分系统评分模型的样本差异有一定的关联；(2)句酷批改网容易误判高分作文,这可能是由于批改网的内部缺陷导致的,如句酷批改网无法真正阅读、欣赏和判断文章,并且在分析深层句型结构或词汇搭配方面的能力不足；(3)量化特征对人工评分和机器评分有不同的影响,这可能是因为机器评分主要依据浅层文本特征,不能像人工评阅那样分析深层文本特征。