论文部分内容阅读
在大规模的英语考试中(如中考、高考、大学英语四六级考试、大学英语专业的四六八级考试、各个不同等级的成人考试等),写作都是必考。目前英语写作评分模式都是集中专业英语教师进行人工评分,但是随着参考人数的日益增加,人工评分的压力就越来越大。此外,英语写作的经常性训练也是提高写作水平的必经之路,这又需要大量人工进行评分和指正。本论文的研究目的就是使机器能够通过学习对作文评出可信的分数,并进行错误检测提供给学生反馈,从而降低人工评分在时间,人力方面的巨大消耗。
本研究使用大学英语四级考试真实作文数据及真实评分,通过提取与写作相关的特征,进行机器学习,使得机器能够模拟人工评分对作文评出可信的分数。通过提取浅层信息(如文章长度,不同单词数,复杂单词数,平均词长,平均句长等),词衔接错误信息,句子错误信息,连接是否恰当、与题目的一致性,与满分作文的一致性,最相似作文所在分值、句法分析特征、从句特征、情态动词、被动语态等与作文写作水平相关的鉴别性特征,综合评判,给出一个最终的分数。通过特征提取,模型训练和测试,得到最终的打分结果为:与人工评分平均分差为1.83(总分为20分);2分内打分正确率达到70%;与人工评分之间的相关系数达到了0.88。
本论文错误检测研究的目的是给写作者指出错误位置以供其改正,而不仅仅只给出一个分数。由于冠词和介词的使用是最常犯的错误,而且是占据错误比例最高的两种类型,我们着重对其进行分析。通过提取与冠词和介词相关的上下文特征,采用最大熵分类器自动学习,并采用语言模型后处理对结果进行修正,冠词自动检测结果交叉验证正确率达到76.9%,介词自动检测结果交叉验证正确率达到65.07%。本文在以下方面有所创新:
1.评分特征提取中,采用词序列和词性序列训练语言模型,并考虑上下文情况计算词间衔接错误比例,其特征值与人工打分的相关系数达到-O.52。
2.评分特征提取中,通过计算待评价作文与不同分值作文相似性,取相似性最大的作文分值作为特征,其特征值与人工打分的相关系数大于0.7。
3.通过统计不同词性出现在首词的比例,采用副词、动名词和代词的频率组合公式(RB+VBG)/(PRP+1)作为主位特征(其中RB、VBG和PRP为宾州树库标注语料集标注的词性),其特征值与人工打分的相关系数达到0.43。
4.评分特征提取中,采用语义类提取的方法进行近义词的提取,从而计算与题目关键词及其近义词的覆盖率。
5.评分特征提取中,提出采用分值上的平均特征取值来评价打分特征。
6.冠词和介词错误检测过程中,采用语言模型后处理的方法,对分类结果进行修正,分别提高了错误检测正确率绝对值1.9和2.7个百分点。