论文部分内容阅读
摘 要：句酷批改网是一款国内众多高校采用的自动作文评阅系统，为英语写作教学提供辅助方式。本研究采用个案分析比较了高分档和低分档共10篇作文人/机评阅的一致性，结合系统对两档作文的反馈，探讨句酷批改网对学习者写作水平的反馈效果。结果发现，与低分档作文相比，高分档作文人/机评阅一致性较高，系统打分能够反映学生真实的写作水平。因此，在教学过程中，只有教师和学生相互配合才能使自动作文评阅系统真正成为学生英语学习的好导师，老师教学的好助手。
关键词：自动作文评阅 个案分析 反馈
一、引言
随着教育技术的发展，计算机自动作文评阅系统越来越广泛地应用到二语写作教学中。它替代了人工评阅和反馈，减轻了教师批改作文的负担，为写作教学提供了辅助方式。句酷批改网是国内开发研制的一款基于语料库和云计算的英语作文自动批改在线服务系统。通过计算学生作文和标准语料库之间的距离系统自动生成得分。每篇作文的分数由192个子维度构成，加权平均后从词汇、句子、篇章和内容四个维度进行全面评价，并反馈句子错误、搭配统计、词汇辨析等信息，学生可根据反馈多次修改作文，直至满意为止。本文将通过个案分析的方法，对句酷批改网（简称“句酷”）对学习者写作水平的反馈效果进行探讨和分析，并提供合理的教学建议。
二、研究设计
本研究的研究对象为就读于某高校英语专业二年级学生，他们被要求就“reality TV show”的话题在线提交一篇作文。系统共收到40篇作文，由句酷按照英语专业四级写作打分方式提供反馈和修改。根据系统分数选取高分档和低分档各5篇作文，交由老师评阅，然后进行人/机评阅一致性对比。我们还比较了高分和低分两档中人/机一致性较低的两篇作文的句酷系统评价、按句点评和反馈类型，对系统的优点和偏差加以分析和说明。本研究旨在回答以下问题：（1）人/机评阅是否具有一致性？（2）系统评阅的反馈效果如何？是否反映学习者写作水平？ （3）对写作教学有什么启示？
三、研究结果和讨论
（一）人/机评阅一致性
10篇高分档和低分档作文由机器和人工按照20分制打分，就评阅结果来看，人/机评阅没有完全一致的分数，总体来说机器评阅的分数比人工评阅的分数高，尤其是在评阅低分档作文时这一结果更为明显。如表一所示，高分档作文中40%人/机评阅完全一致，60%缺乏一致性。而低分档作文一致性检验结果发现，80%的人/机评阅完全不一致。
句酷是根据系统设定的几个维度评阅作文，它们的占比为词汇32%，句子21，篇章结构18%，内容相关5%及其他24%。可能由于系统对篇章、搭配和内容的识别能力有限，对低分档作文中逻辑不清楚，语义模糊，不知所云之处无法完全辨别，只要达到系统设定的维度标准即可获得较好的分数；而人工评阅时会综合考虑以上维度，使得低分档作文分数较机器评阅低，人/机评阅的一致性较差。
（二）高低分作文反馈
为了进一步探究系统的反馈效果，我们就两篇作文样本进行了系统反馈的比较。表一是两篇作文的总体评价。从总体评价来说，尽管高分作文比低分作文较多正面反馈，但是并没有明显的差别，低分作文的總体评价中缺乏负面反馈，无法体现出两档作文质量上的差异。另外，总体评价偏重词汇和句子层面，涉及篇章结构和内容相关的评语较少，对作文质量的评价不够全面。比如，低分作文不符合写作任务的三段式要求，只有一段文字内容，然而该作文的篇章缺陷未能在总体评价中体现，因此句酷在篇章或内容等复杂的评价维度上还有所欠缺。
除此之外，我们还比较了系统对两篇作文的按句点评，分为正面反馈和负面反馈两种类型。正面反馈有推荐表达、学习提示、拓展辨析和闪光短语，而负面反馈包括搭配错误、语法错误、句子错误和各类词性错误。研究发现，高分作文的正面反馈有22项，负面反馈4项；低分作文有19项正面反馈，与高分作文相差不大，但是负面反馈有12项，远远高于高分作文，这或许是该作文系统打分较低的原因之一。例如：
[拓展辨析] 动名搭配 contain...information 在语料库中出现过407次；
[学习提示] 易混词汇： walk， stride， stroll， strut， pace 均有“行走，徒步”之意。
Walk： 最常用词，中性词，指除跑、跳之外所有移步的动作。
Stride： 着重步子大而且节奏有力，流露出匆忙、烦恼、得意等情绪。
Stroll： 多指走走停停，步子缓慢，悠闲自得，漫无目的。
Strut： 指大摇大摆地走，含过分自信或自高自大意味。
Pace： 指踱步，走步。
[搭配错误] people be indifference疑似搭配有误
[语法错误] is means： 语法不规范，建议检查
[句子错误] 不同单句之间常用连词连接
这些反馈对学生的写作产生积极的影响，正面反馈能抓住学生作文中的闪光点，和语料库进行比对，增强学生写作时的自信心；同时，系统提供的近义词辨析使得学生更为熟练地理解和运用易混淆的词汇。而负面反馈能够帮助学生及时发现和辨别错误，对这些错误加以纠正，从而提高他们语言运用能力。然而，系统反馈也存在不少问题，我们就两篇作文样本中的出现的部分问题做了比较：
高分作文：
（1）While a huge amount of people deem reality TV relaxing and interesting as an important social glue… （搭配错误：amount和people）
（2）Thinking of if someone might know that they need to be more concerned about the world， but…（语法错误：but连接并列分句） （3）…， this moment no reality TV can capture （句子错误：倒装句不合适）
（4）…reality TV creates an idealized state… （原为冠词错误：an多余；其实an用法正确）
低分作文：
（1）Reality show， refers to by ordinary people in the scene， according to the rule of the game， for a define purpose， make their own actions， at the same time was recorded and made TV program and define it as the true story of a specific virtual space， to full range， real close post editing shoot and take people as the core of the drama is made into program. （原為主谓一致、 make…actions语法错误和搭配错误）
（2） there is no story and arrangement， the audience can see the protagonist in the reality show that is ordinary people in ordinary life， in the face of the game or the most real state of life. （原为句子错误：首字母未大写）
通过比较以上问题发现，高分作文中出现了表达无误系统却给出负面反馈或者未识别表达错误的情况，不过这些错误属于词汇和句子层面，不涉及篇章和内容，因此虽然人工评阅分数较机器评阅分数低，但相差不大。与高分作文相反，低分作文的反馈问题大多属于篇章和内容层面，该作文逻辑混乱，语义不清，表达不符合英语习惯，15分的系统打分与作文的实际质量不符，与人工评阅分数相差较大。因此，我们可以看出，对于含有词汇和句子层面错误的作文系统打分基本反映了学习者的写作水平，而系统对篇章和内容有问题的作文打分的可信度有所欠缺。
四、教学启示和结语
通过以上的分析和讨论，我们发现，由于系统对高分档作文反馈词汇搭配和句子问题较为全面，人/机评阅一致性较高，系统打分能够反映学生真实的写作水平；但是低分档作文的问题较多集中于篇章、语义和内容层面，系统无法完全识别，打分尚不能完全反映出学生的真实写作水平。有鉴于此，自动作文评阅系统只能成为写作教学的辅助方式，而不能主导教学活动。
另外，在写作教学过程中还应注意：对教师而言，有了自动评阅系统的帮助，教师对作文的评阅要做到有的放矢，更多地关注系统评阅的薄弱环节，即篇章、语义和内容，有针对性地指出相关问题，提升学生的批判性思考能力。对学生来说，因为系统对于词汇和句子层面的反馈较全面，所以要有效地利用系统的反馈，修改作文中出现的错误，切实提高他们的英语表达能力。只有教师和学生相互配合才能使自动作文评阅系统真正成为学生英语学习的好导师，老师教学的好助手。
注释
① 括号中数字依次为人/机评阅分数相差和评分档次相差.
参考文献
[1] 陈凤.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报：社会科学版，2104（6）：173-177.
[2] 黄绍莹，张荔.自动作文评阅系统对不同水平学习者英语写作能力的影响——基于句酷批改网的研究[J].外语与翻译，2015（4）：70-76.
[3] 蒋艳，马武林.中国英语写作教学智能导师系统：成就与挑战——以句酷批改网为例[J].电化教育研究，2013（7）：76-81.
[4] 李霞，钟兰凤.作文自动评价系统在大学英语写作教学中的实证研究——以句酷批改网为例[J]. 教学研究，2017（1）：57-61.
[5] 张荔，盛越.自动作文评阅系统反馈效果个案研究[J].外语电化教学，2015（5）：38-44.
关键词：自动作文评阅 个案分析 反馈
一、引言
随着教育技术的发展，计算机自动作文评阅系统越来越广泛地应用到二语写作教学中。它替代了人工评阅和反馈，减轻了教师批改作文的负担，为写作教学提供了辅助方式。句酷批改网是国内开发研制的一款基于语料库和云计算的英语作文自动批改在线服务系统。通过计算学生作文和标准语料库之间的距离系统自动生成得分。每篇作文的分数由192个子维度构成，加权平均后从词汇、句子、篇章和内容四个维度进行全面评价，并反馈句子错误、搭配统计、词汇辨析等信息，学生可根据反馈多次修改作文，直至满意为止。本文将通过个案分析的方法，对句酷批改网（简称“句酷”）对学习者写作水平的反馈效果进行探讨和分析，并提供合理的教学建议。
二、研究设计
本研究的研究对象为就读于某高校英语专业二年级学生，他们被要求就“reality TV show”的话题在线提交一篇作文。系统共收到40篇作文，由句酷按照英语专业四级写作打分方式提供反馈和修改。根据系统分数选取高分档和低分档各5篇作文，交由老师评阅，然后进行人/机评阅一致性对比。我们还比较了高分和低分两档中人/机一致性较低的两篇作文的句酷系统评价、按句点评和反馈类型，对系统的优点和偏差加以分析和说明。本研究旨在回答以下问题：（1）人/机评阅是否具有一致性？（2）系统评阅的反馈效果如何？是否反映学习者写作水平？ （3）对写作教学有什么启示？
三、研究结果和讨论
（一）人/机评阅一致性
10篇高分档和低分档作文由机器和人工按照20分制打分，就评阅结果来看，人/机评阅没有完全一致的分数，总体来说机器评阅的分数比人工评阅的分数高，尤其是在评阅低分档作文时这一结果更为明显。如表一所示，高分档作文中40%人/机评阅完全一致，60%缺乏一致性。而低分档作文一致性检验结果发现，80%的人/机评阅完全不一致。
句酷是根据系统设定的几个维度评阅作文，它们的占比为词汇32%，句子21，篇章结构18%，内容相关5%及其他24%。可能由于系统对篇章、搭配和内容的识别能力有限，对低分档作文中逻辑不清楚，语义模糊，不知所云之处无法完全辨别，只要达到系统设定的维度标准即可获得较好的分数；而人工评阅时会综合考虑以上维度，使得低分档作文分数较机器评阅低，人/机评阅的一致性较差。
（二）高低分作文反馈
为了进一步探究系统的反馈效果，我们就两篇作文样本进行了系统反馈的比较。表一是两篇作文的总体评价。从总体评价来说，尽管高分作文比低分作文较多正面反馈，但是并没有明显的差别，低分作文的總体评价中缺乏负面反馈，无法体现出两档作文质量上的差异。另外，总体评价偏重词汇和句子层面，涉及篇章结构和内容相关的评语较少，对作文质量的评价不够全面。比如，低分作文不符合写作任务的三段式要求，只有一段文字内容，然而该作文的篇章缺陷未能在总体评价中体现，因此句酷在篇章或内容等复杂的评价维度上还有所欠缺。
除此之外，我们还比较了系统对两篇作文的按句点评，分为正面反馈和负面反馈两种类型。正面反馈有推荐表达、学习提示、拓展辨析和闪光短语，而负面反馈包括搭配错误、语法错误、句子错误和各类词性错误。研究发现，高分作文的正面反馈有22项，负面反馈4项；低分作文有19项正面反馈，与高分作文相差不大，但是负面反馈有12项，远远高于高分作文，这或许是该作文系统打分较低的原因之一。例如：
[拓展辨析] 动名搭配 contain...information 在语料库中出现过407次；
[学习提示] 易混词汇： walk， stride， stroll， strut， pace 均有“行走，徒步”之意。
Walk： 最常用词，中性词，指除跑、跳之外所有移步的动作。
Stride： 着重步子大而且节奏有力，流露出匆忙、烦恼、得意等情绪。
Stroll： 多指走走停停，步子缓慢，悠闲自得，漫无目的。
Strut： 指大摇大摆地走，含过分自信或自高自大意味。
Pace： 指踱步，走步。
[搭配错误] people be indifference疑似搭配有误
[语法错误] is means： 语法不规范，建议检查
[句子错误] 不同单句之间常用连词连接
这些反馈对学生的写作产生积极的影响，正面反馈能抓住学生作文中的闪光点，和语料库进行比对，增强学生写作时的自信心；同时，系统提供的近义词辨析使得学生更为熟练地理解和运用易混淆的词汇。而负面反馈能够帮助学生及时发现和辨别错误，对这些错误加以纠正，从而提高他们语言运用能力。然而，系统反馈也存在不少问题，我们就两篇作文样本中的出现的部分问题做了比较：
高分作文：
（1）While a huge amount of people deem reality TV relaxing and interesting as an important social glue… （搭配错误：amount和people）
（2）Thinking of if someone might know that they need to be more concerned about the world， but…（语法错误：but连接并列分句） （3）…， this moment no reality TV can capture （句子错误：倒装句不合适）
（4）…reality TV creates an idealized state… （原为冠词错误：an多余；其实an用法正确）
低分作文：
（1）Reality show， refers to by ordinary people in the scene， according to the rule of the game， for a define purpose， make their own actions， at the same time was recorded and made TV program and define it as the true story of a specific virtual space， to full range， real close post editing shoot and take people as the core of the drama is made into program. （原為主谓一致、 make…actions语法错误和搭配错误）
（2） there is no story and arrangement， the audience can see the protagonist in the reality show that is ordinary people in ordinary life， in the face of the game or the most real state of life. （原为句子错误：首字母未大写）
通过比较以上问题发现，高分作文中出现了表达无误系统却给出负面反馈或者未识别表达错误的情况，不过这些错误属于词汇和句子层面，不涉及篇章和内容，因此虽然人工评阅分数较机器评阅分数低，但相差不大。与高分作文相反，低分作文的反馈问题大多属于篇章和内容层面，该作文逻辑混乱，语义不清，表达不符合英语习惯，15分的系统打分与作文的实际质量不符，与人工评阅分数相差较大。因此，我们可以看出，对于含有词汇和句子层面错误的作文系统打分基本反映了学习者的写作水平，而系统对篇章和内容有问题的作文打分的可信度有所欠缺。
四、教学启示和结语
通过以上的分析和讨论，我们发现，由于系统对高分档作文反馈词汇搭配和句子问题较为全面，人/机评阅一致性较高，系统打分能够反映学生真实的写作水平；但是低分档作文的问题较多集中于篇章、语义和内容层面，系统无法完全识别，打分尚不能完全反映出学生的真实写作水平。有鉴于此，自动作文评阅系统只能成为写作教学的辅助方式，而不能主导教学活动。
另外，在写作教学过程中还应注意：对教师而言，有了自动评阅系统的帮助，教师对作文的评阅要做到有的放矢，更多地关注系统评阅的薄弱环节，即篇章、语义和内容，有针对性地指出相关问题，提升学生的批判性思考能力。对学生来说，因为系统对于词汇和句子层面的反馈较全面，所以要有效地利用系统的反馈，修改作文中出现的错误，切实提高他们的英语表达能力。只有教师和学生相互配合才能使自动作文评阅系统真正成为学生英语学习的好导师，老师教学的好助手。
注释
① 括号中数字依次为人/机评阅分数相差和评分档次相差.
参考文献
[1] 陈凤.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报：社会科学版，2104（6）：173-177.
[2] 黄绍莹，张荔.自动作文评阅系统对不同水平学习者英语写作能力的影响——基于句酷批改网的研究[J].外语与翻译，2015（4）：70-76.
[3] 蒋艳，马武林.中国英语写作教学智能导师系统：成就与挑战——以句酷批改网为例[J].电化教育研究，2013（7）：76-81.
[4] 李霞，钟兰凤.作文自动评价系统在大学英语写作教学中的实证研究——以句酷批改网为例[J]. 教学研究，2017（1）：57-61.
[5] 张荔，盛越.自动作文评阅系统反馈效果个案研究[J].外语电化教学，2015（5）：38-44.