论文部分内容阅读
[摘 要] 中国英语写作教学智能导师系统句酷批改网在取得一定成就的同时也面临着一定的挑战。文章首先探讨了批改网的工作原理，即通过将学生的作文和语料库进行对比，通过192个维度对学生的作文给出相应的得分，并给出批改提示。然后通过实例分析了句酷批改网如何对学生的作文进行智能批改。文章最后指出句酷批改网作为智能导师系统所面临的挑战。如：只能从语言上判断水平，不能从语义上判断内容，无法对作文内容错误进行识别、部分语言错误无法识别，这些则是智能写作批改系统研究继续努力的方向。
[关键词] 智能导师系统； 人工智能； 英语写作； 批改网
[中图分类号] G434 [文献标志码] A
[作者简介] 蒋艳（1981—），女，重庆人。讲师，硕士，主要从事外语教育技术理论与实践研究。E-mail：jiangyan@cqdd.cq.cn 。
一、引 言
计算机辅助教学（CAI）一直存在着这样的缺陷：计算机不了解学生当前的学习状况，当学生学习发生困难时，不能诊断原因并提出有针对性的指导，无法做到因材施教，即不能灵活辅助老师的 “教”；也不能实现主动的、智能化的信息服务，即不能灵活辅助学生的“学”；除此之外，它也缺乏把人工智能技术与超媒体先进的信息组织、管理方式结合在一起的手段，因此不能发挥各自的优点，弥补各自的不足。[1]故多年来，智能计算机辅助语言教学研究（Intelligent Computer Assisted Language Learning， 即ICALL）进展缓慢。具有智能导师系统功能的句酷批改网尽管仍然存在不少缺点，但也是将智能导师系统应用于中国英语写作教学的尝试。
智能导师系统是指“具有某一学科领域的学科知识和相关的教学知识、能对学生学习进行个别化教学，即根据学生对知识的理解掌握程度，选择相应的教学策略，在一定程度上模拟人类教学专家进行教学活动的软件系统”。[2]一个完整的智能导师系统一般由三个基本模块组成：一是领域知识模块（又称专家模块），它包含了系统试图传授给学生的知识，代表了专家的智能；二是学生模型，它指学生已经知道什么和不知道什么以及学生的认知特点，代表了学生的智能；三是教师模型（又称教学策略模块），主要提供有针对性的教学策略，代表了教师的智能。此外，智能导师系统还包括一个能理解自然语言的人机接口模块，即智能导师系统的用户界面。智能导师系统的一般结构图如图1所示。
二、智能导师系统在英语写作
教学中的应用现状
智能导师系统在英语教学中应用的研究始于上世纪中叶。就语言学科而言，早期的智能导师系统在外语学科中的研究集中体现在自然语言处理（Natural Language Processing）上，通过分析利用计算机技术对语言进行智能分析，属于人工智能在语言研究和教学中的应用，研究涉及翻译、词汇、口语、语法、语义网络以及写作等。智能导师系统在英语教学中的应用主要在口语和写作两方面。口语主要是机器人模拟人类陪学习者聊天，但是智能性还不够。写作方面主要体现在对作文进行智能批改，提供修改建议。
智能导师系统在写作方面的研究进展较快。智能写作评价系统对学生提交的作文通过多个维度进行智能批改，指出学生作文存在的问题。早期的系统如 Project Essay Grade （PEG），通过对一篇文章语言特征的分析来评估作文的水平。[4]后来的E-rater & IntelliMetric 等则增加了对语篇内容和结构的分析，功能有所提升。Intelligent Essay Assessor 则更多关注对文章思想内容的评估。[5]由以上评分引擎衍生的写作自动评价系统（如My Access、Criterion、Writing Roadmap、Write to Learn、冰果英语、体验英语和批改网等）不仅提供作文总分，还包含内容、组织、语体、词汇和语法以及格式规范单项分与个性化反馈。写作自动评价系统已经取得了长足进展，其功能正在逐渐满足英语写作教学与评价的需求。但是个性化反馈能力还是有限。基于此，我国研究者依托云计算和Web 2.0 强大功能，结合中国学习者特点自主研发的句酷批改网实现了页面按句点评的功能，以及修改提示等功能，使得智能化写作教学质量有了进一步的提升。
Criterion 是美国教育测试服务中心（Education Testing Service）的分支机构ETS科技公司所研发的线上英文练习系统（Online English Writing Practice）。采用TOEFL、GRE等考试的类似的整体评分（Holistic Scoring）原则，学生提交作文后20秒内给出整体性奖励分以及分析报告。中国自主研发的批改网和Criterion功能类似，但是在某些方面更具便捷性，而且在某些方面具有独创性。其他软件/平台由于功能相比较而言稍有欠缺，在文中不作赘述。
三、句酷批改网简介及其原理概述
（一）句酷批改网简介
句酷批改网（简称“批改网”）是一款基于语料库和云计算的英语作文自动批改在线服务系统，通过计算学生作文和标准语料库之间的距离即时生成学生作文的得分、评语以及内容分析结果，学生根据批改网的提示自主修改作文，多次提交，直至达到满意程度为止，通过这种方式帮助学生提升写作能力。提示分为宏观提示和微观提示，宏观提示主要给学生给出整体评价，微观提示则是逐句提示。
句酷批改网通过“内容相关、篇章结构、句子、词组搭配、词汇和流畅度”等六个维度对学生的作文进行全面智能评价，并给教师和学生提供 “按句点评”、“按段点评”、“学生互评”、“论坛”等功能，供师生在系统智能评价基础上进行人工评价，确保评价的准确性。“按句点评”内容包括“句子错误”提示、“拼写错误”提示、“疑似中式英语低频警示”、“学习提示”、“批改提示”、“高分短语”、“搭配统计”和“语法检查”等，系统完成按句点评后，学生根据系统的提示完善自己的作文直至满意，然后接受“教师点评”或者“同伴互评”。教师点评对学生的自主写作训练给予了极大的支持，在功能设置（特别是网页界面设计）方面更适合我国学生的学习特点。 学生提交作文后，批改网开始对学生的作文实时进行“按句点评”，并对作文进行评分（含“总分”、“词汇分”、“句子分”、“篇章结构分”和“内容相关分”以及评语），给出“句酷提示”和“体检报告”（如图2所示）。其中“作文评分”和“按句点评”功能对学生完善作文非常重要，批改网通过这两个栏目指出学生作文存在的问题，学生依据提示完善作文并提交，系统再次进行批改，学生再次完善并提交，如此重复直至作文达到最佳状态。
（二）批改原理
批改网将学生作文视为一个学习者语料（Learner Corpus），每篇作文的成绩由 192 个子维度构成，通过对比学生的作文和标准语料库，将测量出来的距离通过映射转化成学生作文的分数、评语和反馈。整个学生作文的批改过程就像一个教师从多个维度对学生的作文进行批改，给出一个整体反馈，并进行“按句点评”，指出每个句子存在的问题，同时该系统基于Web2.0，支持教师通过网络在线批改学生作文，教师在系统提示的基础上进行进一步的批改。
在图3中，“语料库”相当于智能导师系统的“专家模块”、“作文”等同于智能导师系统“学生模型”，“评语”、“句评”和“分数”相当于智能导师系统“教师模型”。192个维度（如图4所示）相当于智能导师系统“诊断规则”。学生提交作文后，系统自动通过192个维度“诊断规则”将学生作文与专家模块目标语“语料库”进行匹配，打出相应的作文分数，给出相应的评语，并将学生的作文进行逐句分析，指出问题所在。
批改网打分引擎是综合自然语言处理技术、语料库分析技术和教育测量技术研发的英语作文自动打分系统，该系统能够自动提取作文中反映英语写作水平的数据指标。
目前批改网有15个不同类别的语料库，其中语段库有33亿个，而且所使用的语料库进行每天更新。[6]然后学生通过“完善作文”的功能，按照“逐句分析”的批改提示对文章进行修改，修改完成后再次向系统提交作文，系统再次进行即时分析，通过“按句点评”给出修改建议，如此反复，指导学生进行写作，直至最好。在整个写作批改过程中，批改网扮演着一个写作教师的角色，是一个比较典型的智能导师系统。
批改网对学生的作文进行批改时参考了篇章结构、词汇、句子等子维度，然后在子维度下又有更低一层的子维度，如类型比ttr、平均词长、平均词长均差、平均句长以及学术词汇所占比例等维度。通过分析学生作文的这些属性并与标准语料库进行对比后得出相应的成绩和批改提示。
（三）智能批改实例分析
1. 系统按句点评
学生作文一旦提交，批改网会即时给出批改结果（图2右侧），以及逐句点评结果（图4），学生通过处理系统提出的诸如“句子错误”、“低频警示”、“批改提示”、“学习提示”等问题完善作文，系统会详细记录下学生根据批改网的提示每次进行修改的痕迹。图2左下角“提交次数17”说明该学生按照系统提示对本篇作文进行了16次的修改。基于此，学生可以在批改网的提示下不断完善作文，最终提高自己的写作水平。
2. 教师在线点评
批改网基于Web2.0平台，支持评论功能，教师点评的内容可以即时出现在网络上供学生查阅。教师只要点击每个句子末尾的“点评”即可对这句话进行点评，可以对学生的作文作出更好的评判。如系统对这句错误句子没有识别出来，这时候老师可以帮助系统指出这个句子的问题，这是批改网非常重要的组成部分。国外开发的系统中Criterion亦实现了教师和学生按句点评，但是在原文中“插入”批注的形式进行点评的，显得不够直观。
3. 学生修改作文的痕迹
由于系统会详细记录学生每次修改作文的痕迹，教师和学生均可以对每次修改的内容进行对比（系统自动提供最近两个版本的作文的对比，要对比更多的版本，需要学生或者老师手工对照），图5是学生对作文的第一次修改痕迹，从图上可以清楚看出学生在写作过程中对内容的处理情况。图中灰色部分为删除内容，黄色为修改增加内容。
4. 成绩轨迹
系统除了提供每次学生根据批改提示进行修改作文的痕迹外，系统同样提供每次修改后学生的成绩痕迹（如图6所示）。从图6上可以形象直观地看出学生的作文进步情况。该同学的成绩由刚开始的72.5分，经过系统智能批改和学生自主修改后，最终成绩提升到了82分。
5. 机器学习功能
批改网通过收集全国教师的反馈（含报错）并及时处理这些反馈意见，使系统的功能得以日趋完善。全国用户把使用过程中发现的问题通过批改网论坛的报错功能及时提供给批改网官方，官方会第一时间处理这些问题，并把处理结果写入系统，完成一轮系统学习，避免再犯类似错误。基于此，批改网的机器学习能力非常强大，遥遥领先于其他类似产品。例如，当教师发现学生作文中使用了“Before you go to bed， you should close the light.”，那么如果有老师指出“close the light”这个用法是错误的，并给出建议“表达关灯需要使用固定搭配 turn off the light”后，批改网会记录和学习老师的本次批改经验，并将该知识点添加至系统知识库中，从而使得千千万万个使用批改网的学生从中受益。接下来，任何使用批改网的学生如果使用了“close the light”、“close the desk light”甚至“the light will be closed”等类似用法，则批改网可以识别这些错误用法，并提供修改建议。
6. 优秀作文共享功能及论坛功能
目前国内外开发的所有智能写作批改系统中只有批改网具有优秀作文共享的功能，而该功能对提升同伴写作水平非常重要。以Writing Roadmap为例，学生“不能及时了解自己与优秀作文之间的差距”。[7]批改网提供的教师个人网站具有“最新作文”、“优秀作文”和“共享文档”等三大功能，学生可以通过访问教师的个人网站直接进入写作平台开始写作，学生也可以通过教师推荐的“优秀作文”查阅每一次教师布置的同一主题作文中最优秀的作文，供学生相互借鉴。学生可以通过“共享文档”下载教师提供的资源。这个功能解决了国外智能写作批改系统（即使是功能最强大的Criterion）也无法共享优秀作文的弊端。 批改网建立了自己的写作论坛（http：//bbs.pigai.org/），供同学们在论坛上交流写作训练心得与体会，教师可以参与其中对学生写作进行宏观指导。该平台收集了国内外所有重要写作考试的信息及相关训练，如雅思，GRE，托福，SAT等国外考试和国内公共英语四级、六级，专业英语四级、八级、PETS以及考研作文等模块。目前有会员831400人（截至2013年1月23日），帖子158030个。
四、效度分析
效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量到的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，则效度越高；反之，则效度越低。
从定性的角度来看，为了测试句酷批改网对学生作文的批改效度，作者将句酷批改网批改结果和美国Writing Roadmap的批改结果（如图7所示）进行了对比。Writing Roadmap批改的总分为4.0分（满分选择5分制标准，中国百分制为80分，下同），结构4.2分（84分）、发展3.3分（66分）、句子结构5.0分（100分）、词汇选择和语法运用3.3分（66分）、写作规范3.3分（66分）。尽管单项分评分标准不同，但是两个系统对学生作文批改的总分却基本相同，句酷批改网的分数为82分，Writing Roadmap 批改的结果是80分（即4.0分），这说明两者在对学生同一篇作文的评定的吻合度非常高。
研究者对学生的作文从内容、篇章结构和句子结构、词汇运用等方面进行批改，得到与网络批改结果基本一致的成绩。不过，教师在批改过程中发现了几处没有被计算机发现的语言错误。如“As is known to us， different people have the different stories”在此句话中出现定冠词the的滥用明显错误，此处由于有了different 修饰限定stories，the是不应该出现的。不在此一一列出。
五、存在问题分析
自本世纪初，随着写作自动评价系统功能的进一步开发，有关系统在课堂教学中的应用研究也逐渐开展起来。研究表明，写作评价系统对于学生语言错误的纠正起到了一定的积极作用，[8]但是教师对于写作评价系统的定位以及如何将评价系统使用到教学中认识不清。[9]国内近年来有学者关注写作评价系统在教学中的应用，[10] [11]但关注重点仍然在于评价系统对学生写作能力的影响。[12]
上述讨论的写作自动评价系统批改作文的过程毕竟是由电脑完成的，而非由具有主观能动性的人完成的，计算机可以模仿教师对作文进行批改，但机器批改毕竟建立在预先设定的程序上，机械性是其最大特点，无法灵活处理一些特殊语言现象。再加上，语言本身的特殊性和灵活性，批改网批改作文的结果可以无限接近人批改的结果，但不可能完全一致。作为智能导师系统，批改网目前仍然存在很多问题。
（一）无法判断内容错误
批改网像其他写作自动评价系统一样，目前还无法判断学生的作文是不是按照要求写的，包括Summary写作，有一个学生写了一篇完全无关的Summary，但是系统并没有识别出来，而是给了86分的高分。批改网目前也无法识别“The moon is cooking in the kitchen for my husband”（月亮正在厨房给我丈夫做饭），由于该句子在语法上是正确的，所以系统直接给了高分而不会进行辩证思维“月亮怎么会在厨房给我丈夫做饭呢？”故批改网目前还无法从语义上判断句子是否正确。
此外，尽管批改网声称能够检测学生是否跑题，但对于跑题的作文，只检测，不扣分。但作者测试发现，无论你写什么题目，只要语言没有问题，都能拿80多的高分。批改网目前通过“内相关和外相关”来检测作文是否“跑题”，内相关就是句子之间是否相关，外相关就是学生作文和教师给的范文相关程度，就是教师在布置作文时，同时提供范文（作文期间，学生不可见），目的一方面是让学生在截止时间后，看到教师提供的范文，可以自动学习，另一方面是帮助系统识别“跑题”。
（二）指出了问题所在，但无法提供正确示例
批改网能够指出学生作文中的“疑似中式英语”（有时候不是很准确），但是目前还无法提供修改方法，学生知道某个句子是中式英语，但是还没有办法得到修改建议。作者进行访谈时发现学生希望批改网能够提供修改建议，也有学生指出“在词汇连接上需要改进，搜索引擎不够智能、不够人性化，不能进行交流”。部分学生则反映批改网“没有根据作文的具体内容进行评价和提出修改意见”。
批改网在全国教师的支持下建成了中国学生写作“常见错误库”，这是英语写作智能导师系统在中国语言环境下的又一创新之处，是任何一家国外软件无法比拟的。系统通过学习这些常见错误，强化自身的功能，逐步给学生提供更加完善的修改建议。
（三）部分严重语法错误识别不了
作者在使用中发现，只要学生作文的句子结构正确，有时候系统是无法正确识别学生用词错误的。这和作者谈到的局限性的第一条有点类似，该缺陷会是致命的，它会引导学生按错误的方式修改自己的文章，这样会对提升学生写作质量具有负面作用，在这种情况下就需要教师的在线点评了。
“Whether should the college life mapping out their future， the student's viewpoint is differently. Some students think that there should be a clear goal and brace ourselves for future， to prepare the challenges in the future. Others don't think too much about the future， because of the uncertainty of the future.” 上面这段话错误百出，第一句的正确句型应该是Whether should sb （a certain person） do sth，sb’s viewpoint differs，但是系统并没有把错误句型识别出来。第二个句子句型结构显然正确，但是用词错误，而批改网并没有识别出来，这使得有些教师不敢用批改网。
（四）在逻辑和篇章结构上功能有待加强
由于批改网评断学生作文好坏的标准主要集中在语言本身，故学生作文的逻辑和篇章结构对成绩的影响还不是很大。作者曾经将一篇《纽约时报》的文章节选3段交由批改网系统评判，第一次提交和原文保持一致（以三段的形式提交），批改网给出的成绩是84.5，第二次提交改为两段，提交后成绩为85分，第三次整合为一段，提交后成绩为84分。尽管系统的192个评判维度涉及了段落数，而且给出了3～5段的范围值，但是在最后给分时体现并不明显。三次不同段落结构方式得出的成绩差距在0.5分左右。不管怎么说，该系统的功能在篇章结构上还是稍有体现，但是在文章的逻辑结构上就没有任何体现了。
六、结 论
毫无疑问，批改网是智能导师系统在高等教育中大规模应用的典型，全国已有近200所大学数万学生在正式使用批改网进行写作训练，还有很多院校的学生正在试用该系统。该系统也已经上线了手机版终端和平板版终端，广大师生已经在该系统中获益匪浅。排除自身具备的弊端，批改网是智能导师系统教学实践的一大进步。
（1） 批改网能够进行智能批改作文，并提出部分建议，学生根据建议完善自己的作文，该环节已经代替了教师的部分教学工作。
（2）批改网支持系统自动批阅和教师人工批阅的完美结合，打破以往机器批阅和人工批阅无法整合的弊端，取两者之长，优势互补，为混合式写作教学搭建了完美平台。
（3）批改网实现了优秀作文共享。通过批改网提供的教师个人网站，实现了优秀作文和精批改作文的共享，使同伴学习变得非常便捷。
此外，批改网可以同时承担部分英译汉教学任务，学生把自己的翻译结果录入批改网，批改网仍然会进行按句点评，翻译内容越长，效果越好。句酷批改网可以帮助学生养成反复修改作文的习惯，在关注学习结果的同时，关注学习过程，强化智能导师系统指导下的形成性评估。
但机器毕竟是机器，由于语言自身的灵活性和发展性，在使用的过程中会出现各种程序无法识别的错误，这就需要教师的亲力亲为，给学生指点迷津。同时这些都预示着智能导师系统在教学中的定位仍然是辅助教与学，系统不能取代教师，教师仍是教学的主导。将智能批改技术融入写作教学，为教学服务，仍然需要教师将课堂讲授和在线写作训练进行有机的结合，避其弊端，发挥两者的优势，不能过分依靠英语写作智能导师系统。
[参考文献]
[1] [2] [3] 何克抗，李文光. 教育技术学[M]. 北京：北京师范大学出版社，2005：245，246，247.
[4] [5] M.D. Shermis & J.C. Burstein （Eds.）. Automated Essay.Scoring and Annotation of Essays with the Intelligent Essay Assessor[M]. NJ： Lawrence Erlbaum， 2003：43～54，87～112.
[6] 批改网论坛.批改网使用常见问题——学生篇.[DB/OL].（2012-3-13）[2013-5-16]. http：//bbs.pigai.org/forum.php？mod=viewthread&tid=1031&reltid=13174&pre_thread_id=0&pre_pos=3&ext=.
[7] [8] Attali， Y.. Exploring the Feedback and Revision Features of Criterion [C]. Paper Presented at the Meeting of the National Council on Measurement in Education （NCME）， San Diego，CA，2004.
[9] Warschauer，M. & Grimes， D.. Automated Writing Assessment in the Classroom [J].Pedagogies：An International Journal， 2008，（3）：22～36.
[10] 王淑雯. 如何利用Writing Roadmap 2.0 进行在线英语写作反馈[J]. 现代教育技术，2011，（3）：76～81.
[11] 周颖. 在线形成性评价工具在英语写作中的应用——困难及对策探究[J].现代教育技术，2011，（9）：88～93.
[12] 蒋学清，蔡静，唐锦兰. 探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学，2011，（6）：36～43.
[关键词] 智能导师系统； 人工智能； 英语写作； 批改网
[中图分类号] G434 [文献标志码] A
[作者简介] 蒋艳（1981—），女，重庆人。讲师，硕士，主要从事外语教育技术理论与实践研究。E-mail：jiangyan@cqdd.cq.cn 。
一、引 言
计算机辅助教学（CAI）一直存在着这样的缺陷：计算机不了解学生当前的学习状况，当学生学习发生困难时，不能诊断原因并提出有针对性的指导，无法做到因材施教，即不能灵活辅助老师的 “教”；也不能实现主动的、智能化的信息服务，即不能灵活辅助学生的“学”；除此之外，它也缺乏把人工智能技术与超媒体先进的信息组织、管理方式结合在一起的手段，因此不能发挥各自的优点，弥补各自的不足。[1]故多年来，智能计算机辅助语言教学研究（Intelligent Computer Assisted Language Learning， 即ICALL）进展缓慢。具有智能导师系统功能的句酷批改网尽管仍然存在不少缺点，但也是将智能导师系统应用于中国英语写作教学的尝试。
智能导师系统是指“具有某一学科领域的学科知识和相关的教学知识、能对学生学习进行个别化教学，即根据学生对知识的理解掌握程度，选择相应的教学策略，在一定程度上模拟人类教学专家进行教学活动的软件系统”。[2]一个完整的智能导师系统一般由三个基本模块组成：一是领域知识模块（又称专家模块），它包含了系统试图传授给学生的知识，代表了专家的智能；二是学生模型，它指学生已经知道什么和不知道什么以及学生的认知特点，代表了学生的智能；三是教师模型（又称教学策略模块），主要提供有针对性的教学策略，代表了教师的智能。此外，智能导师系统还包括一个能理解自然语言的人机接口模块，即智能导师系统的用户界面。智能导师系统的一般结构图如图1所示。
二、智能导师系统在英语写作
教学中的应用现状
智能导师系统在英语教学中应用的研究始于上世纪中叶。就语言学科而言，早期的智能导师系统在外语学科中的研究集中体现在自然语言处理（Natural Language Processing）上，通过分析利用计算机技术对语言进行智能分析，属于人工智能在语言研究和教学中的应用，研究涉及翻译、词汇、口语、语法、语义网络以及写作等。智能导师系统在英语教学中的应用主要在口语和写作两方面。口语主要是机器人模拟人类陪学习者聊天，但是智能性还不够。写作方面主要体现在对作文进行智能批改，提供修改建议。
智能导师系统在写作方面的研究进展较快。智能写作评价系统对学生提交的作文通过多个维度进行智能批改，指出学生作文存在的问题。早期的系统如 Project Essay Grade （PEG），通过对一篇文章语言特征的分析来评估作文的水平。[4]后来的E-rater & IntelliMetric 等则增加了对语篇内容和结构的分析，功能有所提升。Intelligent Essay Assessor 则更多关注对文章思想内容的评估。[5]由以上评分引擎衍生的写作自动评价系统（如My Access、Criterion、Writing Roadmap、Write to Learn、冰果英语、体验英语和批改网等）不仅提供作文总分，还包含内容、组织、语体、词汇和语法以及格式规范单项分与个性化反馈。写作自动评价系统已经取得了长足进展，其功能正在逐渐满足英语写作教学与评价的需求。但是个性化反馈能力还是有限。基于此，我国研究者依托云计算和Web 2.0 强大功能，结合中国学习者特点自主研发的句酷批改网实现了页面按句点评的功能，以及修改提示等功能，使得智能化写作教学质量有了进一步的提升。
Criterion 是美国教育测试服务中心（Education Testing Service）的分支机构ETS科技公司所研发的线上英文练习系统（Online English Writing Practice）。采用TOEFL、GRE等考试的类似的整体评分（Holistic Scoring）原则，学生提交作文后20秒内给出整体性奖励分以及分析报告。中国自主研发的批改网和Criterion功能类似，但是在某些方面更具便捷性，而且在某些方面具有独创性。其他软件/平台由于功能相比较而言稍有欠缺，在文中不作赘述。
三、句酷批改网简介及其原理概述
（一）句酷批改网简介
句酷批改网（简称“批改网”）是一款基于语料库和云计算的英语作文自动批改在线服务系统，通过计算学生作文和标准语料库之间的距离即时生成学生作文的得分、评语以及内容分析结果，学生根据批改网的提示自主修改作文，多次提交，直至达到满意程度为止，通过这种方式帮助学生提升写作能力。提示分为宏观提示和微观提示，宏观提示主要给学生给出整体评价，微观提示则是逐句提示。
句酷批改网通过“内容相关、篇章结构、句子、词组搭配、词汇和流畅度”等六个维度对学生的作文进行全面智能评价，并给教师和学生提供 “按句点评”、“按段点评”、“学生互评”、“论坛”等功能，供师生在系统智能评价基础上进行人工评价，确保评价的准确性。“按句点评”内容包括“句子错误”提示、“拼写错误”提示、“疑似中式英语低频警示”、“学习提示”、“批改提示”、“高分短语”、“搭配统计”和“语法检查”等，系统完成按句点评后，学生根据系统的提示完善自己的作文直至满意，然后接受“教师点评”或者“同伴互评”。教师点评对学生的自主写作训练给予了极大的支持，在功能设置（特别是网页界面设计）方面更适合我国学生的学习特点。 学生提交作文后，批改网开始对学生的作文实时进行“按句点评”，并对作文进行评分（含“总分”、“词汇分”、“句子分”、“篇章结构分”和“内容相关分”以及评语），给出“句酷提示”和“体检报告”（如图2所示）。其中“作文评分”和“按句点评”功能对学生完善作文非常重要，批改网通过这两个栏目指出学生作文存在的问题，学生依据提示完善作文并提交，系统再次进行批改，学生再次完善并提交，如此重复直至作文达到最佳状态。
（二）批改原理
批改网将学生作文视为一个学习者语料（Learner Corpus），每篇作文的成绩由 192 个子维度构成，通过对比学生的作文和标准语料库，将测量出来的距离通过映射转化成学生作文的分数、评语和反馈。整个学生作文的批改过程就像一个教师从多个维度对学生的作文进行批改，给出一个整体反馈，并进行“按句点评”，指出每个句子存在的问题，同时该系统基于Web2.0，支持教师通过网络在线批改学生作文，教师在系统提示的基础上进行进一步的批改。
在图3中，“语料库”相当于智能导师系统的“专家模块”、“作文”等同于智能导师系统“学生模型”，“评语”、“句评”和“分数”相当于智能导师系统“教师模型”。192个维度（如图4所示）相当于智能导师系统“诊断规则”。学生提交作文后，系统自动通过192个维度“诊断规则”将学生作文与专家模块目标语“语料库”进行匹配，打出相应的作文分数，给出相应的评语，并将学生的作文进行逐句分析，指出问题所在。
批改网打分引擎是综合自然语言处理技术、语料库分析技术和教育测量技术研发的英语作文自动打分系统，该系统能够自动提取作文中反映英语写作水平的数据指标。
目前批改网有15个不同类别的语料库，其中语段库有33亿个，而且所使用的语料库进行每天更新。[6]然后学生通过“完善作文”的功能，按照“逐句分析”的批改提示对文章进行修改，修改完成后再次向系统提交作文，系统再次进行即时分析，通过“按句点评”给出修改建议，如此反复，指导学生进行写作，直至最好。在整个写作批改过程中，批改网扮演着一个写作教师的角色，是一个比较典型的智能导师系统。
批改网对学生的作文进行批改时参考了篇章结构、词汇、句子等子维度，然后在子维度下又有更低一层的子维度，如类型比ttr、平均词长、平均词长均差、平均句长以及学术词汇所占比例等维度。通过分析学生作文的这些属性并与标准语料库进行对比后得出相应的成绩和批改提示。
（三）智能批改实例分析
1. 系统按句点评
学生作文一旦提交，批改网会即时给出批改结果（图2右侧），以及逐句点评结果（图4），学生通过处理系统提出的诸如“句子错误”、“低频警示”、“批改提示”、“学习提示”等问题完善作文，系统会详细记录下学生根据批改网的提示每次进行修改的痕迹。图2左下角“提交次数17”说明该学生按照系统提示对本篇作文进行了16次的修改。基于此，学生可以在批改网的提示下不断完善作文，最终提高自己的写作水平。
2. 教师在线点评
批改网基于Web2.0平台，支持评论功能，教师点评的内容可以即时出现在网络上供学生查阅。教师只要点击每个句子末尾的“点评”即可对这句话进行点评，可以对学生的作文作出更好的评判。如系统对这句错误句子没有识别出来，这时候老师可以帮助系统指出这个句子的问题，这是批改网非常重要的组成部分。国外开发的系统中Criterion亦实现了教师和学生按句点评，但是在原文中“插入”批注的形式进行点评的，显得不够直观。
3. 学生修改作文的痕迹
由于系统会详细记录学生每次修改作文的痕迹，教师和学生均可以对每次修改的内容进行对比（系统自动提供最近两个版本的作文的对比，要对比更多的版本，需要学生或者老师手工对照），图5是学生对作文的第一次修改痕迹，从图上可以清楚看出学生在写作过程中对内容的处理情况。图中灰色部分为删除内容，黄色为修改增加内容。
4. 成绩轨迹
系统除了提供每次学生根据批改提示进行修改作文的痕迹外，系统同样提供每次修改后学生的成绩痕迹（如图6所示）。从图6上可以形象直观地看出学生的作文进步情况。该同学的成绩由刚开始的72.5分，经过系统智能批改和学生自主修改后，最终成绩提升到了82分。
5. 机器学习功能
批改网通过收集全国教师的反馈（含报错）并及时处理这些反馈意见，使系统的功能得以日趋完善。全国用户把使用过程中发现的问题通过批改网论坛的报错功能及时提供给批改网官方，官方会第一时间处理这些问题，并把处理结果写入系统，完成一轮系统学习，避免再犯类似错误。基于此，批改网的机器学习能力非常强大，遥遥领先于其他类似产品。例如，当教师发现学生作文中使用了“Before you go to bed， you should close the light.”，那么如果有老师指出“close the light”这个用法是错误的，并给出建议“表达关灯需要使用固定搭配 turn off the light”后，批改网会记录和学习老师的本次批改经验，并将该知识点添加至系统知识库中，从而使得千千万万个使用批改网的学生从中受益。接下来，任何使用批改网的学生如果使用了“close the light”、“close the desk light”甚至“the light will be closed”等类似用法，则批改网可以识别这些错误用法，并提供修改建议。
6. 优秀作文共享功能及论坛功能
目前国内外开发的所有智能写作批改系统中只有批改网具有优秀作文共享的功能，而该功能对提升同伴写作水平非常重要。以Writing Roadmap为例，学生“不能及时了解自己与优秀作文之间的差距”。[7]批改网提供的教师个人网站具有“最新作文”、“优秀作文”和“共享文档”等三大功能，学生可以通过访问教师的个人网站直接进入写作平台开始写作，学生也可以通过教师推荐的“优秀作文”查阅每一次教师布置的同一主题作文中最优秀的作文，供学生相互借鉴。学生可以通过“共享文档”下载教师提供的资源。这个功能解决了国外智能写作批改系统（即使是功能最强大的Criterion）也无法共享优秀作文的弊端。 批改网建立了自己的写作论坛（http：//bbs.pigai.org/），供同学们在论坛上交流写作训练心得与体会，教师可以参与其中对学生写作进行宏观指导。该平台收集了国内外所有重要写作考试的信息及相关训练，如雅思，GRE，托福，SAT等国外考试和国内公共英语四级、六级，专业英语四级、八级、PETS以及考研作文等模块。目前有会员831400人（截至2013年1月23日），帖子158030个。
四、效度分析
效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量到的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，则效度越高；反之，则效度越低。
从定性的角度来看，为了测试句酷批改网对学生作文的批改效度，作者将句酷批改网批改结果和美国Writing Roadmap的批改结果（如图7所示）进行了对比。Writing Roadmap批改的总分为4.0分（满分选择5分制标准，中国百分制为80分，下同），结构4.2分（84分）、发展3.3分（66分）、句子结构5.0分（100分）、词汇选择和语法运用3.3分（66分）、写作规范3.3分（66分）。尽管单项分评分标准不同，但是两个系统对学生作文批改的总分却基本相同，句酷批改网的分数为82分，Writing Roadmap 批改的结果是80分（即4.0分），这说明两者在对学生同一篇作文的评定的吻合度非常高。
研究者对学生的作文从内容、篇章结构和句子结构、词汇运用等方面进行批改，得到与网络批改结果基本一致的成绩。不过，教师在批改过程中发现了几处没有被计算机发现的语言错误。如“As is known to us， different people have the different stories”在此句话中出现定冠词the的滥用明显错误，此处由于有了different 修饰限定stories，the是不应该出现的。不在此一一列出。
五、存在问题分析
自本世纪初，随着写作自动评价系统功能的进一步开发，有关系统在课堂教学中的应用研究也逐渐开展起来。研究表明，写作评价系统对于学生语言错误的纠正起到了一定的积极作用，[8]但是教师对于写作评价系统的定位以及如何将评价系统使用到教学中认识不清。[9]国内近年来有学者关注写作评价系统在教学中的应用，[10] [11]但关注重点仍然在于评价系统对学生写作能力的影响。[12]
上述讨论的写作自动评价系统批改作文的过程毕竟是由电脑完成的，而非由具有主观能动性的人完成的，计算机可以模仿教师对作文进行批改，但机器批改毕竟建立在预先设定的程序上，机械性是其最大特点，无法灵活处理一些特殊语言现象。再加上，语言本身的特殊性和灵活性，批改网批改作文的结果可以无限接近人批改的结果，但不可能完全一致。作为智能导师系统，批改网目前仍然存在很多问题。
（一）无法判断内容错误
批改网像其他写作自动评价系统一样，目前还无法判断学生的作文是不是按照要求写的，包括Summary写作，有一个学生写了一篇完全无关的Summary，但是系统并没有识别出来，而是给了86分的高分。批改网目前也无法识别“The moon is cooking in the kitchen for my husband”（月亮正在厨房给我丈夫做饭），由于该句子在语法上是正确的，所以系统直接给了高分而不会进行辩证思维“月亮怎么会在厨房给我丈夫做饭呢？”故批改网目前还无法从语义上判断句子是否正确。
此外，尽管批改网声称能够检测学生是否跑题，但对于跑题的作文，只检测，不扣分。但作者测试发现，无论你写什么题目，只要语言没有问题，都能拿80多的高分。批改网目前通过“内相关和外相关”来检测作文是否“跑题”，内相关就是句子之间是否相关，外相关就是学生作文和教师给的范文相关程度，就是教师在布置作文时，同时提供范文（作文期间，学生不可见），目的一方面是让学生在截止时间后，看到教师提供的范文，可以自动学习，另一方面是帮助系统识别“跑题”。
（二）指出了问题所在，但无法提供正确示例
批改网能够指出学生作文中的“疑似中式英语”（有时候不是很准确），但是目前还无法提供修改方法，学生知道某个句子是中式英语，但是还没有办法得到修改建议。作者进行访谈时发现学生希望批改网能够提供修改建议，也有学生指出“在词汇连接上需要改进，搜索引擎不够智能、不够人性化，不能进行交流”。部分学生则反映批改网“没有根据作文的具体内容进行评价和提出修改意见”。
批改网在全国教师的支持下建成了中国学生写作“常见错误库”，这是英语写作智能导师系统在中国语言环境下的又一创新之处，是任何一家国外软件无法比拟的。系统通过学习这些常见错误，强化自身的功能，逐步给学生提供更加完善的修改建议。
（三）部分严重语法错误识别不了
作者在使用中发现，只要学生作文的句子结构正确，有时候系统是无法正确识别学生用词错误的。这和作者谈到的局限性的第一条有点类似，该缺陷会是致命的，它会引导学生按错误的方式修改自己的文章，这样会对提升学生写作质量具有负面作用，在这种情况下就需要教师的在线点评了。
“Whether should the college life mapping out their future， the student's viewpoint is differently. Some students think that there should be a clear goal and brace ourselves for future， to prepare the challenges in the future. Others don't think too much about the future， because of the uncertainty of the future.” 上面这段话错误百出，第一句的正确句型应该是Whether should sb （a certain person） do sth，sb’s viewpoint differs，但是系统并没有把错误句型识别出来。第二个句子句型结构显然正确，但是用词错误，而批改网并没有识别出来，这使得有些教师不敢用批改网。
（四）在逻辑和篇章结构上功能有待加强
由于批改网评断学生作文好坏的标准主要集中在语言本身，故学生作文的逻辑和篇章结构对成绩的影响还不是很大。作者曾经将一篇《纽约时报》的文章节选3段交由批改网系统评判，第一次提交和原文保持一致（以三段的形式提交），批改网给出的成绩是84.5，第二次提交改为两段，提交后成绩为85分，第三次整合为一段，提交后成绩为84分。尽管系统的192个评判维度涉及了段落数，而且给出了3～5段的范围值，但是在最后给分时体现并不明显。三次不同段落结构方式得出的成绩差距在0.5分左右。不管怎么说，该系统的功能在篇章结构上还是稍有体现，但是在文章的逻辑结构上就没有任何体现了。
六、结 论
毫无疑问，批改网是智能导师系统在高等教育中大规模应用的典型，全国已有近200所大学数万学生在正式使用批改网进行写作训练，还有很多院校的学生正在试用该系统。该系统也已经上线了手机版终端和平板版终端，广大师生已经在该系统中获益匪浅。排除自身具备的弊端，批改网是智能导师系统教学实践的一大进步。
（1） 批改网能够进行智能批改作文，并提出部分建议，学生根据建议完善自己的作文，该环节已经代替了教师的部分教学工作。
（2）批改网支持系统自动批阅和教师人工批阅的完美结合，打破以往机器批阅和人工批阅无法整合的弊端，取两者之长，优势互补，为混合式写作教学搭建了完美平台。
（3）批改网实现了优秀作文共享。通过批改网提供的教师个人网站，实现了优秀作文和精批改作文的共享，使同伴学习变得非常便捷。
此外，批改网可以同时承担部分英译汉教学任务，学生把自己的翻译结果录入批改网，批改网仍然会进行按句点评，翻译内容越长，效果越好。句酷批改网可以帮助学生养成反复修改作文的习惯，在关注学习结果的同时，关注学习过程，强化智能导师系统指导下的形成性评估。
但机器毕竟是机器，由于语言自身的灵活性和发展性，在使用的过程中会出现各种程序无法识别的错误，这就需要教师的亲力亲为，给学生指点迷津。同时这些都预示着智能导师系统在教学中的定位仍然是辅助教与学，系统不能取代教师，教师仍是教学的主导。将智能批改技术融入写作教学，为教学服务，仍然需要教师将课堂讲授和在线写作训练进行有机的结合，避其弊端，发挥两者的优势，不能过分依靠英语写作智能导师系统。
[参考文献]
[1] [2] [3] 何克抗，李文光. 教育技术学[M]. 北京：北京师范大学出版社，2005：245，246，247.
[4] [5] M.D. Shermis & J.C. Burstein （Eds.）. Automated Essay.Scoring and Annotation of Essays with the Intelligent Essay Assessor[M]. NJ： Lawrence Erlbaum， 2003：43～54，87～112.
[6] 批改网论坛.批改网使用常见问题——学生篇.[DB/OL].（2012-3-13）[2013-5-16]. http：//bbs.pigai.org/forum.php？mod=viewthread&tid=1031&reltid=13174&pre_thread_id=0&pre_pos=3&ext=.
[7] [8] Attali， Y.. Exploring the Feedback and Revision Features of Criterion [C]. Paper Presented at the Meeting of the National Council on Measurement in Education （NCME）， San Diego，CA，2004.
[9] Warschauer，M. & Grimes， D.. Automated Writing Assessment in the Classroom [J].Pedagogies：An International Journal， 2008，（3）：22～36.
[10] 王淑雯. 如何利用Writing Roadmap 2.0 进行在线英语写作反馈[J]. 现代教育技术，2011，（3）：76～81.
[11] 周颖. 在线形成性评价工具在英语写作中的应用——困难及对策探究[J].现代教育技术，2011，（9）：88～93.
[12] 蒋学清，蔡静，唐锦兰. 探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学，2011，（6）：36～43.