人工与软件语篇评估间的相关关系研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:jematrix
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
长期以来人工评分在作文质量评价中扮演着最重要的角色。随着大数据和语料库的出现,大量的自动文本分析软件得到开发并不断改进完善,使得利用软件给作文进行自动评分以及对英语写作中多个文本特征的量化研究成为现实。似乎人工和软件语篇评估的结合将会是一种趋势,两者的结合可以使学生作文质量的评价变得更加合理,并在一定程度上体现了传统教学模式和现代网络技术优势的融合。Coh-Metrix作为一个先进的自动文本分析器,拥有大量的测量指标,可以更加全面地考察作文的文本特征。近年来,不少研究使用Coh-Metrix来检验词频,词汇多样性,指称衔接,连接词以及句法复杂性等多个文本特征。然而,使用Coh-Metrix来检验文本特征和写作质量之间的关系的研究还处在初级阶段,值得对这一领域进行更加深入的探索。句酷批改网(以下简称句酷)在英语作文自动评价方面已经获得了较高的认可度。句酷的出现给传统的英语写作教学带来了机会和挑战。写作是英语教学中一项非常重要的语言技能。英语写作质量是评价学习者语言能力的一项重要因素,它可以由写作中的文本特征体现出来。早期的许多研究更多关注的是一个文本特征或一类文本特征的研究,很少有研究同时对多个文本特征以及这些特征与写作质量的关系进行探索和分析。目前还没有发现同时使用句酷和Coh-Metrix这两个文本分析器对英语议论文写作中的文本特征进行相关研究的论文。本研究使用句酷和Coh-Metrix这两个自动文本分析软件,以中国学生英语笔语语料库(文秋芳等,2009)中的550篇议论文为研究对象,就词汇多样性,句法复杂性和语篇正式性这三项文本特征与写作质量之间的关系进行了多维度分析。首先,笔者从语料库中随机选出550篇议论文放进句酷进行自动评分,然后再分别邀请两位富有经验的专业老师依据一定的评分标准(Jacobs et al.,1981)对这550篇议论文进行评分,把两位老师的平均分视为人工评分的最终得分,再结合句酷的评分结果分出人工评分的高分组和句酷评分的高分组(分数大于或等于80且小于90)以及人工评分的低分组和句酷评分的低分组(分数大于或等于70且小于80),为了公平起见,每组均随机选193篇文章。然后笔者使用Coh-Metrix对这四组文章进行自动分析,获得本论文要检验的16项文本语言特征的指标的量化数据。最后,使用统计工具SPSS 19.0统计分析软件通过单因素方差分析、皮尔逊相关系数和线性回归等对所有数据进行统计分析。通过数据分析,得出以下结论:就这三项文本特征而言,人工评分和句酷评分的相同点在于:(1)名词词组前使用的修饰语与写作质量呈现显著正相关,语篇信息量与写作质量显著负相关,词汇具体度与作文成绩体现强正相关关系。(2)所有单词的最小编辑距离和词元的最小编辑距离均与写作质量不相关。(3)指称语篇衔接和深度语篇衔接均与写作成绩无显著相关。不同点体现在:(1)人工评估的词汇多样性与作文分数不相关,而句酷评估的词汇多样性与写作成绩显著正相关。(2)人工评估的句法复杂性中主动词前的单词数,名词词组前面修饰语,词类句法距离,相邻句子句法相似度和段落内所有句子句法相似度与写作质量不相关,而句酷评估的句法复杂性中主动词前的单词数,名词词组前面修饰语,词类句法距离,相邻句子句法相似度和段落内所有句子句法相似度均与写作质量显著相关。(3)人工评估的语篇正式性与写作质量显著负相关,而句酷评估的语篇正式性与写作质量不相关。此外,人工评估的语篇正式性中句法简单性与写作成绩不相关,而句酷评估的语篇正式性中句法简单性与写作质量显著负相关。基于以上提到的结果,本研究建议英语学习者应该意识到哪些文本特征会对作文成绩产生影响,并在练习议论文写作的过程中重视使用名词词组前使用的修饰语以及加强词汇具体度的掌握和应用。另外,在评价英语议论文的质量时,教师应该建立双重评价机制,把教师评价和网上自动评估结合起来才能更客观地评价学生的作文质量。通过本研究,笔者希望为英语议论文写作的教学提供可借鉴之处。
其他文献
语言与文化的融合问题一直是对外汉语教学界的关注点,也是一个富有争议的话题。本文以对外汉语文化教学理论、跨文化交际理论与对外汉语教学设计理论为基础,结合笔者在德国海
随着我国钢铁工业规模的不断扩大和铁矿山生产能力的相对不足,作为钢铁生产主要原料的铁矿石供求关系矛盾日益突出。我国铁矿石供不应求,国内铁矿石开采量不能满足需要,因此进口
电机及其系统节能是当前国际社会共同关注的话题,本文介绍了目前电机系统节能中电机本体节能的产品及标准发展,分析了几种节能电机及驱动方式,及其用于电机系统节能时考虑的
在韩国,汉语作为一门十分重要的第二语言而备受重视。随着中韩关系的日益加深,在两国政府的支持下,汉语教育也从高校推广普及到中学甚至小学。如何通过趣味性汉语教学培养学
留学生在使用汉语时,易被词语中的“相同语素”所迷惑,产生了大量的偏误。本文根据对外汉语词汇教学的特点,结合前人的研究成果,将“易混淆词”和“含相同语素词语”结合起来
以铃铛果为主要原料,研究了铃铛果和红枣复合饮料工艺,利用单因素试验和正交试验,对复合饮料的配方与工艺条件进行优化。结果表明:铃铛果汁和红枣汁1∶1情况下添加量为33%,蔗
领导的社会主义现代化建设事业要取得胜利,不但必须有正确的理论和路线,还必须有一支能够坚决贯彻执行党的理论和路线的高素质干部队伍。党的十五大对我国改革开放和社会主义现
兼语句是现代汉语中一种非常重要的特殊句式,也是汉语语法教学中的难点之一。目前,兼语句的相关本体研究已取得了丰硕的成果,然而针对性的兼语句教学研究却为数不多,且多停留
练习设计的好坏直接反应出一部教材的优劣,直接影响着教学的质量。这近年来,国内针对对外汉语教材练习的研究并不少,但基本集中在考察汉语初中级的教材方面。然而,专门针对高
趋向补语是对外汉语教学中的一个重难点,也是学习汉语的留学生易错的语法点。留学生难以掌握趋向补语的原因有几种,其中一种就是教材中趋向补语编写不够完善的问题。教材是教