基于维基百科的双语可比语料的句子对齐

被引量 : 0次 | 上传用户:liongliong577
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句子对齐,就是寻找两篇文章中互为翻译的句子对之间关系的一类问题。通过句子对齐得到的平行句对语料库,在机器翻译、复述研究等自然语言领域有着重要的作用。在互联网高速发展的今天,网络包含了大量具有可用类似信息的不同语言的文章,如何利用这些资源,是近年来自然语言处理领域研究的热点。可比语料作为一种新兴的语料,具有易获取、规模大、噪声大、不需要太多人工对齐处理的特点。上述有类似信息的多语言互联网文档,绝大部分属于可比语料范畴。然而可比语料的对齐和处理一直有着相当的难度,如果没有人工干预,文档级别的对齐已经引入了巨大的噪声,句子级别的对齐质量将难以保证。本文提出了一种从维基百科抽取对齐句子的方法。作为一个运营良好、专业性强、规模庞大、用户群体庞大的跨语言平台,维基百科提供了极其丰富的多语言语义信息,其中之一便是天然的多语言文档对齐机制。本文看到了蕴含在维基百科中的自然语言研究价值,从而对其中的中英双语句子对齐进行了尝试。首先,本文获取了维基百科的中文及英文的数据库备份,进行了一定的处理后,重构成本地维基语料数据库,并统计了词汇数据、构建了命名实体词典,并通过维基百科本身的对齐机制获得了双语可比语料文本。然后,本文采用通用方法,使用一个双语词典,过滤和筛选得到了候选对齐句对,在标注的过程中分析了维基百科语料的特点,以此为指导设计了一系列的特征,并确定了“对齐”、“部分对齐”、“不对齐”三分类体系。最后,本文比较了两个分类器,最终以SVM分类器为准对维基百科语料和来自第三方的平行语料进行了句子对齐,实验表明,对于语言较规范的可比语料,分类器对对齐句的分类正确率可以达到82%,对于平行语料,更可以达到92%,充分说明了本文所用方法是可行且有效的。
其他文献
高速加工中心自动换刀装置是高速加工中心的重要功能部件,其主要作用在于减少加工过程中的非切削时间和多次装夹工件引起的误差,以提高生产效率、降低生产成本,进而提高机床乃至
随着微博这一新型社交平台的蓬勃发展,越来越多的用户评论信息出现在网络上,如何获取评论中的有用信息并直观的展示给最终用户成了当前学术界研究的热点之一。多数研究者首先将
椰棕锅刷虽然“不起眼”攻克核心技术用2年莫云峰,海南省定城镇莫村一名普通的村民,2003年,他和女友来到上海打工,艰苦奋斗了一年,生活环境还是没有改善,女友走了。莫云峰深
刘锡鸿,字云生,广东番禺人。在中国近代史上,其人无足称道,但其事却启人深省。作为晚清第一批驻外使节,他曾亲自涉足西方,并因与郭嵩焘的纷争而使朝野俱知,后更以其域外“见
本研究阅读了大量沟通满意度、心理契约理论相关中英文文献,通过文献梳理确认研究内容及4个主要假设。在国内外经典量表的基础上构建有效问卷,运用立意抽样法针对SMG旗下6家媒
以棚架和篱架两种栽培方式的摩尔多瓦葡萄果实为试材,成熟后采收进行酿酒试验,测定水平叶幕和直立叶幕对葡萄酒品质的影响。结果表明,棚架葡萄酒与篱架葡萄酒可滴定酸含量无
小提琴演奏的纯音乐呈现和高难度的演奏技巧,为演奏者的乐思表达带来了巨大的挑战。因为乐思和表达经常会出现分离状况。比如,懂乐思有思想的,如果技巧不足,乐思无法准确地表达;而
慢性便秘虽不是威胁患者生命的危重症疾病,却也因反复发作、治疗效果不佳等因素而不同程度地影响着患者的生活质量。随着人们生活与饮食习惯的改变,伴随精神、心理等社会因素
目的:类风湿关节炎(rheumatoid arthritis, RA)是一种以关节滑膜炎为特征、慢性多发性关节炎为主要临床表现的慢性致残性自身免疫性疾病。该病多发生在20~50岁青壮年,并且存在
随着工业的迅速发展,废水的种类和数量迅猛增加,水体的污染也日趋广泛和严重,威胁人类的健康和安全。木质素磺酸盐作为一种亚硫酸盐制浆过程中的副产物,如不加以合理利用,将