基于平行语料和翻译概率的多语种词对齐方法

来源 :中文信息学报 | 被引量 : 0次 | 上传用户:raincy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了实现多语种词对齐,该文提出一种以点互信息为基础的翻译概率作为改进的多语种单词关联强度度量方法。首先,论证了在服从Zipf定律的普通频级词区域,单词间关联强度的点互信息度量法可简化为翻译概率;其次,对汉语、英语、朝鲜语平行语料进行句子对齐、分词和去停用词等预处理后计算平行语料单词之间的翻译概率,取翻译概率最高的前k个词作为候选翻译词,并通过优化处理提高了词对齐准确率。实验结果表明,该方法可以不完全依赖语料规模,在小规模语料中取得94%以上的准确率,为跨语言小众文献及低资源语言词对齐提供了技术基础。
其他文献
为解决北京水务数据资源面临多源异构数据难以分析及数据集成困难等难题,在分析北京水务数据资源的基础上,采用大数据和云计算等相关技术进行北京水务数据资源的有效融合。针
繁荣我国人文社会科学,注意吸收人文社会科学的成果。
行星在太阳的作用下沿椭圆轨道运动,且行星对太阳的角动量保持不变。因此,行星总在一个平面内运动,它的轨道是一个平面椭圆轨道。行星运动周期T的平方与其椭圆轨道半长轴a的立方
目前,会计学课程已成为各高校经济管理类非会计专业的专业基础课程,并且受到越来越多的重视。但在非会计专业会计学课程教学过程中还存在着一系列问题,如教学目标不明确,教学
引言:家电控制系统中经常应用一种单片机SST86542R,也是作为家电的控制核心系统。这种单片机主要区别于其它市面上的同类产品,主要优势是减少了硬件资源的使用,而在成本以及
目的研究二氧化锆烤瓷牙和钴铬合金烤瓷牙对牙齿的修复效果,并探讨其作用和价值。方法选取我院在2017年8月至2019年2月收治的40例牙齿修复患者,通过双色球随机分组法将其分为
随着我国综合国力的提高,大众对生活空间质量的要求步入了一个以满足物质生活水平为基础、追求相对高层次精神意识空间的阶段。从广义的角度看,室内环境设计既可以说是建筑学
商业贿赂行为作为不正当竞争的一种手段,极大地破坏了公平竞争的市场秩序,严重阻碍我国营商环境的优化。根据透明国际组织发布的“全球清廉指数排行榜”,我国的腐败情况令人堪忧,说明我国在商业贿赂的治理上仍然任重道远。在全国各地纷纷采取措施优化营商环境的大背景下,对我国当前商业贿赂的法律规制进行探讨是十分必要的。本文主要由四个部分构成,通过运用多种研究方法,较为全面客观地分析了我国商业贿赂法律规制存在的问题
跨境电商的发展速度不仅是区域经济贸易发展水平的重要评价指标,更是该国或地区未来经济发展的重要推动力。天津借助区位优势、产业优势和制度优势走上了跨境电商的快速发展
由古至今,无论中外,政府治理是人类生活的重要组成部分.而民族地区的政府治理,因其独特,尤为引人瞩目.虽然历史上中外民族地区政府治理与现今的政府治理理念不甚相符,但民族