论文部分内容阅读
机器翻译是目前人工智能中最活跃的研究领域之一。近年来基于语料库的机器翻译方法越来越成为研究的热点。作为基于语料库机器翻译分支之一的基于实例的机器翻译(EBMT)因较经济、建立快等特点,赢得了研究者的兴趣,对其研究具有重要的理论意义和使用价值。维吾尔语信息处理研究起步较晚,虽然目前很多研究人员在维吾尔语信息处理做了不少工作,但其基础性研究的成果和可利用工具等还是非常有限。维吾尔语作为典型的粘着性语言,其词法及句法方面与汉语有明显的不同。维吾尔语丰富而复杂的形态为维吾尔语的信息处理研究带来挑战和机会。本文以服务于基于实例的维汉机器翻译方法为宗旨,从维吾尔语的词法开始,对影响维吾尔语--汉语机器翻译的从以下几个方面进行了研究。具体的讲,本文从如下几个方面进行了研究:1.研究了维吾尔语音变现象的自动还原方法。提出了基于词内对齐方法的音变现象自动还原模型。此方法绕开以往采用的通过建立规则进行还原的方法,将音变字母还原的问题转变为序列标注问题,并用统计方法进行还原。该方法不仅易于实现,而且对于还原较复杂音变现象方面比规则方法有优势。2.研究了维吾尔语词法分析器,提出了维吾尔语词法的有向图模型。此模型将一个词看成是词干及各词尾之间的有向树,词干和词干之间的关系也描述为有向树;把词干和词尾的相应标注之间的关系也看成是对应的有向树;再把词的有向树和标注的有向树通过词和标注之间的约束关系结合起来构造一个有向图,给节点之间的边赋权值来表示每个节点之间的约束力。实验数据表明,此模型具有很好的词法分析能力。3.研究了维吾尔语-汉词(以下简称维汉)对齐方法。根据维吾尔语词尾数量多又能表示某种语法意义的特性,提出了对维吾尔语词进行词干、词尾分离方法;同时,针对词尾变体形式各异但又表达相同意思的特点,提出了采用统一的泛化形式的策略,来克服数据稀疏问题。分析维吾尔语词尾虽然也携带信息,但并不一定在汉语中明文翻译的特点,提出对词尾采用“分离—丢弃”方案,对在汉语中有直译的词尾采用“分离”方案;对于虽然在维吾尔语中表示某种意思,但在汉语中表示不出来或不经常翻译的词尾采用“丢弃”方案。该方法因同时考虑了词尾的信息以及句子的长度问题,对维汉词对齐的提高起到了积极的作用。4.提出了改进的互信息方法,并用统计与规则结合的策略提高了维吾尔语多词表达的正确率和召回率。首先,对维吾尔语中多词表的形式及结构做了分类,然后从目前常用对数似然比、互信息及卡方等统计方法抽取维吾尔语多词表达并分析结果。提出结合对数似然比和互信息相结合的方法。同时,提出与规则结合的改进的互信息方法,通过设置的多词表达模板来过滤非多词表达。实验证明,通过本文提出的方法,正确率和召回率都有了一定的提高。5.开发了基于实例的维汉机器翻译系统。为了提高相似实例查找的速度以及降低形态对检索的影响,对维吾尔语词采用了倒排索引的存储结构。同时,从不同角度、不同层面考虑,分别采用了词形相似度、词序相似度、句长相似度以及相似片段夹角等相似度计算方法获得了相似句子候选,并采用“相似片段译文在相似实例译文中的位置来估计目标句中的位置”的原则生成了目标句子。同时,将基于有向图的词法分析器、词尾泛化、“分离—丢弃”方案以及多词表达抽取方法应用到系统中,提高了词对齐信息质量。系统翻译质量比以前有提高的趋势,说明我们的词法分析、词对齐以及多词表达等方面的研究对机器翻译质量的提高确实有贡献。