论文部分内容阅读
复述是自然语言中比较普遍的一个现象,它集中反映了语言的多样性。复述研究的对象主要是短语或者句子的同义现象。复述技术已经被成功的应用到信息检索、自动问答、信息抽取、自动文摘以及机器翻译等多个领域,有效地提高了这些系统的性能。词对齐技术在复述的两个基本任务:复述识别和复述生成中都起着非常重要的作用。面向复述的词对齐相比于传统面向机器翻译的词对齐有以下几方面的特点:首先是语料规模受限。相对于双语平行语料,我们所能获得的单语平行语料非常之少,而传统基于统计学的词对齐方法在语料规模方面又有着较高的要求。其次,由于本文所讨论的对齐是面向复述的单语词对齐,具有双语问题不具备的一些特征,这些特征同时也是无法比拟的优势。比如,单语平行句对通常具有相似的句法结构,而目前,句法分析工具也获得了可接受的应用性能。再如,单语问题有着较为丰富的语言学资源,HowNet、WordNet都能在语言学知识上为我们的对齐提供帮助。综上,如何克服小规模语料的限制,充分利用单语问题的特点,提高自动对齐的表现成为本文研究的重点。本文提出使用特征融合的方法来解决这些问题。我们采用了线性模型来融合特征,这是一种简单而又行之有效的特征融合方法,易于进行各种特征的合并和拓展。我们选取的四大类特征分别是:词典特征、统计特征、位置特征和上下文特征。这些特征从语言学、统计学等多个方面刻画描述对齐特点;我们采用感知器学习算法进行参数训练。此外,为了提高解码效率,本文选择了模拟退火解码算法。实验数据表明,我们选取的各类特征在词对齐问题上都有着不同程度的贡献,参数训练方法可行有效,准确率和召回率方面相对于单纯的基于统计的方法有着明显的提高。应用全部特征时达到了最佳实验效果,准确率和召回率较基准分别提高了3.55%和10.16%;综合指标F值达到81.74%,提高3.83%。