论文部分内容阅读
互联网的普及和迅猛发展在给人们带来大量信息的同时,也使人们必须要面对如何获取有价值信息的问题。面对成千上万的同一主题网页,它们多数具有相同的信息,而又包含着少量不同的信息,因此迫切需要一个帮助人们快速浏览信息的工具,该工具提供的是经过加工整理后的重要、全面的信息。随着时间的推移,同一主题信息不断演化,如何在动态的网络数据流中有效地获取、组织信息已成为信息处理领域的一大挑战。多文档文摘的研究为用户提供了方便,提高了用户获取信息的速度和效率,为互联网的应用开辟了新的方向。本文以动态信息处理为目标,着重研究动态多文档文摘建模方法。 传统的静态文摘方法把文档集看成一个静态的文本集合,因此面对当今网络信息呈现出的较强的动态演化性和新颖性而言效果不理想,不能满足人们对网络动态信息获取效率的要求,因此动态文摘成为了文摘技术新的研究热点。动态多文档文摘有着广阔的应用前景,可用于新闻搜索引擎、商业竞争情报分析、趋势预测等领域,通过不断满足人们对摘要式动态信息的需求,创造更大的科学研究价值和社会价值。 本文面向网络信息动态数据流研究了动态多文档文摘的不同建模方法。主要从分析历史信息与当前信息关系的角度提出了三种动态多文档文摘方法,同时采用了演化分析、过滤、句子加权、排序等自然语言处理技术,深入研究了中英文领域的动态多文档文摘系统,整体上使动态文摘的效果获得了较大提升。除了保证文摘信息的主题相关性和内容的低冗余性之外,本文还针对内容的动态演化性中已出现信息和新出现信息的关系,给出问题的形式化描述,保证多文档文摘内容的动态演化性、低冗余性、新颖性、流畅性。本文主要研究内容如下: 1.研究了基于子空间投影策略的动态演化建模方法。针对子空间矩阵模型的概念及形式化描述,本文首先分析了子空间投影技术应用于动态多文档文摘的可行性;其次,利用信号处理领域的噪声处理方法,对历史文档和当前文档进行演化性分析,用以表现文摘的动态性;最后,提出了改进的文摘句子加权方法和句子选择方法,实现了动态多文档文摘。实验结果表明,在TAC2008文摘国际评测中,本文提出的方法获得了较好的结果。 2.研究了动态多文档候选集的多层过滤方法。针对动态集合特性,通过不同信息粒度的相似度和质心计算,显示了信息多层过滤的必要性和可行性。在基于候选文摘句过滤的动态文摘模型基础上,首先利用文本相似度累加方法进行信息过滤,然后利用质心整体选优方法进行信息过滤,实现了动态多文档候选集过滤的多层模式。在动态多文档文摘的信息显著度、信息新颖度和信息冗余度三项主要评价指标上,均获得了评测中较好的成绩。 3.研究了动态流形排序句子加权算法。本文运用流形排序思想,通过对句子历史信息特征的惩罚和时间特征的奖励,表现出文档集所含信息的动态演化性;通过对动态内容演化关系的差异性分析,结合文摘句的信息新颖度和信息显著度特性,对候选句子集合中所有句子排序,根据排序值选取句子生成文摘。应用此算法建立了完整的基于动态数据流的句子加权模型,为动态多文档文摘句子加权提供了新的思想。 4.研究了动态多文档文摘系统的实现及其应用。利用本文提出的矩阵子空间方法进行动态演化建模,利用相似度和质心整体优选计算方法进行信息过滤,并利用动态流形排序方法进行句子加权,生成完整的动态多文档文摘,此系统在TAC2008评测中排名第一。本文同时对话题识别与跟踪技术与中文文摘技术的结合进行了探索,分析了中文语言特色,提出相应的评测系统和性能评价指标。 本文面向动态多文档文摘领域的若干关键问题,采用自然语言处理相应方法进行了深入研究,提出的模型和方法取得了较好的成果,以上研究为动态文摘在文本分析、信息检索等领域的应用提供了重要的支持。