动态多文档文摘建模方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:yuanzhiwu1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的普及和迅猛发展在给人们带来大量信息的同时,也使人们必须要面对如何获取有价值信息的问题。面对成千上万的同一主题网页,它们多数具有相同的信息,而又包含着少量不同的信息,因此迫切需要一个帮助人们快速浏览信息的工具,该工具提供的是经过加工整理后的重要、全面的信息。随着时间的推移,同一主题信息不断演化,如何在动态的网络数据流中有效地获取、组织信息已成为信息处理领域的一大挑战。多文档文摘的研究为用户提供了方便,提高了用户获取信息的速度和效率,为互联网的应用开辟了新的方向。本文以动态信息处理为目标,着重研究动态多文档文摘建模方法。  传统的静态文摘方法把文档集看成一个静态的文本集合,因此面对当今网络信息呈现出的较强的动态演化性和新颖性而言效果不理想,不能满足人们对网络动态信息获取效率的要求,因此动态文摘成为了文摘技术新的研究热点。动态多文档文摘有着广阔的应用前景,可用于新闻搜索引擎、商业竞争情报分析、趋势预测等领域,通过不断满足人们对摘要式动态信息的需求,创造更大的科学研究价值和社会价值。  本文面向网络信息动态数据流研究了动态多文档文摘的不同建模方法。主要从分析历史信息与当前信息关系的角度提出了三种动态多文档文摘方法,同时采用了演化分析、过滤、句子加权、排序等自然语言处理技术,深入研究了中英文领域的动态多文档文摘系统,整体上使动态文摘的效果获得了较大提升。除了保证文摘信息的主题相关性和内容的低冗余性之外,本文还针对内容的动态演化性中已出现信息和新出现信息的关系,给出问题的形式化描述,保证多文档文摘内容的动态演化性、低冗余性、新颖性、流畅性。本文主要研究内容如下:  1.研究了基于子空间投影策略的动态演化建模方法。针对子空间矩阵模型的概念及形式化描述,本文首先分析了子空间投影技术应用于动态多文档文摘的可行性;其次,利用信号处理领域的噪声处理方法,对历史文档和当前文档进行演化性分析,用以表现文摘的动态性;最后,提出了改进的文摘句子加权方法和句子选择方法,实现了动态多文档文摘。实验结果表明,在TAC2008文摘国际评测中,本文提出的方法获得了较好的结果。  2.研究了动态多文档候选集的多层过滤方法。针对动态集合特性,通过不同信息粒度的相似度和质心计算,显示了信息多层过滤的必要性和可行性。在基于候选文摘句过滤的动态文摘模型基础上,首先利用文本相似度累加方法进行信息过滤,然后利用质心整体选优方法进行信息过滤,实现了动态多文档候选集过滤的多层模式。在动态多文档文摘的信息显著度、信息新颖度和信息冗余度三项主要评价指标上,均获得了评测中较好的成绩。  3.研究了动态流形排序句子加权算法。本文运用流形排序思想,通过对句子历史信息特征的惩罚和时间特征的奖励,表现出文档集所含信息的动态演化性;通过对动态内容演化关系的差异性分析,结合文摘句的信息新颖度和信息显著度特性,对候选句子集合中所有句子排序,根据排序值选取句子生成文摘。应用此算法建立了完整的基于动态数据流的句子加权模型,为动态多文档文摘句子加权提供了新的思想。  4.研究了动态多文档文摘系统的实现及其应用。利用本文提出的矩阵子空间方法进行动态演化建模,利用相似度和质心整体优选计算方法进行信息过滤,并利用动态流形排序方法进行句子加权,生成完整的动态多文档文摘,此系统在TAC2008评测中排名第一。本文同时对话题识别与跟踪技术与中文文摘技术的结合进行了探索,分析了中文语言特色,提出相应的评测系统和性能评价指标。  本文面向动态多文档文摘领域的若干关键问题,采用自然语言处理相应方法进行了深入研究,提出的模型和方法取得了较好的成果,以上研究为动态文摘在文本分析、信息检索等领域的应用提供了重要的支持。
其他文献
BP(Back Propagation)神经网络现已广泛应用在预测、识别、自动控制、诊断、分类、非线性逼近等领域,是目前人工神经网络算法中应用最广泛的训练算法之一,但是该算法在也存在
目前,计算机和网络发展越来越迅速,随之而来的网络安全问题也越来越突出。现代网络安全应用通常采用深层数据包检测来识别恶意流量,如基于网络的入侵检测系统(NIDS)和防火墙
位置服务与人们生活息息相关,借助无线电通讯网络或者各国的卫星定位系统,人们在室外广阔空间的定位与导航服务已经相当成熟。然而对于卫星信号无法抵达的定位盲区如地下室、
随着计算机网络技术的高速发展以及无纸化办公的普及,票据图像的压缩技术和防伪日益受到重视。海量票据图像存储急需更有效的压缩算法;传统票据图像的防伪主要是基于QR(Quick R
分布式互斥系统的效率极大程度上取决于生成请求集的效率,目前的请求集生成算法已经将请求集长度降到最低,但是时间复杂度过高;如果想要获得快捷的生成效果,又需增加请求集长
身份管理系统建立的目的是为用户提供不容易被复制、盗取和改变的唯一的识别信息。本文运用定影模块技术,构建了一个多特征的认证系统,它可以满足上述目的,为用户提供安全和
近十几年来,相较于传统身份认证方法,生物身份认证技术得到了研究人员的广泛关注和深入研究,其中说话人识别(speaker recognition)技术是一个新的研究方向。说话人识别即为通
无线传感器网络作为信息科学领域中一个全新的发展方向,得到了广泛的关注和迅猛的发展。无线传感器网络是由大量随机布置在监测区域的传感器节点自组织成的智能化网络。无线传
随着嵌入式系统的应用越来越广泛,嵌入式系统得到了快速的发展,人们对嵌入式系统性能的要求也越来越高。然而,传统的嵌入式实时系统已经越来越不能满足更高层次的需求。研究并设
随机共振自上世纪八十年代被提出以来,就逐步开始用于微弱信号的检测,这种非线性系统能够使原始信号和噪声在系统中产生协同作用,最终达到减弱噪声和提取出有用信号的目的。论文