信息检索中迁移Markov网络模型的研究

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:sunjiajun75
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Web信息的快速增长,给信息检索系统带来了巨大挑战。传统的检索模型需要在一个相对固定的数据集上通过训练得到,不具备开放的学习功能,而Web上的信息[0]是实时更新的,检索模型由于无法对新的数据进行学习,检索性能必将随着Web信息的更新而逐渐下降,现有的解决办法之一是将新数据加入到原有的数据集中对模型重新进行训练,由于模型对原有数据集学习所获得的知识并没有被保留,这势必浪费大量的时间进行重复学习;另一种方法则是在新数据集上对模型进行训练,若新的数据集数据量不够则会影响模型的学习效果。因而,如何使得检索模型能较好学习新的数据并实现在目标数据集上的准确检索[2,4,,8,11],成为了信息检索模型研究的热点之一。本文中我们将检索模型在发生变化的数据上的训练可以看作是一个学习迁移的过程[2,14],检索模型在原有数据集上的训练势必对其在新数据上的学习有所影响,即在原有数据集上建立模型中所获得的知识对该模型在新数据上的训练有所帮助,从而减少由于数据发生改变而导致模型需要重新进行学习所耗费的时间。因此,为解决上述问题,我们结合迁移学习理论[1]和Markov网络理论[9],提出了一种新的方法,思想是迁移Markov网络用于实现检索模型的学习,通过获取先验知识,实现在目标数据集上高效检索目的。具体的思路是:首先建立一个数据集上的初始检索模型,其次,衡量用于建模的先验数据集和目标数据集中数据分布的差异性,在本文中我们使用Kullback–Leibler divergence[3,7](KL偏离度)的测量公式来度量这一分布的不同。且所得的KL偏离值也可用于确定检索公式中的平衡参数(也就是确定迁移先验数据中知识的“量”),然后,通过迁移旧数据集上的先验知识到目标数据集上,我们对基于Markov网络的检索模型进行修正,并在目标数据集上进行检索。这样就可以将以将以往被摒弃的先验数据通过有效的迁移学习利用到目标数据集的学习中,使检索模型能够快速学习并实现目标文档的高效检索。多组实验结果验证了我们的新方法在性能上要优于BM25算法[6,21,26],T-检验[16,20]的结果也显示模型的性能提高水平是显著的。本文的工作和创新点在于:1.首次将迁移学习理论用于信息检索领域,将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型[5,6,63,68]中,从构造的Markov网络中成功地学习先验数据。2.本文通过迁移先验数据集的知识,并利用部分新数据集,来修正所提出的检索模型,并最终实现基于Markov网络的检索模型能在新的数据集上的高效检索。这样可以大大减少重新建立一个适用于新数据集的检索模型所耗费的时间。3.通过实验验证并分析了进行迁移学习后的基于Markov网络的信息检索模型的性能,并将常用的BM25算法与经过迁移学习的Markov网络信息检索模型的性能进行比较。实验表明本文提出迁移基于Markov网络模型的方法表现比较优异,在很大程度上提高了检索效率。
其他文献
在移动终端电池能量有限的无线Ad Hoc网络中,设计一个能量有效的延长网路生存时间的节能路由协议已经成为当前研究的重点和热点。目前提出的节能协议大都基于理想的无线信道
基于文字计算的群组决策是模糊决策研究中的一个重要方面,是现代决策科学的一个重要研究领域,其理论和方法在方案实施、城市规划、经济管理、金融投资、工程评价和军事决策等
随着网络的发展,网络上的信息量不断增加,为了让人们能够方便地从海量信息中获得所需信息,搜索引擎技术应运而生并不断发展壮大。人们开始探寻各种各样的排序算法,意图把与用户查
学位
对人类感觉信息的理解和描述是当前人工智能研究中的热点和难点,人类从外界获得的信息中,80%是通过视觉得到的。尽管在计算机视觉领域,目标检测已经研究了几十年,但仍是一个
Internet的发展为电子商贸的快速成长提供了良好的平台。引入多Agent技术可以有效地提高电子商贸的智能化程度。然而,由于多Agent系统的动态性和开放性,系统中某些Agent受利益
随着网络开放化应用和面向服务计算技术的兴起,软件系统的形态、生产方式、运行和使用方式都发生了巨大的变化。未来的软件系统将会运行在由一组软件服务协同工作的环境中。W
随着网络规模的扩大,网络流量特征的相关研究已经成为网络性能分析最主要的方向之一。通过对网络流量特征的研究,可以为预测网络性能、QoS服务和SLA服务等应用提供必要的支持
关联规则是数据挖掘的一个重要研究方向,用于寻找数据库中不同项或属性间的相关性。而在关联规则中最常使用的方法为Apriori算法,但其存在一些缺点,例如,产生大量的候选项集,
以用户主导的Web2.0技术已逐渐替代传统互联网模式成为目前音乐服务的主流技术。然而由于其允许用户自由上传和分享音乐相关数据容易导致出现信息过载的问题,海量的数据给音