分布式搜索引擎结果聚类方法的设计与实现

被引量 : 0次 | 上传用户:bkguo2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的发展,使得互联网成为获取知识的重要途径,而搜索引擎成为人们从这浩瀚的知识库中快速且有效的定位信息的有力武器。但是,搜索引擎的检索结果纷繁复杂,使得从检索结果中定位用户所需信息也不是一件容易的事。对检索结果的进行聚类是解决这一问题的有效方法。但目前的检索结果聚类技术仍然存在实用性不强的问题,这主要体现在:标签可读性不强,处理时间过长,聚类精度低。本论文基于CNGI-下一代互联网分布式搜索引擎(SE6),在对现有的检索结果聚类技术进行了深入的调查和研究的基础上,对检索结果的聚类算法进行改进和完善。本论文研究主要包括三个方面的内容:1、基于内容的聚类,按照主题把结果进行划分;2、基于时间的聚类,根据检索结果的发布时间实现结果聚类;3、基于站点的聚类,按照检索结果的来源站点实现结果聚类。其中基于内容的聚类是本文研究的重点。本文引入了《同义词词林》,按照自然语言的方式处理文档,对文档中的同义词进行合并,用《同义词词林》的词编码向量代替词向量作为文档的特征向量,有效的降低词空间的维度。在扩展候选短语时,通过记录已扩展的主干词,利用剪枝技术大大提高了算法效率。在评判短语相似度时,采用短语中的实义词对应的《同义词词林》编码比较代替传统的字符串比较,这样既考虑了自然语言的灵活性,也降低了重复短语出现的概率。最后,本论文与现有的LQOM、Lingo和STC算法进行了对比。标签可读性方面,本文的算法比Lingo和STC算法都要好,扩展出来的标签语义更完整,主题代表性更强。在处理速度方面,本文的算法比LQOM要快很多,基本上满足搜索引擎在线处理的要求。同时在基于内容聚类的基础上,加入了基于时间的聚类和基于站点的聚类,进一步完善了已有的聚类算法,提高了结果聚类的实用性。
其他文献
新疆暴恐组织的形成有特殊的历史、地理等原因,其特征有:受到极度民族主义的思想影响,成员呈暴力化、年轻化趋势,受教育程度不高,未形成统一的组织等。对策:依法严厉打击暴恐
随着互联网与金融业的深度结合,我国的互联网金融迎来了了快速发展的契机,在互联网支付、网络借贷、公众筹融资等领域迅速成长并且极大地影响我国的经济活动。但互联网金融在
<正>新华网北京5月30日消息,5月30日中国人民银行使用中韩本币互换协议下4亿韩元(约合240万元人民币)资金支持企业贸易融资,这是中国人民银行首次在双边本币互换协议下动用对
随着全球经济的发展,各国对油类产品的需求激增,海上石油运输量也随之急剧上升,同时由于各类船舶在海上交通运输中通常使用燃油作为动力能量来源,导致大量油类产品因操作性或事故
现阶段我国银行信用卡业务正处于快速推广阶段,在我国国民经济的发展中信用卡页的健康发展有着积极的意义。现阶段,我国信用卡业务处于起步阶段,各种机遇与挑战并存,与发达国
在中澳两方近十年来的铁矿石价格博弈中,中方处于较为被动的地位,铁矿价格总体呈不断上升的趋势。但近期市场疲软,价格有下降趋势,给价格博弈带来新的机会。分析中澳铁矿价格
本文针对我国目前金融监管法律制度的缺陷,借鉴国际有关实践经验,并结合中国国情对完善中国金融监管法律制度的问题作进一步探讨。
宗教活动场所财务监督管理工作是宗教事务管理的重要内容。在新的形势下,随着依法管理宗教事务工作的向前发展,宗教活动场所财务活动存在的问题日益凸显,已经成为影响宗教领域和
本文针对逆向工程技术的优势,对逆向工程涉及到的关键技术点云数据简化算法与三维曲面重构算法作了深入研究。在VS2008开发平台下,基于MFC框架,利用OpenGL开发技术,以本文算法为
伴随着我国建筑企业的不断发展,建筑施工企业之间的竞争越来越激烈,所面临的财务风险也越来越大。一个建筑企业要想在市场中稳定自己的企业地位,就要不断完善自身的企业财务