分布式搜索引擎研究与实现

被引量 : 0次 | 上传用户:www0908
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的进步,互联网(Internet)得到了快速的发展,成为人们学习、生活的一部分。互联网含有大量的信息,是人们获取信息的重要来源之一。如何快速从互联网中获取到所需信息是研究热点之一,搜索引擎技术就是在这背景下产生的。本文在分析搜索引擎现状基础上,利用面向对象技术设计实现了一个全文搜索引擎系统。该搜索引擎系统具有支持多线程、多语言、自适应、分布式等特点。文中首先分析了搜索引擎的研究现状,阐述了搜索引擎的工作流程和体系结构,分析总结了目前搜索引擎主流排序算法。利用PageRank算法中网页属性对排序造成影响的思想分析了影响排序的核心网页属性,并对这些网页属性进行了定性分析和定量计算,提出了网页质量等级评价算法。利用词频位置加权排序原理实现了文本相似度评价算法。在网页质量等级评价算法和文本相似度评价算法基础上实现了关键字综合排序算法和信息检索排序算法。然后利用面向对象技术实现了搜索引擎信息采集系统、信息分析系统、信息检索系统。利用工厂生产管理模型和四级缓存结构,以及多线程技术和聚类分析算法实现了网页信息的快速采集、抽取、存储。利用基于词库文本分割算法和基于特别字符分割算法,实现了对文本的关键词提取,并建立了关键字的倒排索引。利用分表分库机制实现了搜索引擎大数据存储,采用MVC架构和检索排序算法实现了信息检索。最后对搜索引擎进行了相关测试,证实达到了预期的目的。
其他文献
新课程标准的实施要求教师转变传统的教学观念。在教学目标上要从简单的知识目标转变成为三维目标,即知识与技能、过程与方法、情感态度与价值观,注重提高全体学生的科学素养;在
在目的语环境下进行第二语言习得是极具有优势的,但大多数留学生在中国不能充分的利用目的语环境进行汉语学习。除了必要的课堂教学外,课外活动不失为引导留学生利用目的语环境
旅游业作为推动地区经济发展的重要因素已成为全国开放型经济体系中十分重要的内容。旅游产业需要高素质的专业人才来保证其得到的长足发展。作为旅游产业发展的智力保障,旅游
自中国进入改革开放以来,社会发展速度逐步加快,生活在我国偏远地区的少数民族人口开始大量向城镇转移。这种少数民族人口大规模的流动影响着民族间的分布、交往格局、发展进程
随着装备维修保障模式的逐步转变和故障预测使能技术的不断成熟,装备健康管理(Equipment Health Management,EHM)必然成为未来装备设计、生成和使用的重要组成部分。EHM能力一方
延边风味小咸菜在延边饮食文化中饰演者非常重要的角色,其酸甜可口,深受消费者喜爱。但随着各地腌制蔬菜的兴起,加之延边小咸菜研究深度和宣传力度不够,延边小咸菜在市场地位逐渐
多阶段的风险投资一般都是在不确定环境下进行的,蕴藏着失败的风险.这种风险性决定了投资评价方法的重要性.传统的净现值评价方法忽略了初始投资带来的增长机会以及投资者灵活把
目前,在经济持续发展的城市中,各地商业步行街建设呈上升趋势。其中,城市商业步行街区环境设计是商业街的重要组成部分,商业街环境的舒适度,文化性等,都是人们关注的问题,在商业步行
随着公路、铁路和地铁等交通基础建设的发展,隧道规模不断发展壮大,而受到隧道地质、设计和施工技术等条件的限制,在隧道施工中、建成后以及运营阶段都存在各种影响隧道安全的隐
目的:1、对比分析多排CT多期增强扫描、常规MRI及常规+功能MRI成像对胰腺实性肿块的诊断效能。2、探讨3.0T磁共振功能成像定量分析对胰腺癌的诊断价值。3、研究胰腺癌ADC值、K