基于语义理解和动态网页的主题爬行研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:koalaz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网行业如火如荼的发展,WWW信息资源得到蓬勃的增长,近年来人们越来越关注搜索引擎的研究工作,传统的基于关键字的搜索策略在目前已经发展得相当成熟,为了适应WWW飞速发展的步伐,主题爬行技术、基于语义理解的搜索策略和从Web数据库基础上发展起来的动态网页数据获取技术受到广大学者的关注,并已经在国内外展开了广泛的研究,取得了一定的研究成果。   本文的目的是通过对主题爬行相关技术、用户查询关键词的语义扩展、动态网页DeepWeb数据获取关键技术这三个方面的具体研究,从搜索精度和搜索深度上考虑,提高传统搜索引擎的查全率和查准率,提出基于语义理解和动态网页的主题爬行模型,该模型面向旅游领域,主要分为三大功能模块:用户查   询关键词的语义扩展模块、动态网页DeepWeb数据获取模块、结果页面排序模块。本文的主要研究工作:   1.主题相关性算法研究,在对通用网络爬虫和主题爬虫的基本原理的研究基础上,重点研究了基于向量空间模型的各种主题相关性算法,并在PageRank算法基础上提出了面向主题的T-PageRank算法。   2.领域本体知识库的构建,本文指出领域本体知识库的构建原理和基本步骤,并初步构建旅游领域本体知识库,为用户查询关键词的语义扩展和动态网页DeepWeb数据获取提供了基础。   3.用户查询关键词的语义扩展,通过对基于关键词的查询接口中用户输入的查询关键词进行本体解析,并在旅游领域本体知识库的基础上进行语义扩展,获得更充分理解用户查询需求的扩展查询关键词。   4.动态网页DeepWeb数据获取关键技术,指出动态网页数据获取的基本流程,并重点研究动态网页DeepWeb数据获取关键技术:DeepWeb查询接口form表单的发现技术、动态网页数据源的选择技术、动态网页DeepWeb查询接口模式抽取技术和查询结果页面信息抽取技术。   5.基于语义理解和动态网页的主题爬行模型,该模型结合主题爬虫、语义理解、动态网页三大技术的优势:通过对用户查询关键词的语义扩展,更好地理解用户的查询需求,提高了系统的查准率;通过动态网页数据获取技术挖掘深藏在Web数据库中的DeepWeb信息,扩宽了传统搜索引擎信息覆盖的范围,提高了系统的查全率;结合目前流行的垂直搜索引擎策略,抓取旅游领域内的web信息,缩小了网络爬虫的爬行领域范围减少了不必要的网络资源浪费,提高了搜索引擎的整体性能。并通过测试来验证本文提出的基于语义理解和动态网页的主题爬行模型的搜索性能优于通用网络爬虫。
其他文献
近年来,随着信息技术的快速发展和我国对海洋资源的日益重视,海洋观测技术的研究显得越来越重要,这无形中对海洋观测的客户端软件设计提出了更高的要求。传统的客户端软件设计方
信息化建设为人们的生产和生活提供了一种高效的途径,尤其体现在它可以通过建立丰富的业务程序帮助人们快速的处理繁琐的统计与分析工作。然而在许多应用领域,系统不得不面向多
随着计算机科学技术的迅猛发展,基于网络的远程教育日益受到重视,各种类型的在线考试系统、学习系统等相继涌出。测评作为计算机辅助教学平台的重要环节,同时对教与学起着重
对煤矿事故的预警是煤矿安全的一项重要的工作,目前对各类煤矿事故的预警基本上都是通过监测某单一因素是否达到临界值进行预警的,而当单一因素没有达到临界值,此时系统一般不预
虚拟现实技术旨在高度模拟现实世界环境,让用户与虚拟环境交互,给人身临其境的感觉,它的两个重要特征是交互性和沉浸感。而手作为人与虚拟现实环境交互时的重要工具,逼真的手
从文本挖掘的角度来看,文本的语义既可归结为单一的综合性语义表达,也可细分为多个主题的组合表达。当前的文本可视分析技术表达文本信息的角度或基于文本的单一综合性的语义
大数据发展时代,数据的量级在不断增加,人们每天都产生并需要处理大量的数据。人类天生对于图表形式的信息具有更好的接收效果,所以对于信息可视化的研究在当今时代之下也是如火
基于多协议标签交换的流量工程MPLS TE(Multi-Protocol LabelSwitch-based Traffic engineering)是当前Internet核心网采用的主流流量工程实施技术,它能够减少拥塞、保证IP网络
自然场景的真实感绘制一直是计算机图形学研究的热点问题,海场景的真实感绘制是其中比较热门的问题之一,而且海场景的绘制在众多领域也有着广泛的应用。传统方法已无法满足海
近年来,卫星通信技术的发展速度突飞猛进,应用范围也越来越广泛。随着卫星通信与互联网多业务结合的不断深入,人们对卫星通信在带传输带宽、多媒体数据、交互式应用等方面提