基于本体的语义网爬虫的算法研究和应用实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:catknight
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义网是在万维网的基础上进行扩展形成的。语义网对网络中的数据加入语义信息以帮助语义网应用能够在语义层面对数据进行理解并进行处理。近些年,语义网飞速发展,符合语义网标准的语义信息数量迅速增长,对这些信息进行有效的处理和解析可以为用户提供高质量的服务。语义搜索引擎就是这样的一个典型的语义网应用,它充分利用语义信息,将语义信息有效的组织并提供给用户进行语义相关的查询。而语义专题搜索引擎则更加充分的发挥了语义信息的特点,利用语义分析将主题相关的信息进行组织和检索,最终为用户提供准确的搜索结果。   在语义专题搜索引擎框架中,语义专题爬虫是重要的部件之一。它负责搜集与主题相关的语义信息并对其进行初步的处理,例如语义信息的分类、存储以及元数据的抽取等。语义专题爬虫面临的问题是,如何在海量的语义信息中准确高效的获得与主题相关的语义资源。语义专题爬虫需要对语义信息进行内容判断、计算语义信息与主题的相关性、筛选与主题相关的信息并保存到数据存储中。同时,语义专题爬虫的效率也是相关研究的主要内容之一。   因此,针对语义专题爬虫的准确性和效率问题,本文分别提出了相应的方法予以解决。对于语义信息内容的主题相关性判断问题,本文提出了判断语义文档的主题相关度的方法。方法将语义文档和领域本体表示为图形结构并通过计算图形结构之间的相似度来判断文档的主题相关度。在优化语义专题爬虫的效率方面,本文提出了Q学习结合贝叶斯分类器的路径预测算法(以下简称QBLP算法),QBLP算法通过计算页面主题相关度来作为Q学习器的回报函数,并利用回报函数对贝叶斯分类器的先验概率和条件概率进行调整,使先验概率和条件概率逐步趋近于真实值,以此来提高爬虫获取主题相关语义文档的性能。除了对算法进行研究,本文基于上述算法实现了语义专题爬虫FOCSEW系统。   论文在以下方面作了有益的探索和创新性工作。   (1)基于最大概率密度的聚类方法。在语义文档的图形表示方法中,为了对语义文档中的所有代表实体的关键词进行语义消歧并组织成图形结构,本文提出了基于最大概率密度的聚类方法。一个关键词可以包含多重概念,关键词和其在具体文档中概念的对应关系具有一定的概率性。最大概率密度就是一种包含了这样的概率信息的语义距离衡量标准。本文以最大概率密度为基础进行基于密度的聚类形成簇,再将簇中的所有概念连接形成的图形结构作为语义文档的内容表示。   (2)针对语义专题爬虫的路径调整算法进行了分析和阐述。面对大量位置分散的语义文档,对文档内容的分析以及爬行路径的预测和筛选显得非常重要。本文提出了利用WordNet本体作为指导的语义文档图形表示方法,方法可以准确的将语义文档的内容表示为图形结构。在此基础上,本文提出了由Q学习器通过学习为贝叶斯分类器提供先验概率的QBLP爬虫路径调整算法。QBLP方法通过累计语义文档和语义链接特征的知识,调整爬虫爬行路径,提高爬虫的性能。这个目标在实验中得到了验证。   本课题是在语义网搜索引擎研究框架下的重点模块之一。语义专题爬虫主要的目标是搜集与主题相关的语义文档供用户通过语义搜索引擎进行查询。本文对与主题相关的语义资源进行搜索和筛选,对于信息的集成和检索有着积极的意义。实验证明本文阐述的算法以及实现的语义专题爬虫系统FOCSEW可以高效的搜索相关语义资源,为语义搜索引擎系统奠定了数据基础。
其他文献
我国在城市化发展过程中,创伤性疾病的发生率不断增加,其中常见的便是骨折及挫伤等,而其中严重的疾病类型是颅脑外伤.颅脑外伤在发生后病情的变化比较复杂,且患者在治疗过程
本室从土壤中分离得到的PseudomonasmendocinaNK-01能从葡萄糖出发合成聚羟基脂肪酸酯(PHA)和褐藻寡糖并完成了全基因组测序。但该菌不能利用纤维素及其降解物为碳源进行生长
酶的体外定向进行是近年来迅速兴起的蛋白质工程的新策略之一.它革新了自二十世纪八十年代以来以定点诱变为代表的理性设计的蛋白质工程,转而使用非理性设计对分子基础尚不清
小儿隐睾,在临床上也被称之为是隐睾症,这种病症指的是孩子的睾丸未能按照正常的发育程序从腰部腹膜后下降到阴囊.隐睾症的发病率将随着生长发育而逐渐降低,比如说,早产儿的
本研究以抗旱品种KK1543和敏旱品种新陆早26为实验材料,探索出一套适合棉花根部蛋白质双向电泳的体系,再利用质谱技术分析鉴定干旱胁迫下蛋白质的差异表达情况,并对这些差异表达
在小儿时期的呼吸系统防御功能还不是特别的健全,他们对咳嗽的反射并不敏感,因此咳嗽以及咳痰的症状与成年人不太一样.小儿,尤其是小婴儿出现咳嗽时,很有可能会导致孩子在喝
为了探讨有机化合物对神经系统损伤机制,研究人员选用氯丙烯和苯甲基磺酰氟(PMSF)两个有机化合物,用生化和分子物理学方法,分别在离体和在体测定了氯丙烯引起的鸡胚脑细胞内C
人类疱疹病毒(HHV)是近来新发现的一类主要感染人体淋巴细胞且能诱发多种疾病的DNA病毒,为深入探讨HHV感染及对宿主基因组表达的影响.该课题采和聚合酶链反应(PCR)及RT-PCR技
一个人的学业成就大小,其智力因素固然起着主要作用,但其它的心理品质也不容忽视,尤其在智力相当的情况下,非智力因素将一跃成为主要的因素。因此,在强调开发学生智力的同时,应注重
很多人对股骨头的这个病症并不是很了解,股骨头用白话来说也就是我们常说的“胯骨轴”.我们身体中最重要的骨骼就是股骨,而我们今天所说的股骨头则是最为重要的一部分.在我们