论文部分内容阅读
随着语义网的发展,基于语义网数据的应用越来越多。由于语义网数据的开发与存储具有分布式的特点,为了促进语义网数据的重用和集成,语义网搜索引擎渐渐成为语义网的研究热点。Falcons正是一个集语义网数据采集、索引、检索功能于一体的语义网数据搜索引擎。本文阐述了它的一个子系统-Falcons语义网数据采集系统的设计与实现。
本文首先对语义网采集的研究现状进行了调查研究,指出了现有工作的不足之处,为了能够采集尽可能多、数据形式多样的语义网数据,本文总结出各种可行的采集方案,并设计出一个多种采集方式结合,并相互协作的采集框架来完成采集的工作,即元采集、站点内采集和RDF采集。其中元采集是利用已有的搜索引擎获得采集结果的采集方式;站点内采集是利用并改进传统网络爬虫进行的采集方式;RDF采集是把语义网看作是一个RDF图模型,通过解析语义网文档,选择RDF链接得到新的语义网文档的采集方式。另外,本文还关注了采集过程中需要考虑的几点问题,如回访策略和网页重定向的问题。
本文的贡献在于,通过多种采集方式结合与协作的方式,能够全面地覆盖万维网中的语义网数据,大大提高数据收集的效率,Falcons系统因而也更具竞争力。Falcons所支持的三种采集方式构成了一个各部分既相对独立,又相互协作、互为补充,并且可持续运行的整体。元采集可以说是整个采集系统的启动采集方式,它可以为站点内采集和RDF采集提供种子URI;而站点内采集与RDF采集又可以互相为对方提供种子URI。在实验结果部分,文章分别给出了利用每种采集方式得到的数据量与采集的精度,并做了一些比较。最后,文章总结了全文的研究工作,提出了两点改进的建议并且对未来的工作进行了展望。