论文部分内容阅读
随着Web上信息爆炸性增长,各项基于Web的服务也逐渐繁荣起来。作为这些信息服务的基础和重要组成部分,Web信息采集正应用于搜索引擎、站点结构分析、页面有效性分析、Web图进化、用户兴趣挖掘以及个性化信息获取等多种应用和研究中。本文主要分析和介绍一种通过建立网页资源库、结合Spider技术、内容分析技术,引入用户数据项和替换抽取指令编辑器等,提供和定制可视化、通用性较强的Web信息采集系统的设计实现思路,该系统能自动跟踪相关网站或网页,对其文本模型信息进行比较分析、抽取和规整入库等。