现今,伴随着云存储、虚拟化办公等多种互联网技术的发展,人们获取信息的途径和方式,已从传统的社交媒体时代进入网络信息时代,谷歌、百度等通用搜索引擎正广泛被人们用于从互联网上检索信息,获取资讯。通用搜索引擎主要依赖传统的网络爬虫技术,“大而全”地采集互联网上的信息数据,忽略了“准而精”地满足用户在专业检索领域、索引海量级数据、信息更新速度、个性化服务等方面的需求。为此,针对某一特定使用者,涉猎某一特定领域,满足某一特定需求的主题网络爬虫和垂直搜索服务应运而生,正逐渐成为信息搜索领域至关重要的一部分。本文针对目前使用频率较高且迅速增长的文档检索垂直服务领域,主要研究如何基于垂直搜索技术,对互联网上的各类文档,进行定向化搜集和个性化应用,实现基于垂直搜索技术的互联网公开文档搜集系统。一是运用垂直搜索技术和信息抽取技术,搜集和存储指定专业网站上用户关注的网页信息和文档数据;二是结合采集型元搜索技术,利用已有的通用搜索引擎,搜集和存储互联网上存在的多种类型公开电子文档;三是运用增量索引技术,实现对搜集文档数据的二次搜索和结果展示。本文的创新点在于:一是笔者分析研究了网页URL链接的智能识别处理算法和基于DOM树的文本密度正文提取算法,优化了文档数据采集方案;二是笔者通过Lucene全文检索引擎,研发出独具特色的自建索引模块,并结合成熟的百度硬盘搜索技术,实现对word、excel、pdf、ppt等多种互联网公开文档的索引、关键词搜索和文档提取。