目前随着Internet信息的爆炸增长,Web服务器上数据信息已经被大量可搜索的在线数据库极大的“深化”,传统搜索引擎已经不能有效检索到隐藏在Web服务器后台在线数据库中的Deep Web信息。如何快速有效获取Deep Web信息正成为搜索引擎研究的热点和和发展趋势。本文重点对网络蜘蛛(Spider or crawler)的研究和改进,以及Deep Web信息提取涉及到的相关技术和算法问题,设计和实现了一个Deep Web网络蜘蛛。论文的主要工作包括以下几个方面:1.分析了传统搜索引擎的设计思想、工作原理和体系结构,从而发现传统搜索引擎在技术上存在的缺陷、不足之处和可改进的地方。2.分析了Deep Web信息集成系统的工作原理和体系结构,并简要说明Deep Web信息集成系统工作流程,系统组成模块中各个模块的功能。3.在以上相关理论和研究结果的基础上,提出了本文中设计Deep Web网络蜘蛛的思想、体系结构和工作流程。4.针对网页采集问题,提出有选择的采集网页类型策略和控制重复网页采集策略,有效地过滤了噪音信息和重复网页抓取问题。5.针对从静态网页中提取Deep Web数据库查询接口问题,提出通过分析网页构建网页标记树模型,通过遍历网页标记树来寻找查询接口。提出用对象模型表示(DWI)查询接口和存储表单数据,为后续查询接口合并与分类提供有效的数据表示模型和良好的存储结构,并给出具体实现算法。6.针对Deep Web查询接口合并与分类问题,提出通过聚类方法实现对其合并与分类,并设计和实现了Lmax算法,使得查询接口分类与合并的准确性有很大的提高。7.总结了Deep Web网络蜘蛛研究与开发经验,并指出了不足之处以及下一步研究的重点。