主题爬行是互联网中获取特定领域信息的重要技术,随着网络技术的不断发展,从中获取准确、实用、质量较高的网页信息已经成为一个常见的难题,通用搜索引擎在爬行广度和爬行精度方面有着严重的局限性,对于不同领域和不同背景的查询条件,检索结果的全面性和质量并不高,因此,不能满足当前的用户需求。面向网络地理信息的主题搜索引擎作为专业的主题检索技术,有着领域强、精度高和速度快等特点,成为当前搜索引擎技术的前沿热点。主题爬行是搭建垂直搜索引擎平台的核心技术,其主要通过信息爬取、中文分词、主题相关度模型和构建索引来完成网页信息的抽取、相关性判定等工作,同时,网络地理信息数据的规模在不断扩大,引入基于Hadoop框架的分布式存储和检索方法,以满足海量地理数据高效的组织与管理,为面向地理信息主题搜索引擎的存储与检索提供了新的思路和方法,具体而言,本文的主要研究内容分为以下四个方面:　　(1)研究了主题爬行技术原理和传统的主题相关度模型的构建方法。针对地理数据特殊的结构特点,提出了一种基于分块的地理信息主题相关度模型(SVSM),设计了一种主题相关度模型的改进算法,利用空间向量之间的夹角余弦值来衡量分块文档间的相似度,并综合分析网页文本相关度和地理相关性,从而获取到高质量的地理网页文档。　　(2)研究了简化地理实体构成的方法。通过阐述地理实体的定义及特征现象,采用面向对象的方法将地物抽象为地理实体,并将地理实体分解为最小逻辑单元-元对象,封装地物的主题特征、空间位置特征和时间维特征等属性信息。　　(3)研究了地理实体数据在分布式框架下的组织与存储方法。利用HDFS分布式文件系统和HBase大数据存储机制,在处理大规模地理数据集时,利用MapReduce并行机制,合理分配Master JobTracker控制节点和Slave TaskTracker节点集的工作任务,采用分布式集群的优势提供给用户高效的检索服务。　　(4)研究了面向城市交通信息检索技术的应用方法。根据其信息本身具有种类多、变化多、属性多等特点,对交通实体按功能分层划分,以HBase面向列存储机制为大数据建立城市交通网各级物理结构,结合WebGIS地图服务,设计了城市交通信息的存储与查询方法。　　本文利用面向地理信息的垂直搜索引擎技术,通过基于分块的向量空间模型,确定网页文档主题相关度,引入Hadoop框架的分布式并行执行机制,从而对地理信息进行优化存储与检索,结合WebGIS交互性服务界面,提供给用户高质量的可视化地理信息网络检索服务。主题搜索引擎从本质上加强了抓取互联网信息的能力,从而帮助专业用户便捷的获取自己所需的主题信息。