随着科技的不断进步,人类已经进入了一个全新的“信息时代”。互联网已经成为了当前主流的信息载体之一。面对互联网上的大量舆情信息,如何实现对其进行有效的监控和筛选也成为了研究重点。由于通用搜索引擎无法满足特定用户群体的搜索需要,针对特定主题的主题爬虫应运而生,主题爬虫也为互联网舆情系统中的垂直搜索部分提供了数据来源。本文以国内外的现有研究成果为依据,通过分析当前互联网舆情环境,设计了互联网舆情系统,并针对其中的主题爬虫进行了研究设计。对影响主题爬虫性能的关键性算法进行了研究改进,并在系统中完成了主题爬虫的实现。本文完成的主要研究内容如下:1)分析了主题爬虫性能对比通用爬虫的优势,对其搜索策略和网页评价算法进行研究,根据比较选择了最佳优先策略作为其搜索策略,并通过建立向量空间模型来对网页进行评价。同时研究了主题孤岛和拒绝协议两大关键问题,在此基础上对本文中使用的主题爬虫进行了结构设计;2)分析了当前网络舆情环境特点,针对这些特点进行需求分析,根据得到的需求进行互联网舆情系统的结构设计;3)给出了主题爬虫在互联网舆情系统中的具体实现,包括抓取策略、分析策略、爬行策略、去重策略和任务调度策略,对抓取时的主题库更新问题提出了动态扩充的解决办法,并针对网页去重I-Match算法和任务调度Hash算法中的不足进行了设计改进,改用了一致性Hash算法进行任务调度,最后对系统进行了测试。本文设计的主题爬虫综合了主题库改进策略和算法改进,从整体方面提升爬虫性能。经过测试,本文设计的主题爬虫性能优于一般主题爬虫。