随着科技的迅速发展,网络己成为人们表达见解、讨论公共事务、参与经济社会、政治生活以及进行舆论监督的重要公共平台。网民规模的逐年攀升导致网络舆情形成迅速,对社会的影响巨大。如何能够及时发现舆情热点、正确引导民意走势是当前亟待解决的重点和难点。网络舆情分析的首要工作是舆情信息的采集,在web上,信息采集的任务由网络爬虫完成,因此,网络爬虫性能的优良直接关系到舆情分析结果的好坏。本文的主要研究目标就是如何提高舆情分析系统中网络爬虫的性能,为舆情分析提供优质的信息源。传统的网络爬虫以提高资源的覆盖率为主要目标,追求信息采集的全面性。网络舆情分析因其自身的特点,要求信息源具有较高的主题覆盖率,因此,必须在现有爬虫的基础上,加入一些爬行策略来指导爬虫的爬行,使其能满足舆情分析的需要。通过深入研究web页面解析、文档正文区提取、文档摘要、文档相似度分析等技术,设计了一种适合于舆情分析系统的信息采集器,该采集器在传统型爬虫模型的基础上,增加了以下一些重点模块:页面分析模块,主题相关度判别模块,URL队列管理模块。页面分析模块完成HTML页面的解析以及正文区的提取。通过调研两类基本的正文区提取算法,在对其优缺点进行深入分析后,提出了一种基于“URL模式库”的正文区提取策略,该策略通过维护一个URL模式库,可以显著提高正文区的提取效率;主题相关度判别用于评估页面与爬行主题的相关性;URL队列管理模块通过对URL进行主题相关性评分,决定URL的爬行次序。主题相关性评分的依据有:URL所在页面的主题相关性、链接串、锚文本及其上下文。为了验证以上设计的可行性,本文对两个单元模块以及整个系统进行了测试。通过和传统型网络爬虫的对比可知,本文所设计的信息收集器具有较高的主题资源覆盖率,很好地满足了舆情分析中“高主题相关性”的要求。