随着互联网技术的飞速发展,互联网成为了网民发表观点、表达思想的主要途径。信息在互联网上传播具有高速、广泛、隐蔽性等特点,导致大规模的网络舆情很容易形成。网络舆情指的是网民在各大论坛、微博等网络平台上,对重点社会事件、政府政策措施以及热点新闻等,所表达意见和态度的总和。政府机构、企业通过对网络舆情的分析,能实时掌控舆情发展态势,及时果断地采取相关措施,避免舆情危机带来的危害,从而保证社会与企业稳定、和谐、健康发展。本文针对传统舆情数据采集效率和性能上的不足,设计出一种高效稳定的分布式网络爬虫舆情数据采集架构。研究网络舆情分析中文本聚类和分类两个核心技术,对不足之处进行改进并应用于本文系统中。本文的主要工作有:1、分布式网络爬虫架构。分析Hadoop分布式云平台和Nutch分布式爬虫技术,设计出将Nutch集成在Hadoop集群中获取舆情数据的分布式爬虫架构,保证系统对舆情数据采集的高效率和准确性。2、文本聚类方法。研究文本聚类算法,比较各种聚类算法的优缺点,选取适合网络舆情话题发现的BIRCH算法进行研究,通过实验探究和优化阈值T的选取,保证文本聚类算法的准确性,并作为舆情话题发现的方法。3、文本分类方法。研究文本分类算法,比较各种分类算法的优缺点,选取SVM算法作为基础算法,针对其只比较适合二值分类的弊端,在分类训练时加入二叉树模型,减少和优化分类器的选取,提高了分类的准确率和效率,通过实验进行了验证,并作为舆情话题跟踪的方法。4、系统设计与实现。在相关技术研究的基础上,设计系统的MVC框架模式、逻辑架构、软件系统架构、系统的各个功能模块UML类图和相关流程图,完成整个系统的部署实现。