随着互联网技术的不断发展,每天在互联网中都会产生大量的网络信息,网络媒体作为重要的信息传播平台,人们可以快速地浏览网页信息和共享信息资源,实现广泛的沟通交流。通过对网络事件进行实时分析,可以指导政务部门采取相应的决策。但随着网络数据的爆炸式增长,传统的舆情分析技术的计算能力难以满足大规模数据的处理需求,为了提高舆情分析的计算性能需求,本论文将利用Spark计算平台处理大规模舆情数据,并结合现有的自然语言处理和数据挖掘技术,提高对网络数据的处理效果,为相关政务职能部门及时准确地提供网络舆情信息。本文的主要工作内容如下:(1)论文首先分析了传统舆情分析系统在计算能力上的不足。互联网上每天都会产生大量的舆情数据,在分析这些数据之前,首先需要将这些数据转变为计算机可处理的形式,而传统的空间向量模型在进行文本表示时需要消耗大量的时间和空间,这严重阻碍了实时话题检测。本文将传统空间向量模型表示进行文本并行向量化,并使用稀疏向量的方式来减少存储空间和计算开销。(2)为了解决传统舆情分析在计算能力上的不足,提高文本分析的处理效率,本文通过对比传统舆情分析算法选用适当有效的舆情分析算法进行文本分析,并将这些算法进行并行化实现,以达到提高计算效率的目的。Spark技术基于内存运算,而且Spark MLlib提供了海量数据机器学习方法的分布式实现,所以非常适合需要迭代运算的机器学习,可以实现大规模数据的机器学习过程。(3)针对于大规模文本数据的分析处理需求,通过技术方案对比,选择满足本文的系统需求的技术,设计实现以Spark为计算平台的网络舆情分析系统,以此提高系统的性能。具体从舆情数据的处理和舆情数据的分析两方面考虑进行设计,同时给出了本文面向政务网络舆情分析系统详细的设计实现方案,最后展示了部分系统界面。