论文部分内容阅读
随着网络媒体特别是社交媒体的迅速发展,每天会有上亿的网民活跃在社交媒体上。人们可以通过网络媒体快捷地交流和共享信息资源,从而实现广泛的沟通交流。受众在接收信息的同时也在进行信息的传播,因此网络媒体成为民众表达民意、交流感情的主要方式,同时也是网络舆情形成和传播的载体。网络舆情已经成为各级政府了解社情民意的重要窗口,所以网络舆情监控体系的建设非常重要。。在网络舆情监测系统中,一旦数据交付,就必须呈现给用户。面对海量的网络信息,如何实时高效地处理并可视化这些网络舆情数据成为一个棘手的问题。静态数据的可视化技术已经相对成熟,实时流数据可视化技术已经成为可视化方面研究的热点。本论文主要针对网络舆情系统的实时可视化技术进行研究,主要内容包括两点:第一如何实时高效的处理.网络舆情;第二如何将网络舆情信息实时展现给用户。简单描述为网络舆情监测系统的后台使用Storm来实时处理网络舆情信息,前端通过ECharts对网络舆情信息进行实时展示。本文的主要工作如下:(1)对传统蚁群算法的不足进行改进。针对启发因子α与β的不确定性,通过实验得出启发因子α与β在Storrm任务调度中的最佳取值范围,从而增加算法合理的搜索指向性;针对挥发因子ρ的改进,通过引入Sigmoid函数,使得随着迭代次数的改变挥发因子p自适应改变,加快了算法的收敛。(2)改进Storm默认任务调度机制。利用蚁群算法在NP-hard问题上的优势结合Storrm本身拓扑特点,提出了改进蚁群算法在Storm任务调度中的优化方案。降低了各个节点CPU的负载,同时提高了各节点之间负载均衡,加快了任务调度效率。(3)设计并实现舆情监测实时可视化系统。从背景需求分析、概要设计、详细设计、系统开发等方面对网络舆情监测系统进行详细介绍,完全按照互联网项目的开发步骤进行设计阐述。实验验证,改进的蚁群算法比Storm默认的轮询调度算法在平均CPU负载降低了26%,同时CPU使用标准差降低了3.5%,在算法效率上比Storm默认的轮询调度算法提高了22.6%。得出改进蚁群算法的Storm任务调度明显优于Storm默认的任务调度。设计了一种网络舆情实时流数据的可视化方案,实现了网络舆情的实时计算、存储和展示。该系统把实时处理与可视化结合起来,使得决策人员能够在第一时间把握网络舆情的发展趋势和了解受众的态度。实验证实了该系统的实践可行性,达到了课题预期的设计要求。