基于hadoop的生猪行业网络舆情监控分析系统的设计与实现

来源 :华南农业大学 | 被引量 : 0次 | 上传用户:phoebus
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中国是猪肉消费大国,同时也是养猪业大国。在我国当前农业信息化发展的进程中,生猪养殖业的舆情信息呈几何级数增长,达到PB甚至EB级别。对于政府机构以及国内的生猪养殖户来说,网络相关舆情的传播,特别是负面新闻,甚至假新闻的集群效应,造成社会盲动、引发错误思潮、腐蚀政治关系,给地方政府造成了信任危机,严重影响政府部门的有效运行。而国内生猪养殖业舆情的错踪复杂,舆情挖掘分析等技术相对落后,使得相关机构难以准确快速捕捉到舆情信息,从而错失最佳引导时机。因此,建立一个应用于生猪行业的网络舆情信息监控分析系统就显得尤为重要。本文的工作重心和创新点主要包括以下几个方面:(1)在遵守Robots协议的基础上,基于Java语言,设计了自动化网络爬虫系统。对农业网站以及猪行业相关的垂直型信息平台数据进行基本采集、去重、归一化处理、增量采集、存储等步骤。并根据不同站点特点,设置相对应的反爬策略。针对动态网页利用Chrome网络插件进行抓包,分析JS文件,找出服务端请求接口。同时利用Redis这种非结构化数据库设计IP代理池,解决服务器禁用IP地址的问题。(2)采用B/S架构模式去设计系统,系统后端架构基于Spring Boot 2.2.4搭建,系统前端架构基于Boot Strap搭建。结合Spring Security完成了系统的用户认证(Authentication)与用户授权(Authorization),并利用MVC模式进行了开发。分别设计并开发了舆情监控系统的四大核心模块:1)舆情采集子系统2)舆情分析子系统3)舆情服务子系统4)舆情用户管理子系统,并用百度的开源前端插件Echarts进行舆情各项信息的前端展示。(3)利用Hadoop的Map Reduce并行计算框架,实现了舆情分析子系统中热点词热度值以及地域分析算法。本文着重阐述了系统中热点词热度值算法以及地域分析算法的设计及实现过程,并简要描述了算法的实现效果。(4)论文最后展示了舆情监控系统的开发环境及上线效果图。同时为了验证系统的高可用,高性能性,根据软件工程学测试方法,对系统各模块进行功能与系统性能的测试。根据系统运行后的实际效果表明:舆情监控系统不仅能够实时爬取网站信息,而且还可以根据自定义的设置进行增量爬取,补充生猪相关行业大数据库,及时发现当前舆情热点词,热度值。通过对舆情信息设置关键词预警,从而可以实时通过手机短信,邮箱来发送预警通知,并能根据用户自定义时间段生成舆情分析报告。通过本文实现的生猪行业舆情监控系统,使相关舆情工作者能够在互联网海量的数据中,及时发现负面舆情,快速定位,制定有效的决策,从而引导舆情的走向,净化网络环境,使行业健康、可持续发展具有重大的意义。
其他文献
水稻是一种大田农作物,是我国重要的粮食经济作物之一,被广泛的种植与生产。在水稻的种植过程中,杂草是影响水稻生产的重要因素之一。农田杂草主要是指那些较大范围生长在农田区域中,非人工种植的草本植物。因此,对于水稻农田中的杂草进行有效的防控对于保证水稻的产量和质量具有十分重要的意义。当前在我国使用范围最广的杂草防控方式就是化学防控,化学防控顾名思义就是使用化学农药对杂草进行喷洒。在消除杂草的同时也会对水
学位
雾滴的沉积参数是评价植保机械性能的最主要指标,针对传统的雾滴图像参数检测存在耗时费力、操作繁琐且算法的检测精度低,泛化能力差等问题,提出了基于深度神经网络的雾滴沉积参数快速检测的模型,对比分析了多种雾滴分割算法的准确度,以及优化粘连雾滴分割算法提高模型的精度。本设计以雾滴作为研究对象,通过UAV喷洒农药,利用采集装置中水敏纸收集,CCD摄像头采集到雾滴图像,WIFI无线模块上传到上位机,构建雾滴图
学位
农用无人机是我国近年来发展势头迅猛的农业科技产品,农业航空产业的重要代表之一。众多科研人员的研究表明,农用无人机作业高度与作业质量有着重要联系。在农用无人机监测领域,国内外对于高度监测研究较为成熟,但在农用无人机距作物冠层的高度监测方面研究较少。针对单一高度监测传感器监测可靠性和稳定性较弱的特点,提出了一种基于最值算法结合BP神经网络的多传感器融合高度监测方法,适用于农用无人机在成片种植且冠层较为
学位
随着经济的发展,中国成为世界水果生产和需求大国。据统计,中国每年因水果储藏、保鲜技术问题造成了巨大损失,这大大影响了中国农业经济的发展。传统的储藏、保鲜技术大都存在一些成本高、效率低、工艺繁琐等问题。光催化技术在降解污染物技术中应用广泛,近年来,光催化技术在水果保鲜方面有着进一步的研究,但仍存在一些装置设备成本高、功耗大、体积大、催化效率不高等问题,因此,亟需设计一款成本低、功耗小、体积小、催化效
学位
图像的检测和分割任务使机械能够理解和感知周围环境,确定果实的具体位置和果实自身的生长信息,是自动施药、喷洒灌溉和采摘等生产工作的重要前提。针对自然果园场景下的芒果检测和分割中存在的一些难题,诸如芒果表皮光照不均、枝干枝叶遮挡以及果实重叠等,本文提出了融合对抗网络的Mask R-CNN(Mask Region-Convolutional Neural Networks)算法,以及结合Box IOU改
学位
近年来,精准农业理念获得广泛关注和认可。农作物信息的快速获取与解析是实施农田智能化管理的前提条件,是精准农业技术应用的基础。近年来,随着无人机、相机等装备的更新,以及遥感技术和数据挖掘技术的发展,为快速获取大面积农田作物信息提供了重要手段,在精准农业领域发挥了重要作用。本文以柑橘植株为对象,利用多旋翼无人机作为遥感平台搭载高光谱成像仪,采集柑橘植株冠层的高光谱遥感影像,在数据处理时,先通过ENVI
学位
在互联网的高速发展下,农业也渐渐走上了“互联网+农业”模式的发展道路,农产品电子商务发展迅速,互联网正在逐渐地渗透在我国乡村的各个角落,如火如荼发展的互联网为农产品的销售提供了新的网络平台,不仅能够帮助农户增加农产品的销量还拓宽了农户销售农产品的道路,成功带动产业发展和农民增收,从而让农产品搭上电商这个“快车”。然而,在现实生活中大部分农户对电商销售在认识上并不全面,更谈不上采纳信息技术和生产技术
学位
国家大力支持大学生创业活动,通过大学生创业活动能有效缓解大学生就业难问题以及创造更多就业机会。同时,乡村振兴战略提出人才是一系列乡村振兴战略举措的关键,因此鼓励大学生进行农业创新创业能有效解决农业发展人才紧缺的问题。而农业院校大学生基于身份优势,接触农业专业知识和农业专业技能的机会更多,但现阶段农业院校大学生涉农创业的选择意愿并不高,因此了解农业院校大学生的创业选择现状,分析农业院校大学生涉农创业
学位
果园对靶变量喷药的关键技术之一是靶标信息检测,而靶标检测技术的基础是传感器的选择或设计。激光雷具有高分辨率、不受环境光线影响、强抗干扰能力等特点,因此被广泛应到农业上。但由于农业环境复杂,运行环境比工业环境还苛刻。因此,市面上常用的工业激光雷达不一定满足农业环境作业的要求。本团队在做果园对靶试验时,运用工业激光雷达做实验时,但因路面过于颠簸而导致激光雷达损坏。另外,高精度的工业激光雷达价格昂贵,也
学位
我国南方果园多分布在丘陵山地中,农资物料和果品运输以人力为主,生产效率低、劳动强度大。在山地果园生产过程中,通过机械化运输提高生产效率、降低劳动强度所带来的经济效益日趋显著。山地果园单轨运输机具有安装结构简单、轨道铺设灵活、转弯半径小等特点,操作人员可利用遥控技术远程控制运输机作业。但是,山地果园作业环境复杂多变,受果园树木及障碍物等遮挡影响,操作人员无法保证全程实时准确获取单轨运输机作业信息。因
学位