融合Spark的农业大数据处理与产量预测云平台的研发

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:ytli1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机网络和物联网技术的普及应用和迅猛发展,我国农业与计算机技术的结合正在不断完善,其各个环节所产生的数据也在爆炸式增长。寻求有效的方法来分析和处理农业海量数据并从中获取有价值的信息,已经成为农业信息化发展的重要课题。我国的农业结构较为复杂,影响农作物产量的因素众多,涉及的领域也很广泛,这使得我国智慧农业平台迫切需要具备高效的农业大数据处理功能和产量预测功能。本文以江西省吉安市吉州区现代农业示范园为应用背景,研究了农业大数据处理的高可靠性和高效性,构建了结合全子集回归(Full Subset Regression,FSR)特征选择方法的人工神经网络(Artificial Neural Networks,ANN)产量预测模型,并详细分析了实际应用需求,设计了融合Spark的农业大数据处理与产量预测私有云平台。其中,农业大数据来源于农业示范园所采集的海量农作物生长环境数据,数据的分布式存储服务由闲置的计算机设备通过系统虚拟化并配置Hadoop集群来提供,分布式计算和数据管理服务由Spark、Hive等来提供,数据分析处理和农作物产量预测服务由Spark SQL、Spark MLlib来提供。本文实现了融合Spark的农业大数据处理与产量预测云平台,包括:搭建了高可靠完全分布式集群,解决了由主节点故障导致的平台无法工作问题;配置了Hadoop和Spark中的相关机制来实现相关的功能,在已采集的海量包菜环境数据中执行了SQL类型的高效处理,并能够得到产量预测实验所需的样本数据集,即本文所选取的十种产量影响因子数据集;且基于Spark MLlib实现了适用于该平台的FSR-ANN产量预测模型。本文通过实验并使用不同指标来分析和比较两种框架的处理效率以及两种产量预测模型的预测效果,实验结果表明:对于海量包菜环境数据的处理,在配置不同从属节点、输入不同大小的数据文件情况下,Spark SQL的处理效率均高于Hive SQL;对于十种影响因子的包菜产量预测,相较于ANN模型,FSR-ANN模型的相关系数值更高、均方根误差值更小、预测误差波动范围更小,即可获得更好的总体预测效果。本文所研发的云平台能够满足农业大数据处理和产量预测的现实需求,并对我国农业信息化发展有着重要的推动作用。
其他文献
沥青路面是典型的多层复合体系,其力学性能不仅与每个结构层的材料性能有关,而且还与层与层之间的粘结性能有关。对路面各种早期病害的研究发现,沥青路面层间结合问题是导致
提出了数学应用性有两个不同层次的观点,由此出发,并就数学应用性能力的培养问题进行了一些阐述。
目的:比较在俯卧位和斜侧卧位术式经皮肾镜取石术患者中的效果。方法:将肾结石、输尿管上段结石患者78例分为俯卧位组和斜侧卧位组。两组患者均实施经皮肾镜碎石取石术。斜侧卧
各市、自治州人民政府、贵安新区及各县(市、区、特区)应对新冠肺炎疫情防控领导小组,省有关部门和单位:为认真贯彻党中央和省委、省政府决策部署,更好统筹推进疫情防控和脱
目的:原发性肝细胞肝癌(primary hepatocellular carcinoma,HCC)是我国发病率居第四位、致死率居第二位的恶性肿瘤,对我国人民的生命和健康构成的严重威胁。对于HCC的治疗虽然已经取得了长足进展,但是其总体预后仍然很差,究其原因不外是与HCC的高侵袭性和早期转移相关。近年来,越来越多的研究证实mi RNAs在恶性肿瘤的组织细胞中异常表达,并且其对各种肿瘤的发生和发展过程
<正> 党的十四大提出了我国经济体制改革的目标是建立社会主义市场经济的新体制,随之一个大改革、大开放、大转换、大重组、大发展局面将在更大范围、更深层次上形成。迫切需
运用文献资料法、专家访谈法和数理统计法,对近十年来有关标枪运动学研究的文献进行综述,结果显示:我国标枪项目的运动学研究方向主要集中在交叉步阶段和最后用力阶段的运动
自从1978年改革开放以来,中国的经济正处在持续、高速的发展中,汽车产业,作为国民经济中幸福指数提高和经济高速发展的标志,在国民经济支柱性产业中发挥了不可替代的作用,但是,从2018年开始,随着汽车行业市场从卖家市场过渡到买家市场而产生的产能过剩,消费者对产品功能、价值等一系列需求的提高,使得汽车行业迎来了20年以来的首次下滑,并且这种下滑的情况持续到了2019年,预计2020年也将继续下滑。C汽
<正>一首国歌在教室中奏响,学生嘘唏不已:泱泱大国沙俄为何"山寨"了英国国歌的旋律?一尊革命志士雕像惨遭污毁的照片映入眼帘,学生们顿生伤感。一段世纪钟声中祈望和平的激昂