论文部分内容阅读
摘 要：农业大数据是运用大数据的技术和方法，解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题，为食品安全、环境监测、精细生产、产品溯源、生物感知以及农业科研等管理与研究提供科学支撑。本文论述了基于Resin系统的数据自动采集分析平台的建设方法，及其实现了数据采集、远程传输、数据筛选和环境分析的功能。
关键词：大数据；采集；分析；温室环境；Resin
中图分类号：TP274+.2 文献标识码：A DOI 编码：10.3969/j.issn.1006-6500.2017.08.016
Abstract： Agriculture big data wasto solve the problems of agriculture data acquisition， storage， calculation and analysis， to provide scientific support for food safety， environmental monitoring， precision production， product traceability and biological sensing of agricultural scientific research management and research. This paper discusses the construction methods of automatic data acquisition and analysis platform based on Resin system， and how it realizes the functions of data acquisition， remote transmission， data screening and environment analysis.
Key words： big data； acquisition； analysis； greenhouse environment； Resin
隨着信息技术的不断进步，利用现代信息技术和信息系统为农业生产、供、销及相关的管理和服务提供有效的信息支持，已经成为当今农业发展的主流趋势[1]。在农业物联网技术的带动下，传统农业信息化也逐渐升级为智能化农业和大数据农业。大数据是数量庞大的数据集合，而农业大数据有着密度低，数量广，特征多样的特点[2-3]。目前，对农业大数据的研究还处于刚刚起步的阶段，但是科研人员已经意识到大数据的价值，国内外的政府和研究机构都在加大对农业大数据领域的投入[4-5]。在农业种植领域，大数据的采集和分析具有系统性、智能化、自动化的特点[6-7]。数据采集分析系统一般由以下部分构成：（1）环境感知采集设备，如土壤传感器、气体传感器、温湿度传感器等，通过传感器进行基础数据的收集[8]；（2）网络传输设备，由无线WIFI、ZigBee网络、数据接口等构成，对采集到的数据进行传输，对数据分析结果和控制指令进行传达[9-10]；（3）分析决策设备，包括数据库服务器，应用服务器等，是云计算技术支持下进行数据筛选、储存、处理、分析的核心平台[11]；（4）终端执行反馈设备，如种植现场的灌溉设备，温室大棚的卷帘机、风扇等，核心平台对数据经过分析处理后对终端执行反馈设备发布命令，执行相应的动作来调整农业生产。随着数据采集设备、传播手段和数据储存环境的不断升级，数据采集分析过程呈现体量庞大、模态多元、实时性强、关联复杂的特点[12—14]。笔者开发的基于Resin系统的数据自动采集分析平台，实现了数据采集、远程传输、数据筛选和环境分析的功能，大大减小了传统数据采集过程中受空间和时间条件限制的问题，提高了对有效数据利用和分析的程度。
1 平台设计与实现
1.1 平台设计
WebService数据自动采集分析平台通过分析温室植物种植数据，采集系统功能与实现的要求，结合软件使用习惯架构将整个系统划分为4个基本模块：气象数据、环境调控、温室信息、田间数据。数据采集的硬件部分包括温度、湿度、光照强度传感器。软件部分数据节点操作系统为centOs系统，应用服务器和数据库服务器分别为Resin 3.0和Oracle 11g系统，信息搜索和共享由Hadoop实现，平台的开发工具为Eclipse。
1.2 平台实现
气象数据模块包括收集与整理京津冀地区近十年来的气象数据，数据主要包括气温、地温、积温、湿度、降雨量、气压、蒸发量、风速、光照等（图1）。环境调控模块包括作物生长发育与环境之间的相互作用及良好的生长相关参数（图2）。
大棚信息模块通过Web Service接口自动采集温室实时环境数据，主要包括空气温度、空气湿度、土壤温度、土壤湿度、光照、二氧化碳含量等数据，并进行分析及图表展示。数据可由采集传感器实时传输，也可通过Excel表格批量上传数据，实现新建、修改和删除功能（图3～图5）。
田间数据模块负责收集与整理日光温室日常田间作业数据，主要包括试验数据管理、生成管理记录、生成前期准备、施肥情况管理、病虫害防治信息管理、作物生长状态记录等（图6）。
2 结果与分析
2.1 Oracle 11g数据库写入数据测试
本试验选取5个数据采集点，将2016年11月至2017年5月采集的到全部环境数据进行写入测试。分别采用服务器默认配置（简称“默认”），无预分区并设置10M缓存区（简称“无预分”），设置6个预分区并设置10M缓存区（简称“预分”）3种试验方案，运行于10个节点的分布式集群中，测试的数据量分别为100万，200万，300万，400万条，得出数据量与运行时间的折线图（图7）。 图7可见，使用预分区设置的方式写入数据，曲线倾斜率最小，时间增长率低，说明在数据量增大的时候，预分区设置的写入性能优于默认设置和无预分区设置。
2.2 回归性分析性能测试
本测试以空气温度、空气湿度、土壤温度、土壤湿度与番茄果实重量的回归分析为例。环境指标存于不同Condition表中，以天为单位计算Condition表中平均值计入Test表中，果实数据存于Result表中。根据Test和Result表中数据计算得出回归方程。
每组Condition表初始数据为200万条，以200万条单位递增生成5组测试数据，随着Condition组增加，不同数据量对运行时间的影响，结果如图8所示。
图8可见，时间增长率并未随着数据量增加和环境条件增加而变大，说明本平台适合处理大量数据和多指标参数的复杂数据，并具有良好的扩展性。
3 结 论
（1）首次建立农业种植大数据平台，将多指标环境参数进行综合性回归分析。该平台具有良好的扩展性，可通过添加或更换相应的传感器，再对系统进行改进和调试，从而进行更复杂的生长模型分析。
（2）首次将历史环境数据库融入数据平台建设，并在后台进行数据分析和新老数据对比，此举有助于提高今后大数据分析的准确性。
参考文献：
[1]汪伟伟，李绍稳，孟浩，等. 基于Data Socket的果园生态环境远程数据采集系统[J].微计算机信息， 2007， 23（13）：117-119.
[2]孟祥宝，谢秋波，刘海峰，等. 农业大数据应用体系架构和平台建设[J]. 广东农业科学， 2014 ， 41 （14）：173-178.
[3]袁伟，罗丽琼，赵路，等. 基于Hadoop的葡萄种植环境数据处理及性能测试[J]. 山东农业科学， 2015，47（8）：119-122，126；
[4]余歡，刘勇，郑秀国，等. 基于STM32的农业环境数据采集终端设计与开发[J]. 上海农业学报， 2016，32（4）：140-146.
[5]周国民，樊景超，吴定峰，等. 基于XML的果园环境数据采集和数据表示[J]. 农业经济与信息技术， 2015，21（12）：76-79，83；
[6]华雪琦，孙明喆，黄冠博，等. 农业物联网示范基地环境数据共享与管理系统研发[J]. 天津农林科技，2015（S）： 57-58.
[7]罗桂兰，张梅，冯立波，等. 生态环境数据预测方法研究[J]. 大理学院院报，2015， 14 （6）：13-17.
[8]李秀峰，陈守合，郭雷风. 大数据时代农业信息服务的技术创新[J].中国农业科技导报， 2014，16（4）：10-15；
[9]郭承坤，刘延忠，陈英义，等. 发展农业大数据的主要问题及任务[J]. 安徽农业科学， 2014，42（27）：9642-9645；
[10]王文生，郭雷风. 关于我国农业大数据中心建设的设想[J]. 大数据， 2016， 2 （1）：28-34.
[11]黎玲萍，毛克彪，付秀丽，等. 国内外农业大数据应用研究分析[J]. 高技术通讯， 2016， 26 （4）：414-422.
[12]陶佰睿，李春辉，苗凤娟，等. 基于云端的农业大数据采集与管理系统浅析[J]. 工业和信息化教育， 2016 （9）：81-89.
[13]王文生，郭雷风. 农业大数据机器应用展望[J]. 江苏农业科学，2015，43（9）：1-5.
[14]温孚江. 农业大数据研究的战略意议与协同机制[J]. 高等农业教育， 2013 （11）：3-6.
关键词：大数据；采集；分析；温室环境；Resin
中图分类号：TP274+.2 文献标识码：A DOI 编码：10.3969/j.issn.1006-6500.2017.08.016
Abstract： Agriculture big data wasto solve the problems of agriculture data acquisition， storage， calculation and analysis， to provide scientific support for food safety， environmental monitoring， precision production， product traceability and biological sensing of agricultural scientific research management and research. This paper discusses the construction methods of automatic data acquisition and analysis platform based on Resin system， and how it realizes the functions of data acquisition， remote transmission， data screening and environment analysis.
Key words： big data； acquisition； analysis； greenhouse environment； Resin
隨着信息技术的不断进步，利用现代信息技术和信息系统为农业生产、供、销及相关的管理和服务提供有效的信息支持，已经成为当今农业发展的主流趋势[1]。在农业物联网技术的带动下，传统农业信息化也逐渐升级为智能化农业和大数据农业。大数据是数量庞大的数据集合，而农业大数据有着密度低，数量广，特征多样的特点[2-3]。目前，对农业大数据的研究还处于刚刚起步的阶段，但是科研人员已经意识到大数据的价值，国内外的政府和研究机构都在加大对农业大数据领域的投入[4-5]。在农业种植领域，大数据的采集和分析具有系统性、智能化、自动化的特点[6-7]。数据采集分析系统一般由以下部分构成：（1）环境感知采集设备，如土壤传感器、气体传感器、温湿度传感器等，通过传感器进行基础数据的收集[8]；（2）网络传输设备，由无线WIFI、ZigBee网络、数据接口等构成，对采集到的数据进行传输，对数据分析结果和控制指令进行传达[9-10]；（3）分析决策设备，包括数据库服务器，应用服务器等，是云计算技术支持下进行数据筛选、储存、处理、分析的核心平台[11]；（4）终端执行反馈设备，如种植现场的灌溉设备，温室大棚的卷帘机、风扇等，核心平台对数据经过分析处理后对终端执行反馈设备发布命令，执行相应的动作来调整农业生产。随着数据采集设备、传播手段和数据储存环境的不断升级，数据采集分析过程呈现体量庞大、模态多元、实时性强、关联复杂的特点[12—14]。笔者开发的基于Resin系统的数据自动采集分析平台，实现了数据采集、远程传输、数据筛选和环境分析的功能，大大减小了传统数据采集过程中受空间和时间条件限制的问题，提高了对有效数据利用和分析的程度。
1 平台设计与实现
1.1 平台设计
WebService数据自动采集分析平台通过分析温室植物种植数据，采集系统功能与实现的要求，结合软件使用习惯架构将整个系统划分为4个基本模块：气象数据、环境调控、温室信息、田间数据。数据采集的硬件部分包括温度、湿度、光照强度传感器。软件部分数据节点操作系统为centOs系统，应用服务器和数据库服务器分别为Resin 3.0和Oracle 11g系统，信息搜索和共享由Hadoop实现，平台的开发工具为Eclipse。
1.2 平台实现
气象数据模块包括收集与整理京津冀地区近十年来的气象数据，数据主要包括气温、地温、积温、湿度、降雨量、气压、蒸发量、风速、光照等（图1）。环境调控模块包括作物生长发育与环境之间的相互作用及良好的生长相关参数（图2）。
大棚信息模块通过Web Service接口自动采集温室实时环境数据，主要包括空气温度、空气湿度、土壤温度、土壤湿度、光照、二氧化碳含量等数据，并进行分析及图表展示。数据可由采集传感器实时传输，也可通过Excel表格批量上传数据，实现新建、修改和删除功能（图3～图5）。
田间数据模块负责收集与整理日光温室日常田间作业数据，主要包括试验数据管理、生成管理记录、生成前期准备、施肥情况管理、病虫害防治信息管理、作物生长状态记录等（图6）。
2 结果与分析
2.1 Oracle 11g数据库写入数据测试
本试验选取5个数据采集点，将2016年11月至2017年5月采集的到全部环境数据进行写入测试。分别采用服务器默认配置（简称“默认”），无预分区并设置10M缓存区（简称“无预分”），设置6个预分区并设置10M缓存区（简称“预分”）3种试验方案，运行于10个节点的分布式集群中，测试的数据量分别为100万，200万，300万，400万条，得出数据量与运行时间的折线图（图7）。 图7可见，使用预分区设置的方式写入数据，曲线倾斜率最小，时间增长率低，说明在数据量增大的时候，预分区设置的写入性能优于默认设置和无预分区设置。
2.2 回归性分析性能测试
本测试以空气温度、空气湿度、土壤温度、土壤湿度与番茄果实重量的回归分析为例。环境指标存于不同Condition表中，以天为单位计算Condition表中平均值计入Test表中，果实数据存于Result表中。根据Test和Result表中数据计算得出回归方程。
每组Condition表初始数据为200万条，以200万条单位递增生成5组测试数据，随着Condition组增加，不同数据量对运行时间的影响，结果如图8所示。
图8可见，时间增长率并未随着数据量增加和环境条件增加而变大，说明本平台适合处理大量数据和多指标参数的复杂数据，并具有良好的扩展性。
3 结 论
（1）首次建立农业种植大数据平台，将多指标环境参数进行综合性回归分析。该平台具有良好的扩展性，可通过添加或更换相应的传感器，再对系统进行改进和调试，从而进行更复杂的生长模型分析。
（2）首次将历史环境数据库融入数据平台建设，并在后台进行数据分析和新老数据对比，此举有助于提高今后大数据分析的准确性。
参考文献：
[1]汪伟伟，李绍稳，孟浩，等. 基于Data Socket的果园生态环境远程数据采集系统[J].微计算机信息， 2007， 23（13）：117-119.
[2]孟祥宝，谢秋波，刘海峰，等. 农业大数据应用体系架构和平台建设[J]. 广东农业科学， 2014 ， 41 （14）：173-178.
[3]袁伟，罗丽琼，赵路，等. 基于Hadoop的葡萄种植环境数据处理及性能测试[J]. 山东农业科学， 2015，47（8）：119-122，126；
[4]余歡，刘勇，郑秀国，等. 基于STM32的农业环境数据采集终端设计与开发[J]. 上海农业学报， 2016，32（4）：140-146.
[5]周国民，樊景超，吴定峰，等. 基于XML的果园环境数据采集和数据表示[J]. 农业经济与信息技术， 2015，21（12）：76-79，83；
[6]华雪琦，孙明喆，黄冠博，等. 农业物联网示范基地环境数据共享与管理系统研发[J]. 天津农林科技，2015（S）： 57-58.
[7]罗桂兰，张梅，冯立波，等. 生态环境数据预测方法研究[J]. 大理学院院报，2015， 14 （6）：13-17.
[8]李秀峰，陈守合，郭雷风. 大数据时代农业信息服务的技术创新[J].中国农业科技导报， 2014，16（4）：10-15；
[9]郭承坤，刘延忠，陈英义，等. 发展农业大数据的主要问题及任务[J]. 安徽农业科学， 2014，42（27）：9642-9645；
[10]王文生，郭雷风. 关于我国农业大数据中心建设的设想[J]. 大数据， 2016， 2 （1）：28-34.
[11]黎玲萍，毛克彪，付秀丽，等. 国内外农业大数据应用研究分析[J]. 高技术通讯， 2016， 26 （4）：414-422.
[12]陶佰睿，李春辉，苗凤娟，等. 基于云端的农业大数据采集与管理系统浅析[J]. 工业和信息化教育， 2016 （9）：81-89.
[13]王文生，郭雷风. 农业大数据机器应用展望[J]. 江苏农业科学，2015，43（9）：1-5.
[14]温孚江. 农业大数据研究的战略意议与协同机制[J]. 高等农业教育， 2013 （11）：3-6.