论文部分内容阅读
摘要：针对目前水产大规模、高密度的集约化养殖使得管理、控制的难度增大，数据存储面临的资源利用率低、管理维护成本高等问题，运用HDFS（Hadoop Distributed File System）API的方式设计了云存储服务平台，实现了水产养殖用户访问模块、水产养殖用户管理模块、目录管理模块、资源管理模块和集群管理模块及数据存储，以及对集群的状态监控和管理等功能。该系统可以提高服务器、存储和网络等资源利用率，实现水产养殖环境的有效检測、信息化生产管理、精细饲喂、病害防控、安全可追溯，增加经济效益，对保护农业环境和绿色无公害食品生产具有重要意义。
关键词：水产养殖；云存储；海量数据；HDFS；健康养殖
中图分类号： S126 文献标志码： A 文章编号：1002-1302（2014）07-0246-02
收稿日期：2013-10-14
基金项目：公益性行业（农业）科研专项（编号：201203017）；国家星火计划（编号：2011GA610009）。
作者简介：刘光明（1980—），男，天津人，硕士，实验师，主要研究方向为网络信息技术。Tel：（022）23793887；E-mail：liugm2005@126.com。
通信作者：邢克智（1956—），男，天津人，教授，博士生导师，主要从事水产养殖的研究。E-mail：kzxing@yahoo.com.cn。伴随着人们的消费模式已转变为质量型，在不破坏环境前提下，规范化、标准化、集约化的信息管理、健康养殖智能化方式是未来水产养殖业发展的方向[1]。如今水产制品在生产和流通过程中，质量的检验监督还刚刚起步，水产制品质量安全问题存有一定的隐患。水产制品健康养殖的信息化建设水平不高，数据分布不均匀，更新速度慢，并且在健康养殖过程中还有很多数据、图表存储和查询汇总等工作[2]。随着水产健康养殖管理工作的不断开展，对健康养殖手段提出了更高、更新的要求，怎样运用信息化技术提高水产健康养殖管理水平成了急需解决的问题[3]。开发的适合水产健康养殖的云存储系统，可以很好地解决这些问题，实现以下功能：（1）适应水产健康养殖数据存储不断的发展，支撑存储节点的不断增加，使数据可以在每个存储单元均匀分布，均衡存储空间与带宽的负载；（2）建立海量数据存储系统，可迅速查询到所需数据，减少平均响应时间和吞吐量；（3）可提高硬件的利用率，减少管理成本。结合云存储技术与数字化信息平台的特点，应用云存储技术解决水产健康养殖管理相关的问题，改善目前信息平台服务器存储单一管理的现状，笔者介绍了云存储技术在水产健康养殖中的作用，建立了水产健康养殖云存储服务的功能模块。
1云存储系统对水产健康养殖的作用
1.1水产养殖品种的选育管理
利用运存储技术，同步各养殖品种基础数据，用户可通过这些数据进行良种引入、选育和自育、繁殖、提纯复壮工作，实行自动数据对接，并对系统运行进行分析，进一步指导生产，为水产健康养殖提供基础。现阶段，水产养殖抗疾病、品种品系的抗逆实施还刚刚开始，要进一步在这方面取得进展，就需要信息技术与传统育种技术相结合。
1.2科学放养
用户将养殖品种搭配、放养密度、投入产出水平等数据上传云存储，然后系统根据不同品种、池塘的生产条件、资金、设备等得出相应的放养模式与密度。健康养殖应当是合理搭配品种结构，投入和产出水平最佳，水产养殖业、种植业、畜牧养殖业与云存储技术相结合，利用废弃物循环，取得各种资源的最佳效果，可以极大地降低养殖过程中废弃物的排放，使生态环境得到保护和经济效益得到提升。
1.3溯源管理
将养殖环境数据上传至云存储系统，用户可利用水产品条形码或二维码等相关数据，通过互联网查询此产品产自于哪个养殖场、何时出场、水产种群规模、养殖周期、水产品健康情况等，达到放心食用的目的[4]。
1.4饲料配方和投喂管理
投饲、投喂管理是开展健康、可持续发展水产养殖的关键。用户把饲料的存储量、种群需要的营养成分和成本价格等各方面信息传入云存储，经过系统计算得出合理的饲料配方，而后将配方传至云存储。通过输入饲料类型、投喂条件和所需的营养标准、营养成分及相关价格，便可从存储系统中查询出饲料配方。然后通过系统控制的饲料投喂技术，满足养殖生物生长的需要，减少对饲料的浪费和养殖环境的污染。
1.5健康管理和病害控制
目前，水产养殖的病害控制和健康管理直接影响我国水产养殖的发展[5]。水产养殖中健康管理和病害控制主要包括：水产健康养殖管理系统、病害控制系统和无公害鱼药系统[6]。将以上3个系统接入云存储后，把常见疾病进行整理和分类，按病理名、病理图、病源类、症状、防治方法及治疗药物实时同步进系统。通过利用海量数据推算，帮助用户判断水产动物的疾病症状，并进行及时、有效的治疗和预防。
2技术实现
云存储系统使用HDFS（Hadoop Distributed File System）作为底层存储，为上层应用提供高可靠、高性能的存储服务。HDFS在很大程度上借鉴了Google GFS分布式文件系统的设计思想和关键技术，它具有高容错、高可扩展、兼容不同硬件设备、支持海量数据等诸多特性，相比目前的文件分布式系统，HDFS降低了POSIX（portable operating system interface of unix）的部分限制，达到数据流式读取的目标[10]。HDFS可移植性强，可极好地在不同硬件与软件中进行设计，可运行在不同分布式服务器平台与存储，为数据中心及子业务系统的平台提供底层的技术支持。
3设计与实现
3.1平台设计
水产健康养殖云存储平台的架构如图1所示，采用了分布式文件系统HDFS作为底层存储架构，由于HDFS提供的高可用性、高可靠性及容错机制等特性，增强了分布式云存储系统的稳定性、可靠性和可扩展性。为方便上层逻辑往底层文件系统中读写数据，设计并实现了文件读写模块；在上层业务的具体处理逻辑中，兼容了Amazon S3接口，使得整个系统在设计和实现上更加规范合理，除此之外，还增加了安全控制模块以及访问模块等[8]。 3.2平台模块
本平台主要包含4个模块：养殖户访问、养殖户管理、养殖户权限与存储集群管理[8-9]。（1）养殖户访问：养殖户登录，养殖户信息修改，养殖文件复制、传递，对文件的共享与加密，建立和编辑文件目录的等功能。（2）养殖户管理：维护养殖户信息和状态，分配养殖户属于哪个子系统。（3）养殖户子系统权限：设置基础的信息，分配与管理系统权限。（4）存储集群管理：后台管理员可以设定集群中主从节点IP地址、从节点数量，还可以对集群运转状态、任务完成状态进行监控；同时，还可对集群障碍和存储空间余量情况进行报警。该云存储平台的各功能模块如图2所示。
3.3系统实现
HDFS使用方法有2种：一种是使用HDFS的API在客户端上对数据进行操作；另一种是通过mount命令挂载到Linux文件系统中，调用Fuse-DFS一个Hadoop文件系统[7]，然后利用标准的Unix命令与之交互。对于前者，由于运用Fuse-DFS后的读写操作会有30%左右的效率损耗，因此，直接调用HDFS的API接口方式实现各功能[11]。系统管理平台包括4个功能：管理用户、管理目录、管理资源、管理集群，后3个涉及到与HDFS通信。
3.3.1管理用户主要实现管理水产养殖注册用户的基本功能，只有用户通过审核和激活，才能对申请资源及对相应的文件和目录进行操作。页面主要包括用户注册类别、空间分配大小、激活进程、审批进程等。
3.3.2目录管理主要实现创建、修改水产养殖用户目录及目录下的文件查看等操作，以文件夹的形式在客户端浏览器上呈现。
3.3.3资源管理主要涉及文件上传、文件下载和修改、删除文件等功能。
3.3.4集群管理主要管理与监控集群中设备的状态，包括管理集群控制点的范围、任务执行情况的查看、各种预警的处理等。
4结语
基于云存储技术的水产健康养殖存储平台，完全改变了传统存储的架构，使得数据资源的应用更灵活与可靠，具有访问数据资源速率快和存储成本低[12-13]的特点，相比一个服务双存储热备份，系统中不同水产养殖数据资源可成功地整合进云存储平台，使得存储空間化零为整，系统资源得到很好的利用[14]。云存储技术的利用可以实现水产养殖全程智能控制，养殖生态、生产指导、病害决策、精细饲喂、质量安全追溯等信息发布，提高疾病预防水平，降低养殖风险和养殖能耗，因此，云存储技术的应用可改变水产养殖方式，为水产信息化养殖的实现提供技术保障。
利用云存储技术构建的水产集约化健康养殖精细管理平台已在水产养殖企业进行示范应用，增强了水产集约化健康
养殖精细管理平台的可靠性与灵活性，提高了资源的访问速度，降低了存储成本。该技术有两处需要改进：（1）HDFS作业调度算法与通信机制；（2）较小文件传输过程中读取与写入的速率。
参考文献：
[1]薛正锐. 现代高效设施渔业工程技术综述[J]. 科学养鱼，2002（3）：19-20.
[2]王联珠，李晓川，谭乐义. 论加入WTO后对我国水产品加工标准化工作的影响[J]. 中国水产，2001（8）：18-19.
[3]范小建. 全面提高我国水产品质量安全水平的思考[J]. 中国渔业经济，2006（3）：3-7.
[4]吕平，王海波，顾绍平. 可追溯体系及其在水产品安全控制中的作用[J]. 渔业现代化，2006（3）：7-9.
[5]李健. 加强渔用药物的行业管理，促进水产养殖业持续发展[J]. 中国水产，2000（6）：68-69.
[6]严正凛. 水产健康养殖内涵的探讨[J]. 中国水产，2008（12）：33-35.
[7]Venner J.Pro Hadoop[M]. New York：Apress，2009.
[8]张兴旺，李晨晖，秦晓珠. 基于云计算的数字化信息资源建设模型的研究[J]. 信息系统，2011（8）：101-102.
[9]王瑞梅. 池塘水质管理智能决策支持系统研究[D]. 北京：中国农业大学，2003.
[10]谢菊芳，陆昌华，李保明，等. 肉类工厂化生产质量安全监控系统的设计[J]. 农业工程学报，2005，21（7）：128-131.
[11]金松昌. 基于HDFS的多用户并行文件IO的设计与实现[D]. 长沙：国防科学技术大学，2010.
[12]张先锋，邹蕾. 云计算技术及其应用研究[J]. 计算机与数字工程，2011，39（10）：194-197.
[13]王佳隽，吕智慧，吴杰，等. 云计算技术发展分析及其应用探讨[J]. 计算机工程与设计，2010，31（20）：4404-4409.
[14]石利平. 浅析基于Web的云存储技术[J]. 现代计算机，2010（3）：67- 69.
关键词：水产养殖；云存储；海量数据；HDFS；健康养殖
中图分类号： S126 文献标志码： A 文章编号：1002-1302（2014）07-0246-02
收稿日期：2013-10-14
基金项目：公益性行业（农业）科研专项（编号：201203017）；国家星火计划（编号：2011GA610009）。
作者简介：刘光明（1980—），男，天津人，硕士，实验师，主要研究方向为网络信息技术。Tel：（022）23793887；E-mail：liugm2005@126.com。
通信作者：邢克智（1956—），男，天津人，教授，博士生导师，主要从事水产养殖的研究。E-mail：kzxing@yahoo.com.cn。伴随着人们的消费模式已转变为质量型，在不破坏环境前提下，规范化、标准化、集约化的信息管理、健康养殖智能化方式是未来水产养殖业发展的方向[1]。如今水产制品在生产和流通过程中，质量的检验监督还刚刚起步，水产制品质量安全问题存有一定的隐患。水产制品健康养殖的信息化建设水平不高，数据分布不均匀，更新速度慢，并且在健康养殖过程中还有很多数据、图表存储和查询汇总等工作[2]。随着水产健康养殖管理工作的不断开展，对健康养殖手段提出了更高、更新的要求，怎样运用信息化技术提高水产健康养殖管理水平成了急需解决的问题[3]。开发的适合水产健康养殖的云存储系统，可以很好地解决这些问题，实现以下功能：（1）适应水产健康养殖数据存储不断的发展，支撑存储节点的不断增加，使数据可以在每个存储单元均匀分布，均衡存储空间与带宽的负载；（2）建立海量数据存储系统，可迅速查询到所需数据，减少平均响应时间和吞吐量；（3）可提高硬件的利用率，减少管理成本。结合云存储技术与数字化信息平台的特点，应用云存储技术解决水产健康养殖管理相关的问题，改善目前信息平台服务器存储单一管理的现状，笔者介绍了云存储技术在水产健康养殖中的作用，建立了水产健康养殖云存储服务的功能模块。
1云存储系统对水产健康养殖的作用
1.1水产养殖品种的选育管理
利用运存储技术，同步各养殖品种基础数据，用户可通过这些数据进行良种引入、选育和自育、繁殖、提纯复壮工作，实行自动数据对接，并对系统运行进行分析，进一步指导生产，为水产健康养殖提供基础。现阶段，水产养殖抗疾病、品种品系的抗逆实施还刚刚开始，要进一步在这方面取得进展，就需要信息技术与传统育种技术相结合。
1.2科学放养
用户将养殖品种搭配、放养密度、投入产出水平等数据上传云存储，然后系统根据不同品种、池塘的生产条件、资金、设备等得出相应的放养模式与密度。健康养殖应当是合理搭配品种结构，投入和产出水平最佳，水产养殖业、种植业、畜牧养殖业与云存储技术相结合，利用废弃物循环，取得各种资源的最佳效果，可以极大地降低养殖过程中废弃物的排放，使生态环境得到保护和经济效益得到提升。
1.3溯源管理
将养殖环境数据上传至云存储系统，用户可利用水产品条形码或二维码等相关数据，通过互联网查询此产品产自于哪个养殖场、何时出场、水产种群规模、养殖周期、水产品健康情况等，达到放心食用的目的[4]。
1.4饲料配方和投喂管理
投饲、投喂管理是开展健康、可持续发展水产养殖的关键。用户把饲料的存储量、种群需要的营养成分和成本价格等各方面信息传入云存储，经过系统计算得出合理的饲料配方，而后将配方传至云存储。通过输入饲料类型、投喂条件和所需的营养标准、营养成分及相关价格，便可从存储系统中查询出饲料配方。然后通过系统控制的饲料投喂技术，满足养殖生物生长的需要，减少对饲料的浪费和养殖环境的污染。
1.5健康管理和病害控制
目前，水产养殖的病害控制和健康管理直接影响我国水产养殖的发展[5]。水产养殖中健康管理和病害控制主要包括：水产健康养殖管理系统、病害控制系统和无公害鱼药系统[6]。将以上3个系统接入云存储后，把常见疾病进行整理和分类，按病理名、病理图、病源类、症状、防治方法及治疗药物实时同步进系统。通过利用海量数据推算，帮助用户判断水产动物的疾病症状，并进行及时、有效的治疗和预防。
2技术实现
云存储系统使用HDFS（Hadoop Distributed File System）作为底层存储，为上层应用提供高可靠、高性能的存储服务。HDFS在很大程度上借鉴了Google GFS分布式文件系统的设计思想和关键技术，它具有高容错、高可扩展、兼容不同硬件设备、支持海量数据等诸多特性，相比目前的文件分布式系统，HDFS降低了POSIX（portable operating system interface of unix）的部分限制，达到数据流式读取的目标[10]。HDFS可移植性强，可极好地在不同硬件与软件中进行设计，可运行在不同分布式服务器平台与存储，为数据中心及子业务系统的平台提供底层的技术支持。
3设计与实现
3.1平台设计
水产健康养殖云存储平台的架构如图1所示，采用了分布式文件系统HDFS作为底层存储架构，由于HDFS提供的高可用性、高可靠性及容错机制等特性，增强了分布式云存储系统的稳定性、可靠性和可扩展性。为方便上层逻辑往底层文件系统中读写数据，设计并实现了文件读写模块；在上层业务的具体处理逻辑中，兼容了Amazon S3接口，使得整个系统在设计和实现上更加规范合理，除此之外，还增加了安全控制模块以及访问模块等[8]。 3.2平台模块
本平台主要包含4个模块：养殖户访问、养殖户管理、养殖户权限与存储集群管理[8-9]。（1）养殖户访问：养殖户登录，养殖户信息修改，养殖文件复制、传递，对文件的共享与加密，建立和编辑文件目录的等功能。（2）养殖户管理：维护养殖户信息和状态，分配养殖户属于哪个子系统。（3）养殖户子系统权限：设置基础的信息，分配与管理系统权限。（4）存储集群管理：后台管理员可以设定集群中主从节点IP地址、从节点数量，还可以对集群运转状态、任务完成状态进行监控；同时，还可对集群障碍和存储空间余量情况进行报警。该云存储平台的各功能模块如图2所示。
3.3系统实现
HDFS使用方法有2种：一种是使用HDFS的API在客户端上对数据进行操作；另一种是通过mount命令挂载到Linux文件系统中，调用Fuse-DFS一个Hadoop文件系统[7]，然后利用标准的Unix命令与之交互。对于前者，由于运用Fuse-DFS后的读写操作会有30%左右的效率损耗，因此，直接调用HDFS的API接口方式实现各功能[11]。系统管理平台包括4个功能：管理用户、管理目录、管理资源、管理集群，后3个涉及到与HDFS通信。
3.3.1管理用户主要实现管理水产养殖注册用户的基本功能，只有用户通过审核和激活，才能对申请资源及对相应的文件和目录进行操作。页面主要包括用户注册类别、空间分配大小、激活进程、审批进程等。
3.3.2目录管理主要实现创建、修改水产养殖用户目录及目录下的文件查看等操作，以文件夹的形式在客户端浏览器上呈现。
3.3.3资源管理主要涉及文件上传、文件下载和修改、删除文件等功能。
3.3.4集群管理主要管理与监控集群中设备的状态，包括管理集群控制点的范围、任务执行情况的查看、各种预警的处理等。
4结语
基于云存储技术的水产健康养殖存储平台，完全改变了传统存储的架构，使得数据资源的应用更灵活与可靠，具有访问数据资源速率快和存储成本低[12-13]的特点，相比一个服务双存储热备份，系统中不同水产养殖数据资源可成功地整合进云存储平台，使得存储空間化零为整，系统资源得到很好的利用[14]。云存储技术的利用可以实现水产养殖全程智能控制，养殖生态、生产指导、病害决策、精细饲喂、质量安全追溯等信息发布，提高疾病预防水平，降低养殖风险和养殖能耗，因此，云存储技术的应用可改变水产养殖方式，为水产信息化养殖的实现提供技术保障。
利用云存储技术构建的水产集约化健康养殖精细管理平台已在水产养殖企业进行示范应用，增强了水产集约化健康
养殖精细管理平台的可靠性与灵活性，提高了资源的访问速度，降低了存储成本。该技术有两处需要改进：（1）HDFS作业调度算法与通信机制；（2）较小文件传输过程中读取与写入的速率。
参考文献：
[1]薛正锐. 现代高效设施渔业工程技术综述[J]. 科学养鱼，2002（3）：19-20.
[2]王联珠，李晓川，谭乐义. 论加入WTO后对我国水产品加工标准化工作的影响[J]. 中国水产，2001（8）：18-19.
[3]范小建. 全面提高我国水产品质量安全水平的思考[J]. 中国渔业经济，2006（3）：3-7.
[4]吕平，王海波，顾绍平. 可追溯体系及其在水产品安全控制中的作用[J]. 渔业现代化，2006（3）：7-9.
[5]李健. 加强渔用药物的行业管理，促进水产养殖业持续发展[J]. 中国水产，2000（6）：68-69.
[6]严正凛. 水产健康养殖内涵的探讨[J]. 中国水产，2008（12）：33-35.
[7]Venner J.Pro Hadoop[M]. New York：Apress，2009.
[8]张兴旺，李晨晖，秦晓珠. 基于云计算的数字化信息资源建设模型的研究[J]. 信息系统，2011（8）：101-102.
[9]王瑞梅. 池塘水质管理智能决策支持系统研究[D]. 北京：中国农业大学，2003.
[10]谢菊芳，陆昌华，李保明，等. 肉类工厂化生产质量安全监控系统的设计[J]. 农业工程学报，2005，21（7）：128-131.
[11]金松昌. 基于HDFS的多用户并行文件IO的设计与实现[D]. 长沙：国防科学技术大学，2010.
[12]张先锋，邹蕾. 云计算技术及其应用研究[J]. 计算机与数字工程，2011，39（10）：194-197.
[13]王佳隽，吕智慧，吴杰，等. 云计算技术发展分析及其应用探讨[J]. 计算机工程与设计，2010，31（20）：4404-4409.
[14]石利平. 浅析基于Web的云存储技术[J]. 现代计算机，2010（3）：67- 69.