大数据环境下农业数字资源存储与分析技术研究

来源 :中国农业科学院 | 被引量 : 0次 | 上传用户:gmtt123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的广泛普及与飞速发展,整个社会各种类型的数据总量飞速增长,我们正在步入大数据时代。在大数据时代数字图书馆面临着两个关键性问题:海量数字资源的高速检索和数字资源的深度挖掘与分析。传统的基于关系型数据库的技术体系在面对海量数据的检索和应用在性能上要面临着很大的挑战,所以为了更好地整合存储各类数字资源,提高海量数字资源的应用水平,提供专业化水平更高知识服务,数字图书馆应创新技术体系,适时引入大数据技术以此作为工作的新入口。本文以国家农业图书馆馆藏数据资源为对象,分析了国家农业图书馆现有资源的总体情况以及目前国家农业图书馆所使用的技术体系面临的问题,对比当今流行的大数据技术在性能和功能上的优势,提出了一种基于大数据技术的新型数字图书馆数字资源存储与应用的技术框架。此框架整合了HDFS、Hbase与Spark大数据存储与处理技术。随后在本研究设计的技术框架的基础上搭建了具有三个节点的实验集群,初步构建了大数据技术平台。论文后半部分论述了基于Hbase的大数据存储体系与基于Spark的大数据分析体系的优势,通过实例化的方式实现了基于Hbase的农产品贸易数据的存储与挖掘分析,借此方式对这种新型技术体系进行技术可行性分析与功能探索。本研究所使用的农产品贸易数据在数据存储层采用Hbase进行数据组织并通过HDFS实现数据的分布式存储,并通过实验对比分析基于大数据技术体系的农产品贸易数据库在性能上和关系型数据库优劣,实验结果证明采用论文提出的新型基于大数据技术的技术体系在数据检索效率上远远高于传统关系型数据库。最后利用Spark的高性能机器学习与计算功能,采用新型图计算工具Spark GraphX对农产品贸易数据进行基于复杂网络算法的深度挖掘研究,扩展了农业数字资源的应用场景。本研究从基于大数据技术的数据存储、数据检索、数据挖掘等多个方面探索了大数据环境下数字图书馆采用新型分布式数字资源存储与应用的具体实现方式,相比关系型数据库技术体系在性能上有所提升,有一定现实意义。
其他文献
<正>在物质生活水平获得极大发展的今天,在人的审美品质也不断提高。设计者们在不断挖掘和探索设计的深度与广度,人性化设计、情感化设计、感官设计等设计课题深入到人们生活
期刊
对于持续经营的企业,投资者会根据现在的财务状况与过去一定时期的经营成果,来预测其未来情况并据以作出投资决策,因此建立持续经营能力的评价体系尤其重要。文章选取了761家
<正> 一、前言2,6-二乙基苯胺为无色或淡黄色油状液体,沸点235~236℃(240~244℃),b10110~111℃,折光率nD20为1.5461。对鼠口服 LD50为2.69克/公斤。2,6-二乙基苯胺是合成氯代酰胺
阐述了褐色乳酸菌饮料生产工艺及关键技术控制点,对在生产过程中常见的发酵奶颗粒粗糙、沉淀,微生物污染等质量问题,分析了其产生的原因并提出了相应的控制措施。
课堂教学是班级授课制的基本表现形式,也是现代学校教学的基本组织形式,学校教学的目标和任务主要是通过课堂教学来表现的。自20世纪末语文教学大讨论以来,各种点拨式、讨论
随着计算机网络技术和数字通信技术的飞速发展,以TCP/IP为基础的Internet越来越影响着人们的生活,同时也带动了以IP为基础的各种应用的迅猛发展,其中VoIP技术就是一个典型应
<正>2013年中国白酒行业消费下滑,保健酒市场却"一枝独秀"。不远的将来,保健酒行业将形成一个强大的产业,处于产业链下游的包装企业或许可以提早做准备。白酒业"遇冷"保健酒
任何一次技术的进步在改变社会各阶层利益格局的同时也会推动版权法的发展。21世纪科技突飞猛进,数字技术、复制技术的发展,使得版权人的利益又面临着一次冲击。为了最大限度
针对地面低空雷达应用PD体制的杂波重叠问题,提出了分时分重频的设计方法.该方法无距离模糊,既可以采用足够高PRF方式获得更强的杂波抑制性能,又有效地克服了杂波重叠的不利
近年来,一方面,出于环境保护的要求,各国立法对汽车尾气及燃料油燃烧排放的限制越来越严格。另一方面,世界可采原油已开始呈现劣质化趋势,原油氮含量增高。并且,氮的存在对加