大数据环境下农业信息资源的存取研究

来源 :湖南工业大学 | 被引量 : 0次 | 上传用户:chenjason886
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国农业的迅速发展,农业研究领域积累了大量的数据,如何高效存储、处理及最大限度利用现有农业数据,成为当今时代面临的重要课题。另外,Hadoop已经在大数据领域广泛使用,并被应用于多种领域。因此,本文结合农业数据及Hadoop平台的特征,提出将该平台应用于农业领域,在该平台上存储及处理现有农业信息资源数据。本文主要研究内容如下:(1)农业大数据的分析。本文中分析了当前国内外农业数据的组织与管理现状,总结概括了我国农业大数据的特征和存储现状。(2)农业大数据存储与索引结构的设计。根据我国农业大数据的特征,设计了一种基于不同类型农业数据特征的数据存储结构并对不同类型的数据设计了相应的数据缓存策略。为了有效提高对数据的查询、处理效率,对数据的索引机制进行了改进,提出了一种二级索引机制,优化了数据存储空间到数据分区、数据分区到真正数据存储节点的数据索引方式,为对当前多种不同结构的农业数据的管理提供了一个统一的数据存储平台。(3)k-Nearest Neighbor查询算法的区域划分方法的改进及该算法的并行化设计。为了实现对已存储在上述数据库中的农业数据进行高效查询,对广泛使用的k-Nearest Neighbor查询算法中的区域划分方法进行了改进,不再采用以往的规则区域划分方法,提出了一种基于不规则区域划分方法的k-Nearest Neighbor查询算法,并根据大数据处理框架Map Reduce的运行机制对其进行了并行化处理,然后将该优化后的算法应用在Map Reduce框架上,有效提高了该算法的对大数据的处理能力。
其他文献
随着服务计算与云计算的发展,互联网上发布的Web服务数量也在迅速增长,通过调用不同的Web服务来快速搭建有创意的Mashup应用,引起了服务开发者的广泛兴趣,而如何帮助用户快速
近年来,在企业级应用开发环境中,面向对象的开发方式已成为主流,而关系数据库是目前使用最广泛的数据库,因此,在开发过程中通常会采用面向对象技术和关系数据库相结合的方式
随着XML技术的广泛应用,如何提高XML解析器的性能是一个亟待解决的问题。XML解析模型直接影响XML解析器的性能,因此解决这个问题应从XML解析模型入手。当前的研究工作大多基
随着Internet全面迅速的发展,网络已经渗透至各个领域,成为人们生活工作不可或缺的一部分。一方面,网络提供了海量的图片、文字、音频及视频等丰富的信息,使人们能够有机会从
认知诊断的目的是将被试在测验上可观察的反应模式划归到某一类认知结构或知识状态,从而达到诊断的目的,从本质上讲,认知诊断是一种模式识别。认知诊断在实施过程中可能会遇
近年来,随着多媒体技术和网络技术的迅猛发展,与嵌入式网络视频相关的应用越来越多。在这些应用中,为了实现视频信号的编解码,一般采用专门的H.264的编解码芯片或者使用DSP来完成
无线传感器网络是由传感器技术、无线通信技术、微机电系统技术和分布式信息处理技术结合而成的新型信息采集处理方式。它能够通过各类集成化的微型传感器协作,实时监测、感
手势识别是指通过计算机设备对手势进行精确解释,实现人与计算机的交互。手势作为一种自然直观的人类交流方式,将其运用到人机交互具有重要的理论意义和应用价值。手势识别的
随着市场竞争的日趋激烈,供应链管理已经成为现代企业的一种主要管理模式,但是各个企业在此模式下的库存管理并没有实现很好地链接,系统的信息整合度较低,各个节点企业的库存主要采取分而治之的方法,没有实现系统的整合,因而导致企业的库存费用过高。由于成本竞争是现代企业竞争的主要方式,库存费用又是供应链成本的一个重要组成部分,大约占总成本的30%,所以降低库存成本成为供应链优化控制的关键。之前多级库存系统成本
图像分割是模式识别和计算机视觉领域的一个重要研究方向,具有广泛的实用价值。在目标检测与分割的实际应用中,经常会遇到检测与分割后的图像轮廓模糊等情况,影响到目标检测