基于分类聚类的农业数据挖掘平台研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:coldcoffee_10
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化技术的广泛应用,农业行业存储了大量的数据,主要包括气象信息、土壤土质信息、病虫害信息、农作物产量、灌溉等信息,并且这些信息量在持续增加。数据挖掘技术能从数据中找出潜在的和有用的知识信息,能为提升农业数据信息质量、解决农业生产问题提供帮助。数据的分析研究是在数据获取与存储之上进行的,分析结果的图表展示能帮助用户直观地理解。为此,构建一个数据存储、分析、图形化交互于一体的农业大数据平台,能够更好的管理与应用农业数据。Hadoop、Spark等大数据应用技术能进行大量数据存储、快速计算,这些技术与网站开发技术的整合为实现数据挖据平台提供了支持。本论文通过分析农业数据挖掘状况与大数据技术,对分类聚类算法进行选取,开发了针对农业数据处理的挖掘平台,对生产过程中产生的信息进行采集与管理,并提供数据挖掘方法供用户调用。本文主要工作包括:分析数据挖据技术在农业上的应用,对农业数据的分类聚类挖掘算法进行选取,运用分类聚类对农业数据进行具体分析,对农业数据挖掘平台的架构及功能进行设计,并整合Spark分布式内存计算框架、HDFS分布式文件系统、SSM(Spring+Spring MVC+Mybatis)网站开发等技术,搭建起一个高可用的数据挖掘平台。论文中对基于分类聚类算法的数据挖掘平台进行了详细的设计,主要涉及了系统的整体架构、采用的关键技术、功能模块的设计、业务流程的梳理、数据库设计等内容。平台的架构包括展示层、逻辑层、计算层、数据层几个层次,其中数据层分为存储层与采集层,功能模块数据管理、数据预处理、数据挖掘、系统管理四个子模块组成。在算法分析与系统设计的基础之上,搭建Spark集群,使用Java语言进行开发和统一技术生态圈,利用Spark的相关组件进行了部分算法的实现。经过系统测试,开发完成的平台能实现生产过程数据监管与存储、农业数据知识库管理和挖掘分析处理等功能,为农业生产过程追溯与智慧生产提供帮助。
其他文献
本课题以同轴结构传输线的温度特性和频率特性为理论基础,解决了高温高频条件下对固体薄片结构的样品的阻抗测量问题。主要研究对象为课题组自主设计并加工完成的全金属同轴结构夹具,并对其测量过程中产生的误差进行分析。在高温高频条件下,采用分布参数的分析方法推导出夹具末端的样品阻抗值。由于测量过程中高温及高频下产生的热胀冷缩、多次反射、电延迟等物理现象的影响,本课题从理论层面提出补偿修正计算,从而提高固体薄片
近年来,永磁同步电机(Permanent Magnet Synchronous Motor,PMSM)的无传感器控制作为可望提高电机工作可靠性和容错性的一种重要手段,备受人们研究关注。实际PMSM受系统参数时变、负载摄动等不确定性扰动因素影响。现有的无传感器控制方法尚存在转子状态(转速和位置)观测精度不高、鲁棒性不强等不足,导致无法获得优良的PMSM无传感器速度控制性能。本文从研究提高无传感器控制
随着互联网技术的快速发展和移动设备的普及,人们网上的交流也越来越频繁,这导致网络信息迅速的增长。在如此庞大的数据量中找到有价值的信息变的非常困难。推荐系统就是一种有效解决该问题的方法。它不仅帮助用户快速检索,同时在商业领域有着广泛的应用,为众多公司带来利润,因此受到许多研究机构的重视。高效的推荐方法不仅具有实用性,同时还具有很高的商业价值。本文将深度学习与传统的推荐方法进行结合,提出了一种F-LF
随着信息技术不断发展,产生的数据量越来越多,人们如何快速而准确的找到感兴趣的信息变得越来越困难,而推荐系统能有效解决该问题。但是,推荐系统持续发展的同时依然面临许多问题,如数据稀疏性问题、冷启动问题等。本文主要以加权slope one算法为研究基础。加权slope one算法是协同过滤算法的一种,其主要依靠项目评分数值差,采用线性方式进行预测。此方法计算简洁,但是在数据稀疏时效果较差,因此针对加权
本论文的研究内容分为两部分:一、家蚕组织特异性和时空特异性基因启动子活性分析家蚕(Bombyx mori)是一种重要的经济昆虫,也是鳞翅目的模式昆虫,一生经历卵、幼虫、蛹和成虫四个发育时期,属完全变态昆虫。家蚕的整个发育过程都是大量的基因按照一定的时间、空间和次序表达的结果,基因表达调控受启动子的控制。从家蚕基因组DNA中克隆了卵巢特异性非编码RNA基因(ovary non-coding RNAg
滞育是昆虫度过不良环境条件的一种重要行为,滞育机理的查明可以为经济昆虫的开发利用和农业害虫的防治奠定基础。家蚕是研究滞育的模式昆虫之一,家蚕二化性品种的滞育性受上代胚胎期环境条件调控,在胚胎期进行高温(25℃)明催青,子代为滞育卵;低温(15℃)暗催青,子代为非滞育卵。查找家蚕胚胎期滞育关联蛋白,可为最终阐明家蚕滞育的分子机制提供实验依据。以家蚕二化性品种秋丰蚕卵为材料,分别在25℃自然光照和18
家蚕(Bombyx mori)是人类完全驯化并得以充分利用的一种重要的经济昆虫,也是鳞翅目昆虫的模式生物。随着家蚕基因组与功能基因研究的深入,家蚕转基因技术在基础科学研究和蚕丝产业领域的应用需求越来越迫切。转基因阳性个体的高效检测技术是建立家蚕转基因育种技术的核心之一,如果能利用可以肉眼观察的质量性状(如卵色、眼色、斑纹等)的基因,结合利用RNA干扰等技术,建立并采用可肉眼观察性状作为选择标志的转
血液作为一种不可再生资源在临床疾病治疗中发挥着重要作用,输血医学是现代医学的重要组成部分。大量的科学研究推动了输血医学的发展,提高了输血的安全性,输血在医疗实践中发挥着不可替代的重要意义。河南省是我国的人口大省,郑州作为省会城市,下辖6个市辖区、5个县级市、1个县,郑州地区承担着更多的医疗任务,较大的人口数目对医疗服务也有更大的需求,所以会导致临床供血紧张,特别是季节性缺血情况导致手术择期,产生不
乳腺癌是女性发病率第一位的恶性肿瘤,目前乳腺癌的治疗手段日趋丰富,包括手术治疗、化学治疗、靶向治疗、内分泌治疗以及放射治疗。然而仍有很多患者死于乳腺癌复发转移,其原因可能是对抗癌药物的耐药,因此对寻找乳腺癌新型治疗靶点的需求愈发迫切。NDRG2基因(N-myc downstream regulated gene 2)是NDRG基因家族(N-myc down-stream regulated gen
L-门冬酰胺酶在临床治疗中,有严重的毒副作用和过敏反应。如何解决其临床治疗严重的毒副作用和过敏反应,改善酶的性能,是受到临床科研工作所关注的问题。本课题将以具有良好的生物相容性、安全无毒的天然高分子蛋白质的丝素蛋白为修饰材料,对L-门冬酰胺酶进行化学修饰。重点摸索修饰反应的最佳优化条件、初步分离纯化修饰产物以及对修饰产物进行理化性质的分析。论文的主要研究内容和结果如下:丝素蛋白修饰剂的制备。本文对