农村饮用水海量数据存储分析平台设计

来源 :华南农业大学 | 被引量 : 0次 | 上传用户:ewenxj860411
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国农业科技信息化的发展,农业的生产模式逐渐由传统的人工劳作向科技信息化农业发展。特别的,随着物联网技术的推广,农业方面已经有很多基于物联网的应用已经落地,在这些应用中,传感器每时每刻都在产生数据,日积月累下形成了巨大的数据量。农村饮用水的监控工程也是一样,数据量出现急剧增长导致数据量累积巨大,对于如此海量的农村饮用水数据,价值是巨大的。然而,我国目前对农业数据的利用并不十分充分,对于农村饮用水的在线监测数据也是如此,大部分实时监测数据都是存储空间不够就直接丢弃,并没有充分得挖掘出其潜在的价值。同时,目前社会上在农村饮用水监测工程中使用的存储工具主要以关系型数据为主,这类数据库在处理大量数据时,其数据吞吐性能并不十分优越,并且由于其扩展性能差,在管理分散数据有明显的不足。本文以农村饮用水数据作为实验对象,针对传统农村饮用水监控工程中关系型数据库在存储能力、吞吐性能、数据容灾和数据再利用等方面存在问题,研究分布式存储分析平台;平台主要是以hadoop集群为底层存储架构,利用关系型数据Mysql存储饮用水实时属性数据,并定时把Mysql中的历史数据迁移到hadoop集群中,解决了数据可视化过程hadoop的低延迟操作,同时又解决了Mysql数据存储能力和吞吐量的;数据清洗在kafka集群中进行,原生数据消费者负责提取原始数据到HDFS,清洗消费者负责对缺省数据进行清洗完存储到Hive数据仓库中;数据仓库的周期统计结果和Mysql中的实时数据会传输到前台进行数据的可视化;课题根据饮用水数据的特点,改进传统分布式平台在文件存储和管理方面的不足,提出基于属性的文件合并存储策略和基于文件访问热度的文件副本动态管理策略。经过系统试验,农村饮用水海量数据存储分析平台能实现对课题饮用水数据的存储、容灾和再利用,且读写的性能要明显好与传统海量数据存储分析平台。
其他文献
语调,作为一种非常重要的语言表达手段,在语言交际中发挥着不可忽视的作用。它既能够反映句子的句法结构和语义功能,也可以帮助说话者表达情感。故而国内外众多语言学学者都
从自然环境中,筛选出了高效降解几丁质的菌株,同时也具有广谱的杀虫潜能的菌株,为植物病虫害的防治提供一个新思路。以武汉沙湖边的水样为材料,经过富集培养、初筛和复筛后,
战争以及各种形式的暴力是女权主义者长期以来致力改变的情况之一。女权主义和平研究从社会性别角度看待战争问题,强调女性在和平进程中的重要作用。本文从女权主义和平研究视
目的:探讨小剂量罗哌卡因复合舒芬太尼在剖宫产术中的效果。方法:收集笔者所在医院妇产科收治的行剖宫产术产妇70例,分为对照组和试验组,各35例,分别给予相应的药物麻醉,手术结
随着改革开放的不断深入,我国公共交通得到了长足的发展。国家制定了优先发展公共交通的政策和策略。在此背景下智能公交系统应运而生。系统运行之后取得了不错的效果,但运行
棉花作为主要的棉纺织工业原料,是我国重要的经济作物之一。多种非生物胁迫(如干旱、高温等)严重影响了我国棉花的生产。WRKY转录因子是高等植物特有的转录因子,广泛参与调控
重症胰腺炎病情险恶,并发症多而重,病死率高.Ranson在1974年根据100例急性胰腺炎患者的临床资料,提出重症胰腺炎11项早期客观检查指标,经分析5项阳性者病死率达40%[1].1979年
侵犯商业秘密罪“重大损失”的认定是司法实践中一个棘手的难题。对于侵犯商业秘密罪而言,“重大损失”是侵权行为纳入刑法规制范围的关键切入点,是该罪定罪量刑的前提与基础。同时,“重大损失”能否合理认定还关乎商业秘密刑事立法保护的有效性和进一步完善,以及对法官自由裁量行为和司法权运行的有效限制。无可置疑,“重大损失”的认定举足轻重。而要明确侵犯商业秘密罪“重大损失”认定问题,首要需明晰“重大损失”限于物质