基于HBase的工业物联网数据存储策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lengzhichao12321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的进步,大量传感器和智能终端被应用于传统工业领域,从而会带来数据的海量增长。如何有效的管理海量数据以提高工业生产效率成为一个亟待解决的问题。而目前针对于海量工业实时数据的存储与处理,传统常规的解决办法是采用集中式存储系统,但集中式存储系统当面对工业物联网数据持续增长时,容量有限同时扩展性不足;而传统的分布式数据库在容错性以及数据一致性等方面又很难满足工业物联网数据存储的需求。经过对大量存储系统调研后,本文提出了一种针对于海量工业实时数据的存储管理办法。依据工业数据相关特点,选取工业系统中常用的数据处理办法实时库作为适配层,实时库能够对工业采集数据执行过滤、监控以及缓存操作,同时保证工业数据能够平滑地写入HBase;选取开源HBase系统作为数据持久层来存储工业系统中最终归档历史数据,HBase的可扩展性,容错性,数据一致性,支持高并发查询等性能能够保证工业数据的高效管理;最后提出了存储后再离线压缩的方案,使得工业系统能够更加灵活的实现动态可控压缩。最后,依据存取需求设计HBase的行键,同时在存储子节点上仿真数据库以及查询处理器实例,执行存取过程各个方面的性能仿真测试。依测试结果能够得出,存储策略数据归档性能优异,容错性以及扩展性较好,随着查询处理器数目的增多并行查询性能逐步增强,但增强趋势会渐进趋缓,连续时间段内的范围查询具有良好性能。同时,选取某一天的数据执行压缩处理,可以看出,压缩后的数据急剧减少,但是保存了数据的变化趋势。
其他文献
煤矿物联网作为一个新兴的热点研究领域,集成了传感器技术、微机电系统技术、无线通信技术和分布式信息处理技术等。它将物联网技术应用在煤矿环境中,提高井下作业的可见性与安
音频数字水印是一种信息隐藏技术,它是一种在不对音频载体信号产生过分影响的条件下将额外的信息嵌入到数字媒体中以实现隐蔽通信、版权保护等功能的技术。回声隐藏是音频信息
随着无线通信业务的飞速发展和广泛应用,有限的频谱资源和固定的频谱分配模式都导致了频谱资源利用率极其低下,进而成为频谱资源紧缺的瓶颈。认知无线电作为一种智能的无线通
由于互联网的飞速发展,在下一代无线通信系统中,对无线流量的需求会大大增加,并且大量的流量将来自于各种各样的多媒体应用。为了满足如此大的流量需求,massive multi-input-
随着社会老龄化的加剧,老年人群患老年痴呆症的比例在增大,这给社会和家庭带来新的挑战和难题。因此,如何及早地预测和定量大脑的衰退程度显得尤为重要。本文正是基于这一目
近年来,随着物联网研究热潮在全球的掀起,中国对物联网传感网络的研究也提上了日程。作为物联网重要组成部分,监控系统相关平台的研究也面临着新的机遇和挑战。传统的监控系
摘 要:采用悬浮聚合的方法合成了两性多功能高分子絮凝剂AM-PM系列产品,通过对引发剂用量、引发温度和pH值进行考察,制备一系列两性离子絮凝剂,对其特性粘数进行表征,选出最佳反应条件。实验结果表明,该两性高分子絮凝剂与无机聚合氯化铝有较好的复配协同效应,并实际应用到北方车辆集团工业污水的处理中,考查了絮凝性能,取得了良好的效果。  关键词:两性离子 多功能团 絮凝剂 污水处理
盲辨识是指仅仅利用系统输出端信号和某些辅助信息来估计信道的信号处理技术。在移动通信中,基于对高容量、高可靠性传输的追求,不需要训练序列的盲辨识技术是很具有吸引力的
在认知无线电网络中,可用频谱资源的频率和带宽通常是不稳定的,甚至可能是不连续的,而正交频分复用技术(Orthogonal Frequency Division Multiplexing, OFDM)具有能够灵活地
频谱分析仪被誉频域万用表,在生产实践和科学研究中有着广泛的应用。为此,本设计研制了一款符合大众需求的低成本、便携式、可程控的频谱分析仪。可以将时域信号转变至频域,并将其频谱、相位、原始信号显示在液晶屏上。本课题选用三星公司ARM7系列的S3C44B0X与Altera公司Cyclone II系列的EP2C8Q208C8N为核心设计系统硬件平台,包括ARM+FPGA的外围电路设计、A/D采集模块设计、