基于密度划分的复杂大数据存储方法与技术研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:nixofnj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自互联网诞生之日起,尤其是进入21世纪以来,随着互联网、物联网等技术的飞速发展,每天都在产生非常庞大的数据量。而随着机器学习等技术的迅猛发展,人们可以利用现有的技术可以从大数据中挖掘出具有复杂事件模式关系的数据集,通过挖掘出的这些关系数据集可以更好的服务于我们的日常生活与生产当中。本课题处理的数据源对象就是挖掘出的具有复杂事件关系数据集。随着复杂事件关系数据集的规模越来越大,而现有存储设备的存储空间已无法满足对大数据的存储,并且用于提高硬件设备存储能力的相关技术的发展速度无法追上数据集规模的膨胀速度,对大数据的有效存储已是亟需解决的一个重大问题。数据压缩技术作为对数据存储影响最大的一项技术,成为本文研究的重点。本文针对复杂事件关系数据集中带有重复性质的数据比例过高,冗余度过大的问题,提出一种基于数据源密度分布的密度区域划分算法,提取出数据源中高密度数据区域,对高密度区域中大量带有重复性质的数据进行统一擦除操作,以达到数据压缩目的,并与传统经典的LZW压缩算法做出横向对比,对本文提出的压缩策略的数据压缩性能做进一步的分析与验证。最后,为了解决现有单一数据存储设备对大数据的存储能力不足,存储效率较低等问题,本文利用分布式文件系统对大数据存储的优越性,在主流的HDFS分布式文件存储系统(Hadoop Distributed File System)基础之上,结合本文提出的数据压缩策略,使用B树算法构建索引结构,设计并实现了一个大数据压缩存储工具,进一步检验了上诉工作的可行性和优化了对复杂事件关系大数据存储方法的方案研究。
其他文献
研究背景:持续的心肌肥厚状态将导致心脏结构和功能发生不可逆性的改变。目前研究发现,钙/钙调素依赖性蛋白激酶II(CaMKII)和类泛素蛋白FAT10可能与心肌肥厚的发生发展相关,但
随着京津冀经济快速地增长,环境与经济增长的矛盾日益突出。京津冀作为带动全国经济发展的重要动力,环境污染问题已严重制约着该地区的经济发展。京津冀协同发展是重大国家战
由于供电系统中非线性负载负荷的增加,电网中谐波污染也日渐严重,供电质量随之下降。所以,急需谐波的检测和治理以降低它对供电的负面影响。但是传统的滤波技术由于各种限制
地质环境是由岩石圈、水圈和大气圈组成的平衡开放系统,为人类生存、繁衍以及各类活动提供资源和场所。海岸带地区资源丰富,交通便捷,是人类社会和经济发展的重要区域,人类活
磷化铟作为一种重要的Ⅲ-Ⅴ族化合物半导体材料,具有诸多优异特性,作为衬底材料广泛应用于光电子与微电子领域。熔体组分配比度能够影响磷化铟中不同晶体缺陷的产生,对磷化铟
1990年代随着改革开放的深入贯彻,商品经济时代的到来,传统价值观念面临瓦解,历史叙事也随之进入一个崭新的阶段。抗战题材作为中国历史小说中最为重大且庄严的题材,它见证了这一时期作家历史观的转型。本文从历史观变革的视角切入,立足于新历史主义理论对1990年代中国抗战题材小说作品进行整合和分析,探究其在人物塑造方面呈现出的非英雄化特征。本文共分为四个部分:第一部分主要回顾中国抗战小说的发展历程以及介绍
我国经济飞速发展与世界接轨,丰富多彩充满诱惑的生活引发离婚率居高,离婚之后往往会引发财产纠纷、子女抚养权纠纷、探望权纠纷,离婚之后势必会给未成年子女带来不同程度的伤害,孩子在经济方面受到限制,孩子在亲情方面也受到了伤害,探望权制度正是为探望者与被探望者之间架起桥梁来慰藉精神上受到的伤害,但是司法实践中,探望权的制度有所不足。在司法实践中遇到具体问题的处理,得不到完美的解决,情与法不能双赢,要想顺利
煤炭是全球重要的发电燃料,也是我国的主要一次能源。硫是煤炭的主量元素之一,煤中全硫含量对于煤炭质量及清洁高效利用至关重要。针对已有煤中全硫含量测定方法中步骤繁琐、实验周期长和测量结果滞后等核心问题,本论文探讨了基于能量色散型X射线荧光光谱(EDXRF)的煤中全硫含量的快速分析方法。系统分析了 EDXRF实验测试方法,具体考察X射线管电压、管电流、光路气氛和测量时间等操作参数对S元素荧光的激发、传播
为了保护水资源,确立水资源的分布与实时的监测,以便更好的管理与治理成为预防河流干涸、断流以及水资源污染的有效手段。随着遥感技术的发展,大大减少了人力物力资源在确立水资源的分布与实时监测的消耗。而对于传统的识别方法虽然在某些特定场景下表现较好,但随着数据量的不断增大,人们对于普适性和效率的要求越来越高,而对于传统的识别方法有着精度低、效率低以及无法提取遥感影像中深层特征的缺点。使用深度学习可以有效的
2005年,党的十六届五中全会上首次提出了公共文化服务体系的建设要求。此后,国家对公共文化服务建设的财政资金投入在逐年增长,各级政府对公共文化服务的建设力度也在不断加