Hadoop环境下的数据溯源方法的应用研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:pangyaoyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前多数数据溯源系统都是建立在传统数据库的基础上,这就造成了在处理海量的高复杂度的数据时出现查询效率低,结果不可靠的问题。针对上述问题,探讨了Hadoop系统、现有的数据溯源模型和方法及国内外研究现状,在深入分析相关理论、技术和方法的基础上,基于数据基因编码的观点,提出了基于遗传算法的数据溯源染色体模型,并将其应用于Had oop系统,以处理海量高复杂度的数据溯源的问题。数据染色体溯源模型是建立在数据基因编码技术和遗传算法的基础上,核心是以生物的进化过程模拟数据的传播过程,通过分析数据在传播过程中发生变异的概率来达到数据溯源的目的。将该模型应用于Hadoop系统上,建立了一个基于Hadoop系统的数据溯源系统。为验证该系统,构建了Hadoop实验环境;以前期参加的华为项目“Hadoop分布式系统的流量模型研究”所得到的数据为数据源,运用基本遗传算法,计算各代数据染色体的概率和转移矩阵,将其运用到该系统中并进行仿真实验。实验表明,该系统具有较好的伸缩性和性能。将数据染色体溯源模型应用于Hadoop系统,能够解决传统传统数据溯源系统在处理海量高复杂度的数据时出现的效率较低,结果准确性不高的问题,并能实现高内聚、低耦合和易扩展的设计需求。
其他文献
背景腹腔镜手术在普外科的飞速发展,成功的减少了手术创伤,但是传统腹腔镜手术的多个腹部切口仍然不能满足人们对完美的追求,于是“无疤痕”手术孕育而生。“无疤痕手术”目
近年来,由新型鸭细小病毒引起的鸭短喙—侏儒综合征在国内部分地区的樱桃谷鸭和半番鸭群中流行,严重影响了养鸭生产效益。然而,作为一种新出现的疾病,该病依然缺乏有效的防治
<正> 近几年来,我院院长袁奎荣教授及其研究生刘文龙等在平桂地区开展隐伏花岗岩预测与找矿研究工作,认为该区花岗岩是锡的成矿最主要控制因素,通过预测隐伏花岗岩可为深部找
大学生体质健康标准测试每年都在搞,但大学生的身体素质并没有得到提高。体质测试中有很多问题需要纠正,根据今年新《标准》的实施,提了几点自己的建议,希望对今后的大学生体
<正> 数论中判别一个数是否是素数,常常用到威尔逊定理,本文将对该定理作几点有趣的改进。这些改进在理论上有较好的意义。
期刊
蒙太奇手法是在影视制作中把分切的镜头组接起来的手段,而随着时代和科技的不断发展,动画与电影越来越相近,蒙太奇手法的运用对动画质量有着举足轻重的影响。首先在调查蒙太
膜分离技术是利用选择性分离膜实现溶液分离、浓缩、纯化和精制等功能的新型分离技术,广泛用于废水处理、中水回用、海水淡化等领域。而现有单一材料的分离膜仍存在着低渗透
介绍目前国外主要的数据溯源描述语言:DCMI术语、OPM-O、PV、VoIDP、PROV-O,从来源和目的、资源描述角度、主要服务对象和解决的问题、标注方式、词表结构等方面分别对以上数
<正>鄂尔多斯美术馆有两条功能主线:公共展览线路和内部资料线路。展览的交通以线性展开,水平低矮的入口顺沿沙丘坡地的自然地形扭转,在高处则挑起远望考考什那水库,继而反转
涉土领域渎职犯罪会给国家造成巨大的损失。在渎职犯罪中,涉土领域占有较大比例。涉土领域渎职犯罪发生有自身个性原因。治理涉土领域渎职犯罪必须坚持标本兼治,惩防并举。