大数据迁移过程中数据完整性问题研究

被引量 : 0次 | 上传用户:madeshabi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据作为信息系统正常运作的基础,是一个企业正常运营的核心。业务的横向和纵向发展,新型的交互模式,以及移动互联网的飞速发展使得数据呈现指数增长。服务以及管理也逐渐精细化,信息系统逐渐集中式,这些因素共同催生了大规模的数据中心。再加上新技术架构以及新型业务的产生,对系统性能提出了更高的要求,这些都要通过软件升级来实现,在软件升级以及新老系统更替的过程中必然要面对数据迁移的问题。数据迁移项目过程中必然要面对很多风险分析。本文针对数据迁移过程中的数据完整性问题进行研究,进行了数据完整性风险分析和数据完整性检测。数据完整性检测是数据迁移必不可少的环节,对其进行深入研究有重要的意义。首先,本论文基于故障树理论对数据迁移过程中数据完整性风险进行分析。该过程清晰的呈现了数据完整性在数据迁移过程中会遇到的风险因素以及风险因素的结构重要度。通过分析结构重要度,可以得到在进行数据迁移的过程中,为了不发生数据完整性遭到破坏的风险,要着重注意的风险事项。并在此基础上计算出数据完整性遭到破坏风险发生的概率,为数据迁移项目的可行性分析提供依据。该过程中主要分为三个过程:首先建立数据完整性风险故障树,然后根据故障树分析各个风险因素的结构重要度,最后依据专家给出的数据计算出数据完整性遭到破坏风险发生的概率。其次,本文提出了新的基于MD5分组数据完整性检测与回溯方法。该方法解决了MD5算法本身只能串行计算的难题,提高了数据完整性检测的性能与速度。并且能够根据每个分组定义的标签回溯到问题数据分组的位置,减少问题数据排查的工作量。该方法通过先将大的数据文件根据事先设定的分组大小PS进行分组,再在每个分组中截取前100字节作为本数据分组的标签链接,通过多次的MD5摘要计算,有效解决MD5本身存在的碰撞问题,得到每个分组的MD5摘要值和最终数据文件的MD5摘要值。进行数据完整性检测之后可以根据每个分组的标签链接快速定位数据分组的位置。最后,将基于MD5分组数据完整性检测方法应用到具体实际当中,验证该方法的可靠性和可行性。用于头有的数据文件进行数据完整性检测,并显示验证的结果。通过对大数据迁移过程中的数据完整性问题的研究,为制定数据迁移过程中风险控计划提供重要依据,为数据迁移项目的顺利进行提供保障。
其他文献
在新制度经济学领域,诺思独树一帜,把制度主义的分析框架引入经济史的研究中,提出了宏大的制度变迁理论。这一理论对于理解经济史中的结构与变迁提供了新视角,并且尝试解释人类社
设计合成了一种新型的苝二酰亚胺衍生物1,6,7,12-四溴代-N,N-丙酸2-(2-氨基乙氧基)乙醇酯苝四羧酸酐。研究了在不同有机溶剂中的紫外、荧光光谱性能以及相应的聚集行为。光谱
走在繁华的街头,你会发现,穿着具有民族元素服饰的人不在少数。这些衣服融民族特色与现代时尚于一体,有的点缀着一块来自南方少数民族的蜡染民族工艺图案,有的配以华丽的藏族
论文借助对比实验和统计分析方法研究测站高度对海岛自动站大风资料代表性的影响,并与实验站观测对比评估高度订正后大风资料的可靠性,以期获得客观真实的海上大风实况信息,
广元地处四川盆地北部、嘉陵江上游、川陕甘三省结合部,为四川的北大门。是三国历史文化的重要走廊,女皇帝武则天的诞生地,川陕革命根据地的重要组成部分。素有"女皇故里"、"
期刊
壮族民间传说和民间故事形象、生动、真实地展现出了壮族社会的历史发展,饱含着壮族人民对自己乡土的热爱和怀念,是承载壮族人民伦理道德观念和道德理想的重要载体。它彰显了
通过试验研究了早强减水剂和高效减水剂对掺粉煤灰不同强度等级混凝土抗压强度的影响,研究表明:混凝土中掺入早强减水剂量在0%~1%时,混凝土早期强度明显提高,后期强度也有增大
近年来,一些学者开始关注影视文化与城市形象研究,在城市形象的影视塑造与传播等方面取得丰富成果,但影视文化与城市形象研究在理论深度、研究方法与实践中尚有不足之处。在
探索规划公交车与自行车出行一体化干道交通路网,把公交车与自行车出行相结合,倡导公交优先及绿色交通出行。并分析一体化干道路网下的城市土地开发利用,以及相关城市功能区