论文部分内容阅读
数据作为信息系统正常运作的基础,是一个企业正常运营的核心。业务的横向和纵向发展,新型的交互模式,以及移动互联网的飞速发展使得数据呈现指数增长。服务以及管理也逐渐精细化,信息系统逐渐集中式,这些因素共同催生了大规模的数据中心。再加上新技术架构以及新型业务的产生,对系统性能提出了更高的要求,这些都要通过软件升级来实现,在软件升级以及新老系统更替的过程中必然要面对数据迁移的问题。数据迁移项目过程中必然要面对很多风险分析。本文针对数据迁移过程中的数据完整性问题进行研究,进行了数据完整性风险分析和数据完整性检测。数据完整性检测是数据迁移必不可少的环节,对其进行深入研究有重要的意义。首先,本论文基于故障树理论对数据迁移过程中数据完整性风险进行分析。该过程清晰的呈现了数据完整性在数据迁移过程中会遇到的风险因素以及风险因素的结构重要度。通过分析结构重要度,可以得到在进行数据迁移的过程中,为了不发生数据完整性遭到破坏的风险,要着重注意的风险事项。并在此基础上计算出数据完整性遭到破坏风险发生的概率,为数据迁移项目的可行性分析提供依据。该过程中主要分为三个过程:首先建立数据完整性风险故障树,然后根据故障树分析各个风险因素的结构重要度,最后依据专家给出的数据计算出数据完整性遭到破坏风险发生的概率。其次,本文提出了新的基于MD5分组数据完整性检测与回溯方法。该方法解决了MD5算法本身只能串行计算的难题,提高了数据完整性检测的性能与速度。并且能够根据每个分组定义的标签回溯到问题数据分组的位置,减少问题数据排查的工作量。该方法通过先将大的数据文件根据事先设定的分组大小PS进行分组,再在每个分组中截取前100字节作为本数据分组的标签链接,通过多次的MD5摘要计算,有效解决MD5本身存在的碰撞问题,得到每个分组的MD5摘要值和最终数据文件的MD5摘要值。进行数据完整性检测之后可以根据每个分组的标签链接快速定位数据分组的位置。最后,将基于MD5分组数据完整性检测方法应用到具体实际当中,验证该方法的可靠性和可行性。用于头有的数据文件进行数据完整性检测,并显示验证的结果。通过对大数据迁移过程中的数据完整性问题的研究,为制定数据迁移过程中风险控计划提供重要依据,为数据迁移项目的顺利进行提供保障。