文档介绍：硕士学位论文大数据迁移过程中数据完整性问题研究 The Study ofData Integrity Issues inLarge ScaleData Migration 学号: 2垫—10—39 完成日期: 至Q至曼生墨旦呈目大连理工大学 Dalian University ofTechnology 万方数据大连理工大学学位论文独创性声明作者郑重声明:所呈交的学位论文,是本人在导师的指导下进行研究工作所取得的成果。尽我所知,除文中已经注明引用内容和致谢的地方外, 本论文不包含其他个人或集体已经发表的研究成果,也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。若有不实之处,本人愿意承担相关法律责任。学位论文题目: 作者签名: 冯减皱万方数据人连理I:人学硕十学位论文摘要数据作为信息系统正常运作的基础,是一个企业正常运营的核心。业务的横向和纵向发展,新型的交互模式,以及移动互联网的飞速发展使得数据呈现指数增长。服务以及管理也逐渐精细化,信息系统逐渐集巾式,这些因素共同催生了大规模的数据中心。再加上新技术架构以及新型业务的产生,对系统性能提出了更高的要求,这些都要通过软件升级来实现,在软件升级以及新老系统更替的过程巾必然要面对数据迁移的问题。数据迁移项目过程中必然要面对很多风险分析。本文针对数据迁移过程中的数据完整性问题进行研究,进行了数据完整性风险分析和数据完整性检测。数据完整性检测是数据迁移必不可少的环节,对其进行深入研究有重要的意义。首先,本论文基于故障树理论对数据迁移过程中数据完整性风险进行分析。该过程清晰的呈现了数据完整性在数据迁移过程中会遇到的风险因素以及风险因素的结构重要度。通过分析结构重要度,可以得到在进行数据迁移的过程中,为了不发生数据完整性遭到破坏的风险,要着重注意的风险事项。并在此基础上计算出数据完整性遭到破坏风险发生的概率,为数据迁移项目的可行性分析提供依据。该过程中主要分为三个过程: 首先建立数据完整性风险故障树,然后根据故障树分析各个风险因素的结构重要度,最后依据专家给出的数据计算出数据完整性遭到破坏风险发生的概率。其次,本文提出了新的基于MD5分组数据完整性检测与回溯方法。该方法解决了 MD5算法本身只能串行计算的难题,提高了数据完整性检测的性能与速度。并且能够根据每个分组定义的标签回溯到问题数据分组的位置,减少问题数据排查的工作量。该方法通过先将大的数据文件根据事先设定的分组大小PS进行分组,再在每个分组中截取前100字节作为本数据分组的标签链接,通过多次的MD5摘要计算,有效解决MD5 本身存在的碰撞问题,得到每个分组的MD5摘要值和最终数据文件的MD5摘要值。进行数据完整性检测之后可以根据每个分组的标签链接快速定位数据分组的位置。最后,将基于MD5分组数据完整性检测方法应用到具体实际当中,验证该方法的可靠性和可行性。用于头有的数据文件进行数据完整性检测,并显示验证的结果。通过对大数据迁移过程中的数据完整性问题的研究,为制定数据迁移过程中风险控计划提供重要依据,为数据迁移项目的顺利进行提供保障。关键词:大数据迁移;风险分析;数据完整性检测;故障树;M05 万方数据人数据迁移过程中数据完整性问题研究 The Study of Data Integrity Issues inLarge Scale DataMigration Abstract Data works as the basis ofthe information system iSthe core ofnormal business horizontal and verticaldevelopment ofbusiness,new interactivemode,as well as therapid development ofmobile Intemet makes data growth and management have gradually refined,information systems have gradually these factors give birth tothe large—scale data with new technology architecture and generate of new business,the higher performance ofthesystems are upgrades is amain way toachieve th