1 / 16
文档名称:

CN111046100A-一种关系型数据库到非关系型数据库的同步方法和系统.docx

格式:docx   大小:137KB   页数:16页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

CN111046100A-一种关系型数据库到非关系型数据库的同步方法和系统.docx

上传人:ttteee8 2022/6/22 文件大小:137 KB

下载得到文件列表

CN111046100A-一种关系型数据库到非关系型数据库的同步方法和系统.docx

相关文档

文档介绍

文档介绍:(19)中华人民共和国国豕知识产权局
(12)发明专利申请
(10)申请公布号 CN 111046100 A
(43)
(21)申请号 201911165653 .4 (22)申请日 2系数据库的类型调用相应的接口进行同步更新,具体为:
在目的端的非关系数据库中调用相应的接口,对非关系型数据库进行相应的事务操 作;
或,将接口进行封装,以动态库的形式向第三方应用提供二次开发接口。
-种关系型数据库到非关系型数据库的同步系统,其特征在于:
包括至少一个源端的数据库服务器和至少一个目的端的数据库服务器,源端的数据库 服务器上部署源端的关系型数据库,目的端的数据库服务器上部署目的端的非关系型数据 库,源端的数据库服务器和目的端的数据库服务器间通过数据通信相连;
源端的数据库服务器中包括日志捕获模块、数据发送模块,其中,日志捕获模块完成权 利要求1-9中任一项所述的源端的数据库日志信息获取相关步骤,数据发送模块完成权利 要求1-9中任一项所述的源端同步数据发送相关步骤;
目的端的数据库服务器中的数据接收模块、数据解析模块、消息封装模块,其中,数据 接收模块完成权利要求1-9中任一项所述的目的端同步数据接收相关步骤,数据解析模块 完成权利要求1-9中任一项所述的同步数据解析和保存相关步骤,消息封装模块完成权利 要求1 -9中任一项所述的将同步信息转换为通用数据交换格式的数据的步骤。
一种关系型数据库到非关系型数据库的同步方法和系统
【技术领域】
[0001] 本发明涉及数据库领域,特别是涉及一种关系型数据库到非关系型数据库的同步
方法和系统。
【背景技术】
[0002] 在传统行业,目前对数据的存储一般都采用关系型数据库,如ORACLE, DB2等。然而
随着业务的发展,系统功能的增多,系统架构变得越来越复杂,对数据的存储与需求也变得 越来越多样性,非关系型数据库,如远程字典服务(Remote Dictionary Server ,简写为 Redis), MongoDB等也开始逐渐进入传统行业。
[0003] 基于非关系型数据库的特点,比如Redis,使用频繁或者I/O量比较大的数据会被
放入其中。但是这部分数据起初是放在原有的关系型数据库中,同时在传统行业,由于旧系 统通常都比较庞大复杂,若对系统相关接口进行修改将会变得非常复杂,因此导致未来这 部分本应放在Redis中的数据仍然会通过原有系统接口写入到关系型数据库中。这时,一方 面为了适应新业务而采用非关系型数据库作为存储和管理数据的工具,另一方面为了兼容 旧有系统而又必须采用关系型数据库,如何兼容数据在关系型数据库和非关系型数据库的 存储便成为急需要解决的问题。由于关系型数据库和非关系型数据库在内部存储的数据模 型不一样,因此,传统的数据同步工具无法解决此问题。
[0004] 鉴于此,如何克服现有技术所存在的缺陷,解决关系型数据库和非关系型数据库 之间数据同步时由于数据类型不兼容所导致的同步方式繁琐复杂,且无法实时完整的进行 同步的现象,是本技术领域亟待解决的问题。
【发明内容】
[0005] 针对现有技术的以上缺陷或改进需求,本发明解决了关系型数据库向非关系型数
据库的数据同步问题。
[0006] 本发明实施例采用如下技术方案:
[0007] 第一方面,本发明提供了一种关系型数据库到非关系型数据库的同步方法,具体
为:解析源端的关系型数据库的数据库日志,获取源端的关系型数据库中需要同步的事务 的标记信息和变更数据信息;根据事务的变更数据信息生成相应的SQL语句;将事务的同步 信息发送至目的端,同步信息包括事务的标记信息和相应的SQL语句;目的端按照接收到的 事务的标记信息对事务进行分类,并按照事务分类对同步信息进行保存;将同步信息转换 为通用数据交换格式的数据;使用转换后的通用数据交换格式的数据对目的端的非关系型 数据库进行同步更新。
[0008] 优选的,获取关系型数据库中需要同步的事务的标记信息和变更数据信息,还包
括:对数据库日志中的信息进行筛选,去掉与事务无关的日志数据,筛选出与事务相关的日 志数据。
[0009] 优选的,根据事务的变更数据信息生成相应的SQL语句,具体为:通过事务的变更 数据信息和数据库日志生成对应的事务的变化数据的事务逻辑信息;由事务逻辑信息生成 相应的SQL语句。
[0010] 优选的,将事务的同步信息发送至目的端,具体为:源端将同步信息打包为消息报 文,并发送至目的端;目的端接收消息报文,并提取其中的事务的标记信息和相应的SQL语 句。
[oom 优选的,按照事务分类对同步信息进行保存,具体为:在目的端建立同步信息缓存 区,事务链表形式将接