(19)国家知识产权局
(12)发明 专利
(10)授权公告 号
(45)授权公告日
(21)申请 号 202211043551.7
(22)申请日 2022.08.30
(65)同一申请的已公布的文献号
申请公布号 CN 115146003 A
(43)申请公布日 2022.10.04
(73)专利权人 江苏数瑞信息技 术有限公司
地址 211100 江苏省南京市江宁区乾德路2
号2楼201 (江宁高新园)
(72)发明人 何建
(74)专利代理 机构 北京专赢专利代理有限公司
11797
专利代理师 李斌
(51)Int.Cl.
G06F 16/27(2019.01)
G06F 16/23(2019.01)(56)对比文件
CN 114328017 A,202 2.04.12
审查员 张杨悦
(54)发明名称
非侵入式实现数据库增量数据实时同步处
理的方法和系统
(57)摘要
本发明涉及数据库存储技术领域, 具体公开
了一种非侵入式实现数据库增量数据实时同步
处理的方法和系统, 所述方法包括遍历全量数据
库和备份数据库, 生成架构参数; 将所述架构参
数输入预设的转换模型, 得到两个n位二进制数
值; 比对两个n位二进制数值, 根据比对 结果定位
目标区域, 确定增量数据, 生 成更新数据库, 对备
份数据库进行更新。 本发明通过遍历数据库, 生
成数据库的架构参数, 根据 架构参数确定一个含
有映射关系的数值, 比对这一数值, 即可确定变
化部分, 最终实现增量同步过程; 本发明只需要
对数据库进行遍历, 无需设置监测节点, 研发成
本较低, 实现了非侵入式的数据增量同步过程,
适用范围广。
权利要求书3页 说明书7页 附图4页
CN 115146003 B
2022.11.18
CN 115146003 B
1.一种非侵入式实现数据库增量数据实时同步处理的方法, 其特征在于, 所述方法包
括:
遍历全量数据库, 生成第一架构参数;
遍历备份数据库, 生成第二架构参数; 所述第一架构参数和所述第二架构参数均用于
表征数据存储方式;
将所述第一架构参数和所述第二架构参数输入预设的转换模型, 得到两个n位二进制
数值; 其中, 所述转换模型为任意长的消息到n位二进制数值的映射; 所述映射含有次序特
征;
比对两个n位二进制数值, 根据比对结果定位目标区域, 基于目标 区域拷贝全量数据库
中的数据, 生成含有时间信息的更新数据库;
显示各更新数据库的时间信息, 基于时间信息接收用户发送的同步请求, 对备份数据
库进行更新;
所述遍历全量数据库, 生成第一架构参数的步骤 包括:
遍历全量数据库, 查询各 数据的地址信息;
将查询到的地址信 息与预设的缓存区内的尾部数据进行比对, 若所述地址信 息与所述
尾部数据相同, 删除查询到的地址信息并更新该地址信息的数量;
若所述地址信 息与所述缓存区内的尾部数据不同, 将查询到的地址信 息插入缓存区尾
部;
根据缓存区中的数据生成树状图; 所述 树状图的终端节点的值 为地址信息的数量。
2.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法, 其特征
在于, 所述 根据缓存区中的数据生成树状图的步骤 包括:
读取缓存区中的地址信息, 根据地址信息中的分隔符, 基于分隔符将所述地址信息转
换为含有层级标识的节点名称组;
基于层标识别查询树状图中是否含有该节点名称组中的节点名称;
若树状图中不存在任一节点名称, 则将节点名称组转换为分支, 将分支插入树状图主
干;
若树状图中包括所有节点名称, 则读取 下一地址信息;
若树状图中包含部分节点名称, 则将节点名称组转换为分支, 将分支连接至树状图的
分支。
3.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法, 其特征
在于, 所述将所述第一架构参数和所述第二架构参数输入预设的转换模型, 得到两个n位二
进制数值的步骤 包括:
根据预设的同一切分规则对所述第 一架构参数和所述第 二架构参数进行切分, 得到子
参数; 所述切分规则含有切分顺序;
将所述子参数输入预设的转换模型, 得到二进制数值;
基于切分顺序 连接各子参数对应的二进制数值, 得到n位二进制数值; 所述切分顺序为
子参数与n 位二进制数值中各 数位的映射关系。
4.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法, 其特征
在于, 所述比对两个n位二进制数值, 根据比对结果定位目标区域, 基于目标区域拷贝全量权 利 要 求 书 1/3 页
2
CN 115146003 B
2数据库中的数据, 生成含有时间信息的更新数据库的步骤 包括:
对两个n位二进数值进行逻辑运算, 根据逻辑运算结果确定差异位, 根据 所述差异位和
切分顺序定位子参数;
根据所述子参数在全量数据库中定位目标区域, 并拷贝全量数据库中的数据;
读取全量数据库的更新 时间和备份数据库的备份时间, 根据所述更新 时间和所述备份
时间计算时间差;
根据时间差生成与全量数据库同源的空白数据库, 将拷贝到的数据插入所述空白数据
库, 得到含有时间信息的更新数据库。
5.根据权利要求1所述的非侵入式实现数据库增量数据实时同步处理的方法, 其特征
在于, 所述显示各更新数据库的时间信息, 基于时间信息接收用户发送的同步请求, 对备份
数据库进行 更新的步骤 包括:
读取并显示已生成的更新数据库的时间信 息, 接收用户发送的含有选取信 息的同步请
求;
拷贝备份数据库, 依次根据选取的更新数据库替换备份数据库, 记录每一次替换后的
备份数据库;
将最后一次替换的备份数据库标记为默认的备份数据库。
6.根据权利要求5所述的非侵入式实现数据库增量数据实时同步处理的方法, 其特征
在于, 所述显示各更新数据库的时间信息, 基于时间信息接收用户发送的同步请求, 对备份
数据库进行 更新的步骤 还包括:
实时计算所有备份数据库的存储时长, 当所述存储时长达到预设的存储阈值时, 删除
非默认的备份数据库。
7.一种非侵入式实现数据库增量数据实时同步处理的系统, 其特征在于, 所述系统包
括:
第一遍历模块, 用于遍历全量数据库, 生成第一架构参数;
第二遍历模块, 用于遍历备份数据库, 生成第 二架构参数; 所述第一架构参数和所述第
二架构参数均用于表征 数据存储方式;
数值转换模块, 用于将所述第一架构参数和所述第二架构参数输入预设的转换模型,
得到两个n位二进制数值; 其中, 所述转换模型为任意长的消息到n位二进制数值的映射; 所
述映射含有次序特 征;
比对定位模块, 用于比对两个n位二进制数值, 根据比对结果定位目标区域, 基于目标
区域拷贝全量数据库中的数据, 生成含有时间信息的更新数据库;
数据更新模块, 用于显示各更新数据库的时间信息, 基于时间信息接收用户发送的同
步请求, 对备份数据库进行 更新;
所述遍历全量数据库, 生成第一架构参数的内容包括:
遍历全量数据库, 查询各 数据的地址信息;
将查询到的地址信 息与预设的缓存区内的尾部数据进行比对, 若所述地址信 息与所述
尾部数据相同, 删除查询到的地址信息并更新该地址信息的数量;
若所述地址信 息与所述缓存区内的尾部数据不同, 将查询到的地址信 息插入缓存区尾
部;权 利 要 求 书 2/3 页
3
CN 115146003 B
3
专利 非侵入式实现数据库增量数据实时同步处理的方法和系统
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-07 12:42:54上传分享