(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058944.5 (22)申请日 2022.08.30 (71)申请人 广东卓维网络有限公司 地址 528000 广东省佛山市南海区桂城街 道季华东路33号佛山市电力科技产业 中心1座6 -9层 申请人 广东电网有限责任公司佛山供电局 (72)发明人 王义申　冯敏　刘建勇　陈健流　 陈建海　武兴国　叶盛华　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/16(2019.01)G06F 16/172(2019.01) G06F 16/18(2019.01) G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/28(2019.01) (54)发明名称 异构数据实时同步方法、 装置和计算机设备 (57)摘要 本申请属于大数据技术领域， 特别涉及一种 异构数据实时同步方法、 装置和计算机设备。 该 方法包括： 获取源端业务系统的关系型数据库中 数据操作日志文件的变更信息， 其中， 所述变更 信息包括至少一条变更数据； 对 所述变更信息进 行预处理生成二进制文件； 将所述二进制文件传 输至目标文件存储系统； 将所述二进制文件还 原， 在所述目标文件存储系统获取到所述变更数 据； 将所述变更数据写入所述目标文件存储系统 的增量数据表； 将所述增量数据表与所述目标文 件存储系统的存量数据表进行合并， 以完成异构 数据同步。 上述的方法、 装置和计算机设备可缩 短异构数据同步的时间， 更好地满足高时效性要 求的数据应用场景。 权利要求书2页 说明书10页 附图8页 CN 115221248 A 2022.10.21 CN 115221248 A 1.一种异构数据实时同步方法， 其特 征在于， 包括： 获取源端业务系统的关系型数据库中数据操作 日志文件的变更信息， 其中， 所述变更 信息包括至少一条变更 数据； 对所述变更信息进行 预处理生成二进制文件； 将所述二进制文件传输 至目标文件 存储系统； 将所述二进制文件 还原， 在所述目标文件 存储系统获取到所述变更 数据； 将所述变更 数据写入所述目标文件 存储系统的增量数据表； 将所述增量数据表与 所述目标文件存储系统 的存量数据表进行合并， 以完成异构数据 同步。 2.根据权利要求1所述的异构数据实时同步方法， 其特征在于， 所述将所述二进制文件 传输至目标文件 存储系统的步骤， 包括： 对所有所述变更数据进行主键标记、 变更类型添加以及变更时间字段添加生成预处理 变更数据； 将所有所述预处 理变更数据进行封装生成预处 理变更数据文件； 将所述预处 理变更数据文件转换为 二进制文件。 3.根据权利要求2所述的异构数据实时同步方法， 其特征在于， 所述将所述变更数据写 入所述目标文件 存储系统的增量数据表的步骤， 包括： 以预设格式将在所述目标文件存储系统获取到所有所述变更数据发送到消息队列组 件； 将所述消息队列组件接收到的所述变更数据进行偏移量标记， 其中， 所述偏移量用于 查询所述变更 数据； 将已进行偏移量标记的所述变更 数据在所述消息队列中按照所述主键进行分区存 储； 以预设时间 间隔消费所述消息队列组件中的数据； 按预设规则解析 所述消息队列组件中的数据获得 所述变更 数据； 将所述变更 数据写入所述目标文件 存储系统的增量数据表。 4.根据权利要求1所述的异构数据实时同步方法， 其特征在于， 在所述获取源端业务系 统的关系型 数据库中数据操作日志文件的变更信息的步骤之前， 还 包括： 实时监控 源端业务系统的关系型 数据库中的数据操作日志文件； 判断所述数据操作日志文件中是否存在变更信息 。 5.根据权利要求3所述的异构数据实时同步方法， 其特征在于， 所述以预设格式将在所 述目标文件 存储系统获取到所有所述变更 数据发送到消息队列组件的步骤， 包括： 基于所述消息队列组件的数据传送规则和每一所述变更数据， 生成预设格式的第 一数 据； 将所述第一数据发送至所述消息队列组件； 判断所述消息队列组件在预设返回 时间内是否返回确认信号； 若所述消息队列组件在预设返回时间内已返回确认信号且所述第一数据未被全部发 送， 则继续发送下一条第一数据。 6.根据权利要求5所述的异构数据实时同步方法， 其特征在于， 所述以预设格式将在所 述目标文件 存储系统获取到所有所述变更 数据发送到消息队列组件的步骤， 还 包括：权　利　要　求　书 1/2 页 2 CN 115221248 A 2若所述信息队列组件在预设返回 时间内未返回确认信号， 则停止数据传送并报错。 7.根据权利要求4所述的异构数据实时同步方法， 其特征在于， 在所述实时监控源端业 务系统的关系型 数据库中的数据操作日志文件的步骤之前， 还 包括： 连接源端业 务系统的关系型 数据库。 8.一种异构数据实时同步装置， 其特 征在于， 包括： 变更信息获取模块， 用于获取源端业务系统 的关系型数据库中数据操作日志文件的变 更信息， 其中， 所述变更信息包括至少一条变更 数据； 二进制文件生成模块， 用于对所述变更信息进行 预处理生成二进制文件； 传输模块， 用于将所述 二进制文件传输 至目标文件 存储系统； 还原模块， 用于将所述二进制文件还原， 在所述目标文件存储系统获取到所述变更数 据； 数据写入 模块， 用于将所述变更 数据写入所述目标文件 存储系统的增量数据表； 合并模块， 用于将所述增量数据表与所述目标文件存储系统的存量数据表进行合并， 以完成异构数据同步。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求1 ‑7中任一项所述的异构数据实时同 步方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1 ‑7中任一项所述的异构数据实时同步方法的步骤。权　利　要　求　书 2/2 页 3 CN 115221248 A 3