(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036723.8 (22)申请日 2022.08.26 (71)申请人 建信金融科技有限责任公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区银城路99号12层、 15 层 (72)发明人 范先爽　李超　吴迪　丁萍　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 张博 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/242(2019.01) G06F 16/28(2019.01)G06F 16/17(2019.01) G06F 9/54(2006.01) (54)发明名称 基于增量数据同步组件的数据同步方法、 系 统及装置 (57)摘要 本公开提供了一种基于增量数据 同步组件 的数据同步方法、 装置、 电子设备和存储介质， 可 以应用于 大数据技术领域。 该方法应用于目标端 设备， 增量数据同步组件包括日志解析模块和消 费模块， 该方法包括： 利用消费模块消费消息队 列中的消息， 得到多个查询语句， 其中， 消息 是由 源端设备向消息队列发送的， 源端设备被配置为 将增量数据记录在源端数据库的日志中， 以得到 增量日志， 并利用日志解析模块解析增量日志， 得到多个查询语句， 再封装多个查询语句， 得到 消息； 基于多个查询语句中每个查询语句的语 法 类别， 对多个查询语句进行分类， 得到分类结果； 以及基于分类结果， 利用多个查询语句来处理目 标端数据库， 以将增量数据同步至目标端数据 库。 权利要求书3页 说明书12页 附图5页 CN 115357663 A 2022.11.18 CN 115357663 A 1.一种基于增量数据同步组件的数据同步方法， 应用于目标端设备， 所述增量数据同 步组件包括日志解析模块和 消费模块， 所述方法包括： 利用所述消费模块消费消息队列中的消息， 得到多个查询语句， 其中， 所述消息是由源 端设备向所述消息队列发送的， 所述源端设备被配置为将增量数据记录在 源端数据库的日 志中， 以得到增量日志， 并利用所述日志 解析模块解析所述增量日志， 得到所述多个查询语 句， 再封装所述多个查询语句， 得到所述消息； 基于多个所述查询语句中每个所述查询语句的语法类别， 对多个所述查询语句进行分 类， 得到分类结果； 以及 基于所述分类结果， 利用多个所述查询语句来处理目标端数据库， 以将所述增量数据 同步至所述目标端数据库。 2.根据权利要求1所述的方法， 其中， 所述语法类别包括数据定义语言类别和数据操作 语言类别； 其中， 所述基于多个所述查询语句中每个所述查询语句的语法类别， 对多个所述查询 语句进行分类， 得到分类结果， 包括： 将多个所述查询语句分类为归属于所述数据定义语言类别的第一查询语句和归属于 所述数据操作语言类别的第二 查询语句； 以及 基于所述第一 查询语句的数量和所述第二 查询语句的数量， 确定所述分类结果。 3.根据权利要求2所述的方法， 其中， 所述基于所述分类结果， 利用多个所述查询语句 来处理目标端数据库， 以将所述增量数据同步至所述目标端数据库， 包括： 在所述第一查询语句的数量为零或所述第二查询语句的数量为0的情况下， 在所述目 标端数据库中依 次执行多个所述查询语句， 以将所述增量数据同步至所述 目标端数据库； 以及 在所述第一查询语句是数量和所述第二查询语句的数量均大于0的情况下， 基于预设 执行策略在所述目标端数据库中执行多个所述查询语句， 以将所述增量数据同步至所述目 标端数据库。 4.根据权利要求3所述的方法， 其中， 所述基于预设执行策略在所述目标端数据库中执 行多个所述 查询语句， 包括： 在所述目标端数据库中依次执 行至少一个所述第二 查询语句； 以及 在至少一个所述第 二查询语句执行完成的情况下， 在所述目标端数据库中依次执行至 少一个所述第一 查询语句。 5.一种基于增量数据同步组件的数据同步方法， 应用于源端设备， 所述增量数据同步 组件包括日志解析模块和 消费模块， 所述方法包括： 将增量数据记录在源端数据库的日志中， 以得到增量日志； 响应于触发数据同步事件， 利用所述日志解析模块解析所述增量日志， 得到多个查询 语句， 所述数据同步事 件表征对目标端设备的目标端数据库进行 数据同步； 将多个所述 查询语句封装为消息； 以及 向消息队列发送所述消息， 以便所述目标端设备利用所述消费模块消费所述消息队列 中的消息， 得到所述多个查询语句， 并对所述多个查询语句进行分类， 得到分类结果， 再基 于所述分类结果， 利用所述多个查询语句来处理所述 目标端数据库， 以将所述增量数据同权　利　要　求　书 1/3 页 2 CN 115357663 A 2步至所述目标端数据库。 6.根据权利要求5所述的方法， 其中， 所述数据同步事件中携带有目标域信息， 所述目 标域信息与所述目标端设备相对应； 所述方法还 包括： 响应于触发所述数据同步事件， 基于所述目标域信息， 从分布式集群中获取目标数据 同步实例； 以及 基于所述目标 数据同步实例， 确定目标日志解析模块和目标 数据表； 其中， 所述利用所述日志解析模块 解析所述增量日志， 得到多个查询语句， 包括： 利用所述目标 日志解析模块， 解析所述增量日志中与 所述目标数据表关联的目标增量 日志， 得到多个所述 查询语句。 7.根据权利要求6所述的方法， 还 包括： 基于所述目标 数据同步实例， 确定目标消息队列； 其中， 所述向消息队列发送所述消息， 包括： 向消息队列集群中的所述目标消息队列发送所述消息 。 8.一种基于增量数据同步组件的数据同步系统， 所述增量数据同步组件包括日志解析 模块和消费模块， 所述系统包括： 源端设备， 被配置为将增量数据记录在源端数据库的日志中， 以得到增量日志， 响应于 触发数据同步事件， 利用所述日志 解析模块解析所述增量日志， 得到多个查询语句， 将多个 所述查询语句封装为消息， 并向消息队列发送所述消息； 目标端设备， 被配置为利用所述消费模块消费所述消息队列中的消息， 得到所述多个 查询语句， 对所述多个查询语句进行分类， 得到分类结果， 基于所述分类结果， 利用所述多 个查询语句来处 理目标端数据库， 以将所述增量数据同步至所述目标端数据库； 以及 消息中间件， 包括 一个或多个所述消息队列。 9.一种基于增量数据同步组件的数据同步装置， 设置于目标端设备， 所述增量数据同 步组件包括日志解析模块和 消费模块， 所述装置包括： 消费模块， 用于利用所述消费模块消费消息队列中的消息， 得到多个查询语句， 其中， 所述消息是由源端设备向所述消息队列发送的， 所述源端设备被配置为将增量数据记录在 源端数据库的日志中， 以得到增量日志， 并利用所述日志 解析模块解析所述增量日志， 得到 所述多个查询语句， 再封装所述多个查询语句， 得到所述消息； 分类模块， 用于基于多个所述查询语句中每个所述查询语句的语法类别， 对多个所述 查询语句进行分类， 得到分类结果； 以及 处理模块， 用于基于所述分类结果， 利用多个所述查询语句来处理目标端数据库， 以将 所述增量数据同步至所述目标端数据库。 10.一种基于增量数据同步组件的数据同步装置， 设置于源端设备， 所述增量数据同步 组件包括日志解析模块和 消费模块， 所述装置包括： 记录模块， 用于将增量数据记录在源端数据库的日志中， 以得到增量日志； 解析模块， 用于响应于触发数据同步事件， 利用所述日志解析模块解析所述增量日志， 得到多个查询语句， 所述数据同步事 件表征对目标端设备的目标端数据库进行 数据同步； 封装模块， 用于将多个所述 查询语句封装为消息； 以及权　利　要　求　书 2/3 页 3 CN 115357663 A 3