(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 20221098939 9.5
(22)申请日 2022.08.17
(71)申请人 中国工商银行股份有限公司
地址 100140 北京市西城区复兴门内大街
55号
(72)发明人 倪文隽
(74)专利代理 机构 北京同立钧成知识产权代理
有限公司 1 1205
专利代理师 吴会英 臧建明
(51)Int.Cl.
G06F 16/27(2019.01)
G06F 16/23(2019.01)
G06F 16/22(2019.01)
G06F 9/48(2006.01)
(54)发明名称
数据表同步方法、 装置、 设备及存 储介质
(57)摘要
本申请提供一种数据表同步方法、 装置、 设
备及存储介质, 可应用于大数据领域, 该方法包
括: 在各数据表对应的待处理的增量任务中, 确
定第一导出时间最小的增量任务为第一任务; 其
中, 所述增量任务用于指示对所述增量任务对应
的数据表进行增量更新处理; 所述第一导出时间
为所述增量任务的生成时间; 在各数据表对应的
待处理的全量任务中, 确定第二导出时间最大的
全量任务为第二任务; 其中, 所述全量任务用于
指示对所述全量任务指示的数据表进行全量更
新处理; 所述第二导出时间为所述全量任务的生
成时间; 若确定所述第一任务所指示的数据表与
所述第二任务所指示的数据表相同, 则执行所述
第二任务。 通过上述方法, 提高了数据表的同步
效率。
权利要求书3页 说明书16页 附图5页
CN 115292416 A
2022.11.04
CN 115292416 A
1.一种数据表同步方法, 其特 征在于, 包括:
在各数据表对应的待处理的增量任务中, 确定第 一导出时间最小的增量任务为第 一任
务; 其中, 所述增量任务用于指示对所述增量任务对应的数据 表进行增量更新处理; 所述第
一导出时间为所述增量任务的生成时间;
在各数据表对应的待处理的全量任务中, 确定第 二导出时间最大的全量任务为第 二任
务; 其中, 所述全量任务用于指示对所述全量任务指示的数据 表进行全量更新处理; 所述第
二导出时间为所述全量任务的生成时间;
若确定所述第 一任务所指示的数据表与 所述第二任务所指示的数据表相同, 则执行所
述第二任务。
2.根据权利要求1所述的方法, 其特征在于, 若确定所述第 一任务所指示的数据表与 所
述第二任务所指示的数据表相同, 则执 行所述第二任务, 包括:
若确定所述第 一任务所指示的数据表与 所述第二任务所指示的数据表相同, 则确定所
述第二任务所指示的数据表对应的已完成的全量任务 为第二任务组;
若确定所述第二任务组中不存在第二导出时间大于所述第二任务的第二导出时间的
全量任务, 则执 行所述第二任务。
3.根据权利要求2所述的方法, 其特征在于, 若确定所述第 二任务组中不存在第 二导出
时间大于所述第二任务的第二 导出时间的全量任务, 则执 行所述第二任务, 包括:
若确定所述第二任务组中不存在第二导出时间大于所述第二任务的第二导出时间的
全量任务, 且当前 处于处理状态的全量任务以及当前 处于处理状态的增量任务中均不包含
所述第二任务所指示的数据表对应的全量任务和 增量任务, 则执 行所述第二任务。
4.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括:
若确定所述第 一任务所指示的数据表与 所述第二任务所指示的数据表不相同, 则执行
所述第一任务。
5.根据权利要求4所述的方法, 其特征在于, 所述增量任务具有任务序号, 所述任务序
号用于指示在所述增 量任务指示的数据表的全部增量任务中, 所述增量任务的生成顺序;
若确定所述第一任务所指示的数据表与所述第二任务所指示的数据表不相同, 则执行所述
第一任务, 包括:
若确定所述第 一任务所指示的数据表与 所述第二任务所指示的数据表不相同, 则确定
所述第一任务所指示的数据表对应的已完成的增量任务;
基于所述第 一任务的任务序号, 确定所述第一任务的任务序号的前一任务序号, 其中,
所述前一任务序号为在所述数据 表对应的已生成的增量任务中, 所述第一任务的生成次序
的前一生成顺序所对应的增量任务的任务序号;
若确定所述已完成的增量任务中包括具有所述前一任务序号的增量任务, 则执行所述
第一任务。
6.根据权利要求5所述的方法, 其特 征在于, 所述方法还 包括:
若确定所述已完成的增量任务中不包括具有所述前一任务序号的增量任务, 则 重复执
行所述在各数据 表对应的待处理的增量任务中, 确定第一导出时间最小的增量任务为第一
任务的步骤。
7.根据权利要求6所述的方法, 其特征在于, 若确定所述已完成的增量任务中不包括具权 利 要 求 书 1/3 页
2
CN 115292416 A
2有所述前一任务序号的增量任务, 则重复执行所述在各数据表对应的待处理的增量任务
中, 确定第一 导出时间最小的增量任务 为第一任务的步骤, 包括:
若确定所述已完成的增量任务中不包括具有所述前一任务序号的增量任务, 则将当前
时间与所述第一任务的接收时间进行求差处 理, 得到时间差值;
若所述时间差值小于等于预设阈值, 则 重复执行所述在各数据表对应的待处理 的增量
任务中, 确定第一 导出时间最小的增量任务 为第一任务的步骤。
8.根据权利要求7 所述的方法, 其特 征在于, 所述方法还 包括:
若所述时间差值大于所述预设阈值, 则执 行所述第一任务。
9.根据权利要求5所述的方法, 其特征在于, 若确定所述第 一任务所指示的数据表与 所
述第二任务所指示的数据 表不相同, 则确定所述第一任务所指示的数据 表对应的已完成的
增量任务, 包括:
若确定所述第 一任务所指示的数据表与 所述第二任务所指示的数据表不相同, 则确定
所述第一任务所指示的数据表对应的已完成的全量任务 为第一任务组;
若确定所述第一任务组中不存在第二导出时间大于所述第一任务的第一导出时间的
全量任务, 则确定所述第一任务所指示的数据表对应的已完成的增量任务。
10.根据权利要求9所述的方法, 其特 征在于, 所述方法还 包括:
若确定所述第一任务组中存在第二导出时间大于所述第一任务的第一导出时间的全
量任务, 则将所述第一任务的状态设置为已处 理状态。
11.根据权利要求9所述的方法, 其特征在于, 若确定所述第一任务组中不存在第二导
出时间大于所述第一任务的第一导出时间的全量任务, 则确定所述第一任务所指示的数据
表对应的已完成的增量任务, 包括:
若确定所述第一任务组中不存在第二导出时间大于所述第一任务的第一导出时间的
全量任务, 且当前 处于处理状态的全量任务以及当前 处于处理状态的增量任务中均不包含
所述第一任务所指示的数据表对应的全量任务和增量任务, 则确定所述第一任务所指示的
数据表对应的已完成的增量任务。
12.根据权利要求1 ‑11中任一项所述的方法, 其特征在于, 所述第一任务具有待更新的
数据; 所述数据表具有 主键字段; 所述执 行所述第一任务包括:
在所述第一任务的待更新的数据中, 确定所述第 一任务指示的数据表的主键字段所对
应的更新数据;
若确定所述数据表中包括所述更新数据, 则将所述数据表中所述更新数据所在行的数
据替换为所述待更新数据;
若确定所述数据表中不包括所述更新数据, 则将所述待更新的数据添加至所述数据表
中。
13.根据权利要求1 ‑11中任一项所述的方法, 其特征在于, 所述第二任务包括待更新的
数据; 执行所述第二任务包括:
删除所述第 二任务所指示的数据表中的数据, 并将所述第 二任务中的待更新的数据写
入所述数据表中。
14.一种数据表同步装置, 其特 征在于, 包括:
第一确定单元, 用于在各数据表对应的待处理的增量任务中, 确定第一导出时间最小权 利 要 求 书 2/3 页
3
CN 115292416 A
3
专利 数据表同步方法、装置、设备及存储介质
文档预览
中文文档
25 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-07 12:42:59上传分享