(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210820123.4
(22)申请日 2022.07.13
(71)申请人 南威软件股份有限公司
地址 362000 福建省泉州市丰泽区丰海路
南威大厦2号楼
(72)发明人 吴志雄 黄住发 陈辉挺
(74)专利代理 机构 福州元创专利商标代理有限
公司 35100
专利代理师 陈明鑫 蔡学俊
(51)Int.Cl.
G06F 16/215(2019.01)
G06F 16/23(2019.01)
G06F 16/2458(2019.01)
(54)发明名称
一种基于分组统计的智能数据对账方法
(57)摘要
本发明涉及一种基于分组统计的智能数据
对账方法。 包括: 步骤S1、 设置对账规则及进行业
务数据等模块的初始化配置, 对对账规则启用
时, 系统后 台生成对账调度执行job; 步骤S2、 利
用业务数据配置数据来源为数据库、 http、 自定
义实现类, 实时读取存储的业务数据。 对所述业
务数据解析并进行日切处理、 字典转换。 日切处
理即为将业务数据按照日切时间配置, 自动抽取
对应的数据进行对账; 步骤S3、 基于对账规则, 对
所述双方的业务数据按照配置的维度列表分别
进行分组统计, 从而生成对账结果; 步骤S4、 系统
后台遍历 对账结果不一致, 获取其日期、 维度, 依
据业务数据的对账类别为目标进行业务数据的
删除、 数据抽取。 本发明能够提高数据一致性的
准确性和及时性。
权利要求书1页 说明书3页 附图1页
CN 115098485 A
2022.09.23
CN 115098485 A
1.一种基于分组 统计的智能数据对账 方法, 其特 征在于, 包括如下步骤:
步骤S1、 设置对账规则, 对账规则启用时, 系统后台生成对账调度执 行job;
步骤S2、 配置业务数据的来源为数据库、 http、 自定义实现类, 实时读取存储的业务数
据; 对业务数据解析并进行日切处理、 字典转换; 日切处理即将业务数据按照日切 时间配
置, 自动抽取对应的业 务数据进行对账;
步骤S3、 基于对账规则, 对对账双方的业务数据按照配置的维度列表分别进行分组统
计, 生成对账 结果;
步骤S4、 系统后台遍历对账结果, 若发现对账结果不一致的目标业务数据, 获取目标业
务数据的日期、 维度, 依据业务数据 的对账类别为目标进行目标业务数据 的删除、 数据抽
取。
2.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S2
中, 采取T+1方式获取业 务数据。
3.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S3
中, 对业务数据按维度列表分组 统计, 获取每 个维度的统计量。
4.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S4
中, 发现对账结果不一致的目标业务数据, 自动化方式、 人工处理方式进 行数据删除和数据
抽取, 以便再次执 行对账调度执 行job。
5.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 所述对
账规则是将源业 务数据、 目标业 务数据的维度进行映射配置、 执 行时间点配置 。
6.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 对账调
度执行job执行在对账规则 设置好的对账时间点触发, 依据对账规则设置的维度对相应的
业务数据进行分组统计, 得到相应天业务数据配置的每个维度具体对应业务的统计量, 再
汇总当天的总业务统计量; 比对两者的按天、 按维度统计量是否一致, 若一致, 则说明双方
对账一致, 对账结束; 若不一致, 则 说明有不一致的业务数据遗漏, 需要对目标业务数据进
行删除、 重新触发业务数据的抽取与再次对账; 而后对双方对 账结果进 行遍历, 比对遍历结
果, 输出不 一致所对应的天、 维度, 触发系统自动处 理流程, 对账工作结束。权 利 要 求 书 1/1 页
2
CN 115098485 A
2一种基于分组统 计的智能数据对账方 法
技术领域
[0001]本发明涉及数据处 理技术领域, 特别是一种基于分组 统计的智能数据对账 方法。
背景技术
[0002]随着计算机技术的发展, 很多政府部门以及相关企业的业务数据不止存储一份数
据, 各个系统中的业务可能同时存储有多份数据, 一份存储在数据库, 一份存储在redis、
Elasticsearch或Apache Druid中, 以存储在数据库中的数据为准, 可能由于网络、 存储异
常、 延迟、 同步等问题, 导致不是存储在数据库中的数据与存储在数据库中的数据不一致,
因此需对同一业务的多份数据进行对账。 然而应用场景越来越广, 对数据一致性有了更高
的要求。
[0003]现有技术中在统计数据的总量, 常常忽略了数据的时间、 维度等方面统计问题, 使
得统计信息不 准确, 还是需要人工来 排查与纠错, 大 大降低了数据一 致性比对的效率。
发明内容
[0004]本发明的目的在于提供一种基于分组统计的智能数据对账方法, 能够 提高数据一
致性的准确性和及时性。
[0005]为实现上述目的, 本 发明的技术方案是: 一种基于分组统计的智能数据对账方法,
包括如下步骤:
步骤S1、 设置对账规则, 对账规则启用时, 系统后台生成对账调度执 行job;
步骤S2、 配置业务数据的来源为数据库、 http、 自定义实现类, 实时读取存储的业
务数据; 对业务数据解析并进 行日切处理、 字典转换; 日切处理即将业务数据按照日切时间
配置, 自动抽取对应的业 务数据进行对账;
步骤S3、 基于对账规则, 对对账双方的业务数据按照配置的维度列表分别进行分
组统计, 生成对账 结果;
步骤S4、 系统后台遍历对账结果, 若发现对账结果不一致的目标业务数据, 获取目
标业务数据的日期、 维度, 依据业务数据的对账类别为目标进 行目标业务数据的删除、 数据
抽取。
[0006]相较于现有技术, 本发明具有以下有益效果: 本发明对对账双方业务数据进行分
组统计并对对账结果不一致进 行后续的流程自动化的数据删除与数据抽取, 并快速生成对
账结果, 提高数据分析和数据 挖掘的有效性和准确性、 及时性。
附图说明
[0007]图1为本发明实施例的原理示 意图。
具体实施方式
[0008]下面结合附图, 对本发明的技 术方案进行 具体说明。说 明 书 1/3 页
3
CN 115098485 A
3
专利 一种基于分组统计的智能数据对账方法
文档预览
中文文档
6 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共6页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-07 12:43:17上传分享