说明:收录90万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210820123.4 (22)申请日 2022.07.13 (71)申请人 南威软件股份有限公司 地址 362000 福建省泉州市丰泽区丰海路 南威大厦2号楼 (72)发明人 吴志雄 黄住发 陈辉挺  (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫 蔡学俊 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/2458(2019.01) (54)发明名称 一种基于分组统计的智能数据对账方法 (57)摘要 本发明涉及一种基于分组统计的智能数据 对账方法。 包括: 步骤S1、 设置对账规则及进行业 务数据等模块的初始化配置, 对对账规则启用 时, 系统后 台生成对账调度执行job; 步骤S2、 利 用业务数据配置数据来源为数据库、 http、 自定 义实现类, 实时读取存储的业务数据。 对所述业 务数据解析并进行日切处理、 字典转换。 日切处 理即为将业务数据按照日切时间配置, 自动抽取 对应的数据进行对账; 步骤S3、 基于对账规则, 对 所述双方的业务数据按照配置的维度列表分别 进行分组统计, 从而生成对账结果; 步骤S4、 系统 后台遍历 对账结果不一致, 获取其日期、 维度, 依 据业务数据的对账类别为目标进行业务数据的 删除、 数据抽取。 本发明能够提高数据一致性的 准确性和及时性。 权利要求书1页 说明书3页 附图1页 CN 115098485 A 2022.09.23 CN 115098485 A 1.一种基于分组 统计的智能数据对账 方法, 其特 征在于, 包括如下步骤: 步骤S1、 设置对账规则, 对账规则启用时, 系统后台生成对账调度执 行job; 步骤S2、 配置业务数据的来源为数据库、 http、 自定义实现类, 实时读取存储的业务数 据; 对业务数据解析并进行日切处理、 字典转换; 日切处理即将业务数据按照日切 时间配 置, 自动抽取对应的业 务数据进行对账; 步骤S3、 基于对账规则, 对对账双方的业务数据按照配置的维度列表分别进行分组统 计, 生成对账 结果; 步骤S4、 系统后台遍历对账结果, 若发现对账结果不一致的目标业务数据, 获取目标业 务数据的日期、 维度, 依据业务数据 的对账类别为目标进行目标业务数据 的删除、 数据抽 取。 2.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S2 中, 采取T+1方式获取业 务数据。 3.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S3 中, 对业务数据按维度列表分组 统计, 获取每 个维度的统计量。 4.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 步骤S4 中, 发现对账结果不一致的目标业务数据, 自动化方式、 人工处理方式进 行数据删除和数据 抽取, 以便再次执 行对账调度执 行job。 5.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 所述对 账规则是将源业 务数据、 目标业 务数据的维度进行映射配置、 执 行时间点配置 。 6.根据权利要求1所述的一种基于分组统计的智能数据对账方法, 其特征在于, 对账调 度执行job执行在对账规则 设置好的对账时间点触发, 依据对账规则设置的维度对相应的 业务数据进行分组统计, 得到相应天业务数据配置的每个维度具体对应业务的统计量, 再 汇总当天的总业务统计量; 比对两者的按天、 按维度统计量是否一致, 若一致, 则说明双方 对账一致, 对账结束; 若不一致, 则 说明有不一致的业务数据遗漏, 需要对目标业务数据进 行删除、 重新触发业务数据的抽取与再次对账; 而后对双方对 账结果进 行遍历, 比对遍历结 果, 输出不 一致所对应的天、 维度, 触发系统自动处 理流程, 对账工作结束。权 利 要 求 书 1/1 页 2 CN 115098485 A 2一种基于分组统 计的智能数据对账方 法 技术领域 [0001]本发明涉及数据处 理技术领域, 特别是一种基于分组 统计的智能数据对账 方法。 背景技术 [0002]随着计算机技术的发展, 很多政府部门以及相关企业的业务数据不止存储一份数 据, 各个系统中的业务可能同时存储有多份数据, 一份存储在数据库, 一份存储在redis、 Elasticsearch或Apache  Druid中, 以存储在数据库中的数据为准, 可能由于网络、 存储异 常、 延迟、 同步等问题, 导致不是存储在数据库中的数据与存储在数据库中的数据不一致, 因此需对同一业务的多份数据进行对账。 然而应用场景越来越广, 对数据一致性有了更高 的要求。 [0003]现有技术中在统计数据的总量, 常常忽略了数据的时间、 维度等方面统计问题, 使 得统计信息不 准确, 还是需要人工来 排查与纠错, 大 大降低了数据一 致性比对的效率。 发明内容 [0004]本发明的目的在于提供一种基于分组统计的智能数据对账方法, 能够 提高数据一 致性的准确性和及时性。 [0005]为实现上述目的, 本 发明的技术方案是: 一种基于分组统计的智能数据对账方法, 包括如下步骤: 步骤S1、 设置对账规则, 对账规则启用时, 系统后台生成对账调度执 行job; 步骤S2、 配置业务数据的来源为数据库、 http、 自定义实现类, 实时读取存储的业 务数据; 对业务数据解析并进 行日切处理、 字典转换; 日切处理即将业务数据按照日切时间 配置, 自动抽取对应的业 务数据进行对账; 步骤S3、 基于对账规则, 对对账双方的业务数据按照配置的维度列表分别进行分 组统计, 生成对账 结果; 步骤S4、 系统后台遍历对账结果, 若发现对账结果不一致的目标业务数据, 获取目 标业务数据的日期、 维度, 依据业务数据的对账类别为目标进 行目标业务数据的删除、 数据 抽取。 [0006]相较于现有技术, 本发明具有以下有益效果: 本发明对对账双方业务数据进行分 组统计并对对账结果不一致进 行后续的流程自动化的数据删除与数据抽取, 并快速生成对 账结果, 提高数据分析和数据 挖掘的有效性和准确性、 及时性。 附图说明 [0007]图1为本发明实施例的原理示 意图。 具体实施方式 [0008]下面结合附图, 对本发明的技 术方案进行 具体说明。说 明 书 1/3 页 3 CN 115098485 A 3

PDF文档 专利 一种基于分组统计的智能数据对账方法

文档预览
中文文档 6 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共6页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于分组统计的智能数据对账方法 第 1 页 专利 一种基于分组统计的智能数据对账方法 第 2 页 专利 一种基于分组统计的智能数据对账方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:43:17上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。