说明:收录90万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763038.9 (22)申请日 2022.06.30 (71)申请人 唯品会 (珠海) 电子商务有限公司 地址 519031 广东省珠海市横琴新区环岛 东路3018号709办公 (72)发明人 何云飞 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张茵 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/23(2019.01) (54)发明名称 数据处理方法、 装置、 存储介质及计算机设 备 (57)摘要 本申请提供了一种数据处理方法、 装置、 存 储介质及计算机设备。 该方法包括: 响应于逻辑 更新指令, 更新数据消费逻辑; 以更新后的数据 消费逻辑对实时新增数据进行消费, 输出第一结 果数据; 第一结果数据包括实时新增数据及其消 费结果; 获取历史数据; 以更新后的数据消费逻 辑对历史数据中需要进行重新消费的目标源数 据进行离线重新消费, 输出第二结果数据; 第二 结果数据包括目标源数据及目标源数据的重新 消费结果; 根据第二结果数据对历史数据进行修 正; 将所第一结果数据与修正后的历史数据合并 为全量数据输出。 本申请能够在数据处理的过程 中保证实时数据处理及时性的同时, 保证数据的 可靠性。 权利要求书2页 说明书8页 附图5页 CN 115033556 A 2022.09.09 CN 115033556 A 1.一种数据处 理方法, 其特 征在于, 所述方法包括: 响应于逻辑更新指令, 更新数据消费逻辑; 以更新后的数据消费逻辑对实时新增数据进行消费, 输出第一结果数据; 所述第一结 果数据包括所述实时新增数据及其消费结果; 获取历史数据; 以所述更新后的数据消费逻辑对所述历史数据中需要进行重新消费的目标源数据进 行离线重新消费, 输出第二结果数据; 所述第二结果数据包括所述 目标源数据及所述 目标 源数据的重新消费结果; 根据所述第二结果数据对所述历史数据进行修 正; 将所第一结果数据与修 正后的历史数据合并为全量数据输出。 2.根据权利要求1所述的数据处理方法, 其特征在于, 所述以更新后的数据消费逻辑对 所述历史数据中的目标源数据进行离线重新消费, 输出第二结果数据, 包括: 根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数 据; 将所述目标源数据分为多组待处 理数据; 在预设处理时间以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费, 输出所述第二结果数据。 3.根据权利要求1所述的数据处理方法, 其特征在于, 所述以更新后的数据消费逻辑对 所述历史数据中的目标源数据进行离线重新消费, 输出第二结果数据, 包括: 根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数 据; 将所述目标源数据分为多组待处 理数据; 根据预设间隔时间, 以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消 费, 输出所述第二结果数据。 4.根据权利要求1所述的数据处理方法, 其特征在于, 所述以更新后的数据消费逻辑对 所述历史数据中的目标源数据进行离线重新消费, 输出第二结果数据, 包括: 根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数 据; 在可用计算资源达到预设阈值 时, 以所述更新后的数据消费逻辑对所述目标源数据进 行重新消费, 输出 所述第二结果数据。 5.根据权利要求1所述的数据处理方法, 其特征在于, 所述根据 所述第二结果数据对所 述历史数据进行修 正, 包括: 将所述历史数据中的所述目标源数据及所述目标源数据的原消费结果替换为所述第 二结果数据; 输出修正后的历史数据。 6.根据权利要求1至 5任一项所述的数据处 理方法, 其特 征在于, 所述方法还 包括: 根据所述全量数据更新历史数据。 7.一种数据处 理装置, 其特 征在于, 包括: 逻辑更新模块, 用于响应于 逻辑更新指令, 更新数据消费逻辑;权 利 要 求 书 1/2 页 2 CN 115033556 A 2实时消费模块, 用于以更新后的数据消费逻辑对实时新增数据进行消费, 输出第一结 果数据; 所述第一结果数据包括所述实时新增数据及其消费结果; 历史数据获取模块, 用于获取历史数据; 重新消费模块, 用于以所述更新后的数据消费逻辑对所述历史数据中需要进行重新消 费的目标源数据进行重新消费, 输出第二结果数据; 所述第二结果数据包括所述 目标源数 据及所述目标源数据的重新消费结果; 数据修正模块, 用于根据所述第二结果数据对所述历史数据进行修 正; 全量数据生成模块, 用于将所第一结果数据与修正后的历史数据合并为全量数据输 出。 8.根据权利要求7 所述的数据处 理装置, 其特 征在于, 所述重新消费模块, 包括: 目标源数据确定单元, 用于根据所述更新后的数据消费逻辑确定所述历史数据中需要 进行重新消费的目标源数据; 数据分组单 元, 用于将所述目标源数据分为多组待处 理数据; 消费单元, 用于在预设处理时间以所述更新后的数据消费逻辑依次对各组待处理数据 进行重新消费, 输出 所述第二结果数据。 9.一种存储介质, 其特征在于: 所述存储介质中存储有计算机可读指令, 所述计算机可 读指令被一个或多个处理器执行时, 使得一个或多个处理器执行如权利要求 1至6中任一项 所述数据处 理方法的步骤。 10.一种计算机设备, 其特 征在于, 包括: 一个或多个处 理器, 以及存 储器; 所述存储器中存储有计算机可读指令, 所述一个或多个处理器执行时所述计算机可读 指令时, 执 行如权利要求1至 6中任一项所述数据处 理方法的步骤。权 利 要 求 书 2/2 页 3 CN 115033556 A 3
专利 数据处理方法、装置、存储介质及计算机设备
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-07 12:43:22
上传分享
举报
下载
原文档
(709.2 KB)
分享
友情链接
T-CSA -TR008—2019 类太阳光LED术语定义及相关问题研究.pdf
T-CHEAA 0018—2021 家用和类似用途洗地机.pdf
T-GZBD 9—2022 大数据安全管理规范.pdf
DB34-T 3599-2020 民用住宅供热计量温控一体化系统技术规范 安徽省.pdf
OWASP ASVS应用安全验证标准 4.0.3 中文版.pdf
GB-T 42927-2023 金融行业开源软件测评规范.pdf
CSA 医疗健康网络安全手册.pdf
美创 数据安全解决方案简介.pdf
GB-T 36344-2018信息技术数据质量评价指标.pdf
T-IMAS 052.4—2022 电动中重卡共享换电站及车辆换电系统技术规范 第四部分:换电车辆换电控制器技术要求.pdf
ISO 14644-4 2022 Cleanrooms and associated controlled environments — Part 4 Design, construction and start-up.pdf
LLMs解决进攻性安全挑战的实证评估-2402.11814.pdf
GB-T 42560-2023 系统与软件工程 开发运维一体化 能力成熟度模型.pdf
GB-T 25341.1-2019 铁路旅客运输服务质量 第1部分:总则.pdf
GB-T 36736-2018 花卉休闲区建设与服务规范.pdf
GB-T 8566-2022系统与软件工程 软件生存周期过程.pdf
T-CQTSHRA 008—2024 人才测评服务业务规范.pdf
GB-T 26119-2010 绿色制造 机械产品生命周期评价 总则.pdf
GB-T 3273-2015 汽车大梁用热轧钢板和钢带.pdf
Microsoft SDL 简化实施 2010 中文版.pdf
1
/
16
评价文档
赞助2.5元 点击下载(709.2 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。