说明:收录90万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788586.7 (22)申请日 2022.07.06 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼6层6 01 (72)发明人 周力  (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 杨倩 郝红玉 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/242(2019.01) G06F 16/2458(2019.01) G06F 16/215(2019.01) G06F 16/22(2019.01)G06F 16/27(2019.01) G06F 16/16(2019.01) G06F 16/17(2019.01) (54)发明名称 一种分布式集群中数据一致性的处理方法 及装置 (57)摘要 本发明公开了一种分布式集群中数据一致 性的处理方法及装置, 涉及计算机技术领域。 该 方法的一具体实施方式包括: 获取数据处理请 求; 数据处理请求包括待处理数据标识; 根据待 处理数据标识确定待处理数据表、 以及待处理数 据表对应的一个或多个数据文件和每一个数据 文件的事务信息; 一个或多个数据文件是根据一 次或多次事务操作生成的; 确定待处理数据表对 应的查询版本号; 根据事务信息和查询版本号, 确定数据处理请求对应的目标数据文件; 对目标 数据文件中与待处理数据标识对应的数据进行 处理。 该实施方式避免了分布式查询中, 多个分 布式节点读取同一数据可能出现数值不一样的 情况, 保证 了分布式查询的数据一 致性。 权利要求书2页 说明书16页 附图6页 CN 115185966 A 2022.10.14 CN 115185966 A 1.一种分布式集群中数据一致性的处理方法, 其特征在于, 应用于所述分布式集群中 的任一节点, 包括: 获取数据处理请求; 所述数据处 理请求包括待处 理数据标识; 根据所述待处理数据标识确定待处理数据表、 以及所述待处理数据表对应的一个或多 个数据文件和每一个所述数据文件的事务信息; 所述一个或多个数据文件 是根据一次或多 次事务操作生成的; 确定所述待处 理数据表对应的查询版本号; 根据所述事务信息和所述 查询版本号, 确定所述数据处 理请求对应的目标 数据文件; 对所述目标 数据文件中与所述待处 理数据标识对应的数据进行处 理。 2.根据权利要求1所述的方法, 其特征在于, 所述根据所述事务信息和所述查询版本 号, 确定所述数据处 理请求对应的目标 数据文件, 包括: 从一个或多个数据文件对应的事务信 息中确定最新的事务信 息; 将所述最新的事务信 息作为当前事务信息, 并循环执 行以下步骤, 直至确定出 所述目标 数据文件: 确定所述 查询版本号与所述当前事务信息是否匹配; 如果是, 将所述当前事务信息对应的数据文件作为所述目标 数据文件; 如果否, 将所述当前事务信息的前一个事务信息作为所述当前事务信息 。 3.根据权利要求2所述的方法, 其特征在于, 所述当前事务信息包括第一事务号, 所述 第一事务号对应于生成所述数据文件的事务操作, 所述确定所述查询版本号与所述当前事 务信息是否匹配, 包括: 在所述第一事务号与 所述查询版本号相同的情况下, 确定所述查询版本号与 所述当前 事务信息匹配。 4.根据权利要求3所述的方法, 其特征在于, 所述当前事务信息还包括第二事务号, 所 述第二事务号对应于修改所述数据文件的事务操作; 所述确定所述查询版本号与所述当前 事务信息是否匹配, 包括: 在所述第一事务 号不大于所述 查询版本号的情况 下, 判断所述第二事务号是否大于所述查询版本号; 如果是, 确定所述查询版本号与所述 当前事务信息匹配; 如果否, 确定所述 查询版本号与所述当前事务信息不匹配。 5.根据权利要求1所述的方法, 其特征在于, 所述确定所述待处理数据表对应的查询版 本号, 包括: 确定缓存中是否存在所述待处 理数据表对应的事务 号; 如果是, 将所述事务 号作为所述 查询版本号; 如果否, 从事务管理器中提取最新的事务号, 并将所述最新的事务号作为所述查询版 本号。 6.根据权利要求1所述的方法, 其特征在于, 所述待处理数据表采用合并树存储结构进 行数据存储, 以在每一次事务操作后得到新的数据文件。 7.根据权利要求1所述的方法, 其特征在于, 在所述对所述目标数据文件中与 所述待处 理数据标识对应的数据进行处 理之前, 包括: 确定所述分布式集群中的各个节点已同步所述目标 数据文件。 8.根据权利要求1所述的方法, 其特征在于, 所述对所述目标数据文件中与 所述待处理权 利 要 求 书 1/2 页 2 CN 115185966 A 2数据标识对应的数据进行处 理, 包括: 对所述待处理数据标识对应的数据进行查询、 更新、 删除或新增处理, 或对所述目标数 据文件进行合并处 理。 9.一种分布式集群中数据一致性的处理装置, 其特征在于, 包括: 获取模块、 确定模块 和处理模块; 其中, 所述获取模块, 用于获取 数据处理请求; 所述数据处 理请求包括待处 理数据标识; 所述确定模块, 用于根据所述待处理数据标识确定待处理数据表、 以及所述待处理数 据表对应的一个或多个数据文件和每一个所述数据文件的事务信息; 所述一个或多个数据 文件是根据一次或多次事务操作生成的; 确定所述待处理数据表对应的查询版本号; 根据 所述事务信息和所述 查询版本号, 确定所述数据处 理请求对应的目标 数据文件; 所述处理模块, 用于对所述目标数据文件中与 所述待处理数据标识对应的数据进行处 理。 10.一种电子设备, 其特 征在于, 包括: 一个或多个处 理器; 存储装置, 用于存 储一个或多个程序, 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1 ‑8中任一所述的方法。 11.一种计算机可读介质, 其上存储有计算机程序, 其特征在于, 所述程序被处理器执 行时实现如权利要求1 ‑8中任一所述的方法。权 利 要 求 书 2/2 页 3 CN 115185966 A 3

PDF文档 专利 一种分布式集群中数据一致性的处理方法及装置

文档预览
中文文档 25 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种分布式集群中数据一致性的处理方法及装置 第 1 页 专利 一种分布式集群中数据一致性的处理方法及装置 第 2 页 专利 一种分布式集群中数据一致性的处理方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:43:19上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。