(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210924605.4
(22)申请日 2022.08.02
(71)申请人 上海太的信息科技有限公司
地址 200240 上海市闵行区剑川路951号1
号楼南楼808B
(72)发明人 薛英飞
(74)专利代理 机构 上海智晟知识产权代理事务
所(特殊普通 合伙) 31313
专利代理师 余毅勤
(51)Int.Cl.
G06F 16/23(2019.01)
G06F 16/27(2019.01)
G06F 16/22(2019.01)
(54)发明名称
基于实例的数据库数据一致性检测方法及
设备
(57)摘要
本发明提供了一种基于实例的数据库数据
一致性检测方法及设备, 当某个物联实例的数据
需要一致性检测时, 本发明通过数据库的主节点
上的MDCC主服务生成对该物联实例的数据进行
数据一致性检测的指令, 并将所述指令发送给数
据存储节点上的MDCC子服务, 所述MDCC子服务将
该物联实例的数据所在的数据存储节点上与该
物联实例的ID相同的数据分片的检测任务分配
给同一个MDCC线 程; MDCC线 程基于分配到的检测
任务, 对与该物联 实例的ID相同的数据分片上的
数据进行一致性检测, 以得到检测结果, 可以实
现当数据库集群节点宕机恢复后, 集群的守护进
程会启动基于物联实例的数据检测程序扫描整
个数据库, 以保障数据恢复的一致性, 降低集群
部分节点无法服务的时间, 有效地提升了数据库
的数据一 致性检测的性能。
权利要求书2页 说明书7页 附图2页
CN 115269621 A
2022.11.01
CN 115269621 A
1.一种基于实例的数据库数据一 致性检测方法, 其特 征在于, 包括:
将数据库的存储层级由大到小依次设置为: 数据表、 数据分区、 数据分片和数据存储
块, 将每个物联实例的数据存储入对应的一个或多个数据分片, 其中, 每个数据分片存储于
数据库的数据存储节点上, 每个数据分片仅存储对应的一个物联实例的全部或部分数据,
每个数据分片的ID为对应的物联实例的ID;
当某个数据分片需要数据一致性检测时, 数据库的主节点上的MDCC主服务生成对该数
据分片进 行数据一致性检测的指 令, 并将所述指 令发送给对应的数据存储节点上的MD CC子
服务, 所述MD CC子服务将对应的数据存储节点上的与需要做数据一致性检测的数据分片的
ID相同的数据分片的检测任务分配给同一个MDC C线程;
MDCC线程基于分配到的检测任务, 对相同ID的需要一致性检测的数据分片上的数据进
行一致性检测, 以得到检测结果;
MDCC子服务将所述检测结果汇总给主节点上的MDC C主服务。
2.如权利要求1所述的基于实例的数据库 数据一致性检测方法, 其特征在于, 当某个数
据分片需要 数据一致性检测时, 数据库的主节 点上的MD CC主服务生成对该数据分片进 行数
据一致性检测的指令, 并将所述指令发送给对应的数据存 储节点上的MDC C子服务, 包括:
数据库的主节点上的MDCC主服务访问主节点的元数据, 以获取需要做数据一致性检测
的数据分片及其所在的数据存 储节点;
数据库的主节点上的MDCC主服务基于需要做数据一致性检测的数据分片及其所在的
数据存储节点, 生成对需要做数据一致性检测的数据分片进行数据一致性检测的指令, 并
将所述指令发送给需要做数据一致性检测的数据分片所在的数据存储节点上的MDCC子服
务。
3.如权利要求1所述的基于实例的数据库数据一致性检测方法, 其特征在于, 所述MDCC
子服务将对应的数据存储节点上 的与需要做数据一致性检测的数据分片的ID相同的数据
分片的检测任务分配给同一个MDC C线程, 包括:
所述MDCC子服务将对应的数据存储节点上需要做数据一致性检测的数据分片的ID进
行哈希, 以得到对应的哈希值;
所述MDCC子服务将相同 哈希值的数据分片的检测任务分配给同一个MDC C线程。
4.如权利要求1所述的基于实例的数据库数据一致性检测方法, 其特征在于, 所述MDCC
子服务将对应的数据存储节点上 的与需要做数据一致性检测的数据分片的ID相同的数据
分片的检测任务分配给同一个MDC C线程, 包括:
所述MDCC子服务将对应的数据存储节点上需要做数据一致性检测的数据分片的ID和
需要做数据一 致性检测的数据分片的所属的数据分区进行哈希, 以得到对应的哈希值;
所述MDCC子服务将相同 哈希值的数据分片的检测任务分配给同一个MDC C线程。
5.如权利要求1所述的基于实例的数据库数据一致性检测方法, 其特征在于, MDCC线程
基于分配到的检测任务, 对相同ID 需要一致性检测的数据分片上 的数据进行一致性检测,
以得到检测结果, 包括:
MDCC线程基于分配到的检测任务, 将相同ID的需要一致性检测的数据分片上的数据按
照键值大小顺序进行二叉快速遍历检测, 以得到包括键值是否有序、 数据是否完整以及其
时间戳是否合理的检测结果。权 利 要 求 书 1/2 页
2
CN 115269621 A
26.一种基于实例的数据库数据一 致性检测设备, 其特 征在于, 包括:
设置装置, 用于将数据库的存储层级由大到小依次设置为: 数据表、 数据分区、 数据分
片和数据存储块, 将每个物联实例的数据存储入对应的一个或多个数据分片, 其中, 每个数
据分片存储于数据库的数据存储节点上, 每个数据分片仅存储对应的一个物 联实例的全部
或部分数据, 每 个数据分片的ID为对应的物联实例的ID;
主节点上的MDCC主服务, 用于当某个数据分片需要数据一致性检测时, 生成对该数据
分片进行数据一致性检测的指 令, 并将所述指 令发送给对应的数据存储节点上的MD CC子服
务;
MDCC子服务, 用于将对应的数据存储节点上的与需要做数据一致性检测的数据分片的
ID相同的数据分片的检测任务分配给同一个MDCC线程, 将 MDCC线程的检测结果汇总给主节
点上的MDC C主服务;
MDCC线程, 用于基于分配到的检测任务, 对相同ID的需要一致性检测的数据分片上的
数据进行一 致性检测, 以得到检测结果。
7.如权利要求6所述的基于实例的数据库 数据一致性检测设备, 其特征在于, 数据库的
主节点上的MDCC主服务, 用于访问主节点的元数据, 以获取需要做数据一致性检测的数据
分片及其所在的数据存储节点; 基于需要做数据一致性检测的数据分片及其所在的数据存
储节点, 生成对需要做数据一致性检测的数据分片进行数据一致性检测的指令, 并将所述
指令发送给需要做数据一 致性检测的数据分片所在的数据存 储节点上的MDC C子服务。
8.如权利要求6所述的基于实例的数据库数据一致性检测设备, 其特征在于, 所述MDCC
子服务, 用于将对应的数据存储节点上需要做数据一致性检测的数据分片的ID进行哈希,
以得到对应的哈希值; 将相同 哈希值的数据分片的检测任务分配给同一个MDC C线程。
9.如权利要求6所述的基于实例的数据库数据一致性检测设备, 其特征在于, 所述MDCC
子服务, 用于将对应的数据存储节点上需要做数据一致性检测的数据分片的ID和需要做数
据一致性检测的数据分片的所属的数据分区进行哈希, 以得到对应的哈希值; 将相同哈希
值的数据分片的检测任务分配给同一个MDC C线程。
10.如权利要求6所述的基于实例的数据库数据一致性检测设备, 其特征在于, 所述
MDCC线程, 用于基于分配到的检测任务, 将相同ID的需要一致性检测的数据分片上的数据
按照键值大小顺序进行二叉快速遍历检测, 以得到包括键值是否有序、 数据是否完整以及
其时间戳是否合理的检测结果。权 利 要 求 书 2/2 页
3
CN 115269621 A
3
专利 基于实例的数据库数据一致性检测方法及设备
文档预览
中文文档
12 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-07 12:43:06上传分享