(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211044720.9
(22)申请日 2022.08.30
(71)申请人 上海徐毓智能科技有限公司
地址 200082 上海市杨 浦区荆州路168号 安
联大厦16 01
(72)发明人 谢超 高雨辰 莫毅华
(74)专利代理 机构 上海华诚知识产权代理有限
公司 313 00
专利代理师 肖华
(51)Int.Cl.
H04L 67/1097(2022.01)
H04L 43/16(2022.01)
H04L 43/10(2022.01)
H04L 43/04(2022.01)
G06F 16/2457(2019.01)G06F 16/23(2019.01)
G06F 16/22(2019.01)
G06F 11/34(2006.01)
(54)发明名称
一种数据处 理方法和数据处 理系统
(57)摘要
本申请涉及计算机技术领域, 具体涉及一种
数据处理方法和数据处理系统。 其中的数据处理
方法用于 数据库系统, 数据库系统包括作为代理
节点、 日志存储节点、 数据协调服务节点、 数据节
点和对象存储节点的电子设备, 具体方法包括:
代理节点接收数据插入请求; 代理节 点将数据插
入请求包装为插入日志, 再发送至日志存储节
点; 数据节点监听日志存储节点获取插入日志;
数据协调服务节点监听数据节点获取心跳信息;
数据协调服务节点根据心跳信息, 确定插入日志
达到阈值, 并发送封装信号至数据节点; 数据节
点将插入日志封装成历史数据块, 并发送至对象
存储节点; 对象存储节点保存历史数据块。 本申
请实施例中的数据处理方法保证了执行副本的
数据的一 致性。
权利要求书2页 说明书11页 附图4页
CN 115426375 A
2022.12.02
CN 115426375 A
1.一种数据处理方法, 用于数据库系统, 所述数据库系统包括作为代理节点、 日志存储
节点、 数据协调服务节点、 数据节点和对象存储节点的电子设备, 其特征在于, 所述方法包
括:
所述代理节点接收来自用户的数据插 入请求;
所述代理节点将所述数据插入请求包装为插入日志, 并将所述插入日志发送至所述日
志存储节点;
所述数据节点 监听所述日志存 储节点获取插 入日志;
所述数据协调服务节点监听所述数据节点并从所述数据节点获取心跳信息; 其中, 所
述心跳信息包括所述插 入日志的生命时间和所述插 入日志中的数据条 数;
所述数据协调服务节点根据所述心跳信息, 确定所述插入日志达到阈值, 并发送封装
信号至所述数据节点, 所述封装信号 为封装所述插 入日志的信号;
响应于所述封装信号, 所述数据节点将所述插入日志封装成历史数据块, 并发送至所
述对象存 储节点;
所述对象存 储节点保存所述历史数据块。
2.根据权利要求1所述的方法, 其特征在于, 所述代理节点将所述数据插入请求包装为
插入日志, 并将所述插 入日志发送至所述日志存 储节点, 包括:
所述代理节点将所述数据插 入请求包 装为插入日志;
所述代理节点将所述插 入日志发送至所述日志存 储节点中的消息队列。
3.根据权利要求1所述的方法, 其特征在于, 所述数据协调服务节点根据所述心跳信
息, 确定所述插 入日志达 到阈值, 并发送封装信号至所述数据节点, 包括:
所述数据协调服务节点根据 所述心跳信 息中的所述插入日志的生命时间, 确定所述插
入日志的生命时间达 到作为所述阈值的预设生命周期;
所述数据协调服 务节点发送封装信号至所述数据节点。
4.根据权利要求1所述的方法, 其特征在于, 所述数据协调服务节点根据所述心跳信
息, 确定所述插 入日志达 到阈值, 并发送封装信号至所述数据节点, 包括:
所述数据协调服务节点根据 所述心跳信 息中的所述插入日志中的数据 条数, 确定所述
插入日志中的数据条数大于等于作为所述阈值的所述插入日志的预设最大数据条数和预
设比例的乘积;
所述数据协调服 务节点发送封装信号至所述数据节点。
5.一种数据处理系统, 其特征在于, 所述数据处理系统包括代理节点、 日志存储节点、
数据协调服 务节点、 数据节点和对象存 储节点, 其中,
所述代理节点, 用于接收来自用户的数据插入请求, 将所述数据插入请求包装为插入
日志并发送所述插 入日志至所述日志存 储节点;
所述数据协调服务节点, 用于监听所述数据节点获取心跳信息并根据心跳信息, 确定
所述插入日志达到阈值, 并发送封装信号至所述数据 节点; 其中, 所述心跳信息包括所述插
入日志的生命时间和所述插 入日志中的数据条 数;
所述数据节点, 用于监听所述日志存储节点获取插入日志, 并将所述插入日志封装成
历史数据块发送至所述对象存 储节点;
所述对象存 储节点, 用于保存所述历史数据块。权 利 要 求 书 1/2 页
2
CN 115426375 A
26.根据权利要求5所述的系统, 其特征在于, 所述代理节点, 用于接收来自用户的数据
插入请求, 将所述数据插入请求包装为插入日志并发送所述插入日志至所述日志存储节
点, 包括:
所述代理节点, 用于接收来自用户的数据插入请求, 将所述数据插入请求包装为插入
日志并发送所述插 入日志至所述日志存 储节点中的消息队列。
7.根据权利要求5所述的系统, 其特征在于, 所述数据协调服务节点, 用于监听所述数
据节点获取心跳信息并根据心跳信息, 确定所述插入 日志达到阈值, 并发送封装信号至所
述数据节点, 包括:
所述数据协调服务节点, 用于监听所述数据节点获取心跳信息, 根据所述心跳信息中
的所述插入日志的生命时间, 确定所述插入日志的生命时间达到作为所述阈值的预设生命
周期, 并发送封装信号至所述数据节点。
8.根据权利要求5所述的系统, 其特征在于, 所述数据协调服务节点, 用于监听所述数
据节点获取心跳信息并根据心跳信息, 确定所述插入 日志达到阈值, 并发送封装信号至所
述数据节点, 包括:
所述数据协调服务节点, 用于监听所述数据节点获取心跳信息, 根据所述心跳信息中
的所述插入日志中的数据条数, 确定所述插入日志中的数据条数大于等于作为所述阈值的
所述插入日志的预设最大 数据条数和预设比例的乘积, 并发送封装信号至所述数据节点。
9.一种可读介质, 其特征在于, 所述可读介质上存储有指令, 所述指令在电子设备上执
行时使所述电子设备实现权利要求1至4中任一项所述的数据存 储方法。
10.一种电子设备, 其特 征在于, 包括:
存储器, 用于存 储由电子设备的一个或多个处 理器执行的指令;
以及处理器, 是所述电子设备的处理器之一, 用于执行所述存储器中存储的指令以实
现权利要求1至4中任一项所述的数据存 储方法。权 利 要 求 书 2/2 页
3
CN 115426375 A
3
专利 一种数据处理方法和数据处理系统
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-07 12:42:54上传分享