(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211019587.1 (22)申请日 2022.08.24 (71)申请人 国任财产保险股份有限公司 地址 518023 广东省深圳市罗湖区笋岗街 道田心社区梅园路128号招商开元中 心1栋B单 元25层-2 9层 (72)发明人 姚磊　 (74)专利代理 机构 深圳市智胜联合知识产权代 理有限公司 4 4368 专利代理师 袁斌 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) (54)发明名称 一种基于分布式数据库的实时数据处理方 法及其装置 (57)摘要 本申请提供了一种基于分布式数据库的实 时数据处理方法及其装置， 所述方法包括： 获取 各业务系统对应的数据源进行数据采集生成数 据变化信息， 并通过所述数据变化信息、 所述数 据源和分布式数据库生成数据湖， 所述数据变化 信息包括数据变更信息和表结构变更信息； 对所 述数据湖内的消息数据进行数据分区生成数据 表集合， 所述数据表集合内由若干个不相同主题 的数据表组成； 依据所述数据变更信息确定所述 数据表集合内所述消费数据的更新数据， 并通过 所述更新数据更新目标数据表； 通过所述表结构 变更信息对所述目标数据表进行表结构变更处 理。 能够实现数据归集， 确保数据入湖的准确性， 同时支持更新数据， 以及表结构的实时变更。 权利要求书2页 说明书12页 附图3页 CN 115391361 A 2022.11.25 CN 115391361 A 1.一种基于分布式数据库的实时数据处 理方法， 其特 征在于， 包括： 获取各业务系统对应的数据源进行数据采集生成数据变化信 息， 并通过所述数据变化 信息、 所述数据源和分布式数据库生成数据湖， 其中， 所述数据变化信息包括数据变更信息 和表结构变更信息； 对所述数据湖内的消息数据进行数据分区生成数据表集合， 其中， 所述数据表集合内 由若干个不相同主题的数据表组成； 依据所述数据变更信 息确定所述数据表集合内所述消费数据的更新数据， 并通过所述 更新数据更新目标 数据表； 通过所述表结构变更信息对所述目标 数据表进行表结构变更处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述获取各业务系统对应的数据源进行数 据采集生成数据变化信息， 并通过所述数据变化信息、 所述数据源和分布式数据库生成数 据湖， 其中， 所述数据变化信息包括数据变更信息和表结构变更信息的步骤， 包括： 对所述数据源进行分类确定所述数据源的数据库类型， 其中， 所述数据源类型包括第 一数据库和第二数据库； 对所述第一数据库对应的所述数据源和所述第二数据库对应的所述数据源分别进行 数据采集 生成数据变化信息； 将所述数据变更信 息、 所述表结构变更信 息和所述数据源接入至所述分布式数据库生 成数据湖。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第 一数据库对应的所述数据源 和所述第二数据库对应的所述数据源分别进行 数据采集 生成数据变化信息的步骤， 包括： 当所述数据源为所述第 一数据库的数据时， 通过第 一采集方式在所述数据源获取第 一 数据变更信息和第一表结构变更信息； 和/或； 当所述数据源为所述第 二数据库的数据时， 通过第 二采集方式在所述数据源获取第 二 数据变更信息和第二表结构变更信息； 依据所述第一数据变更信息和所述第二数据变更信息生成所述数据变更信息； 依据所述第一表结构变更信息和所述第二数据变更信息生成所述表结构变更信息； 依据所述数据变更信息和所述表结构变更信息生成所述数据变化信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述数据湖内的消息数据进行数据 分区生成数据 表集合， 其中， 所述数据 表集合内由若干个不相同主题的数据表组成的步骤， 包括： 通过Kafka集群构建若干个消息队列， 依据若干个所述消息队列对所述消息数据进行 筛选生成属于目标消息队列的所述消息数据； 依据所述目标消息队列以及所述目标消息队列对应的所述消息数据生成当前主题数 据表， 再通过其他消息队列以及所述其他消息队列的所述消息数据生成若干个其他主题数 据表； 依据所述当前主题数据表和若干个所述 其他主题表生成所述数据表集 合。 5.根据权利要求1所述的方法， 其特征在于， 所述依据所述数据变更信 息确定所述数据 表集合内所述消费数据的更新数据， 并通过 所述更新数据更新目标 数据表的步骤， 包括：权　利　要　求　书 1/2 页 2 CN 115391361 A 2获取所述数据表集 合内各主题的所述消费数据； 通过所述数据变更信息确定所述消费数据中的所述更新数据以及所述更新数据对应 的数据变化类型， 其中， 所述数据变化类型包括 新增数据和删除数据； 依据所述更新数据和所述数据变化类型 更新所述目标 数据表。 6.根据权利要求5所述的方法， 其特征在于， 所述依据所述更新数据和所述数据变化类 型更新所述目标 数据表的步骤， 包括： 将所述数据变化类型为所述新增数据以及所述数据变化类型为所述删除数据的所述 更新数据进行合并生成临时表； 通过所述临时表完成对数据表的新增操作以及删除操作生成所述目标 数据表。 7.根据权利要求1所述的方法， 其特征在于， 所述通过所述表结构变更信 息对所述目标 数据表进行表结构变更处 理的步骤， 包括： 依据所述所述表结构变更信息确定数据库模式定义语言脚本； 获取所述数据库模式定义语言脚本 内的语句， 并通过所述语句生成适用于所述分布式 数据库的逻辑脚本； 依据所述逻辑脚本对所述目标 数据表进行表结构变更处 理。 8.一种基于分布式数据库的实时数据处 理装置， 其特 征在于， 包括： 第一生成模块， 用于获取各业务系统对应的数据源进行数据采集生成数据变化信息， 并通过所述数据变化信息和所述数据源生成数据湖， 其中， 所述数据变化信息包括数据变 更信息和表结构变更信息； 第二生成模块， 用于对所述数据湖内的消息数据进行数据分区生成数据表集合， 其中， 所述数据表集 合内由若干个不相同主题的数据表组成； 更新模块， 用于依据 所述数据变更信 息确定所述数据表集合内所述消费数据的更新数 据， 并通过 所述更新数据更新目标 数据表； 变更模块， 用于通过 所述表结构变更信息对所述目标 数据表进行表结构变更处 理。 9.一种计算机设备， 其特征在于， 包括处理器、 存储器及存储在所述存储器上并能够在 所述处理器上运行 的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求1 至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机程 序， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115391361 A 3