(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211344978.0 (22)申请日 2022.10.31 (71)申请人 江苏徐工国重实验室科技有限公司 地址 221004 江苏省徐州市经济技 术开发 区驮蓝山路26号 (72)发明人 李想　伍佳伟　许忠贤　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 刘剑波 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/27(2019.01) (54)发明名称 数据管理方法和装置、 存 储介质 (57)摘要 本公开提供一种数据管 理方法和装置、 存储 介质， 涉及数据存储领域。 数据管理方法包括： 与 预定数据源建立连接； 根据与预定业务属性相关 联的存储层级和业务域确定业务数据在分布式 大数据存储节 点中的第一数据存储位置； 从数据 源采集元数据； 根据元数据从数据源采集业务数 据； 将所采集的业务数据存储到第一数据存储位 置。 权利要求书2页 说明书7页 附图3页 CN 115510048 A 2022.12.23 CN 115510048 A 1.一种数据管理方法， 由数据管理装置执 行， 包括： 与预定数据源建立连接； 根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储 节点中的第一数据存 储位置； 从所述数据源 采集元数据； 根据所述元 数据从所述数据源 采集业务数据； 将所采集的业 务数据存 储到第一数据存 储位置。 2.根据权利要求1所述的方法， 其中， 将所采集的业务数据存储到第 一数据存储位置包 括： 判断第一数据存 储位置中的用于存 储业务数据的第一数据存 储目录是否存在； 若所述第一数据存储目录存在， 则将所采集的业务数据存储到所述第 一数据存储目录 中。 3.根据权利要求2所述的方法， 还 包括： 若所述第一数据存 储目录不存在， 则创建所述第一数据存 储目录； 将所采集的业 务数据存 储到所述第一数据存 储目录中。 4.根据权利要求1所述的方法， 其中， 从所述数据源 采集元数据包括： 从所述数据源获取 元数据； 判断所获取的元 数据是否 完整； 若所获取的元 数据不完整， 则从所述数据源进行 元数据补录， 以便获得完整的元 数据。 5.根据权利要求1 ‑4中任一项所述的方法， 还 包括： 从所述分布式大 数据存储节点中提取与预定业 务相关联的业 务数据； 对提取的业 务数据进行 数据清洗和聚合处 理， 以得到聚合数据； 根据与预定业务属性相关联的存储层级和业务域确定聚合数据在分布式大数据存储 节点中的第二数据存 储位置； 将聚合数据存 储到所述第二数据存 储位置。 6.根据权利要求5所述的方法， 其中， 将聚合数据存 储到所述第二数据存 储位置包括： 判断第二数据存 储位置中的用于存 储聚合数据的第二数据存 储目录是否存在； 若所述第二数据存 储目录存在， 则将聚合数据存 储到所述第二数据存 储目录中。 7.根据权利要求6所述的方法， 还 包括： 若所述第二数据存 储目录不存在， 则创建所述第二数据存 储目录； 将聚合数据存 储到所述第二数据存 储目录中。 8.根据权利要求5所述的方法， 其中， 所述存储层级包括贴源层、 加载层和应用层中的至少一项。 9.一种数据管理装置， 包括： 第一处理模块， 被配置为与预定数据源建立连接， 根据与预定业务属性相关联的存储 层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置， 从所述数据 源采集元数据， 根据所述元 数据从所述数据源 采集业务数据； 第二处理模块， 被 配置为将所采集的业 务数据存 储到第一数据存 储位置。 10.根据权利要求9所述的装置， 其中，权　利　要　求　书 1/2 页 2 CN 115510048 A 2第二处理模块被配置为判断第一数据存储位置中的用于存储业务数据的第一数据存 储目录是否存在， 若所述第一数据存储目录存在， 则将所采集的业务数据存储到所述第一 数据存储目录中。 11.根据权利要求10所述的装置， 其中， 第二处理模块被配置为若所述第 一数据存储目录不存在， 则创建所述第 一数据存储目 录， 将所采集的业 务数据存 储到所述第一数据存 储目录中。 12.根据权利要求9所述的装置， 其中， 第一处理模块被配置为从所述数据源获取元数据， 判断所获取的元数据是否完整， 若 所获取的元 数据不完整， 则从所述数据源进行 元数据补录， 以便获得完整的元 数据。 13.根据权利要求9 ‑12中任一项所述的装置， 还 包括第三处 理模块， 其中： 第三处理模块， 被配置为从所述分布式大数据存储节点中提取与预定业务相关联的业 务数据， 对提取的业务数据进 行数据清洗和聚合处理， 以得到聚合数据， 根据与预定业务属 性相关联 的存储层级和 业务域确定聚合数据在分布式大数据存储节点中的第二数据存储 位置； 第二处理模块被 配置为将聚合数据存 储到所述第二数据存 储位置。 14.根据权利要求13所述的装置， 其中， 第二处理模块被配置为判断第二数据存储位置中的用于存储聚合数据的第二数据存 储目录是否存在， 若所述第二数据存储目录存在， 则将聚合数据存储到所述第二数据存储 目录中。 15.根据权利要求14所述的装置， 其中， 第二处理模块被配置为若所述第 二数据存储目录不存在， 则创建所述第 二数据存储目 录， 将聚合数据存 储到所述第二数据存 储目录中。 16.根据权利要求13所述的装置， 其中， 所述存储层级包括贴源层、 加载层和应用层中的至少一项。 17.一种数据管理装置， 包括： 存储器， 被配置为存 储指令； 处理器， 耦合到存储器， 处理器被配置为基于存储器存储的指令执行实现如权利要求 1‑8中任一项所述的方法。 18.一种非瞬态计算机可读存储介质， 其中， 计算机可读存储介质存储有计算机指令， 指令被处 理器执行时实现如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115510048 A 3