(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763816.4 (22)申请日 2022.06.29 (71)申请人 广州华多网络科技有限公司 地址 511442 广东省广州市番禺区南村镇 万达广场B1栋24层 (72)发明人 易义辉　林绪虹　李凌　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 11/36(2006.01) G06F 11/30(2006.01) (54)发明名称 日志增量分析方法及其装置、 设备、 介质、 产 品 (57)摘要 本申请公开一种日志增量分析方法及其装 置、 设备、 介质、 产品， 所述方法包括： 获取旧日志 集及新日志， 根据预设的日志预处理规则， 分别 对旧日志集及新日志进行日志预处理； 分别对完 成日志预处理的旧日志集及新日志进行哈希映 射存储， 生成旧日志集对应的旧日志 基线哈希字 典及新日志对应的新日志哈希字典； 对比所述旧 日志基线哈希字典与新日志哈希字典， 确定出新 日志中包含的增量日志字段， 生 成包含增量日志 字段的增量日志。 本申请通过预处理规则及哈希 算法高效地挖掘增量日志， 更高限度的节省内 存， 减少由于冗余日志溢出造成关键日志丢失的 几率， 降低定位问题根源的难度。 权利要求书2页 说明书14页 附图5页 CN 115221180 A 2022.10.21 CN 115221180 A 1.一种日志增量分析 方法， 其特 征在于， 包括如下步骤： 获取旧日志集及新日志， 根据预设的日志预处理规则， 分别对旧日志集及新日志进行 日志预处 理； 分别对完成日志预处理 的旧日志集及新日志进行哈希映射存储， 生成旧日志集对应的 旧日志基线哈希字典及新日志对应的新日志哈希字典； 对比所述旧日志基线哈希字典与新日志哈希字典， 确定出新日志中包含的增量日志字 段， 生成包 含增量日志字段的增量日志。 2.根据权利要求1所述的方法， 其特征在于， 根据预设的日志预处理规则， 分别对旧日 志集及新日志进行日志预处 理的步骤中， 包括如下步骤： 调用日志配置过滤器， 根据日志配置过滤器包含的日志配置正则表达式， 移除当前日 志中日志配置正则表达式所对应的字符； 调用版本变量过滤器， 根据版本变量过滤器包含的日志版本正则表达式， 查询出当前 日志中与日志版本正则表达式匹配的版本 字段， 移除版本 字段中包 含的版本变量； 调用状态变量替换器， 根据状态变量过滤器包含的状态版本正则表达式， 查询出当前 日志中与状态版本正则表达式匹配的状态字段， 将版本字段中包含的状态变量替换为空格 字符； 调用进制字符过 滤器， 移除当前日志中包 含的所有 进制字符； 对当前日志进行非必要字符替换处理， 将当前日志中的非必要字符替换为空格字符， 完成当前日志的日志预处 理。 3.根据权利要求1所述的方法， 其特征在于， 分别对完成所述日志预处理 的旧日志集及 新日志进 行哈希处理， 获取所述旧日志 集对应的旧日志基线哈希字典及所述新日志 集对应 的新日志哈希字典的步骤中， 包括如下步骤： 对完成所述日志预处理 的当前日志中某一日志字段进行哈希 处理， 获取该 日志字段所 对应的哈希值； 查询当前日志所对应的哈希字典中是否存在所述哈希值， 若不存在， 则获取所述日志 字段在当前日志中所对应的原 始日志字段； 将所述哈希值及原 始日志字段作为键值对 存储至所述哈希字典中。 4.根据权利要求1所述的方法， 其特征在于， 对比所述旧日志基线哈希字典与新日志哈 希字典， 识别出所述新日志哈希字典中包含的增量日志字段， 生成包含所述增量日志字段 的增量日志的步骤中， 包括如下步骤： 基于旧日志基线 哈希字典， 遍历新日志哈希字典， 确定出该新日志哈希字典中与所述 旧日志基线哈希字典中键数据不相同的一个或多个键值对； 获取该些键值对各自包含的值数据 所对应的原始日志字段， 将该些原始日志字段作为 增量日志字段； 生成包含各所述增量日志字段的增量日志。 5.根据权利要求1所述的方法， 其特 征在于， 本方法包括如下后置： 响应作用于增量日志的错 误日志指令， 获取 该指令所对应的错 误增量日志字段； 根据所述日志预处理规则对所述错误增量日志字段进行预处理， 并对完成预处理的错 误增量日志字段进行哈希处 理， 获取对应的哈希值；权　利　要　求　书 1/2 页 2 CN 115221180 A 2将所述哈希值及错 误增量日志字段作为键值对 存储至所述旧日志基线哈希字典中。 6.根据权利要求1所述的方法， 其特 征在于， 本方法包括如下后置： 根据所述日志预处 理规则， 对当前最 新生成的增量日志进行日志预处 理； 对完成日志预处理的所述增量日志进行哈希映射存储， 获取该增量日志中各增量日志 字段所对应的键值对； 将各所述键值对 存储至所述旧日志基线哈希字典中。 7.一种日志增量分析装置， 其特 征在于， 包括: 日志预处理模块， 用于获取旧日志集及新日志， 根据预设的日志预处理规则， 分别对旧 日志集及新日志进行日志预处 理； 哈希字典生成模块， 用于分别对完成日志预处理 的旧日志集及新日志进行哈希映射存 储， 生成旧日志集对应的旧日志基线哈希字典及新日志对应的新日志哈希字典； 增量日志生成模块， 用于对比所述旧日志基线 哈希字典与新日志哈希字典， 确定出新 日志中包 含的增量日志字段， 生成包 含增量日志字段的增量日志。 8.一种电子设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理器用于调用运 行存储于所述存 储器中的计算机程序以执 行如权利要求1至 6中任一项所述的方法的步骤。 9.一种非易失性存储介质， 其特征在于， 其以计算机可读指令的形式存储有依据权利 要求1至6中任意一项所述的方法所实现的计算机程序， 该计算机程序被计算机调用运行 时， 执行该方法所包括的步骤。 10.一种计算机程序产品， 包括计算机程序/指令， 其特征在于， 该计算机程序/指令被 处理器执行时实现权利要求1至 6任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115221180 A 3