(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211032717.5 (22)申请日 2022.08.26 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 范佳佳　文国军　刘美花　夏鼎玺　 余静莹　张海洋　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张东梅 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/215(2019.01) G06F 16/28(2019.01)G06F 21/60(2013.01) (54)发明名称 流数据处 理方法、 装置、 存 储介质和设备 (57)摘要 本申请公开了一种流数据处理方法、 装置、 存储介质和设备， 应用于大数据领域， 该方法为： 从预设消息队列中获取流数据； 对 各个数据进行 处理， 得到每个数据的处理结果； 基于数据所包 含的字段， 确定数据的第一校验码； 对处理结果 进行校验码转换， 得到数据的第二校验码； 在第 一校验码和第二校验码不相同的情况下， 对处理 结果进行修正， 得到满足预设要求的修正结果； 将数据以及修正结果， 保存到目标数据库中。 该 方法对流数据所示数据的第一校验码和第二校 验码进行比对， 在第一校验码和第二校验码不相 同的情况下， 对数据的处理结果进行修正， 得到 满足预设要求的修正结果， 使得处理后的数据与 处理前的数据保持一 致。 权利要求书2页 说明书8页 附图4页 CN 115374137 A 2022.11.22 CN 115374137 A 1.一种流数据处 理方法， 其特 征在于， 包括： 从预设消息队列中获取流数据； 所述流数据包括数据序列； 所述数据序列包括经由源 数据库上传给所述预设消息队列的多个数据， 且每个所述数据均按照所述数据自身的上传 次序进行排序； 对各个所述数据进行处 理， 得到每 个所述数据的处 理结果； 基于所述数据所包 含的字段， 确定所述数据的第一校验码； 对所述处 理结果进行 校验码转换， 得到所述数据的第二校验码； 在所述第一校验码和所述第二校验码不相同的情况下， 对所述处理结果进行修正， 得 到满足预设要求的修正结果； 所述预设要求为： 经 由对所述修正结果进行校验码转换得到 的第二校验码， 与所述第一校验码保持一 致； 将所述数据以及所述 修正结果， 保存到目标 数据库中。 2.根据权利要求1所述的方法， 其特征在于， 所述对各个所述数据进行处理， 得到每个 所述数据的处 理结果， 包括： 为各个所述数据分配时间戳和水印； 所述时间戳指示所述数据的处理时间； 所述水印 指示处理所述数据时的延迟时间； 按照处理时间从早到晚的顺序， 并延迟每个所述数据的延迟时间之后， 对各个所述数 据进行处 理， 得到每 个所述数据的处 理结果。 3.根据权利要求1所述的方法， 其特征在于， 所述按照处理时间从早到晚的顺序， 并延 迟每个所述数据的延迟时间之后， 对各个所述数据进行处理， 得到每个所述数据的处理结 果， 包括： 对各个所述数据中符合预设条件的数据进行删除， 得到有效流数据； 所述预设条件为： 数据的字段值 为空， 以及数据的字段包 含有预设敏感字符； 按照处理时间从早到晚的顺序， 并延迟每个所述数据的延迟时间之后， 对于所述有效 流数据中的每 个所述数据进行处 理， 得到每 个所述数据的处 理结果。 4.根据权利要求3所述的方法， 其特征在于， 所述按照处理时间从早到晚的顺序， 并延 迟每个所述数据的延迟时间之后， 对于所述有效流数据中的每个所述数据进行处理， 得到 每个所述数据的处 理结果， 包括： 对所述有 效流数据中的各个所述数据进行降维， 以使剔除所述有 效流数据中每个数据 的冗余属性列， 得到目标流数据； 按照处理时间从早到晚的顺序， 并延迟每个所述数据的延迟时间之后， 对于所述目标 流数据中的每 个所述数据进行处 理， 得到每 个所述数据的处 理结果。 5.根据权利要求4所述的方法， 其特征在于， 所述按照处理时间从早到晚的顺序， 并延 迟每个所述数据的延迟时间之后， 对于所述 目标流数据中的每个所述数据进行处理， 得到 每个所述数据的处 理结果， 包括： 对所述目标流数据中的各个所述数据进行分类， 得到多个数据分组； 所述数据分组包 括预设属性相同的多个数据； 对于每个所述数据分组， 按照处理时间从早到晚的顺序， 并延迟每个数据的延迟时间 之后， 依次对所述数据分组中各个数据进行处理， 得到所述数据分组中每个数据的处理结 果。权　利　要　求　书 1/2 页 2 CN 115374137 A 26.根据权利要求1所述的方法， 其特征在于， 所述基于所述数据所包含的字段， 确定所 述数据的第一校验码， 包括： 将所述数据所包 含的各个字段进行拼接， 得到所述数据的字符串； 对所述字符串 进行校验码转换， 得到所述数据的第一校验码。 7.根据权利要求1所述的方法， 其特征在于， 所述对所述处理结果进行校验码转换， 得 到所述数据的第二校验码之后， 还 包括： 在所述第一校验码和所述第 二校验码相同的情况下， 直接将所述数据以及所述处理结 果， 保存到所述目标 数据库中。 8.一种流数据处 理装置， 其特 征在于， 包括： 获取单元， 用于从预设消息队列中获取流数据； 所述流数据包括数据序列； 所述数据序 列包括经由源数据库上传给所述预设消息队列的多个数据， 且每个所述数据均按照所述数 据自身的上传次序进行排序； 处理单元， 用于对各个所述数据进行处 理， 得到每 个所述数据的处 理结果； 确定单元， 用于基于所述数据所包 含的字段， 确定所述数据的第一校验码； 转换单元， 用于对所述处 理结果进行 校验码转换， 得到所述数据的第二校验码； 修正单元， 用于在所述第一校验码和所述第二校验码不相同的情况下， 对所述处理结 果进行修正， 得到满足预设要求的修正结果； 所述预设要求为： 经由对所述修正结果进行校 验码转换 得到的第二校验码， 与所述第一校验码保持一 致； 保存单元， 用于将所述数据以及所述 修正结果， 保存到目标 数据库中。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的程序， 其中， 所述 程序执行权利要求1 ‑7任一所述的流数据处 理方法。 10.一种流数据处理设备， 其特征在于， 包括： 处理器、 存储器和总线； 所述处理器与所 述存储器通过 所述总线连接； 所述存储器用于存储程序， 所述处理器用于运行程序， 其中， 所述程序运行时执行权利 要求1‑7任一所述的流数据处 理方法。权　利　要　求　书 2/2 页 3 CN 115374137 A 3