(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026984.1 (22)申请日 2022.08.25 (71)申请人 天翼电子商务有限公司 地址 100037 北京市西城区阜成门外大街 31号4层429D (72)发明人 尹春光　张璐波　万成龙　从光辉　 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/215(2019.01) G06F 16/27(2019.01) (54)发明名称 一种基于 FlinkSQL的SQL一致性状态恢复装 置 (57)摘要 本发明公开了一种基于 FlinkSQL的SQL一致 性状态恢复装置， 通过对FlinkSQL作业的计算拓 扑， 为SQL的计算拓扑生成唯一设置计算函数 Hash值， 固化整个计算拓 扑的计算中间状态数据 存储， 来实现FlinkSQL同时运行多个SQL， SQL的 变更， 删除， 新增之间的分布式状态互不影 响， 来 保证实时计算的数据一致性状态恢复。 本发明通 过SQL计算拓 扑一致性Hash值算法来固定计算拓 扑的分布式状态， 增强FlinkSQL的任务隔离性， 提升资源的利用率。 权利要求书1页 说明书3页 附图2页 CN 115455017 A 2022.12.09 CN 115455017 A 1.一种基于FlinkSQL的SQL一致性状态恢复装置， 其特征在于， 该装置包含SQL任务提 交客户端， SQL  Gateway、 SQL拓 扑分析器、 SQL拓扑Hash生成器， Flink  Runtime计算引擎， 主 要流程如下所示： (1)SQL客户端提交多个SQ L任务到SQ L Gateway； (2)SQL Gateway对每条SQ L调用SQL拓扑分析器， 生成对应的Fl ink计算拓扑； (3)生成的计算拓扑交给SQ L拓扑Hash生成器， 为该拓扑生成唯一的Hash值； (4)SQL Gateway把任务提交运行， 在运行时的Flink程序定期进行状态存储到外部分 布式存储系统中； (5)在Flink  Runtime遇到异常进行容错恢复的时候， 从分布式快照中加载对应的状态 快照， 然后根据计算的拓扑唯一Hash值， 进行获取状态， 恢复计算结果。权　利　要　求　书 1/1 页 2 CN 115455017 A 2一种基于FlinkSQL的SQL 一致性状态 恢复装置 技术领域 [0001]本发明涉及支付， 金融领域， 特别涉及一种基于FlinkSQL的S QL一致性状态恢复装 置。 背景技术 [0002]在流计算场景中， 数据没有边界源源不断的流入的， 每条数据流入都可能会触发 计算， 比如在进行count或sum这些操作， 选择每次触发计算将所有流入的历史数据重新计 算， 如果遇到网络中断， 对应的上次计算结果就会丢失， 在节点恢复时， 是需要将所有历史 数据重新计算一遍的， 这样比较消耗计算资源。 Flink 实时计算中采用了分布式快照的设计 方案解决了运行计算任务的过程中见计算结果存储问题。 在整个任务运行 的过程中， 中间 存在着多个临时状态， 比如说某些数据正在执行一个operat or， 但是只处理了一半数据， 另 外一般还没来得及处理， 这也是一个状态。 需要一种机制去保存记录执行过程中的中间状 态， 这种机制就是状态管理机制。 [0003]Flink是可以通过设置计算函数节点 的Hash值来确保整个计算拓扑的一致性， 来 保障任务恢复的时候， 函数节点能够从正确的位置获取到该函数 的中间存储。 但是当我们 使用FlinkSQL开发作业的时候， 无法为Flink作业设置计算函数的Hash值， 以及在多个SQL 任务同时运行在一个FlinkJob中时， 以及在多个SQL作业有增删的时候， FlinkSQL作业在失 败恢复的时候不能够从指定的Hash获取计算函数的中间状态。 在这样的背景下， 我们希望 通过设计为不同SQL的计算拓扑生成唯一的计算Hash值， 多个SQL的Hash相互隔离， 来实现 FlinkSQL作业能够同时运行， 以及任务之间的变更仍然能够保证新、 老的SQL任务能够获取 到计算中间状态， 保证 计算的一 致性。 发明内容 [0004]本发明要解决的技术问题是克服现有技术的缺陷， 提供一种基于FlinkSQL的SQL 一致性状态恢复装置， 通过对 FlinkSQL作业的计算拓扑， 为SQL的计算拓扑生 成唯一设置计 算函数Hash值， 固化整个计算拓扑的计算中间状态数据存储。 来实现FlinkSQL同时运行多 个SQL， SQL的变更， 删除， 新增之间的分布式状态互不影响， 来保证实时计算的数据一致性 状态恢复。 [0005]本发明提供了如下的技 术方案： [0006]本发明提供一种基于FlinkSQL的S QL一致性状态恢复装置， 该装置包含SQL任务提 交客户端， SQLGateway、 SQL拓扑分析器、 SQL拓 扑Hash生成器， FlinkRunti me计算引擎， 主要 流程如下所示： [0007](1)SQL客户端提交多个SQ L任务到SQ LGateway； [0008](2)SQLGateway对每条SQ L调用SQL拓扑分析器， 生成对应的Fl ink计算拓扑； [0009](3)生成的计算拓扑交给SQ L拓扑Hash生成器， 为该拓扑生成唯一的Hash值； [0010](4)SQLGateway把任务提交运行， 在运行时的Flink程序定期进行状态存储到外部说　明　书 1/3 页 3 CN 115455017 A 3