(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211010338.6 (22)申请日 2022.08.23 (71)申请人 浪潮软件集团有限公司 地址 250100 山东省济南市高新区科航路 2877号 (72)发明人 苑晓龙　金宁　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 潘悦梅 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/28(2019.01) (54)发明名称 一种时序数据同步器 (57)摘要 本发明公开了一种时序数据同步器， 属于时 序数据库技术领域， 要解决的技术问题为如何提 供一种高性能高吞吐的实时同步器， 满足边缘端 大量时序数据持久化的需求。 包括： 同步记录存 储器组件， 用于读取和维护待读取的key 以及对 应读取时间戳； Redi sTsSource数据源组件， 用于 根据同步记录存储器组件提供的待读取的key以 及 对 应 的 读 取 起 始 时 间 戳 ，并 行 从 RedisTimeSeries时序数据库中读取时序数据； 数据转换器组件， 用于将时序数据转换为数据表 结构的时序数据； TaosSink数据下沉组件， 用于 将数据表结构的时序数据转换为SQL语句， 并将 SQL语句发送至TDEngi ne。 权利要求书2页 说明书4页 附图4页 CN 115422288 A 2022.12.02 CN 115422288 A 1.一种时序数据同步器， 其特征在于， 用于将存储于Redis  TimeSeries内存库中的时 序数据同步下沉到TDEngi ne的持久化存 储中， 所述同步器包括： 同步记录存储器组件， 所述同步记录存储器组件用于读取和维护待读取的key以及对 应读取时间戳； RedisTsSource数据源组件， 所述RedisTsSource数据源组件用于根据同步记录存储器 组件提供的待读取的key以及对应的读取起始时间戳， 并行从Redis  TimeSeries时序数据 库中读取时序数据； 数据转换器组件， 所述数据转换器用于接收所述RedisTsSource数据源组件发送的时 序数据， 并将所述时序数据转换为数据表结构的时序数据； TaosSink数据下沉组件， 所述TaosSink数据下沉组件用于接收所述数据 转换器组件发 送的数据表结构的时序数据， 用于将数据表结构的时序数据转换为SQL语句， 并将SQL语句 发送至TDEngi ne。 2.根据权利要求1所述的时序数据同步器， 其特 征在于， 所述同步记录存 储器包括： Keys读取器， 所述Keys读取器用于定时从元数据存储中读取待读取的Keys和对应的读 取起始时间戳； Keys分组器， 所述Keys分组器用于根据每个Key对应采集点的采集频率将Keys进行分 组； Keys更新器， 所述Keys更新器用于监听事件监听通道， 同步更新内存中的Keys分组 以 及异步更新元 数据存储中的Keys已读时间戳和同步的数据点数量。 3.根据权利要求1所述的时序数据同步器， 其特征在于， 所述RedisTsSource数据源组 件包括： 数据读取器， 所述数据读取器中配置有元数据定时器以及同步记录存储器的存储器句 柄， 用于通过所述元数据定时器触发所述存储器句柄定时获取Keys分组， 用于根据不同 Keys分组的采集频率创建定时器分组并启动定时器， 对于相同采集频率的Keys， 用于通过 定时器根据不同的读取起始时间戳进行分组， 得到不同的Keys分组， 并用于基于Keys分组 并行的从Redis  TimeSeries时序数据库中读取时序数据； 数据通道， 所述数据通道用于将时序数据发送至数据转换器组件。 4.根据权利要求3所述的时序数据同步器， 其特征在于， Redis  TimeSeries中扩展实现 了相同时间范围的多个Key分组下 的时序数据读取接口， 所述数据读取器用于通过所述接 口读取相应的时序数据。 5.根据权利要求1所述的时序数据同步器， 其特 征在于， 所述数据转换器组件 包括： 表分组器， 所述表分组器用于将相同设备的时序数据聚合到同一个分组中， 得到至少 一个表分组； 行分组器， 所述行分组器用于将同一表分组中的时序数据根据时间戳 聚合到同一个分 组中， 得到 至少一个行分组； 列集合分组器， 所述列集合分组器用于将不同行分组中的时序 数据按照相同采集点集 合的时序数据聚合到同一个分组中， 得到多个数据表。 6.根据权利要求5所述的时序数据同步器， 其特征在于， 所述数据表中rows字段为map 映射类型， rows字段的key为列集合排序且 连接后的字符串， rows字段的value为拥有与key权　利　要　求　书 1/2 页 2 CN 115422288 A 2相同列的时序数据集 合， 所述数据表中number字段为时序数据的条目数量。 7.根据权利 要求5所述的时序数据同步器， 其特征在于， 所述TaosSink数据下沉组件包 括： SQL生成器， 所述SQL生成器用于从所述数据转换器组件中获取数据库表格式的时序数 据， 并将数据库表结构的时序数据生成SQ L语句； 写入器， 所述写入器用于从SQL生成器读取SQL语句， 并将SQL语句发送至TDEngine中， 通过在TDEngine中执行所示SQL语句将时序数据写入TDEngine时序数据库的持久化存储 中； 并用于通过持有的同步记录存储器的存储器句柄将已读Keys和时间戳传 入同步记录存 储器的事件监听通道， 同步记录存储器通过其Keys更新器将已读Keys和时间戳更新至内存 和元数据存储。 8.根据权利要求7所述的时序 数据同步器， 其特征在于， 当时序 数据条目数量的累加值 达到阈值时， 所述写入器用于将SQL语句形式的时序数据写入TDEngine时序数据库的持久 化存储中； 所述时序数据条目数量记录 于数据表的number字段。 9.根据权利要求8所述的时序数据同步器， 其特征在于， 所述写入器中配置有定时器， 当时序数据条目数量的累加值达到阈值时， 或者， 达到写入器中定时器的时间戳值时， 所述 写入器用于将SQ L语句形式的时序数据写入TDEngi ne时序数据库的持久化存 储中。权　利　要　求　书 2/2 页 3 CN 115422288 A 3