说明:收录90万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778503.6 (22)申请日 2022.06.30 (71)申请人 杭州网易云音乐科技有限公司 地址 310052 浙江省杭州市萧 山区钱江世 纪城奔竞大道353号杭州国际博览中 心A座1201室 (72)发明人 汪磊 赵荣生 蒋文伟 苏杭  李宽 段石石 朱一飞 谭钧心  王军正 刘长伟 程纯 陆超红  (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 金银花 (51)Int.Cl. G06F 16/2457(2019.01) G06F 16/23(2019.01) (54)发明名称 一种数据获取方法、 装置、 电子设备及存储 介质 (57)摘要 本公开涉及数据处理技术领域, 公开了一种 数据获取方法、 装置、 电子设备及存储介质, 并具 体公开了响应于数据获取请求, 根据当前轮询确 定的实时流表, 确定所述数据获取请求针对的目 标消息队列, 所述实时流表中包括元数据信息和 消息队列主题, 所述元数据信息包括标识不同数 据区域的字段值、 数据区域的有效时段描述信 息, 以及字段值与消息队列主题的映射关系, 一 个消息队列主题对应一个消息队列, 所述字段值 用于标识数据区域中存储的数据类别; 再在所述 目标消息队列中, 进行数据的获取操作。 这样, 能 够避免读取与处理需求无关的数据, 因而极大的 降低了资源和带宽的浪费, 提高了资源的利用 率。 权利要求书2页 说明书20页 附图9页 CN 115114340 A 2022.09.27 CN 115114340 A 1.一种数据获取 方法, 其特 征在于, 包括: 响应于数据获取请求, 根据当前轮询确定的实时流表, 确定所述数据获取请求针对的 目标消息队列; 所述实时流表中包括元数据信息和消息队列主题, 所述元数据信息包括标 识不同数据区域的字段值、 数据区域的有效时段描述信息, 以及字段值与消息队列主题的 映射关系, 一个消息队列主题对应一个消息队列, 所述字段值用于标识数据区域中存储的 数据类别; 在所述目标消息队列中, 进行 数据的获取操作。 2.如权利要求1所述的方法, 其特征在于, 所述根据当前轮询确定的实时流表中, 确定 所述数据获取请求针对的目标消息队列, 包括: 确定所述数据获取请求中携带的数据描述信息, 并在轮询确定的实时流表中, 根据不 同数据区域的字段值与所述数据描述信息的匹配情况, 确定所述数据获取请求针对的、 目 标数据区域的字段值; 根据所述实时流表中字段值与消息队列主题的映射关系, 确定所述数据获取请求对应 的目标消息队列主题, 并基于所述目标消息队列主题确定对应的目标消息队列。 3.如权利要求1所述的方法, 其特征在于, 在所述目标消息队列中, 进行数据的获取操 作之后, 所述方法还 包括: 通过继续轮询所述实时流表, 确定存在新增的新数据区域, 且所述新数据区域中存储 的数据内容, 包含在所述数据获取请求针对的数据内容范围中时, 确定新数据区域对应的 新消息队列, 并将所述新消息队列与先前确定的目标消息队列, 确定为更新后的目标消息 队列; 在所述更新后的目标消息队列中, 进行 数据的获取操作。 4.如权利要求3所述的方法, 其特征在于, 所述通过继续轮询所述实时流表, 确定存在 新增的数据区域之前, 还 包括: 响应于针对新数据区域的新增指示, 确定所述新增指示针对的数据类别和所述新增指 示的接收时间; 基于所述接收时间和轮询所述实时流表的周期时长, 确定针对所述新数据区域配置的 生效时间, 并在当前的实时流表中, 新增所述新数据区域、 所述新数据区域对应的字段值和 有效时段描述信息, 以及所述 新数据区域对应的新消息队列主题。 5.如权利要求3所述的方法, 其特征在于, 所述在所述更新后的目标消息队列中, 进行 数据的获取操作, 还 包括: 基于新消息队列对应的生效时间和预设时长, 确定新线程的启动时间, 其中, 所述新线 程用于从新消息队列中获取 数据; 在所述先前确定的目标消息队列内, 进行数据的获取操作, 以及当确定系统时间达到 所述启动时间时, 基于所述新线程, 在所述新消息队列内, 进 行数据的获取操作, 其中, 所述 新消息队列中数据的写入时间, 在所述 新消息队列的生效时间之后。 6.如权利要求1所述的方法, 其特征在于, 在所述目标消息队列中, 进行数据的获取操 作之后, 所述方法还 包括: 通过继续轮询所述实时流表, 确定存在待失效数据区域, 且所述待失效数据区域中存 储的数据内容, 包含在所述数据获取请求针对的数据内容范围中时, 在先前确定的目标消权 利 要 求 书 1/2 页 2 CN 115114340 A 2息队列中, 标记所述待失效数据区域对应的待失效消息队列, 得到处 理后的目标消息队列; 在所述处 理后的目标消息队列中, 进行 数据的获取操作。 7.如权利要求1 ‑6任一项所述的方法, 其特 征在于, 所述方法还 包括: 响应于数据存 储请求, 确定所述数据存 储请求中携带的数据描述信息; 根据当前轮询确定的实时流表, 确定所述数据描述信息对应的消息队列, 并在所述消 息队列内, 进行 数据的写入操作, 其中, 写入的每 个数据关联有对应的写入时间。 8.一种数据获取装置, 其特 征在于, 包括: 响应单元, 用于响应于数据获取请求, 根据当前轮询确定的实时流表, 确定所述数据获 取请求针对的目标消息队列; 所述实时流表中包括元数据信息和消息队列主题, 所述元数 据信息包括标识不同数据区域的字段值、 数据区域的有效时段描述信息, 以及字段值与消 息队列主题的映射关系, 一个消息队列主题对应一个消息队列, 所述字段值用于标识数据 区域中存 储的数据类别; 获取单元, 用于在所述目标消息队列中, 进行 数据的获取操作。 9.一种电子设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序, 其特征在于, 所述处理器执行所述程序时实现权利要求1 ‑7任一项所述方法的步 骤。 10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于: 所述计算机程序 被处理器执行时实现权利要求1 ‑7任一项所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 115114340 A 3

PDF文档 专利 一种数据获取方法、装置、电子设备及存储介质

文档预览
中文文档 32 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共32页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据获取方法、装置、电子设备及存储介质 第 1 页 专利 一种数据获取方法、装置、电子设备及存储介质 第 2 页 专利 一种数据获取方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:43:21上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。