(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210028889.9 (22)申请日 2022.01.11 (71)申请人 创优数字科技 （广东） 有限公司 地址 516000 广东省广州市海珠区新港东 路2429号首层自编01 1房(仅限办公) (72)发明人 王云鹏　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 许庆胜 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/451(2018.01) (54)发明名称 一种数据采集程序 的管控方法、 系统、 设备 及存储介质 (57)摘要 本发明涉及数据采集管 理技术领域， 公开了 一种数据采集程序的管控方法、 系统、 设备及存 储介质。 本发 明根据数据采集任务配置表中的调 度信息， 定时调度数据采集程序以执行对应数据 采集任务， 并对 所述数据采集程序采集到的数据 调用相应的监控逻辑进行监控， 所述监控逻辑每 次被调用时用于根据当前采集到的数据计算各 预置的监控指标的值， 将所述监控指标的值与对 应的指标阈值进行比对， 得到比对结果， 进而对 各所述比对 结果进行分析， 在达到预警条件时执 行相应的预警操作， 过程中对任务运行状态进行 可视化显示。 本发明实现了对数据采集程序采集 数据的整个过程的实时、 自动化监控， 提高了数 据质量管控的效率。 权利要求书2页 说明书8页 附图2页 CN 114371924 A 2022.04.19 CN 114371924 A 1.一种数据采集 程序的管控方法， 其特 征在于， 包括： 根据数据采集任务配置表中的调度信 息， 定时调度 数据采集程序以执行对应数据采集 任务， 所述数据采集任务配置表包括各监控指标对应的指标阈值； 对所述数据采集程序采集到的数据调用相应的监控逻辑进行监控， 所述监控逻辑每次 被调用时用于根据当前采集到的数据计算各所述监控指标的值， 并将所述监控指标的值与 对应的指标阈值进行比对， 得到比对结果； 对各所述比对结果进行分析， 在达 到预警条件时执 行相应的预警操作。 2.根据权利要求1所述的数据采集程序的管控方法， 其特征在于， 所述各监控指标包括 空值数、 空值 率、 最大超出重试次数、 采集异常数量和/或采集成功数量。 3.根据权利要求2所述的数据采集程序的管控方法， 其特征在于， 所述对各所述比对结 果进行分析， 包括： 若任意一个监控指标与对应的指标阈值的比对结果不满足对应预置比对条件， 判定达 到预警条件。 4.根据权利要求1所述的数据采集程序的管控方法， 其特征在于， 所述执行相应的预警 操作， 包括： 通过界面显示用于提示对应数据采集任务失败的预警信 息， 和/或， 向预设邮件接收方 发送对应的预警邮件。 5.根据权利要求1所述的数据采集 程序的管控方法， 其特 征在于， 所述方法还 包括： 接收数据显示指令； 根据所述数据显示指令， 对数据采集程序的对应运行状态数据进行可视化显示； 所述 运行状态数据包括数据采集任务的标识、 数据类型、 名称、 运行状态、 运行开始时间、 运行结 束时间、 各监控指标的值和/或运行日志。 6.根据权利要求1所述的数据采集 程序的管控方法， 其特 征在于， 所述方法还 包括： 对数据采集任务的调度信息进行定时检测； 在所述数据采集任务的调度信 息发生更 改时， 对应更新所述数据采集任务配置表中的 调度信息 。 7.一种数据采集 程序的管控设备， 其特 征在于， 包括： 存储器， 用于存储指令； 其中， 所述指令为可实现如权利要求1 ‑6任意一项所述的数据 采集程序的管控方法的指令； 处理器， 用于执 行所述存储器中的指令 。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求1 ‑6任意一项所述的数据采集程序 的管控方法。 9.一种数据采集 程序的管控系统， 其特 征在于， 包括： 任务调度模块， 用于根据数据采集任务配置表中的调度信息， 定时调度数据采集程序 以执行对应数据采集任务， 所述数据采集任务配置表包括各监控指标对应的指标阈值； 数据监控模块， 用于对所述数据采集程序采集到的数据调用相应的监控逻辑进行监 控， 所述监控逻辑每次被调用时用于根据当前采集到的数据计算各所述监控指标的值， 并 将所述监控指标的值与对应的指标阈值进行比对， 得到比对结果；权　利　要　求　书 1/2 页 2 CN 114371924 A 2预警通知模块， 用于对各所述比对结果进行分析， 在达到预警条件时执行相应的预警 操作。 10.根据权利要求9所述的数据采集程序的管控系统， 其特征在于， 所述各监控指标包 括空值数、 空值 率、 最大超出重试次数、 采集异常数量和/或采集成功数量。 11.根据权利要求10所述的数据采集程序的管控系统， 其特征在于， 所述预警通知模块 对各所述比对结果进行分析时， 具体用于： 若任意一个监控指标与对应的指标阈值的比对结果不满足对应预置比对条件， 判定达 到预警条件。 12.根据权利要求9所述的数据采集程序的管控系统， 其特征在于， 所述预警通知模块 执行相应的预警操作时， 具体用于： 通过界面显示用于提示对应数据采集任务失败的预警信 息， 和/或， 向预设邮件接收方 发送对应的预警邮件。 13.根据权利要求9所述的数据采集 程序的管控系统， 其特 征在于， 所述系统还 包括： 可视化模块， 用于接收数据显示指令； 根据 所述数据显示指令， 对数据采集程序的对应 运行状态数据进行可视化显示； 所述运行状态数据包括数据采集任务的标识、 数据类型、 名 称、 运行状态、 运行开始时间、 运行 结束时间、 各监控指标的值和/或运行日志。 14.根据权利要求9所述的数据采集 程序的管控系统， 其特 征在于， 所述系统还 包括： 检测模块， 用于对数据采集任务的调度信息进行定时检测； 更新模块， 用于在所述数据采集任务的调度信息发生更改时， 对应更新所述数据采集 任务配置表中的调度信息 。 15.根据权利要求9所述的数据采集 程序的管控系统， 其特 征在于， 所述系统还 包括： 任务管理模块， 用于添加或修改所述数据采集任务配置表， 以及控制数据采集任务的 调度启停。 16.根据权利要求9 ‑14任意一项所述的数据采集程序的管控系统， 其特征在于， 所述数 据采集程序采用Pytho n中的Scrapy框架。权　利　要　求　书 2/2 页 3 CN 114371924 A 3