(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210806856.2 (22)申请日 2022.07.08 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 曾元　暴天鹏　吴立威　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 许昌莲 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01)G06V 10/40(2022.01) G06T 7/00(2017.01) (54)发明名称 缺陷检测方法和相关装置、 设备、 存 储介质 (57)摘要 本申请公开了一种缺陷检测方法和相关装 置、 设备、 存储介质， 缺陷检测方法包括： 获取待 进行缺陷检测的目标图像； 基于目标图像中待检 测缺陷所处目标结构对应的结构类型， 确定用于 对目标图像进行缺陷检测的目标网络模型， 其 中， 不同的结构类型对应的目标网络模型不同； 利用目标网络模 型对目标图像进行缺陷检测。 上 述方案， 能够提高缺陷检测的准确度。 权利要求书2页 说明书13页 附图3页 CN 115147626 A 2022.10.04 CN 115147626 A 1.一种缺陷检测方法， 其特 征在于， 包括： 获取待进行缺陷检测的目标图像； 基于所述目标图像中待检测缺陷所处目标结构对应的结构类型， 确定用于对所述目标 图像进行缺陷检测的目标网络模型， 其中， 不同的结构类型对应的目标网络模型不同； 利用所述目标网络模型对所述目标图像进行缺陷检测。 2.根据权利要求1所述的方法， 其特征在于， 所述结构类型与目标结构的大小和/或所 述目标结构与相 邻结构之 间的位置 关系相关， 在所述基于所述目标图像中待检测缺陷所处 目标结构对应的结构类型， 确定用于对所述 目标图像进行缺陷检测的目标网络模型之前， 所述方法还 包括： 接收结构类型设置指令； 响应于所述结构类型设置指令， 为所述目标图像对应的目标 结构设置结构类型； 或， 确定所述目标图像与数据库中各历史图像之间的相似度， 所述历史图像为已经过 缺陷检测的图像， 所述数据库中记录了各所述历史图像中待检测缺陷所处目标结构对应的 结构类型； 将相似度满足相似度要求的目标历史图像中待检测缺陷所处目标结构对应的结构类 型， 作为所述目标图像中目标 结构对应的结构类型。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标图像中待检测缺陷所处 目标结构对应的结构类型， 确定用于对所述目标图像进行缺陷检测的目标网络模型， 包括： 判断所述结构类型是否为第一目标类型， 得到第一判断结果， 所述第一目标类型为所 述目标结构在所述目标图像中的像素占比小于第一预设值的类型； 基于所述第一判断结果， 确定用于对所述目标图像进行缺陷检测的目标网络模型。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第一判断结果， 确定用于对 所述目标图像进行缺陷检测的目标网络模型， 包括： 响应于所述结构类型为第 二目标类型， 确定所述目标网络模型为所述第 二目标类型对 应的第一目标网络模型， 所述第二目标类型为所述目标结构在所述目标图像中的像素占比 大于或等于第一预设值的类型； 或， 响应于所述结构类型为第一目标类型， 判断所述第一目标类型是否为多级结构类 型， 得到第二判断结果， 所述多级结构类型为存在与所述 目标结构的位置相对固定的相邻 结构； 基于所述第二判断结果， 确定用于对所述目标图像进行缺陷检测的目标网络模型。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述第二判断结果， 确定用于对 所述目标图像进行缺陷检测的目标网络模型， 包括： 响应于所述第 一目标类型为单级结构类型， 确定所述目标网络模型为所述单级结构类 型对应的第二目标网络模型， 所述单级结构 类型为不存在与所述目标结构的位置相对固定 的相邻结构； 响应于所述第 一目标类型为多级结构类型， 确定所述目标网络模型为所述多级结构类 型对应的第三目标网络模型。 6.根据权利要求4或5所述的方法， 其特征在于， 所述第一目标网络模型包括第一目标 检测子模型和 第一缺陷检测子模型， 所述第二目标网络模型包括第二目标检测子模型和 第权　利　要　求　书 1/2 页 2 CN 115147626 A 2二缺陷检测子模型， 所述利用所述目标网络模型对所述目标图像进行缺陷检测， 包括： 利用所述第 一目标检测子模型或第 二目标检测子模型对所述目标图像进行目标检测， 得到若干个目标检测区域； 利用所述第一缺陷检测子模型或第二目标检测子模型对所述目标检测区域进行缺陷 检测， 得到所述目标图像的缺陷检测结果。 7.根据权利要求5所述的方法， 其特征在于， 所述第 三目标网络模型包括第 三目标检测 子模型、 第四目标检测子模型以及第三缺陷检测子模型， 所述利用所述 目标网络模型对所 述目标图像进行缺陷检测， 包括： 利用所述第 三目标检测子模型对所述目标图像进行目标检测， 得到若干个包含所述相 邻结构的候选检测区域； 利用所述第四目标检测子模型对所述候选检测区域进行目标检测， 得到包含目标结构 的目标检测区域； 利用所述第 三缺陷检测子模型对所述目标检测区域进行缺陷检测， 得到关于所述目标 图像的缺陷检测结果。 8.根据权利要求1 ‑7任一项所述的方法， 其特征在于， 所述目标网络模型包括目标检测 子模型和 缺陷检测子模型， 所述 目标检测子模型用于对所述 目标图像进行目标检测， 得到 目标检测结果， 所述缺陷检测子模型用于基于所述目标检测结果对所述目标图像进行缺陷 检测， 得到所述目标图像的缺陷检测结果， 所述方法包括对各个目标网络模型的训练过程， 所述训练过程包括： 对于每一种所述结构类型， 获取包含所述结构类型对应的目标结构的第一样本 图像， 并利用所述第一样本图像对所述结构类型对应的目标检测子模型进行训练， 所述目标结构 为所述待检测缺陷所处的结构； 以及， 获取第二样本 图像， 并对所述第二样本 图像中所述目标结构的不同子结构进行标注， 得到标注图像； 使用所述标注图像对图像分割模型进行训练； 将所述图像分割 模型中用于进行特征提取的子网络， 作为所述缺陷检测子模型的特征 提取子网络； 利用第三样本图像对所述缺陷检测子模型进行训练， 所述第 三样本图像中包含所述待 检测缺陷。 9.一种缺陷检测装置， 其特 征在于， 包括： 图像获取模块， 用于获取待 进行缺陷检测的目标图像； 模型确定模块， 用于基于所述目标图像中待检测缺陷所处目标结构对应的结构类型， 确定用于对所述目标图像进行缺陷检测的目标网络模型， 其中， 不同的结构类型对应的目 标网络模型不同； 缺陷检测模块， 用于利用所述目标网络模型对所述目标图像进行缺陷检测。 10.一种电子设备， 其特征在于， 包括存储器和处理器， 所述处理器用于执行所述存储 器中存储的程序指令， 以实现权利要求1至8任一项所述的方法。 11.一种计算机可读存储介质， 其上存储有程序指令， 其特征在于， 所述程序指令被处 理器执行时实现权利要求1至8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115147626 A 3