(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210811475.3 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114882039 A (43)申请公布日 2022.08.09 (73)专利权人 南通透灵信息科技有限公司 地址 226200 江苏省南 通市启东经济开发 区林洋路5 00号 (72)发明人 张小灵　 (74)专利代理 机构 杭州聚邦知识产权代理有限 公司 33269 专利代理师 周美锋 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) B07C 5/342(2006.01) (56)对比文件 CN 10151 1602 A,2009.08.19 CN 111369526 A,2020.07.0 3 审查员 朱雪梅 (54)发明名称 一种应用于PCB板自动分拣过程中的PCB板 缺陷识别方法 (57)摘要 本发明涉及数据处理与识别技术领域， 具体 涉及一种应用于PCB板自动分拣过程中的PCB板 缺陷识别方法， 该方法利用简单电子设备识别 PCB板缺陷， 提高了神经网络的识别能力， 包括： 对含缺陷的所有PCB图像人工标注所有缺陷的包 围框和缺陷类型； 获得PCB上每个缺陷的关注热 度图； 根据所有缺陷关注热度图得到综合关注热 度图； 利用综合关注热度图构建第一损失函数， 结合PCB图像训练自编码网络， 得到对应缺陷特 征图； 将PCB图像输入待训练的缺陷定位识别神 经网络， 获得指定卷积层输出的目标特征图， 结 合缺陷特征图构建第二损失函数， 并进行神经网 络的训练； 利用缺陷电子识别装置运行缺陷定位 识别神经网络， 根据识别结果自动控制分拣过 程， 分拣存在缺陷的PCB板 。 权利要求书2页 说明书6页 附图1页 CN 114882039 B 2022.09.16 CN 114882039 B 1.一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法， 其特 征在于， 包括： 对含有缺陷的所有PCB图像进行灰度化处理， 并进行人工标注， 标注出每个PCB图像上 所有缺陷的包围框和缺陷类型； 对于每个PCB图像上每个缺陷的包围框， 根据所述包围框内的所有像素和所述PCB图像 上不同区域内的所有像素获得每 个PCB图像上每 个缺陷的关注热度图； 对每个PCB图像上 所有缺陷的关注热度图求均值获得每 个PCB图像的综合关注热度图； 利用每个PCB图像的综合关注热度图构建第一损 失函数， 利用所述第一损失函数以及 所述PCB图像训练一个自编码网络， 得到每 个PCB图像的缺陷特 征图； 构建一个待训练缺陷定位识别神经网络， 将每个PCB图像输入所述缺陷定位识别神经 网络， 并获得所述缺陷定位识别神经网络指定卷积层输出 的每个PCB图像对应的目标特征 图， 然后利用每个P CB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函 数， 最后以所有P CB图像为数据集， 利用第二损失函数训练所述的待训练缺陷定位识别神经 网络； 将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上， 缺陷电子识别装置 采集实际生产 环境中的待检测P CB图像， 将待检测PCB图像输入训练完成的缺陷定位识别网 络中， 并输出检测结果， 根据检测结果自动分拣出存在缺陷的PCB板； 所述每个PCB图像上每 个缺陷的关注热度图是按照如下 方式得到： 对于每个PCB图像上的每个缺陷， 获取所述缺陷的包围框， 获取所述包围框内的所有像 素构成的第一子图像； 以所述PCB图像上每个像素点为中心， 获取与所述包围框大小相等的窗口区域， 将所述 窗口区域内所有像素构成子图像称为每个像素的第二子图像， 计算所述第一子图像与每个 像素的第二子图像的相似度， 同理， 将所述第一子图像与所有像素 的第二子图像之间的相 似度作为对应像素 的灰度值， 构建成一张单通道灰度图像， 然后将所述的单通道灰度图像 进行归一 化处理， 获得所述PCB图像上的所述 缺陷的关注热度图； 所述第一损失函数 是按照如下 方式获取的： 获取综合关注热度图中每 个像素点的灰度值； 构建第一损失函数： 其中 为所述PCB图像中像素点的个数， 为自编码网络输入的P CB图像中第 个像素点 的灰度值； 为自编码网络输出图像中第 个像素点的灰度值； 为所述PCB图像的综合关 注热度图中第 个像素点的灰度值。 2.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法， 其 特征在于， 所述第一子图像与每 个像素的第二子图像的相似度是按照如下 方式获取的： 利用KM匹配算法将第一子图像与第 二子图像 中的像素进行一一匹配， 获得所有 匹配的 像素对， 使得 所有像素对中像素之间的灰度值差异最小； 将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标， 计算所有权　利　要　求　书 1/2 页 2 CN 114882039 B 2像素对的相似指标的均值， 将所述均值的倒数称为第一子图像与每个像素的第二子图像的 相似度。 3.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法， 其 特征在于， 所述待训练缺陷定位识别神经网络的网络结构与Y OLOv3神经网络的网络结构一 样， 但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半。 4.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法， 其 特征在于， 所述第二损失函数 是按照如下 方式获得的： 其中 为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征 图； 为所述PCB图像的缺陷特征图； 为目标特征图与缺陷特征图之间差值的L2范 数； 为YOLOv3神经网络的损失函数。 5.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法， 其 特征在于， 所述缺陷电子识别装置包含但不限于： 一个RGB相机、 一个光源、 一个嵌入式系 统； 所述的嵌入式系统 能够读取RGB相机采集的图像数据， 且嵌入式系统可运行缺陷定位识 别神经网络 。权　利　要　求　书 2/2 页 3 CN 114882039 B 3