(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211064191.9 (22)申请日 2022.09.01 (65)同一申请的已公布的文献号 申请公布号 CN 115131252 A (43)申请公布日 2022.09.30 (73)专利权人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 宋颖　彭伟民　 其他发明人请求 不公开姓名　 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114549387 A,202 2.05.27 CN 113808039 A,2021.12.17 审查员 张博 (54)发明名称 基于二次编解码结构的金属物体表面高光 去除方法 (57)摘要 本发明公开了一种基于二次编解码结构的 金属物体表面高光去除方法， 包括如下步骤： S1、 采集原图像建立训练集， 并根据数据集中含有高 光的原图像， 获得高光区域与非高光区域的像素 分类训练集； S2、 构建高光检测网络， 将高光图像 输入到高光检测网络， 结合兴趣区域掩码输出高 光检测的分类结果； S3、 根据分类结果， 计算损失 并更新高光检测网络； S4、 构建高光去除网络， 输 出高光去除结果； S5、 根据无高光真值和S4的输 出， 计算损失并更新高光去除网络。 该方法在保 证物体颜色一致性与不失真的前提下， 去除金属 物体表面的高光构成一个适用性广的高光去除 网络架构。 权利要求书4页 说明书11页 附图2页 CN 115131252 B 2022.11.29 CN 115131252 B 1.一种基于二次编码解码结构的金属物体表面高光去除方法， 其特征在于， 包括如下 步骤： S1、 采集原图像建立训练集， 并根据数据集中含有高光的原图像， 获得高光区域与非高 光区域的像素分类训练集； S2、 构建高光检测网络， 将高光图像输入到高光检测网络， 通过检测编码器 中多个编码 模块与检测解码器中多个解码模块， 结合兴趣区域掩码输出高光检测的分类结果， 所述分 类结果包括将原图像分为非高光区域和高光区域两个类别， 即高光掩码， 所述高光检测网 络由检测编码器和检测解码器组成， 检测编码器包括五个检测编码模块， 检测解码器包括 五个检测解码模块； 具体实现方法如下： S2‑1、 将像素分类训练集中含有高光的图像输入到高光检测网络中， 依次经过五个检 测编码模块， 得到通道数为512、 长 宽为原图十六分之一的特 征图； S2‑2、 由步骤S2 ‑1得到的通道数为512、 长宽为原图十六分之一的特征 图， 依次经过五 个检测解码模块， S2‑3、 根据兴趣区域掩码， 将检测解码器的输出做筛选处理， 输出最终的分类结果， 即 高光掩码， 所述兴趣区域掩码为 实际需要检测的区域， 它将原图分为两部 分， 需要检测高光 的区域， 不需要检测高光的区域； S3、 根据S2中得到原图像的分类结果， 计算损失并更新高光检测网络； S4、 构建高光去除网络， 并将含有高光的原图像和高光检测网络输出的高光掩码输入 到高光去除网络， 通过去除编码器中多个编码模块与去除解码器中多个解码模块， 输出高 光去除结果， 所述高光去除网络由去除编码器和去除解码器组成， 去除编码器包括八个高 光去除编码模块， 去除解码器包括九个高光去除解码模块； 具体实现方法如下： S4‑1、 将含有高光的原图像和高光掩码输入到高光去除网络， 依次通过各个高光去除 编码模块， 输入图经过第一个高光去除编码模块变为长宽为原来的一半， 通道数为64的特 征图， 并输入到第下一个高光去除编码模块； 通过第二至四个 高光去除编码模块依次将通道数为64的特征图的通道数翻倍， 长宽缩 减一半； 通过第五至八个高光去除编码模块依次将第四个高光去除编码模块输出的特征图长 宽缩减一半， 通道数不变， 最终输出通道数为512、 长 宽为原来 二百五十六分之一的特 征图； S4‑2、 由步骤S4 ‑1得到通道数为512、 长宽为原来二百五十六分之一的特征图依次经过 九个高光去除解码模块， 通过第一个高光去除解码模块将特征图的长宽变为两倍， 通道数 不变， 将第一个高光去除解码模块的输出与第七个高光去除编 码模块的输出在通道维度上 做拼接， 得到通道数翻倍的特 征图， 输入到下一个解码模块； 通过第二个高光去 除解码模块将通道数翻倍的特征图通道数减半， 长宽翻倍， 并与第 六个高光去除编码模块的输出在通道维度上做拼接， 输入到下一个解码模块； 通过第三、 四、 五个高光去除解码模块与第二个解码模块操作相同， 分别与第五个、 第 四个、 第三个高光去除编码模块的输出拼接； 通过第六个高光去除解码模块将特征图通道数变为256， 长宽翻倍， 与第二个 高光去除权　利　要　求　书 1/4 页 2 CN 115131252 B 2编码模块输出做拼接， 输入到下一个解码模块； 通过第七个高光去 除解码模块将特征图通道数减半， 长宽翻倍， 与第一个高光去 除编 码模块的输出在通道维度上做拼接， 输入到下一个解码模块； 第八个高光去除解码模块与第七个高光去除解码模块操作相同， 其拼接对象为原图 像； 最终经过第九个高光去除解码模块， 输出通道数为3的结果图； S4‑3、 最终输出高光去除的结果； S5、 根据无高光真值和S4的输出， 计算损失并更新高光去除网络 。 2.根据权利要求1所述的基于二次编码解码结构的金属物体表面高光去 除方法， 其特 征在于， 所述像素分类训练集的构建方法为： 含有高光的图像以像素为单位分为两部 分， 分 别为高光区域和非 高光区域， 并将分类结果图像用黑白两种颜色表示， 白色表 示高光区域， 黑色表示非高光区域。 3.根据权利要求1所述的基于二次编码解码结构的金属物体表面高光去 除方法， 其特 征在于， 第一个所述检测编码模块的组成依次为卷积层、 批量归一化层、 Relu激活函数层、 卷积 层、 批量归一 化层、 Relu激活函数层； 第二至四个所述检测编码模块结构相同， 其组成依次为池化层、 卷积层、 批量归一化 层、 Relu激活函数层、 卷积层、 批量归一 化层、 Relu激活函数层； 第五个所述检测编码模块组成依次为池化层、 卷积层、 批量归一化层、 Relu激活函数 层； 第一个所述检测解码模块的组成依次为卷积层、 批量归一化层、 Relu激活函数层、 双线 性插值层； 第二至四个所述检测解码模块结构相同， 其组成依次为卷积层、 批量归一化层、 Relu激 活函数层、 卷积层、 批量归一 化层、 Relu激活函数层、 双线性插值层； 第五个所述检测解码模块的组成依次为卷积层、 批量归一化层、 Relu激活函数层、 卷积 层、 批量归一 化层、 Relu激活函数层、 卷积层。 4.根据权利要求3所述的基于二次编码解码结构的金属物体表面高光去 除方法， 其特 征在于， 所述 步骤S2‑1中五个检测编码模块的实现方法如下： 将像素分类训练集中含有高光的图像输入到高光检测网络 中， 依次经过五个检测编码 模块， 通过第一个检测编码模块的第 一个卷积层将输入图变为维度64的特征图， 其他层不改 变维度和大小， 得到 长宽不变， 通道数为64的特 征图； 将通道数为64的特征图输入到第 二个检测编码模块， 通过第二个检测编码模块的池化 层将通道数为64的特征图的长宽减半， 第二个检测 编码模块的第一个卷积层将长宽减半后 的特征图的通道数增加一倍， 其他层不改变通道数和长宽， 最终得到通道数翻倍、 长宽为原 图一半的特 征图； 通道数翻倍、 长宽为原图一半的特征图输入到第 三个检测编码模块， 第 三、 四个检测编 码模块操作同第二个 检测编码模块相同； 通过第五个检测编码模块的池化层将特征图的长宽减半， 其他层不改变通道数和长权　利　要　求　书 2/4 页 3 CN 115131252 B 3