(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210645732.0 (22)申请日 2022.06.08 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 沈启承　罗钇凯　俞可扬　吴子朝　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/46(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于对比学习和自注意力机制的面料 织法匹配方法 (57)摘要 本发明公开了一种基于对比学习和自注意 力机制的面料织法匹配方法， 包括采集多种不同 织法的面料图像， 经过增强处理后以张量的形式 存放在模式匹配数据库中。 再基于深度学习的基 本结构， 设计包括残差网络和自编码器的对比学 习网络， 利用对比损失函数计算正负例的对比计 算误差， 再通过梯度反向传播进行迭代训练； 将 训练后的自编码器与多头自注 意力层级联， 提取 待检索图像的全局信息和局部细 节； 采用全 连接 层和归一化残差连接层输出特征， 并据此进行概 率投射排序， 匹配最符合的面料织法模式。 本发 明解决了面料织法模式匹配问题， 将多头自注意 力机制引入传统的对比学习架构中， 实现了对面 料织法图像的更优匹配， 提高了目标识别和匹配 的精度和效率。 权利要求书2页 说明书4页 附图2页 CN 114882253 A 2022.08.09 CN 114882253 A 1.一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征在于： 具体包括以 下步骤： 步骤1、 采集多种不同织法的面料图像， 以图像中的面料织法作为对应标签； 对面料图 像进行数据增强与边 缘增强处 理后缩放至同一大小， 以张量的形式存 入模式匹配数据库； 步骤2、 构建对比学习网络， 包括用于特征提取的自编码器以及用于非线性变换的投影 层； 所述投影层包括依次级联的两层残差网络和一个线性整流 函数； 步骤3、 将模式匹配数据库中的张量及其标签输入步骤2构建的对比学习网络中， 进行 多次迭代训练； 利用对比损失函数对 对比学习网络中的参数进行梯度反向传播； 步骤4、 将待 匹配的面料图像， 输入步骤3训练后的自编码器 中， 得到特征图像后再依次 经过多层多头自注 意力层， 与查询矩阵、 键矩阵和值矩阵进 行点积计算； 最后依次通过全连 接层、 归一 化以及残差连接， 输出 特征向量； 步骤5、 将步骤4得到的特征向量输入分类器 中， 对特征向量采取概率投射排序， 输出待 匹配面料图像的标签； 根据得到的标签调取模式匹配数据库中具有相同标签的面料图像作 为匹配结果。 2.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征 在于： 采集的面料图像的织法包括平纹 组织、 斜纹 组织、 缎纹 组织以及两种或多种的组合。 3.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征 在于： 采用超 采样技术和基于Sobel 算子的边 缘增强技 术对面料图像进行边 缘增强处 理。 4.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征 在于： 所述Sobel 算子为： 其中， A表示处理前的原始图像， Gx、 Gy分别代表经横 向、 纵向边缘检测得到的图像； 原 始图像中每一个 像素的横向及纵向梯度近似值G表示 为： 梯度方向θ 为： 5.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征 在于： 所述自编码器包括3个依次级联的全连接层， 多头自注意力层的个数为3 。 6.如权利要求1所述一种基于对比学习和自注意力机制的面料织法匹配方法， 其特征 在于： 所述对比损失函数为归一 化温度‑尺度交叉熵损失。 7.如权利要求1或6所述一种基于对比学习和自注意力 机制的面料织法匹配方法， 其特 征在于： 对比学习网络训练的具体步骤如下： s3.1、 将面料图像按批次输入对比学习网络中， 计算投影层输出的特征图像的余弦相 似性； s3.2、 根据余弦相似性计算结果， 使用归一 化指数函数比较不同图像之间相似的概 率；权　利　要　求　书 1/2 页 2 CN 114882253 A 2s3.3、 使用噪声对比估计损失计算 一组图像的损失； s3.4、 计算整个批的所有配对的损失并取平均值， 得到本次训练的归一化温度 ‑尺度交 叉熵损失； s3.5、 将归一化温度 ‑尺度交叉熵损失函数的结果反向传播到对比学习网络， 动态调整 自编码器和投影层的参数； s3.6、 依据梯度下降进行多次迭代训练计算， 采用自适应性矩估计优化器降低迭代次 数， 减少训练时间。 8.一种计算机可读存储介质， 其上存储有计算机程序， 当所述计算机程序在计算机中 执行时， 令计算机执 行权利要求1～6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114882253 A 3