(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609737.8 (22)申请日 2022.05.31 (71)申请人 安徽农业大 学 地址 230036 安徽省合肥市长江西路13 0号 (72)发明人 宋彦　赵磊　宁井铭　李露青　 王玉洁　宛晓春　许万富　卓超　 余磊　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/58(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于中心锚点三元组优化伪孪生网络的茶 叶品质评价方法 (57)摘要 本发明公开了一种基于中心锚点三元组优 化伪孪生网络的茶叶品质评价方法， 其步骤包 括： 1、 获取茶叶的高光谱图像并从中提取光谱信 息与图像信息； 2、 采用伪孪生卷积神经网络和双 锚点三元 组的结构构建网络， 并将训练集数据送 入模型进行训练， 得到光谱信息与图像信息到新 的特征空间的映射； 3、 根据训练得到的模型， 送 入待检测样的高光谱数据， 通过其输出的特征向 量度量其距离并判断样品相似性。 本发明能根据 茶叶的高光谱数据计算度量空间下的光谱特征 与图像特征， 从而计算不同茶样间的距离， 表征 茶样的相似性。 权利要求书5页 说明书11页 附图1页 CN 114818985 A 2022.07.29 CN 114818985 A 1.一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法， 其特征在于， 是按 照以下步骤进行： 步骤1、 采集茶叶样本的高光谱数据集， 并从所述高光谱数据集中提取光谱数据集及其 对应的图像数据集； 对所述 光谱数据集进行MSC预处 理， 得到预处 理后的光谱数据集； 将所述预处 理后的光谱数据集划分为训练集和标准 集； 令所述训练集中的n个训练光谱数据记为Fmsc_train_1， ...， Fmsc_train_i， ...Fmsc_train_n， 其 中， Fmsc_train_i表示第i个训练光谱数据； i∈(1， n)， 所述训练集对应的标签集为Lt＝ {Lt_1， ...， Lt_i， ...， Lt_n}， 其中， Lt_i表示第i个训练光谱数据Fmsc_train_i对应的标签； 令所述标准集中nn个标准样光谱记为Fmsc_std_1， ...， Fmsc_std_ii， ...， Fmsc_std_nn， 其中， Fmsc_std_ii表示第ii个标准光谱数据； ii∈(1， nn)， 所述标准集对应的标签集为Ls＝ {Ls_1， ...， Ls_ii， ...， Ls_n}， 其中， Ls_ii表示第ii个标准光谱数据Fmsc_std_i i对应的标签； 对所述预处理后的光谱数据集中每个光谱数据在所述图像数据集中对应的各波段的 高光谱图像进行主成分分析， 得到每个光谱数据在各个波段的高光谱图像的贡献率， 并选 出每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像； 分别计算每个光谱 数据在各个波段的高光谱图像中贡献率最高的三张图像的灰度共生矩阵， 从而得到相应光 谱数据的三个图像特 征； 其中， 所述训练集中的n个训练光谱数据所对应的贡献率最高的三张图像的图像特征 记为Pmsc_train_1_1st， Pmsc_train_1_2nd， Pmsc_train_1_3rd， ...， Pmsc_train_i_1st， Pmsc_train_i_2nd， Pmsc_train_i_3rd， ...， Pmsc_train_n_1st， Pmsc_train_n_2nd， Pmsc_train_n_3rd， 其中， Pmsc_train_i_1st， Pmsc_train_i_2nd， Pmsc_train_i_3rd分别代表第i个训练光谱数据Fmsc_train_i所对应的贡献率最高的 三张图像的图像特 征； 令所述标准集中nn个标准光谱数据所对应的贡献率最高的三张图像的图像特征记为 Pmsc_std_1_1st， Pmsc_std_1_2nd， Pmsc_std_1_3rd， ...， Pmsc_std_ii_1st， Pmsc_std_ii_2nd， Pmsc_std_ii_3rd， ...， Pmsc_std_nn_1st， Pmsc_std_nn_2nd， Pmsc_std_nn_3rd， 其中， Pmsc_std_ii_1st， Pmsc_std_ii_2nd， Pmsc_std_ii_3rd分别 代表第ii个标准光谱数据Fmsc_std_i i所对应的贡献率 最高的三张图像的图像特 征； 步骤2、 构建迁移度量学习 网络， 包括： 一对伪孪生卷积神经网络和中心锚点三元组损 失函数； 其中， 任意一个伪孪生卷积神经网络包括： 两个卷积层， 两个池化层、 一个 dropout 层及一个全连接层； 一对伪孪生卷积神经网络的各个参数不同， 其中一个伪孪生卷积神经 网络的第一个卷积层cov1包含c个大小均为b ×1的一维卷积核g1， ...， gu， ...， gc， gu表示第 u个一维卷积核； 第一个池化层为最大池化方式， 池化核的大小与步长均为P； 第二个卷积层 cov2包含c ′个大小均为b ′ ×1×c的卷积核q1， ...， qu′， ...， qc′， 其中， qu′表示第u′个大小为 b′ ×1×c的卷积核， 且qu′包含c个大小为b′ ×1的卷积核qu ′1， ...， qu′v， ...， qu′c， qu′v表示 qu′的第v个大小为b ′ ×1的卷积； 第二个池化层为最大池化方式， 池化核的大小与步长均为 R； dropout层的神经 元失活率 为γ； 步骤2.1、 每次训练过程中均从训练集中选择3个训练光谱数据及其对应的各波段的高 光谱图像并输入所述迁移度量学习网中进行训练： 令第w次训练过程中所输入的3个训练光谱数据Fw为第m1、 m2、 m3个训练光谱数据 {Fmsc_train_m1， Fmsc_train_m2， Fmsc_train_m3}， 其中， 第w次训练过程中的第m1个训练集光谱数据 Fmsc_train_m 1的标签Lt_m1与第m2个训练集光谱数据Fmsc_train_m2的标签Lt_m2相同， 第w次训练过程权　利　要　求　书 1/5 页 2 CN 114818985 A 2中的第m3个训练集光谱数据Fmsc_train_m3的标签Lt_m3与第m1个训练集光谱数据Fmsc_train_m1的 标签Lt_m1不同； 令第w次训练过程中所输入的3个训练集光谱数据Fw所对应的的各波段的高光谱图像Pw ＝{Pmsc_train_m1_1st， Pmsc_train_m1_2nd_， Pmsc_train_m1_3rd， Pmsc_train_m2_1st， Pmsc_train_m22nd， Pmsc_train_m2_3rd， Pmsc_train_m3_1st， Pmsc_train_m3_2nd， Pmsc_train_m33rd}， 其中， Pmsc_train_m1_1st， Pmsc_train_m1_2nd， Pmsc_train_m1_3rd分别表示第w次训练过程中的第m1个训练光谱数据Fmsc_train_m1 所对应的贡献率最高的三 张图像的图像特征； Pmsc_train_m2_1st， Pmsc_train_m2_2n d， Pmsc_train_m2_3rd 分别表示第w次训练过程中的第m2个训练光谱数据Fmsc_train_m2所对应的贡献率最高的三张 图像的图像特征； Pmsc_train_ m3_1st， Pmsc_train_ m3_2nd， Pmsc_train_ m3_3rd分别表示第w次训练过程中的 第m3个训练光谱数据Fmsc_train_m3所对应的贡献率 最高的三张图像的图像特 征； 步骤2.2、 将3个训练集光谱数据Fw送入第一个伪孪生卷积神经网络Net1中， 并先通过第 一个卷积层cov1的处理后得到三样本单次光谱卷积特征FC1w＝{Fgm1， Fgm2， Fgm3}， 其中， Fgm1 为Fmsc_train_m1经过卷积处理后的单样本单次光谱卷积特征， 且Fgm1＝{Fgm1_1， ...， Fgm1_u， ...， Fgm1_c}， Fgm1_u为Fmsc_train_m1与第u个卷积核gu计算得到的单次光谱卷积特征， 并 利用式(1)得到Fgm1_u中的第n个单次卷积值Fgm1_u(n)， Fgm2为Fmsc_train_m2经过卷积处理后的 单样本单次光谱卷积特征， 且Fgm2＝{Fgm2_1， ...， Fgm2_u， ...， Fgm2_c}， Fgm3为Fmsc_train_m3经过 卷积处理后的单样本单次光谱卷积特 征， 且Fgm3＝{Fgm3_1， ...， Fgm3_u， ...， Fgm3_c}； 式(1)中， gu( τ )表示gu的第 τ个光谱卷积核的值， Fmsc_train_m_1( τ+n‑1)表示Fmsc_train_m_1的 第 τ +n‑1个波段下的光谱值； 所述三样本单次光谱卷积特征FC1w经过第一个池化