(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615451.0 (22)申请日 2022.05.31 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 王淏辰　费敬敬　李韡　吴立威　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 靳玫 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于亲和系数的网络训练方法 (57)摘要 本公开实施例提供一种基于亲和系数的网 络训练方法， 该方法包括： 获取有标签图像的真 值标签和真值亲和系数， 所述真值标签用于标注 所述有标签图像中各个像素的所属类别， 所述真 值亲和系数用于表示有标签图像中不同像素组 成的图像块之间的相似度； 获取所述有标签图像 的预测结果和预测亲和系数； 获取所述无标签图 像的预测伪标签和伪标签； 基于第一网络损失、 第二网络损失以及第三网络损失 中的至少之二， 调整所述学生网络的网络参数， 当达到训练结束 条件时， 获得所述学生网络。 该方法能够有效利 用大量的无标签图像， 作为有标签图像的补充， 提升训练得到的模型的精度， 节省计算资源并大 量节省标注成本 。 权利要求书3页 说明书15页 附图4页 CN 114998681 A 2022.09.02 CN 114998681 A 1.一种基于亲和系数的网络训练方法， 其特 征在于， 所述方法包括： 获取有标签图像的真值标签和真值亲和系数， 所述真值标签用于标注所述有标签图像 中各个像素的所属类别， 所述真值亲和系数用于表示有标签图像中不同像素组成的图像块 之间的相似度； 获取所述有标签图像的第 一预测结果和预测亲和系数， 所述第 一预测结果和预测亲和 系数通过待训练的学生网络预测得到； 获取无标签图像的第 二预测结果和伪标签， 所述第 二预测结果通过所述待训练 的学生 网络预测得到， 所述伪标签通过老师网络预测得到； 基于第一网络损 失、 第二网络损 失以及第三网络损 失中的至少之二， 调整所述学生网 络的网络参数； 其中， 所述第一网络损 失根据所述第一预测结果和所述真值标签的差别得到， 所述第 二网络损失根据所述预测亲和系数和所述真值亲和系数的差别得到， 所述第三网络损失根 据所述第二预测结果和所述伪标签的差别得到 。 2.根据权利要求1所述的方法， 其特 征在于， 每 个所述图像块包 含相同数目的像素； 所述方法还 包括： 根据所述有标签图像的真值标签， 确定每个所述图像块中不同所属类别的像素所占的 像素比例； 根据所述有标签图像中每两个图像块的所述像素比例之间的余弦相似度， 得到所述真 值亲和系数。 3.根据权利要求1所述的方法， 其特 征在于， 所述伪标签通过老师网络预测得到， 包括： 将无标签图像输入老师网络， 输出所述无标签图像的第三预测结果， 所述第三预测结 果包含所述无 标签图像中各个 像素属于类别集 合中每一个 类别的概 率； 对于所述无标签图像中的每个像素， 根据 所述第三预测结果中所述像素属于类别集合 中每一个 类别的概 率， 计算所述像素的熵； 响应于所述像素的熵符合可靠性要求， 确定所述像素为可靠像素； 根据确定的所述可靠像素对应的类别， 确定所述无 标签图像的伪标签。 4.根据权利要求1所述的方法， 其特 征在于， 所述学生网络由学生编码器、 学生主解码器以及学生辅解码器组成； 所述获取有标签图像的第一预测结果和预测亲和系数， 包括： 由所述学生编码器对所述有标签图像进行 特征提取， 得到所述有标签图像的特 征图； 由所述学生主解码器根据所述特征图进行预测， 输出所述有标签图像的第一预测结 果； 由所述学生辅解码器根据所述特征图进行预测， 得到所述有标签图像的预测亲和系 数。 5.根据权利要求1所述的方法， 其特 征在于， 所述老师网络由老师编码器和老师主解码器组成； 获取所述无标签图像的伪标签， 包括： 由所述老师编码器对所述无 标签图像进行 特征提取， 得到所述无 标签图像的特 征图；权　利　要　求　书 1/3 页 2 CN 114998681 A 2由所述老师主解码器根据所述特 征图进行 预测， 输出 所述无标签图像的伪标签。 6.根据权利要求1所述的方法， 其特 征在于， 在所述基于第 一网络损失、 第 二网络损失以及第 三网络损失中的至少之二调整所述学 生网络的网络参数之后， 所述方法还 包括： 根据调整后的学生网络的网络参数， 对所述老师网络的网络参数进行更新， 使用更新 后的老师网络进行 所述学生网络的训练； 当达到训练结束条件时， 获得 所述学生网络， 还获得 所述老师网络 。 7.根据权利要求6所述的方法， 其特 征在于， 基于获得的所述学生网络和/或者所述老师网络， 执 行语义分割任务。 8.根据权利要求1 ‑7任一项所述的方法， 其特 征在于： 所述基于第一网络损 失、 第二网络损 失以及第三网络损 失中的至少之二， 调整所述学 生网络的网络参数， 包括： 在每一轮训练中， 对所述第一网络损 失、 第二网络损 失以及第三网络损 失进行加权求 和， 得到总网络损失； 根据所述总网络损失， 调整所述学生网络的网络参数； 或， 在第一阶段训练的每一轮训练中， 根据所述第一网络损 失和所述第二网络损 失， 对所 述学生网络的网络参数进行调整， 直至 完成第一阶段训练， 得到调整后的学生网络； 在第二阶段训练的每一轮训练中， 根据所述第三网络损 失， 调整第一阶段训练后的所 述学生网络的网络参数， 直至完成第二阶段的训练； 其中， 所述无标签图像的第二预测结果 使用第一阶段训练后的学生网络预测得到 。 9.一种基于亲和系数的伪标签模型的训练方法， 其特 征在于， 所述方法包括： 获取有标签图像的真值标签和真值亲和系数， 所述真值标签用于标注所述有标签图像 中各个像素的所属类别， 所述真值亲和系数用于表示有标签图像中不同像素组成的图像块 之间的相似度； 将所述有标签图像输入待训练 的伪标签模型， 得到所述有标签图像的预测标签和预测 亲和系数； 根据所述预测标签和所述真值标签的差别， 确定第一模型损失； 根据所述预测亲和系数和所述真值亲和系数的差别， 确定第二模型损失； 根据所述第 一模型损失和所述第 二模型损失调 整所述伪标签模型的网络参数， 当达到 模型训练结束条件时， 获得 所述伪标签模型。 10.根据权利要求9所述的方法， 其特 征在于， 每 个所述图像块包 含相同数目的像素； 所述方法还 包括： 根据所述有标签图像的真值标签， 确定每个所述图像块中不同所属类别的像素所占的 像素比例； 根据所述有标签图像中每两个图像块的所述像素比例之间的余弦相似度， 得到所述真 值亲和系数。 11.根据权利要求9所述的方法， 其特 征在于， 所述将所述有标签图像输入待训练 的伪标签模型， 得到所述有标签图像的预测标签和权　利　要　求　书 2/3 页 3 CN 114998681 A 3