(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599504.4 (22)申请日 2022.05.30 (71)申请人 东南大学 地址 211100 江苏省南京市江宁区东 南大 学路2号 (72)发明人 耿可可　丁鹏博　殷国栋　祝小元　 王金湘　张宁　庄伟超　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 曹婷 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/26(2022.01) G06T 7/277(2017.01) (54)发明名称 一种深度神经网络模型的在线训练方法 (57)摘要 本发明公开了一种深度神经网络模型的在 线训练方法， 涉及深度学习技术领域， 解决了网 络模型在训练完成后无法使用新的数据集对模 型进行及时优化调整的技术问题， 其技术方案要 点是通过离线训练的实例分割网络对采集图像 进行实例分割， 基于多假设跟踪算法对多目标进 行数据关联， 再基于卡尔曼滤波算法对每个目标 的运动状态进行估计， 当漏检情况发生时， 利用 生成式对抗网络生成样本图像， 实例分割网络利 用新样本(即样本图像)进行在线训练， 在线训练 的方法可以根据实时反馈的数据， 快速地进行网 络模型参数的优化， 从而可以使深度神经网络模 型在实际应用中取得比离线训练更好的效果。 权利要求书2页 说明书4页 附图2页 CN 115035363 A 2022.09.09 CN 115035363 A 1.一种深度神经网络模型的在线训练方法， 其特 征在于， 包括： S1： 经过离线训练的实例分割网络对采集图像进行实例分割， 得到每帧图像中每个目 标的检测结果； 其中， 所述检测结果包括实例掩膜、 边界框位置、 类别信息及其对应的置信 度； S2： 基于多假设跟踪算法对当前帧中每个目标的检测结果与先前帧中每个目标进行数 据匹配， 若当前帧检测结果中某个目标在先前帧中无对应的目标匹配， 则 当前帧中产生新 目标； 若先前帧估计结果中某个目标在当前帧中无对应的检测结果匹配， 则表示该目标在 当前帧出现漏检； 其中， 先前帧中每个目标在当前帧中的位置值是基于卡尔曼滤波算法进行估计的估计 结果； S3： 当漏检情况发生时， 通过生成式对抗网络对当前帧中的漏检目标进行运动状态估 计， 生成用于实例分割网络在线学习的样本图像； S4： 根据所述样本图像对实例分割网络进行在线训练， 对未冻结的参数进行更新， 得到 最终的实例分割网络 。 2.如权利要求1所述的在线训练方法， 其特征在于， 所述步骤S1中， 实例分割网络离线 训练时的损失函数包括边界框的分类误差、 边界框的位置回归误差和掩膜的二分类交叉熵 误差； 离线训练时使用随机梯度下降法对实例分割网络的参数进行 更新优化。 3.如权利要求1所述的在线训练方法， 其特征在于， 所述步骤S2中， 基于卡尔曼滤波算 法对先前帧中每个目标的运动状态进行估计， 得到先前帧中每个目标 的状态向量， 将先前 帧中每个目标 的状态向量作为判决条件， 对每个目标的状态进行更新， 得到先前帧中每个 目标在当前帧中的预测位置， 即得到每 个目标在当前帧中的轨 迹假设； 基于卡尔曼 滤波算法对先 前帧中每 个目标的运动状态进行估计， 表示 为： 其中， 表示k帧时刻的状态向量； 表示帧图像中第 i个目标边界框位置中心点， wi和hi分别表示第i个目标边界框的宽和 高， 均表示相应的状态值变化速 度； Fk表示状态转移 矩阵； Pk表示噪声协方差矩阵； Qk表示过程激励噪声协方差矩阵； 将边界框位置作为测量 值进行更新， 更新公式表示 为： 权　利　要　求　书 1/2 页 2 CN 115035363 A 2Pk′＝Pk‑K′HkPk； 其中， 测量矩阵zk即为当前帧通过步骤S1得到的边界框位置信息； Rk表示观测噪声协方 差矩阵； K'表示 卡尔曼增益系数； Hk表示转移矩阵； Pk'表示更新的噪声协方差矩阵。 4.如权利要求3所述的在线训练方法， 其特征在于， 根据当前帧中每个目标的检测位置 对每个目标的轨迹假设赋予相应的轨迹得分， 之后对当前帧中所有目标的轨迹假设进 行全 局最优匹配， 得到每 个目标在当前帧中的全局最优轨 迹假设。 5.如权利要求1所述的在线训练方法， 其特 征在于， 所述 步骤S3包括： 将当前帧和漏检目标的预测位置作为条件变量输入到经过离线训练的生成式对抗网 络， 生成用于实例分割网络在线 学习的样本图像， 所述样 本图像以输入的采集图像为背景， 并对漏检目标生成实例掩膜、 边界框位置、 类别 信息及其对应的置信度。 6.如权利要求1所述的在线训练方法， 其特征在于， 步骤S1中， 将经过离线训练的实例 分割网络的特征提取层的网络参数冻结， 同时通过Fisher信息矩阵对实例分割网络预测头 中的每个网络参数 的得分进行计算， 当预测头中的每个网络参数 的得分大于预设阈值时， 将其冻结； 步骤S4中， 根据 所述样本图像对实例分割网络中的未冻结的网络参数通过随机梯度 下 降法进行更新， 当在线训练后的实例分割网络的检测结果大于预设阈值或训练次数达到最 大可迭代次数时， 停止训练， 得到最终的实例分割网络； 其中， Fisher信息矩阵表示 为： 表示训练中θ 关于第i个样 本图像更新的梯度； D表示样 本图像的数据集； I( θ )用 于测量样本xi携带的对于θ 的信息量； N表示 参数的数量； lLL表示损失函数。权　利　要　求　书 2/2 页 3 CN 115035363 A 3