(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084565.3 (22)申请日 2022.09.06 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦珠南路3 0号 (72)发明人 陈玉明　梅雪　方志　沈谋全　 孙泽港　 (74)专利代理 机构 南京群迈知识产权代理有限 公司 32690 专利代理师 安士影 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于条件通道注意力的无监督对抗自适应 学习系统和方法 (57)摘要 本发明公开了一种基于条件通道注意力的 无监督对抗自适应学习系统的学习方法， 包括以 下步骤： 步骤S100： 在经典残差基础上， 在特征提 取器E中嵌入域条件通道注意力模块； 步骤S2 00： 在特征提取器E的前端设置域条件自适应模块， 在特征提取器E的后端设置域间混合生成模块R； 步骤S300： 在手语语义层采用域间混合生成模块 R， 生成新特征； 步骤S400： 设置深度网络的目标 损失函数， 获得通用的手语表征。 本发明还公开 了一种基于条件通道注意力的无监督对抗自适 应学习系统。 本发明利用网络上大量无标签的手 语视频， 设计了基于通道注意力的对抗领域自适 应网络的方法， 让特征提取网络能获得通用的手 语表征， 提升 手语翻译系统的泛化能力。 权利要求书4页 说明书12页 附图2页 CN 115457658 A 2022.12.09 CN 115457658 A 1.一种基于条件通道注意力的无监督对抗自适应学习系统， 其特征在于， 包括以下模 块： 特征提取器E包括卷积层， 卷积层与最大池化层相连， 最大池化层与注意力模块相连， 注意力模块与用于 输出的编码层相连； 注意力模块包括相连的残差神经 元和域条件通道 注意力模块； 注意力模块的个数与域的个数相同， 每个注意力模块分别用于收集不同域的全局信 息， 并根据不同域的标签将不同域输入各自的激活路径， 激活路径包括共享路由路径和分 离路由路径； 特征提取器E的前端设置有用于输入实验室场景域特征Ds或应用场景域特征Dt的域条 件自适应模块； 域条件自适应模块用于判断将实验室场景域特征Ds和应用场景域特征Dt输入共享路由 路径或分离路由路径； 特征提取器E的后端设置有域间混合 生成模块R； 域间混合 生成模块R与域 鉴别器D和带有标签的实验室场景域分类 器C相连。 2.根据权利要求1所述的一种基于条件通道注意力的无监督对抗自适应学习系统， 其 特征在于， 全局信息包括手 语者的表情和手势的特 征。 3.根据权利要求1或2所述的一种基于条件通道注意力的无监督对抗自适应学习系统 的学习方法， 其特 征在于， 包括以下步骤： 步骤S100： 在经典残差基础上， 在特 征提取器E中嵌入域条件通道 注意力模块； 步骤S200： 在特征提取器E的前端设置域条件自适应模块， 在特征提取器E的后端设置 域间混合 生成模块R； 步骤S300： 在手语语义层采用域间混合 生成模块R， 生成新特 征； 步骤S400： 设置深度网络的目标损失函数， 获得通用的手 语表征。 4.根据权利要求3所述的一种基于条件通道注意力的无监督对抗自适应学习系统的学 习方法， 其特征在于， 步骤S100中， 在经典残差卷积网络中嵌入轻量级的域条件通道注 意力 模块， 域条件通道注意力模块对实验室场景域和应用场景域两个通道信息进行统计并平 均， 以收集每个域的手语者的表情和手势的特征， 并根据域标签将它们输入各自的激活路 径。 5.根据权利要求4所述的一种基于条件通道注意力的无监督对抗自适应学习系统的学 习方法， 其特征在于， 步骤S200中， 计算 实验室场景域和应用场景域中间卷积表 示的均值和 方差值， 式(1‑1)中， μs和 μt分别是实验室场景域和应用场景域特征分布的均值； σs和σt是实验室 场景域和应用场景域特征分布的方差， ε是一个小常数， 为区间(0， 0.001)内的随机数， 以避 免除数为 零； mt是应用场景域统计； ms是实验室场景域统计； 跨域差异通过ms和mt之间差异的绝对值来表示， 即跨域统计距离 将应用场景域统计 mt作为相对值， 并通过tanh函数将归一 化差分限制在区间[0， 1]中；权　利　要　求　书 1/4 页 2 CN 115457658 A 2跨域统计距离 可以简单地表示 为： 将跨域统计距离映射到区间[0， 1]中的一个值， 因此设置阈值λ 以自适应控制路由选择 是合理的； 如果 小于λ， 则意味着在这个卷积阶段， 实验室场景域和应用 场景域表示非常 相似， 然后， 应用场景域和实验室场景域可以通过相同的信源分支， 共享信源通道注意力计 算权重； 否则， 它 们使用单独的分支来获得 特定各自领域的注意力权 重wt， 可以表示 为： 其中， ds,dt各自为实验室场 景域和应用场 景域的信源， FCs， FCt为各自域中的全局池化 均值层， ReLU是激活函数， FC是共享全连接网络层， σ(x)＝1/(1+e‑x)是sigmo id函数。 6.根据权利要求5所述的一种基于条件通道注意力的无监督对抗自适应学习系统的学 习方法， 其特征在于， 步骤S300中， 在实验室场景域中， 存在一组有标签的实验室场景域数 据， 在应用场景域中， 存在一组无 标签的数据， 两域数据服从的分布存在差异； 设实验室场景域数据 代表实验室场景域特征中第i个样本， 代表 实验室场景域中第i个样本的标签， Ns代表实验室场景域中样本的数量， 实验室场景域特征 服从的分布 记为Ps； 设应用场景域特征 代表应用场景域特征中第i个样本， 应用场景域没 有标签， Nt代表应用场景域样本的数量， 应用场景域特 征服从的分布 记为Pt； 定义 N为两个域的样本总数； 定义di∈{0,1}为第i个样本的域标签， di＝1表示属于实验室场景域， di＝0代表应用场 景域； 假设域间混合 生成模块R中的特 征混合数据有一个特 征分布， 记为Pr； 实验室场景域与应用场景域样本， 通过特征提取器E之后， 分别获得实验室场景域特征 Fs与应用场景域特征Ft， 经过域间混合生成模块R后得到域间混合特征Fmix， 同时给Fmix贴上 域标签； 实验室场景域特 征Fs进入分类 器C， 进行监 督学习， 生成手 语孤立词； 同时， 实验室场景域特征Fs、 域间混合特征Fmix和应用场景域特征Ft进入域鉴别器D， 进 行对抗训练； 最后， 实验室场景域特征Fs与应用场景域特征Ft在域鉴别器D中， 在类别概率级别进行 最大均值差异M MD对齐优化， 以提高系统准确率。 7.根据权利要求6所述的一种基于条件通道注意力的无监督对抗自适应学习系统的学 习方法， 其特征在于， 生成域间混合特征Fmix的目的是提高少样本的应用场景域特征Ft数 量， 随机在应用场 景域特征Ft中选取Ft,i， 通过最近邻法， 以欧式距离Disted为性能度量， 找 出距离Ft,i最近的应用场景域特征Ft中性能度量最小的样本点Ft,j， 其表达如式(1 ‑4)， 式权　利　要　求　书 2/4 页 3 CN 115457658 A 3