(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678060.3 (22)申请日 2022.06.15 (71)申请人 茅台学院 地址 564507 贵州省遵义市南部新城 (72)发明人 刘赟　田鹏　李浪　沈仕巡　周克　 冯华仲　 (74)专利代理 机构 贵阳中新专利商标事务所 52100 专利代理师 胡绪东 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/117(2020.01) G06F 40/126(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义空间映射的零样本图片问答 方法 (57)摘要 本发明公开了一种基于语义空间映射的零 样本图片问答方法， 该方法为： 首先， 将图片信息 提取为图片区域特征； 将问题语句中的名词提取 出来， 利用预先训练的词嵌入表征名词特征； 设 计一个名词指导的注意力网络； 其次， 利用词嵌 入编码问题特征， 并通过语义对齐后的跨模态信 息增强问题特征， 生成问题相关的多模态表示； 设计一个问题指导的注意力网络； 最后， 建立答 案共享的语义空间， 在该空间中进行语义匹配、 语义距离控制以及语义聚类； 问题 ‑图片对的联 合嵌入特征被映射到语义空间中并聚集在对应 的答案周围； 通过在语义空间中寻找 最佳匹配以 进行答案推导。 本发明建模图片和问题之间的特 征关联和实现未标记答案的预测， 提高零样本图 片问答的准确性。 权利要求书2页 说明书5页 附图1页 CN 115017287 A 2022.09.06 CN 115017287 A 1.一种基于语义空间映射的零样本图片问答方法， 其特 征在于： 该 方法包括以下步骤： A、 跨模态语义对齐： 对于图片信息， 利用深度卷积神经网络将其提取为图片区域特征； 对于问题语句， 利用 词性标注工具提取名词性单词， 采用预先训练的词嵌入将名词编码为 对应的名词 特征向量； 设计一个名词指导的注意力网络， 用于探索名词表示的语义信息所 对应的图片区域， 实现跨模态的语义对齐； B、 多模态特征关联学习： 利用词嵌入编码问题句中的单词， 将其与语义对其后的跨模 态信息进行特征融合， 实现问题句的特征增强， 采用循环神经网络建模问题的单词序列特 征， 生成问题相关的多模态表 示； 设计一个问题指导的注意力网络， 用于进行问题相关的多 模态特征和图片信息之间的特 征关联学习， 生成多模态联合嵌入； C、 语义空间映射： 建立一个标记和未标记答案共享的语义空间， 在该空间中进行语义 匹配、 语义距离控制以及语义聚类， 多模态联合嵌入被映射到语义空间中并聚集在对应的 答案嵌入周围； 通过在语义空间中寻找最佳匹配以进 行答案推导， 实现未标记的答案预测， 即零样本图片问答。 2.根据权利要求1所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤A中图片区域特征提取采用的深度卷积神经网络是残差神经网络； 问题语句中的名词 性单词是通过Stanford  Pos Tagger工具进行解析而获取的； 名词特征向量通过GloVe词嵌 入进行编码。 3.根据权利要求1所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤A中名词指导的注意力网络是探索名词对应的图片区域， 计算每个图片区域相对于名 词的关联权值； 对于 问题句中的任意一个非名词性单词， 每个图片区域对该单词都具有相 同的关联权值。 4.根据权利要求1所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤B中问题句特征增强是在单词特征增强的基础上实现的； 将单词特征与对应的视觉注 意力计算后的视觉特征按 元素相乘进 行融合， 然后再利用循环神经网络建模问题的单词 序 列， 生成问题相关的多模态 表示。 5.根据权利要求3所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤B中问题指导的注意力网络是将问题相关的多模态表示和图片区域特征映射到同一高 维空间中， 计算两者之间细粒度 的特征关联关系， 并进行特征融合生成问题 ‑图片联合嵌 入。 6.根据权利要求1所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤C中语义空间是一个标记和未标记的答案共享的高维空间， 在该空间中问题的答案以 特征向量的形式存在， 且表达意思相近的两个答案在语义空间中的位置比意思不同的两个 答案之间的位置更近 。 7.根据权利要求6所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤C中语义匹配是指图片 ‑问题的联合嵌入映射到语义空间后， 联合嵌入与正确答案嵌入 之间的匹配度(两个嵌入向量之间的向量相似度)高于它与不 正确答案嵌入之间的匹配度。 8.根据权利要求7所述的一种基于语义空间 映射的零样本图片问答方法， 其特征在于： 步骤C中语义聚类是指具有相同答案的问题 ‑图片对的联合嵌入映射到语义空间后， 联合嵌 入聚集在对应的正确 答案嵌入周围， 而具有不同答案的问题 ‑图片对的联合嵌入映射到语权　利　要　求　书 1/2 页 2 CN 115017287 A 2义空间后分别聚集在各自对应的答案嵌入周围， 即语义空间具有明显的聚类结构。权　利　要　求　书 2/2 页 3 CN 115017287 A 3