(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210701921.5 (22)申请日 2022.06.21 (71)申请人 内蒙古工业大 学 地址 010080 内蒙古自治区呼和浩特市土 默特左旗内蒙古工业大 学金川校区 (72)发明人 苏依拉　司赟　杨蕾　朱苏东　 邱占杰　杨佩恒　仁庆道尔吉　 吉亚图　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于知识感知注意力网络的多模态融 合的蒙古语 谣言检测方法 (57)摘要 一种基于知识感知注意力网络的多模态融 合的蒙古语谣 言检测方法， 提取新闻内容的图像 特征和文本特征， 并融合得到一个多模态融合的 特征图； 引入 图注意力网络， 为特征图的每个节 点分配不同的权重； 提取新闻内容中的实体， 并 与知识图谱中的对应实体对齐， 得到实体序列， 并进一步得到实体的外部知识， 即实体上下文序 列； 将多模态融合的新闻内容、 实体和实体上下 文作为输入， 提取实体和实体上下文的语义特 征； 构建注意力网络， 得到不同位置的不同子空 间的表示信息； 将多模态新闻内容表示、 实体表 示和实体上下文表示串联起来得到新闻内容的 最终表示， 输入到全 连接层得到新闻内容是谣言 的概率。 本发 明可有效提升蒙古语谣 言检测的准 确性。 权利要求书2页 说明书5页 附图2页 CN 114925682 A 2022.08.19 CN 114925682 A 1.一种基于知识感知注意力网络的多模态融合的蒙古语谣言检测方法， 其特征在于， 包括如下步骤： 步骤1， 使用图像特征编码器提取新闻内容的图像特征， 使用文本特征编码器提取新闻 内容的文本特征， 构建一个多模态融合模块， 将提取的文本和图像两个模态的特征融合， 得 到一个多模态融合的特 征图； 步骤2， 在所述多模态融合模块中， 引入图注意力网络， 为多模态节点分配不同的权重， 在细粒度级别上实现健壮的多模态特 征表示， 所述多模态 节点指所述特 征图的每 个节点； 步骤3， 提取新闻内容中的实体， 并与知识图谱中的对应实体对齐， 得到实体序列E， 并 进一步得到实体的外部知识， 即实体上下文序列EC； 所述实体是客观存在 并可相互区别的 事物； 步骤4， 将步骤1多模态融合的特征图、 步骤3中提取的实体和得到的实体上下文作为输 入， 使用Transformer编码器提取实体的语义特 征和实体上 下文的语义特 征； 步骤5， 构建两个基于多头注意力的注意力网络， 分别为面向实体的新闻内容注意力网 络N‑E和面向实体和实体上下文的新闻内容注意力网络N ‑E2C， 以得到不同位置的不同子 空 间的表示信息； 其中， N ‑E用来衡量每个实体相对于新闻内容的重要性， N ‑E2C用来衡量实体 上下文的重要性； 步骤6， 将多模态新闻内容表示、 实体表示和实体上下文表示串联起来得到新闻内容的 最终表示o， 将o输入到一个全 连接层， 再经过一个Softmax函数得到一个概率分布P， 即新闻 内容是谣言的概 率。 2.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述图像特征编码器， 使用一个预训练好的R ‑CNN模型提取新闻内容中的 图像特征， 即图像的全局和局部表示； 所述文本特征编码 器， 利用预训练好的BERT模 型提取 新闻内容的文本特 征， 即文本的语义和句法级表示。 3.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述多模态融合模块， 将每个文本特征节点连接到每个图像特征节点， 得 到一个多模态融合的特 征图。 4.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述图注意力网络， 对于多模态中的每个节点， 其注意力系数由下面的公 式得出： αij＝softmax( σ(a([Whi||Whj])))， j∈Ni 其中αij是注意力系数， 值越大， 分配的权重越高， σ( ·)代表Leaky  Relu激活函数， ||代 表拼接操作， W代表一个可学习的共享参 数， j∈Ni， j代表节点， Ni代表i节点的所有邻居节点 集， i是正在求的节点， hi， hj代表高维向量， 这 里表示语义特征， 根据所求 得的注意力系数来 分配各个节点的权 重。 5.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述步骤3， 提取新闻内容中的实体， 通过实体链接， 新闻内容中被识别的 实体与知识图谱中的对应实体对齐， 从而获得实体序列E＝{e1,e2……en}， 其中en代表新闻 内容中提取的实体， n是提取的实体 的个数， 将en的上下文定义为知识图中的邻居节点； 从 知识图谱中提取实体上下文后， 每个实体与一个实体上下文集相关联， 得到实体上下文序权　利　要　求　书 1/2 页 2 CN 114925682 A 2列EC＝{ec(e1),ec(e2),……ec(en)}， 其中ec(en)代表与实体en相关联的实体上 下文集。 6.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述步骤4， Transformer编码器根据 原始词语序列和位置编码生 成文本编 码来捕获实体的语义特征， 给定一个长度为m的新闻S＝{w1,w2,...wm}， 每个词wi从词嵌入 矩阵投影到连续词嵌入wi′中， 得到新闻向量S ′＝{w1′,w2′,...wm′}。 7.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述 步骤5中， 计算注意力的公式如下 所示： MultiHead(Q,K,V)＝Co ncat(Attn1,…,AttnH) 其中查询， 键和值被打包成矩阵Q,K,V， KT是K的转置矩阵， dk是查询和键的矩阵维度， H 代表多头注意力的头的数量； 在N‑E中， 通过计算新闻内容与其对应实体之间的语义相似度， 为每个实体分配一个权 重αi来表示实体的重要程度； 其输入是多模态新闻内容和实体， 输出一个多模态新闻内容 和实体的语义相似度； 在N‑E2C中， 通过计算新闻内容与其对应实体之间的语义相似度， 并根据对应实体的重 要性来为每个实体上下文分配权重βi； 其输入是多模态新闻内容、 实体和实体上下文， 输出 实体上下文对实体的重要程度。 8.根据权利要求1所述基于知识感知注意力网络的多模态融合的蒙古语谣言检测方 法， 其特征在于， 所述步骤6， 多模态新闻内容经过图注 意力网络后， 得到一个带有 各个节点 权重的多模态新闻内容表示， 经N ‑E输出的多模态新闻内容和实体的语义相似度再与实体 表示相乘， 代表实体对多模态新闻内容的影响程度， 经N ‑E2C输出的多模态新闻内容和实体 的语义相似度再与实体上 下文表示相乘， 代 表实体上 下文对实体的重要程度； 然后将经过注意力机制的多模态新闻内容表示、 实体表示、 实体上下文表示串联起来 输入到一个全连接层， 再经过一个Softmax函数得到一个概率分布结果P， 即新闻内容是谣 言的概率； P＝softmax(Woz+bo) 其中Wo代表权重矩阵参数， bo代表偏差， z代表串联起来的输入。 其最小化 交叉熵损失函 数J表示如下： 其中D表示整个训练语料库， Pi(ci)代表真实的谣言标签概率， λ是L2正则化范式的系 数， 表示该整体模型的参数。权　利　要　求　书 2/2 页 3 CN 114925682 A 3