(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081075 0.X (22)申请日 2022.07.11 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 蔡佳豪　张华平　商建云　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 王松 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态信息选择性融合的中文命名实 体识别方法 (57)摘要 本发明涉及一种多模态信息选择性融合的 中文命名实体识别方法， 属于自然语 言处理技术 领域。 本发 明有效解决了如何将 字音和字形这两 个重要信息有效融入命名实体识别中， 通过在命 名实体识别的输入中， 加入携带语义信息的字 符 的拼音与 偏旁部首序列， 赋予了向量更强的语义 信息。 采用选择性融合， 能够动态地控制字音和 字形特征所占的权重， 有效提升了命名实体识别 性能。 本发明能够为机器翻译、 问答系统和阅读 理解等自然语言处 理任务提供有效支持。 权利要求书2页 说明书7页 附图3页 CN 115374784 A 2022.11.22 CN 115374784 A 1.一种多模态信 息选择性融合的中文命名实体识别方法， 其特征在于， 首先， 将原文本 使用词典匹配方法获取单词的语义信息， 并使用由头尾位置转换而来的相对位置编 码来适 应单词边界信息； 然后， 对于文本的每一个字符， 使用CNN网络来提取汉字的拼音和偏旁部首信息； 当得 到汉字的字音Pinyin、 字形 Radical和语义Lattice信息后， 使用Cross  Transformer来增强 Lattice与Pi nyin、 Lattice与Radical的语义信息； 之后， 采用选择性融合方式集成这些向量， 包括字符粒度、 句子粒度两个层面的融合信 息； 最后， 对单词部分进行屏蔽， 将融合后的信 息传递给条件随机场， 得到最终的标签预测 概率， 从而完成中文命名实体识别。 2.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法， 其特征 在于： 获取语义Lattice信息的方法为： 首先， 使用词典匹配方法获取汉字的语义信息， 并使 用由头尾位置转换而来的相对位置编码来适应单词边界信息； 然后， 使用预先训练好的词 向量初始化获取Lat tice Embedding； 获取字音Pinyin信息， 包括汉字的声母韵母和音调， 将每个汉字的拼音按照声母、 韵 母、 音调顺序组合， 然后按照式1输入到 CNN卷积网络中进行Embed ding表示： xi＝f(w·ei:i+h‑1+b)    (1) 其中， w、 b为卷积层参数， h为卷积 核宽度， xi为文本中第i个字符拼音经过卷积层后的表 示， e表示字符的初始化表示， f为激活函数； 获取字形信 息， 将汉字结构主体作为汉字的偏旁部首， 首先爬取汉字的结构主体， 将汉 字的结构主体进行顺序组合， 然后利用CN N编码为Radical  Embedding表示。 3.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法， 其特征 在于， 使用Cross  Transformer来增强Lattice与Pinyin、 Lattice与Radical的语义信息的 方法如下： 基于Cross ‑Transformer的交互嵌入， 包括Embedding向量初始化和Embedding交互嵌 入； 步骤a： Embed ding向量初始化； 根据汉字的Lattice、 Pinyin和Radical  Embedding， 通过一个线性Tr ansformer模块， 得到Cross‑Transformer的输入： 其中， EP、 ER是汉字Lattice、 Pinyin和Radical  Embedding； I为单位矩阵， 每一个 线性映射矩阵W均为可学习参数； L1、 L2分别表示与Pinyin和Radical做交互计算的 Lattice1和Lattice2； P表示Pinyin， R表示Radical； T表示矩阵的转置； Q、 K、 V分别表示 Cross‑Transformer的三个输入Embed ding； 步骤b： Embedding交互嵌入， 得到Cross ‑Transformer的输入； 之后， 使用Cross ‑权　利　要　求　书 1/2 页 2 CN 115374784 A 2Transformer网络进行Lat tice与Pi nyin、 Lattice与Radical的交 互嵌入计算： AttP(QL1,KP,VP)＝Softmax(QL1,KP)VP    (3) AttL1(QP,KL1,VL1)＝Softmax(QP,KL1)VL1    (4) AttL2(QR,KL2,VL2)＝Softmax(QR,KL2)VL2    (5) AttR(QL2,KR,VR)＝Softmax(QL2,KR)VR    (6) 其中， Att为最后得到的Attention  Embedding； L1、 L2分别表示与Pinyin和Radical做 交互计算的Lattice1和Lattice2， P表示Pinyin， R表示Radical； Q、 K、 V分别表示Cross ‑ Transformer的三个输入Embed ding。 4.如权利要求1所述的一种多模态信息选择性融合的中文命名实体识别方法， 其特征 在于， 选择性融合的方法如下： 步骤I： 字符粒度权 重选择； 使用hi来表示第i个字符的Attention向量； 使用一个选择性的门单元来控制有多少信 息能够流向混合的Embedding表示， 门值由一个全连接层和一个sigmoi d函数计算出来； 输 入包括经过Cross ‑Transformer之后的Cross  Attention表示； 将Pinyin、 两个Lattice和 Radical模式的门值表示 为gp、 gl1、 gl2、 gr， 则第i个字符的融合Embed ding表示如下计算： 其中， Wp,Wl1,Wl2,Wr,bp,bl1,bl2,br均为可学习的参数； σ是sigmoid函数； 分别表示第i个字符在Pinyin、 Lattice1、 Lattice2和Radical的 Attention向量； 步骤II： 融合Embed ding表示； 在步骤I中得到各个embedding的门值之后， 将各个Attention  Embedding与门值进行 加权求和， 得到融合Embed ding表示 步骤III： 句子粒度学习； 应用Transformer  Layer， 在句子级别来充分学习 Lattice、 Pinyin和Radical信息； 所 有字符的混合表征被打包成： 其中， H0表示所有字 符的混合表征， 表示第N个字符的融合表征， 表示第M个字符的 融合表征； 则最终的混合Embed ding表示， 按照如下 方式进行计算： H＝Transformer(H0)    (13) 其中， H表示经 过Transformer层的隐藏层输出。权　利　要　求　书 2/2 页 3 CN 115374784 A 3