(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210645695.3 (22)申请日 2022.06.08 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 周仁杰　谢忠毅　马浩男　万健　 张纪林　殷昱煜　蒋从锋　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱亚冠 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/216(2020.01)G06F 40/268(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于语义与句法依存信息的命名体识 别方法 (57)摘要 本发明公开了一种基于语义与句法依存信 息的命名体识别方法。 本发明首先对文本进行文 本分析； 对词性信息和句法依存信息进行预处 理， 将所有词性信息和句法依存关系类型转化成 one‑hot向量， 并根据不同单词之间的依存关系 方向构建邻接矩阵 ； 构造命名体识别模型 BiLSTM‑AELGCN‑CRF； 利用训练好 的命名体识别 模型BiLSTM ‑AELGCN‑CRF实现实体预测。 本发明 有效地使用了额外的句法依存信息， 有效解决现 有命名体识别模型存在的句法信息缺失以及其 利用率不足的问题， 同时能够在一定程度上避免 了语义信息缺失以及错误的句法信息传播， 以提 升命名体识别的准确性。 权利要求书3页 说明书7页 附图2页 CN 114997170 A 2022.09.02 CN 114997170 A 1.一种基于语义与句法依存信息的命名体识别方法， 其特 征在于包括以下步骤： 步骤(1)： 对待识别实体的文本数据进行文本分析， 获得词性信息和句法依存信息； 所 述文本分析包括词性分析与句法依存分析； 其中所述句法依存信息包括句法依存关系类 型、 不同词之间的依存关系方向； 步骤(2)： 对词性信息和句法依存信 息进行预处理， 将所有词性信息和句法依存关系类 型转化成one‑hot向量， 并根据不同单词之间的依存关系方向构建邻接矩阵； 步骤(3)： 构造命名体识别模型Bi LSTM‑AELGCN‑CRF， 并进行训练； 所述命名体识别模型BiLSTM ‑AELGCN‑CRF包括输入表示层、 语义提取层、 句法依存提取 层以及输出层； (1)输入表示层： 将待识别实体的文本数据采用one ‑hot编码转化为文本数据 one‑hot向量， 然后进行词 嵌入处理， 得到每个单词的词向量； 同时对当前待识别实体的文本数据的词性信息以及句 法依存关系类型的one ‑hot向量进行词嵌入处理， 得到词 性信息嵌入向量和句法依存关系 类型嵌入向量； (2)语义提取层， 通过BiLSTM进行语义信息的提取， 所述BiLSTM对每个时间步的词向量 分别进行向前和后向的编码， 并拼接得到上 下文信息的全局特 征； (3)句法依存提取层， 利用图卷积网络GCN根据两个存在句法依存关系的单词间的句法 信息和语义信息进行加权聚合， 获得具有句法与语义信息的单词嵌入向量； 所述句法依存 提取层包括N层 串联的AELGCN， 其中AELGCN包括节 点联合更新模块、 边更新模块， 以及M层串 联的Attention Guided GCN， 具体如下： 节点联合更新模块， 用于根据BiLSTM输出的上下文信息的全局特征、 步骤(2)中的邻接 矩阵信息， 对邻居节点信息进行加权聚合； 边更新模块， 用于将节点联合更新模块的输出Hl更新第i个单词到第j个单词的句法依 存关系类型嵌入向量； Attention Guided GCN包括注意力引导层、 密集连接层、 线性组合层： 所述注意力引导层用于将邻接矩阵转换为注意力导向的邻接矩阵； 所述密集连接层包含多个子层， 该子层的数量等于注意力导向的邻接矩阵的数量； 根 据所述注意力引导层输出的注意力导向的邻接矩阵， 计算出不同特 征空间下的节点向量； 所述线性组合层采用线性层的方式合并密集连接层的最终输出； 最后经过重复的N层的AELGCN， 得到句法依存提取层的最终输出； (4)输出层： 利用条件随机场进行 预测， 得到最终标签序列； 步骤4： 利用训练好的命名体识别模型Bi LSTM‑AELGCN‑CRF实现实体预测。 2.根据权利要求1所述方法， 其特征在于步骤(3)所述命名体识别模型BiLSTM ‑AELGCN‑ CRF中语义 提取层具体如下： 使用隐藏单元个数为m的BiLSTM对给定时间步t的词向量xt进行前向和后向的编码， 并 将该时间步正向的隐藏状态记作hlt∈R1×m， 反向隐藏状态记作hrt∈R1×m， 然后拼接 正反向的 隐藏状态得到拥有给定时间步t上 下文信息的全局特 征ht＝[hlt， hrt]∈R2×m。 3.根据权利要求2所述方法， 其特征在于步骤(3)所述命名体识别模型BiLSTM ‑AELGCN‑ CRF中句法依存提取层的节点联合更新模块具体是：权　利　要　求　书 1/3 页 2 CN 114997170 A 2将连续一段时间内语义提取层的输出， 整体记作Hl‑1， l表示AELGCN的当前层数， 当l ‑1 为0时表示当前的输入向量为BiLSTM的输出向量， 即H0＝{...， ht， ...}， 根据邻接矩阵信息 更新自身节点的信息， 其公式如下： 其中EANJU表示节点联合更新模块的输出， Pool表示聚合操作， A表示邻接矩阵， Wl‑1表 示AHl‑1的权重矩阵， El‑1表示句法依存关系类型嵌入向量的集合， Hl‑1表示上一层的AELGCN 输出向量， σ 表示激活函数； 为加入句法依存关系类型信息后的第i维度的节点信息， p表 示句法依存关系类型嵌入向量的维度大小， 其中 的计算方法如下： 其中 表示第i个向量维度句法依存关系类型嵌入向量的集合， i＝1， ...， p， W表示 的权重矩阵。 4.根据权利要求3所述方法， 其特征在于步骤(3)所述命名体识别模型BiLSTM ‑AELGCN‑ CRF中句法依存提取层的边更新模块具体是： 其中 为步骤a)中节点联合更新模块 的第i个节点输出向量， Wu为权重矩阵， 为矩阵 的拼接操作， 表示第l层 AELGCN输出的第i个单词到第j个单词的句法依 存关系类型所有 维度的嵌入向量； 由 组合得到当前层句法依存关系类型嵌入向量的集合El， 然后将其输入下一层 AELGCN的节点联合更新模块。 5.根据权利要求4所述方法， 其特征在于步骤(3)所述命名体识别模型BiLSTM ‑AELGCN‑ CRF中句法依存提取层的A ttention Guided GCN中所述注意力引导层具体是： 其中 和 表示HM的Query和Key的权重矩阵， HM‑1表示第M‑1层的AGGCN的输出， 当M为 1时HM‑1为Hl， Hl表示节点联合更新模 块的输出， 表示第t个注意力导向的邻接矩阵， dhead表 示 计算后的向量维度。 6.根据权利要求5所述方法， 其特征在于步骤(3)所述命名体识别模型BiLSTM ‑AELGCN‑ CRF中句法依存提取层的A ttention Guided GCN中所述密集连接层具体是： 其中 为第t个的子层第i个节点输出向量， i表示第i个单词， j表示第j个单词， 表示 第t个注意力导向邻接矩阵中单词i与单词j的权重向量表示， 是权重矩阵， 是偏差向 量， σ 是激活函数， t＝1， . ..， N；权　利　要　求　书 2/3 页 3 CN 114997170 A 3