(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555624.4 (22)申请日 2022.05.19 (71)申请人 中国电子科技 集团公司第二十八研 究所 地址 210046 江苏省南京市栖霞区灵山 南 路1号 (72)发明人 王鑫鹏　阮国庆　李晓冬　吴蔚　 徐建　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 胡建华 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于BERT与注意力机制的军事装备关 系抽取方法 (57)摘要 本发明公开了一种基于BERT与注意力机制 的军事装备关系抽取方法。 通过采用实体、 关系 联合抽取的方式完成军事新闻中装备目标关系 信息抽取。 第一步， 构建BERT层， 进行文本 特征信 息提取。 第二步， 分成实体抽取和关系抽取两个 分支。 实体抽取在BERT网络 上加入全连接层和条 件随机场进行标签序列预测与优化。 关系抽取分 支在BERT网络输出的基础上嵌入关系起始实体 和结束实体的标签特征以及起始和结束标志特 征， 再通过GRU和注意力层挖掘实体间关系， 最后 通过全连接层预测关系。 第三步， 训练时将实体 抽取和关系抽取分支的损失值相加， 通过同一个 优化器进行优化。 实验结果表明， 本发明有在中 文文本关系抽取 上是有效的。 权利要求书3页 说明书8页 附图2页 CN 114781375 A 2022.07.22 CN 114781375 A 1.一种基于BERT与注意力机制的军事 装备关系抽取 方法， 其特 征在于， 包括如下步骤： 步骤1， 对文本语料进行实体标注和关系标注， 获得 标注数据； 步骤2， 对标注数据进行 预处理， 生成文本关系抽取模型训练集和 测试集； 步骤3， 构建文本关系抽取模型； 步骤4， 进行文本关系抽取模型训练， 获得训练后的文本关系抽取模型； 步骤5， 将测试集数据输入训练后的文本关系抽取模型， 获得关系抽取 结果。 2.根据权利要求1所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤1中， 所述标注数据包括三部 分， 第一部 分为文本预料的原文， 第二部 分为实体 标注数据， 第三部分为关系标注数据； 步骤2中对标注数据进行预处理包括： 实体标注数据表示为{实体起始位置， 实体结束 位置， 实体标签}的形式， 再转换为BMES实体标注体系； 将关系标注数据转化为{第一实体， 第二实体， 关系， 第一实体起始位置， 第一实体结束位置， 第一实体标签， 第二实体起始位 置， 第二实体结束位置， 第二实体标签}的形式； 步骤2中生成文本关系抽取模型训练集和测试集按照7： 3的比例分别切分实体标注数 据和关系标注数据切分。 3.根据权利要求2所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤3中， 所述文本 关系抽取模 型包括BERT层、 实体抽取分支和关系抽取分支； 所述 BERT层， 用于对输入文本进行深度特征提取， 获得输入文本特征； 所述实体抽取分支， 用于 将输入文本特征映射到实体标签， 获得实体标签序列向量， 然后对实体标签序列向量进行 预测， 获得实体类别； 所述关系抽取分支， 通过对BERT输出和实体识别输出的组合特征进 行 分类预测， 获得两个实体间的关系类别。 4.根据权利要求3所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤3中所述 实体抽取分支依次包括全连接层和条件随机场层， 所述全连接层用于 将输入文本特征映射到实体标签， 获得实体标签序列向量， 记为h1,h2,...,hn， n为模型输入 最大长度； 所述条件随机场层用于对实体标签序列向量进行优化和预测， 获得实体类别； 标 签序列y的概 率P(y|s)计算 为： 这里， s表示输入的句子， m表示标签序列y中标签的个数， 标签序列y中的标签包括l1, l2,...,lm； y′表示任意的标签序列； i表示标签序列y和y ’的标签索引， 1≤i≤m； 表示 标签序列y对应的权值向量， 表示标签序列y对应的偏移量， 表示标签序列y ’对应 的权值向量， 表示标签序列y ’对应的偏移量； 然后通过一阶Viterbi算法寻找最佳标 签序列， 获得实体 类别。 5.根据权利要求4所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤3中所述关系抽取分支依次包括特征组合层、 双向GRU层、 注意力层和Softmax 分类器， 所述特征组合层用于对输入文本特征和实体类别进行组合， 获得关系抽取输入特 征， 记为Er；权　利　要　求　书 1/3 页 2 CN 114781375 A 2所述双向GRU层， 用于获得抽象特 征； 所述注意力层， 用于模拟人在阅读信 息时注意力机制， 重点关注局部特征， 记注意力层 输出特征为A； 所述Softmax分类器， 用于将注意力层输出特征A映射到实体关系类别， 获得各类别的 概率R＝[r1,…,rN]， N为关系类别数。 6.根据权利要求5所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤3包括： 步骤3‑1： 将训练集中的训练文本转为字向量特征， 并嵌入位置信息， 获得BERT输入特 征， 记为Ei； 位置嵌入方式如下： 其中， 2c表示输入序列的偶数位， 2c+1表示输入序列的奇数位， c为自然数， dmodel是BERT 模型的特 征维数， pos表示字词位置信息， PE表示 位置嵌入函数； 步骤3‑2： 将BERT输入特征Ei输入文本关系抽取模型， 进行深度特征提取， 获得BERT层的 抽象特征； 步骤3‑3： 对于一批训练数据 实体抽取分支损失函数为： 其中， λ表示 L2正则化 参数， Θ为实体抽取分支参数集 合； 步骤3‑4： 在关系抽取分支的双向GRU层中， 计算当前时刻隐状态ht； 步骤3‑5： 在关系抽取分支的注意力层， 将 步骤3‑4中所得结果ht， 计算获得字向量ut； 在 注意力层训练过程中加入随机初始化的字上下文向量uw进行共同训练， 通过加入注意层计 算字与关系的相关程度， 形成注意力层句子向量sa； 步骤3‑6： Softmax分类器将句子向量sa映射到一组元素在[0,1]区间内的向量， 向量和 为1， 如下 所示： R＝Soft max(s),R＝[r1,r2,…,rN]andri∈[0,1]and∑ri＝1。 7.根据权利要求6所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤4中， 进行文本关系抽取模型训练， 文本关系抽取网络损失值loss为实体抽取 分支损失值 lossner和关系抽取分支损失值 lossre加权和： loss＝lossner+2×lossre 添加L2正则化对文本关系抽取网络进行约束， 训练过程引入dropout策略， 压抑概率设 置为0.5， 采用批量的Adam优化 算法用于 本关系抽取模型参数训练。 8.根据权利要求7所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤3中所述BERT层采用12层的Transformer结构。 9.根据权利要求8所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特 征在于， 步骤5中， 测试集数据输入文本 关系抽取模型， 得到 关系抽取结果； 关系抽取结果的 性能评价指标采用精确率precisi on、 召回率recal l和F1值。 10.根据权利要求9所述的一种基于BERT与注意力机制的军事装备关系抽取方法， 其特权　利　要　求　书 2/3 页 3 CN 114781375 A 3