(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520981.7 (22)申请日 2022.05.13 (71)申请人 广西师范大学 地址 541004 广西壮 族自治区桂林市七 星 区育才路15号 (72)发明人 朱新华　旷中洁　 (74)专利代理 机构 南宁东智知识产权代理事务 所(特殊普通 合伙) 45117 专利代理师 黎华艳　裴康明 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于杂合神经网络的方面级情感分析 方法 (57)摘要 本发明公开了一种基于杂合神经网络的方 面级情感分析方法， 涉及人工智能中的自然语言 识别处理领域。 首先， 充分利用 BERT神经网络模 型广泛的预训练所获得的通用知识， 对评语句子 和方面目标进行编码。 其次， 通过多头注意力神 经网络， 得到方面目标感知的评语句子表示； 通 过由多通道卷积神经网络组成的卷积细化层神 经网络该模型， 得到评语句子的细腻表示。 最后， 以方面目标在评语句子中的位置为分离点， 将评 语句子的细腻表示分为左子句的细腻表示和右 子句的细腻表 示， 并通过一个门控组合神经网络 测算它们的不同贡献， 得到由多种细腻表示组成 的评语句子的分类向量， 以更有效的方法解决自 然语言识别处 理中的方面级情感分析问题。 权利要求书4页 说明书11页 附图3页 CN 114911906 A 2022.08.16 CN 114911906 A 1.一种基于杂合神经网络的方面级情感分析 方法， 其特 征在于包括以下步骤： S1.将待评测的评语句子和方面目标， 分别输入到两个参数独立的BERT神经网络模型 中进行处 理， 得到评语句子编码和方面目标编码； S2.在评语句子和方面目标的初级编码之上， 通过一个评语句子到方面目标的多头注 意力神经网络， 得到基于方面目标的评语句子表 示， 并将其与评语句子编 码进行残差连接， 得到方面目标感知的评语句子表示； S3.将方面目标感知的评语句子表示送入一个由多通道卷积神经网络组成的卷积细化 层神经网络， 进行语义细化， 得到 评语句子的细腻表示； S4.以方面目标在评语句子中的位置为分离点， 将评语句子的细腻表示分为左子句的 细腻表示和右子句的细腻表示； S5.分别对评语句子的细腻表示及其左子句的细腻表示、 右子句的细腻表示进行平均 池化， 得到评语句子向量、 左子句向量和右子句向量， 然后通过一个门控组合神经网络测算 它们的不同贡献， 得到由多种细腻表示组成的评语句子的分类向量； S6.将评语句子的分类向量通过线性变换计算评语句子在所有情感极性上的预测得分 和概率， 根据概 率的高低确定 评语句子关于指定方面目标的情感极性； 所述BERT神经网络模型是指Google  AI Language提出的Bidirectional  Encoder  Representations  from Transformers(BERT,基于Transformers的双向编码器表示)语言 模型； 所述多通道卷积神经网络是指多个并行的卷积窗口尺寸 为1的卷积神经网络 。 2.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析 方法， 其特 征在于： 所述步骤S1具体包括： S1.1将待评测的评语句子和方面目标， 以BERT神经网络模型的分类符[CLS]作为开始 符号、 以BERT神经网络模型的分离符[ SEP]作为结束符形成输入表示； 其中， S表示评语句子的输入， dw为BERT神经网络模型中字词编码的维度， n为全局序列 的字词长度， 所述 “字词”是指文本经BERT神经网络模型的分词 器Tokenzier分离出的语言 片段； T表示方面目标的输入， m为方面目标的字词长度； S1.2将评语句子的输入表示S、 方面目标的输入表示T分别输入到两个参数共享的BERT 神经网络模型进行 学习和编码， 得到 评语句子编码Hs和方面目标编码Ht， 计算过程如下： 其中， BERT1( ·)表示用于编码评语句子的BERT神经网络模型， BERT2( ·)表示用于编 码方面目标的BERT神经网络模型， d是BERT神经网络模型中隐藏单 元的数量。 3.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析 方法， 其特 征在于： 所述步骤S2具体包括： S2.1在评语句子编码Hs和方面目标编码Ht之上， 使用一个Hs到Ht的多头注意力神经网权　利　要　求　书 1/4 页 2 CN 114911906 A 2络， 得到基于方面目标的评语句子表示 计算过程如下： 其中， MHA(HS,Ht,Ht)表示输入Q＝Hs、 K＝V＝Ht的多头注意力神经网络MHA(Q,K,V)， 多头 注意力神经网络 MHA(Q,K,V)的计算过程如下： MHA(Q,K,V)＝tanh([head1； head2； ...； headh]wR)              (6) headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV)           (7) 其中， 是多头注意力的三个输入， headi表示多头注意力神经 网络中的第i个头， tanh( ·)表示双曲正切函数， 是可学习的参数矩阵dK＝dV＝d÷h， h是 多头注意力神经网络中头的数量， 上 标T表示矩阵的转置操作； S2.2将基于方面目标的评语句子表示 与评语句子编码Hs进行残差连接， 得到方面 目标感知的评语句子表示Hst， 过程如下： 其中， LayerN orm(·)表示层归一 化处理。 4.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析 方法， 其特 征在于： 所述步骤S3具体包括： S3.1将方面目标感知的评语句子表示Hst送入一个多通道卷积神经 网络， 得到评语句子 的多特征表示 计算过程如下： 其中， MCC( ·)表示由L个卷积窗口为1、 卷积核数为d的卷积组成的多通道卷积神经网 络， Re LU(·)表示ReLU激活函数,*表示多通道卷积操作， 表示多通道卷积神 经网络的权 重参数， 表示多通道卷积神经网络的偏置向量； S3.2将评语句 子的多特征表示 进行连接， 得到评语句 子的连接多特征表示 计算过程如下: 其中， 表示 在第j个卷积通道中的第i个隐藏状态， “；”表示连接运 算； S3.3将评语句子的连接多特征表示 送入一个压缩卷积神经网络， 得到评语句子的 细腻语义表示Hfine， 计算过程如下： 其中， 为压缩卷积神经网络中的权重参数， 表示压缩卷积神经网 络的偏置向量， CMC( ·)表示由d个维度为1 ×Ld的滤波器组成的压缩卷积神经网络， 表示权　利　要　求　书 2/4 页 3 CN 114911906 A 3