(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672522.0 (22)申请日 2022.06.14 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 黄亮　梁森杰　叶飞扬　池凯凯　 张书彬　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种意图槽值双向交互的自然语言理解方 法 (57)摘要 本发明公开了一种意图槽值双向交互的自 然语言理解方法， 采用BERT语义编码 模块对用户 输入的话语进行文本预处理， 并进行语义编码， 然后将意图表 示向量输入到意图注 意力模块， 生 成语义增强的意图表示向量， 并通过自注意语义 交互模块， 双向交互语义增强的意图语义表示向 量和槽语义表 示向量， 获得最终的意图语义表示 向量和槽语义表示向量， 然后将最终的意图表示 向量和槽语义表示向量输入到CRF语义解码模 块， 获得最后话语的意图和槽值。 本发明使用预 训练知识显著提高意图识别和槽填充的识别效 果， 使得系统可以应用在高精度的NLU场景上， 提 高了系统的预测精度。 权利要求书2页 说明书5页 附图1页 CN 115062624 A 2022.09.16 CN 115062624 A 1.一种意图槽值双向交互的自然语言理解方法， 其特征在于， 所述意图槽值双向交互 的自然语言理解方法， 包括： 采用BERT语义编码模块对用户输入的话语进行文本预处理， 并进行语义编码， 获得语 义表示向量H， 所述语义表示向量H包括 意图语义表示向量HI和槽语义表示向量HS； 将意图表示向量HI输入到意图注意力模块， 生成语义增强的意图表示向量HIW； 通过自注意语义 交互模块， 双向交互语义增强的意图语义表示向量HIW和槽语义表示向 量HS， 获得最终的意图语义表示向量和槽语义表示向量； 将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块， 获得最后话语的 意图和槽值， 所述CRF语义解码模块包括两个分支， 一个分支包括意图全连接神经网络模 块， 另一个分支包括槽全连接神经网络模块和CRF槽解码模块； 其中， 所述将意图表示向量HI输入到意图注意力模块， 生成语义增强的意图表示向量 HIW， 包括： 获取CRF语义解码模块中意图全连接神经 网络的权重WI， 与意图语义表示向量HI进行矩 阵相乘， 再 经过softmax函数， 获得softmax的输出α： α ＝softmax(HIWI)； 然后将α 与权重WI相乘再与意图语义表示向量HI相加， 获得经过意图注意力模块语义增 强的意图语义表示向量HIW： HIW＝HI+α WI； 所述通过自注意语义交互模块， 双向交互语义增强的意图语义表示向量HIW和槽语义表 示向量HS， 获得最终的意图语义表示向量和槽语义表示向量， 包括： 连接语义增强的意图语义表示向量HIW和槽意图语义表示向量HS， 获取语义表示向量 HIS： HIS＝[HIW， HS]； 将HIS经过h次线性映射获取Q、 K和V 矩阵。 Qj＝HISWjQ； Kj＝HISWjK； Vj＝HISWjV； 其中WjQ、 WjK和WjV是线性映射的参数， j∈1. ..h； 将获得的Q、 K和V 矩阵平行地进行缩放 点乘注意力操作， 获得自注意力头： 其中d表示语义表示向量HIS的维度； 将获得的h个自注意力 头进行连接， 并经过一个线性映射， 获得经过多头自注意力模块 语义增强的语义向量HM： HM＝concat(h1， h2，…， hh)WO； 其中WO是本次线性映射的参数； 将语义向量HM与BERT语义编码模块输 出的语义表示向量H相加， 并进行层归 一化(layer   normalization)操作：权　利　要　求　书 1/2 页 2 CN 115062624 A 2H′＝LayerNorm(H+HM)； 其中语义向量 为自注意语义交互模块的输出， 表示最终的意图语 义表示向量， 表示最终的槽语义表示向量。 2.根据权利要求1所述的意图槽值双向交互 的自然语言理解方法， 其特征在于， 所述采 用BERT语义编码模块对用户输入的话语进行文本预处理， 并进行语义编码， 获得意图语义 表示向量HI和槽语义表示向量HS， 包括： 对用户输入的话语进行分词， 并在句子开始位置添加特殊标识符([CLS])， 在句子末尾 位置添加特殊标识符([ SEP])， 最后获得一个由T+1个单词组成的句子序列： X＝(x0， x1，…， xT)； 其中xi， i∈0， 1， …， T表示句子中第i个单词； 然后对处 理后的文本数据X进行语义编码， 输入文本数据X， 输出语义表示向量： H＝[HI,HS]； 其中HI表示意图语义表示向量， HS表示槽语义表示向量。 3.根据权利要求1所述的意图槽值双向交互 的自然语言理解方法， 其特征在于， 所述将 最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块， 获得最后话语的意图和 槽值， 包括： 将最终的意图语义表示向量 输入意图全连接神经网络模块， 经过一个全 连接神经网 络和softmax函数， 将最终的意图语义表示向量映射到意图标签， 输出意图标签yI： 其中WI和bI为意图全连接神经网络中可训练的权 重参数和偏置参数； 将槽语义表示向量 输入槽全连接神经网络模块， 经过一个全连接神经网络和 softmax函数， 将最终的槽语义表示 向量映射到CRF解码所需的发射概率上， 输出发射概率 pS： 其中WS和bS为全连接神经网络中可训练的权 重参数和偏置参数； 将发射概率pS输入CRF槽解码模块， 解码得到 槽标签yS： yS＝CRF(pS)。权　利　要　求　书 2/2 页 3 CN 115062624 A 3