(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210852952.0 (22)申请日 2022.07.20 (71)申请人 杭州数政科技有限公司 地址 310012 浙江省杭州市西湖区教工路 198号7幢5 03 (72)发明人 周志凯　张嘎　钟君凯　王雯　 王东旭　王宁　罗康建　 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于自监督神经网络的涉传线索识别 方法 (57)摘要 本发明公开了一种基于自监督神经网络的 涉传线索识别方法， 包括： 文本表征模块、 编码解 码模块和模式识别模块； 所述文本表征模块用于 接收传舆情文本， 并负责文本的编码表征工作， 用于将自然语言转化为机器可以计算的高维张 量； 所述编码解码模块用于文本的编码与转译工 作， 并将文本表征模块传输出的文本表征转译为 涉传表征； 以及所述模式识别模块用于对涉传转 译表征的识别判断， 将涉传表征通过激活函数转 化为涉传的概 率， 最后输出 涉传线索文本 。 权利要求书2页 说明书5页 附图3页 CN 115169358 A 2022.10.11 CN 115169358 A 1.一种基于自监 督神经网络的涉传线索识别方法， 其特 征在于， 包括： 一文本表征模块； 所述文本表征模块用于接收传舆情文本， 并负责文本的编码表征工 作， 用于将自然语言转 化为机器可以计算的高维张量； 一编码解码模块； 所述编码解码模块用于文本的编码与转译工作， 并将文本表征模块 传输出的文本表征转译为涉传表征； 以及 一模式识别模块； 所述模式识别模块用于对涉传转译表征的识别判断， 将涉传表征通 过激活函数转 化为涉传的概 率， 最后输出 涉传线索文本 。 2.如权利要求1所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述文本表征模块的内部逻辑为在输入层分别对输入的舆情文本和涉传模式文本进行表征 学习。 3.如权利要求2所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述文本表征模型通过引入涉传舆情文本， 修改特征词的表征张量； 其中， 引入的涉传舆情文 本为经过人工标注的涉传舆情报道， 涉传舆情文本包含具备人员链、 资金链特征， 能够为后 续海量舆情文本表征提供参 考。 4.如权利要求2所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述文本表征模块的算法为基于Transformer改造的双向语义编码模 型BERT， 同时， 为了在文 本表征过程中， 提高对涉传关键词的警觉度， 添加了基于涉传线索识别场景的训练语料， 作 为预训练语 言模型增量训练的样本， 在表征层之后， 为了提取涉传 线索的表达范式， 采用相 对位置编 码的方案， 形成文本的相对位置编 码； 最后， 通过张量的加法运算将文本表征编码 与相对位置编码相加， 完成对文本相对位置的信息融合。 5.如权利要求1或2或3或4所述的一种基于自监督神经网络的涉传线索识别方法， 其特 征在于， 所述编码解码模块为主干网络the  Transformer的Encoder ‑Decoder部分， 通过相 对位置编码与QKV序列编 码完成表征编码， 利用掩码 语言模型训练， 完成舆情文本的涉传转 译。 6.如权利要求5所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述编码解码模块将不同长度的编码结果、 键值和解码结果进行组合训练； 并将编码信息传 入掩码自注意力模型对信息进行解码训练， 完成涉传行为模式的转译工作。 7.如权利要求6所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述转译工作的算法如下： 其中， Q代表待查询的单词Query， K代表待查询的键值Key， V代表键值对应的结果 Value， Attention代表一个单词在句子中的注意力分值， d代表矩阵的维度， softmax为多分 类问题的激活函数。 8.如权利要求1或2或3或4所述的一种基于自监督神经网络的涉传线索识别方法， 其特 征在于， 所述模式识别模块为整个网络的输出层， 由一个前向神经网络叠加 一个模式识别 算法， 得到模型的模式识别结果， 之后由线性转化得到归一值， 并传 入多分类器得到涉传线 索类型与涉传相似度。权　利　要　求　书 1/2 页 2 CN 115169358 A 29.如权利要求8所述的一种基于自监督神经网络的涉传线索识别方法， 其特征在于， 所 述模块采用PCA主成分分析法作为模式识别算法， 由于上一模块中转译的涉传编码为高维 张量， PCA在模式识别判断中有特定的优 越性， 可以由特 征轴分析判断涉传线索。权　利　要　求　书 2/2 页 3 CN 115169358 A 3