(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210802174.4 (22)申请日 2022.07.08 (71)申请人 浙江华巽科技有限公司 地址 317609 浙江省台州市玉环市龙溪镇 小山外工业园区 (72)发明人 杨鹏　谢亮亮　李文军　胡皓楠　 解然　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06F 40/284(2020.01) G06F 16/951(2019.01) G06F 40/242(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于深度学习的临床术语识别方法与 装置 (57)摘要 本发明公开了一种基于深度学习的临床术 语识别方法与装置， 方法包括以下步骤： 预训练 模型微调、 构建临床实体库、 上下文感知网络、 术 语识别。 首先使用预训练模型在临床数据集上进 行微调， 以学习临床领域的文本表示方法； 然后 借助爬虫程序在专业的临床医学实体词典和在 线医学资料库PubMed抓取临床实体单词存入临 床实体库； 使用临床实体库对临床文本进行匹配 标记得到临床实体集合， 并使用前微调后的预训 练模型对临床文本和临床实体集合进行向量化 表征， 通过注 意力机制构建上下文感知网络建模 术语和上下文实体的信息关联用于术语识别的 特征向量； 最后通过条件随机场CRF学习标签之 间的依赖关系提高术语识别的准确率并输出临 床术语的识别结果。 权利要求书3页 说明书5页 附图2页 CN 115545021 A 2022.12.30 CN 115545021 A 1.一种基于深度学习的临床术语识别方法， 其特 征在于， 包括如下步骤： 步骤1:预训练模型微调； 步骤2:构建临床实体库； 步骤3:上 下文感知网络； 步骤4:术语识别。 2.根据权利要求1所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤1： 预训练模型微调， 具体如下： 使用MIMIC ‑III临床数据库， 将其中包含大量非结 构化的临床记录作为未标注临床记录数据集对预训练模型进 行微调训练， 得到融合临床领 域知识的语言表征模型(Bert  on Clinical  Records， CRBERT)， 在之后的单词向量化处理 中主要使用CRBERT替换原 始的Bert作为初始的单词向量 化工具。 3.根据权利要求1所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤2， 构建临床实体库,具体如下， 借助爬虫程序在专 业的临床医学实体词典和在线医 学资料库PubMed抓取临床实体单词存入临床实体库， 然后， 借助实体库对每个临床文本进 行识别得到对应的实体集 合， 将经过处理的数据进一 步分割形成训练集、 验证集和 测试集。 4.根据权利要求1所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤3： 上下文感知网络， 具体如下:首先对训练集中的数据使用步骤1经过微调后的预 训练模型对每一个临床文本和其在步骤2中得到的实体集合进行向量化表征， 得到临床文 本和实体集合的单词向量表示， 将临床文本的单词向量表示输入进双向GRU神经网络进行 特征嵌入训练， 获得临床文本的上下文语义表征， 同时， 对实体集合进行相同的处理， 得到 实体集合的单词上下文语义表征， 然后利用注意力机制对临床文本的上下文语义表征和实 体的上下文语义表征进行加权计算， 建模临床信息和上下文实体的信息关联， 对术语识别 产生关键影响的实体信息进行关注， 最 终通过矩阵变化和激活函数得到用于术语识别的预 测结果。 5.根据权利要求1所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤4术语识别， 具体如下： 对步骤3得到的初步预测结果输入到条件随机场CRF中， 学习 输出标签之间的前后依赖关系， 输出最有可能的术语标签预测结果。 6.根据权利要求3所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤3： 上下文感知网络， 具体如下： 步骤3， 上下文感知网络， 首先使用步骤1得到的 CRBERT模型把临床文本单词转化为序列化向量HCRBERT＝<h1,h2,…,hm>， 然后将其输入双向 GRU神经网络中学习文本的上下文信息， 以提取上下文的 隐式特征， 通过双向GRU之后， 得到 临床记录的上下文序列化表示向量Hgru， 因此上述通过双向GRU融入临床文本上下文信息的 计算过程如公式(1)～(3)所示： 在前述步骤2中使用实体库对每个输入文本xi＝<xi1,xi2,...,xin>进行匹配， 得到的实权　利　要　求　书 1/3 页 2 CN 115545021 A 2体集合在本步骤表示为ai＝<ai1,ai2,...,aiL>， ai表示匹配到的某个实体， L为ai匹配到实体 的单词数目， 每个临床文本对应一个实体集合， 还需要对输入xi对应的实体集合进行向量 化表示， 使用双向GRU来完成实体集合向量化的任务， 本模块将实体集合中的每个实体信息 的单词集ai通过双向GRU网络， 对单词学习其隐藏 的词向量表示， 双向GRU网络将会在两个 方向上对实体单词上下文进行学习嵌入， 最 终合并两个方向上的单词嵌入表示得到最终的 实体集合向量化表示Hattr， p为xi经过实体库匹配到的术语的总数目， 计 算过程如公式(4)～ (7)所示： Hattr＝[H1,H2,H3,…,Hp]#(7) 对已获得的临床 文本上下文向量化表示Hgru和实体集合的向量化表示Hattr， 本发明将基 于注意力机制的思想对两者的信息进 行加权融合， 结合临床文本上下文和实体集合之 间的 信息关联关系， 提出基于注意力机制的上下文感知模块， 对上下文实体之间的信息交互产 生关注， 提取上下文实体之间的特征关联， 得到用于术语识别的特征向量表示Htext‑dict， 其 中注意力机制在本模块的计算如公式(8)～(9)所示： Hdict＝softmax[WqHgru(WkHattr)T]WvHattr#(8) Htext‑dict＝concat(Hgru,Hdict)(9)。 7.根据权利要求5所述的基于深度学习的临床术语识别方法， 其特征在于， 包括如下步 骤： 步骤4术语识别， 具体如下： 根据步骤3所得到的用于术语识别的特征向量表 示Htext‑dict， 对其进行池化操作， 经过矩阵形状转换和激活函数之后得到预测的输出序列 对应临床记录文本中单词每个类别标签的预测得分， 在常规的方法 中会直接将最高分的类别作为该单词的预测类别结果， 借助条件随机场CRF来解决该问题， 通过序列的状态转移矩阵表达标签序列之间的约束关系， 不断的优化参数， 使得正确的状 态转移序列的得分最大， 进一步提升术语识别准确率， 上述计算过程如公式(10)～(11)所 示： X表示每个训练样本， score(X,y)表示正确的标注序列得分， 表示标签之间的转 移概率， 表示第i个标签得到yi标签的概率， 然后对所有可能的标记序列的得分进行 softmax归一化， Y表 示所有可能的标签序列， y表 示已经标注的序列， 通过CRF输出得分最高 的预测标签序列， 从而输出最终的术语识别结果。 8.实现权利要求1 ‑7任意一项所述的基于深度学习的临床术语识别方法的识别装置， 其特征在于， 所述识别装置包括存储器、 处理器及存储在存储器上并可在处理器上运行 的权　利　要　求　书 2/3 页 3 CN 115545021 A 3