(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555187.6 (22)申请日 2022.05.19 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 李云　沈辉　朱毅　强继朋　 袁运浩　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于提示学习的领域自适应方法 (57)摘要 本发明公开了一种基于提示学习的领域自 适应方法， 包括以下步骤： 1） 选 择Bert模型， 将该 预训练语言模 型作为主干， 对提示学习方法中的 模板和标签词进行设置； 2） 构造出所需要的提示 学习模型， 对于数据集， 运用提示学习数据加载 函数对数据进行加载和处理， 之后进行领域自适 应任务； 3） 随机选取少量源域数据样本进行训 练， 之后将目标域的句子嵌入到同样的模板中， 通过预训练语 言模型进行掩码语言建模， 对输入 的目标域句子进行分类预测。 本发 明利用提示学 习的方法， 可以解决源域和目标域中语义特征结 构的扭曲和类别可辨别性的丢失， 在少量源域数 据样本的前提下， 能够在目标域 分类任务中达到 更好的准确度。 权利要求书2页 说明书4页 附图1页 CN 114817550 A 2022.07.29 CN 114817550 A 1.一种基于提 示学习的领域自适应方法， 其特 征在于， 包括以下步骤： 1)选择Bert模型， 将该预训练语言模型作为主干， 对提示学习方法中的模板和标签词 进行设置； 2)构造出所需要的提示学习模型， 对于数据集， 运用提示学习数据加载函数对数据进 行加载和处 理， 之后进行 领域自适应任务； 3)随机选取少量源域数据样本进行训练， 之后将目标域的句子嵌入到同样的模板中， 通过预训练语言模型进行掩码语言 建模， 对输入的目标域句子进行分类预测。 2.根据权利要求1所述的一种基于提示学习的领域自适应方法， 其特征在于， 所述步骤 1)具体包括： 步骤1.1)选择 预训练语言模型Ber t作为主干； 步骤1.2)模板设置， 模板为修改原有 的输入， 根据不同数据集的内容来手动设置不同 的模板， 将原始输入进行修改和封装， 对于每个实例x， 首先使用模板将x映射到提示输入 xprompt＝T(x)； 步骤1.3)标签词的设置： 将原始标签投影到一组标签词中， 存在一个单射映射函数 Y→V， 它连接 了类集和标签词集， 根据原 始标签， 映射 一组跟其 意思接近的标签词。 3.根据权利要求1所述的一种基于提示学习的领域自适应方法， 其特征在于， 所述步骤 2)具体包括： 步骤2.1)构造提示学习模型， 调用openprompt第三方库中的提示学习分类函数， 所述 提示学习分类函数包括三个参数， 分别 是预训练语言模型、 模板、 标签词， 将步骤1)中得到 三个变量分别赋予进 去， 从而可以得到提 示模型； 步骤2.2)加载和处理源域和目标域 中的数据 集， 调用op enprompt第三方库中的提示数 据加载函数， 所述提示数据加载函数包括四个参数， 分别是数据集、 分词器、 模板、 分词包装 类， 所述分词器和分词包装类所要赋予的值是 由调用加载预训练语言模型函数得到的， 之 后得到处 理好的的训练和 测试数据集， 从而 进行领域自适应任务。 4.根据权利要求1所述的一种基于提示学习的领域自适应方法， 其特征在于， 所述步骤 3)体包括： 步骤3.1)在对少量源域数据进行训练后， 当目标域句子嵌入到模板中， 它将被归类带 标签为y的类别中， 其中y∈Y， 标签词集为Vy＝{v1， v2，…， vn}， Vy是整个词汇V的子集， 即Vy∈ V， 并且Vy被映射到标签为y的类别中； 在预训练语言模型中， Vy中的每个单词被填入到 [MASK]中， 其概率表示为P([MASK]＝v∈Vy|Xp)； 因此， 对目标域分类任务转化为 标签词的概 率计算问题， 其计算公式如(1)所示： P(y∈Y|Xp)＝P([MASK]＝v∈Vy|Xp)             (1) 步骤3.2)在求出Vy中每个标签词的概率后， 将目标域中每个标签词得到的预测概率映 射到具体地类别标签上， 预测分数的平均 值作为最后类别分类的依据， 则预测标签 如(2) 所示： 步骤3.3)在目标域句子中， 如果 的V1＝{computer }的计算预测概率权　利　要　求　书 1/2 页 2 CN 114817550 A 2大于 的V2＝{recreation}， 则最后预测该目标域中的句子被分类为 Computer类。权　利　要　求　书 2/2 页 3 CN 114817550 A 3