(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210853880.1 (22)申请日 2022.07.12 (71)申请人 北京易道博识科技有限公司 地址 100083 北京市海淀区农大南路1号院 2号楼5层办公A- 501 (72)发明人 宋佳奇　王勇　朱军民　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 岳野 (51)Int.Cl. G06V 30/14(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 30/41(2022.01) G06V 10/82(2022.01)G06F 40/30(2020.01) G06F 16/332(2019.01) (54)发明名称 一种文档图像中自定义信息的确定方法及 系统 (57)摘要 本发明公开了一种文档图像中自定义信息 的确定方法及系统， 涉及计算机视觉领域。 该方 法包括： 利用机器阅读理解(Machine  Reading  Comprehension(MRC))数据集， 结合每个字符的 文本特征、 图像特征、 绝对位置特征和相对位置 特征， 对预训练模型进行第一次问答任务训练， 得到再训练模 型； 利用指定样 本数据集对所述再 训练模型进行第二次问答任务训练， 得到最终模 型； 输入待确定自定义信息的文档图像， 输出所 述自定义信息的文本内容。 本申请技术方案利用 预训练模型和问答任务来做到零样 本学习， 并把 大语料预训练模 型以及问答系统结合到一起， 此 外还添加了图像和相对位置特征， 做到端到端的 训练和预测， 最终输出文档中的自定义信息 。 权利要求书2页 说明书9页 附图3页 CN 115359486 A 2022.11.18 CN 115359486 A 1.一种文档图像中自定义信息的确定方法， 其特 征在于， 所述方法包括以下步骤： 步骤1： 利用机器阅读理解数据集， 结合每个字符的文本特征、 图像特征、 绝对位置特征 和相对位置特 征， 对预训练模型进行第一次问答任务训练， 得到再训练模型； 步骤2： 利用指定样本数据集对所述再训练模型进行第 二次问答任务训练， 得到最终模 型； 步骤3： 输入待确定自定义信息的文档图像， 输出 所述自定义信息的文本内容。 2.根据权利要求1所述的确定方法， 其特 征在于， 所述 步骤1具体包括： 步骤11： 从所述机器阅读理解数据集选取初始样本， 输入初始样本图像、 从初始样本图 像中识别的文本 框内文字、 文本 框位置坐标、 实体信息组成的问题； 步骤12： 基于预训练模型对文本信息和图像信息进行特征抽取， 同时将位置信息分为 绝对位置和相对位置并分别进 行特征抽取， 得到文本特征、 图像特征、 绝对位置特征和相对 位置特征； 步骤13： 基于多头自注意力机制， 对所述文本特征、 图像特征、 绝对位置特征和相对位 置特征进行特征编码， 得到每 个字符的编码特 征向量； 步骤14： 对每 个字符的编码特 征向量进行两阶段任务推理， 得到再训练模型。 3.根据权利要求2所述的确定方法， 其特征在于， 所述步骤12中， 所述预训练模型包括 预训练的中文BERT模型以及预训练的ResNet ‑50网络。 4.根据权利要求3所述的确定方法， 其特 征在于， 所述 步骤12具体包括： 字符编码层： 输入文本信息， 包括问题和文章， 通过预训练的中文BERT模型进行文本特 征抽取， 得到文本特 征； 图像编码层： 输入图像信息， 通过预训练的ResNet ‑50网络结合ROIAlign进行图像特征 抽取， 得到图像特 征； 绝对位置编码层： 针对输入字符串中每 个字符， 从0开始排序， 得到绝对位置特 征； 相对位置编码层： 将字符框的左上顶点和右下顶点的坐标转换成特征向量， 得到相对 位置特征。 5.根据权利要求4所述的确定方法， 其特征在于， 所述字符编码层中， 问题为所述实体 信息组成的问题： q1 ……qi， 文章为所述从初始样本图像中识别的文本框内文字： t1 …… tj， i和j为 正整数。 6.根据权利要求5所述的确定方法， 其特征在于， 所述字符编码层中， 所述文本特征为 M*D的文本特征矩阵， 其中， M为输入字符的个数且M＝i+j+3； D是预训练的中文BERT模型的 输入维度大小。 7.根据权利要求4所述的确定方法， 其特征在于， 所述字符编码层权重的维度为N*D， 其 中D是预训练的中文BERT模型的输入维度， N是该预训练的中文BERT模型的字典中的字符 数， N和D为 正整数。 8.根据权利要求4所述的确定方法， 其特征在于， 所述图像编码层中， 同一个文本框中 的所有字符共享该文本 框的图像特 征。 9.根据权利要求 4所述的确定方法， 其特 征在于， 所述相对位置编码层包括： x1编码层， x1为某一字符的字符框左上点的x轴上的坐标值； x2编码层， x2为某一字符的字符框右下点的x轴上的坐标值；权　利　要　求　书 1/2 页 2 CN 115359486 A 2y1编码层， y1为某一字符的字符框左上点的y轴上的坐标值； y2编码层， y2为某一字符的字符框右下点的y轴上的坐标值。 10.根据权利要求2所述的确定方法， 其特征在于， 所述步骤13中， 使用12个头的自注意 力机制来编码特 征。 11.根据权利要求10所述的确定方法， 其特 征在于， 所述 步骤13中， 计算公式如下式： 其中， 矩阵Q、 K和V 分别表示Query、 Key和Value， 代表输入编码器的文本特征向量/图像 特征向量/绝对位置特征向量/相对位置特征向量在三个不同低维度空间的映射， dk表示相 应的特征向量的维度大小。 12.根据权利要求2所述的确定方法， 其特 征在于， 所述 步骤14具体包括： 第一个阶段： 构造第一个二分类器， 根据每个字符的编码特征向量， 将全部字符分为涉 及起始/终止位置的有意 义字符和涉及其 他信息的无意 义字符； 第二个阶段： 构造第二个二分类器， 根据每个有意义字符的编码特征向量， 将涉及起 始/终止位置的有意 义字符分为 起始位置 字符和终止位置 字符， 由此得到再训练模型。 13.根据权利要求1所述的确定方法， 其特征在于， 所述步骤2中， 指定样本数据集包括 自定义问题和指定数据构成的文章。 14.根据权利要求1所述的确定方法， 其特征在于， 所述步骤3具体包括： 输入待确定自 定义信息的文档图像到最终模型， 输出所述自定义信息的起始位置字符和终止位置字符， 进而确定自定义信息 。 15.一种文档图像中自定义信息的确定系统， 所述系统包括： 处理器和用于存储可执行 指令的存储器； 其中， 所述处理器被配置为执行所述可执行指令， 以执行根据权利要求1至 14中任一方面所述的文档图像中自定义信息的确定方法。 16.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序 被处理器执行时实现根据权利要求 1至14中任一方面所述的文档图像中 自定义信息的确定 方法。权　利　要　求　书 2/2 页 3 CN 115359486 A 3