(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210563901.6 (22)申请日 2022.05.23 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 张钧建　顾钊铨　王乐　朱东　 谢禹舜　谭昊　张欢　张登辉　 唐可可　韩伟红　李树栋　仇晶　 李默涵　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 30/19(2022.01) G06V 30/226(2022.01) (54)发明名称 基于深度元学习和生成对抗网络的字体修 复方法及系统 (57)摘要 本发明公开了一种基于深度元学习和生成 对抗网络的字体修复方法及系统， 所述方法步骤 为： 使用数据获取模块获取已有的书法字体数据 集Dataset ‑1以及字体的笔画和结构数据； 使用 数据处理模块将数据针对不同任务进行不同方 式的处理； 使用Font ‑Meta模块对残缺的书法字 体进行补全； 使用字体审核模块寻找 最好的补全 字体； 使用字体输出模块输出修复字体。 本发明 提出的字体修复方法及系统， 能够基于现有的数 据样本学到汉字的字体笔画、 结构和风格等特 征， 在对汉字字体缺失部位进行补全时比现有技 术更加全面； 本发明应用在书法字体修复领域 中， 能减少人工成本， 提升字体修复的精度和完 整程度。 权利要求书2页 说明书9页 附图2页 CN 115170403 A 2022.10.11 CN 115170403 A 1.一种基于深度元学习和生成对抗网络的字体修复方法， 其特征在于， 其包括如下步 骤： S1、 使用数据获取模块获取已有的书法字体数据集Dataset ‑1以及字体的笔画和结构 数据； S2、 使用数据处 理模块将数据针对不同任务进行不同方式的处 理； S3、 使用Fo nt‑Meta模块对残缺的书法字体进行补全； S4、 使用字体审核模块 寻找最好的补全字体； S5、 使用字体输出模块输出修复字体。 2.根据权利要求1所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， 所述S1中所述数据集Dataset ‑1构建的步骤为： S11、 获取待修复的书法作品； S12、 利用覆盖矩阵对原始整幅书法作品图像进行书法字体裁剪， 将裁剪后的获得的图 像进行扩充或者压缩至大小为25 6×256的图片； S13、 对统一尺寸后的图片转 为单通道， 进行二 值化处理， 得到字的二值化图片； S14、 二值化图片集构建所述数据集Dataset ‑1。 3.根据权利要求2所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， 将所述数据集Dataset ‑1进一步处理为Dataset ‑11， 具体步骤为： S21、 获得完整 书法字体和艺 术字体； S22、 选择图像熵最大的图片作为数据； S23、 随机生成不同大小的不 规则形状作为字体掩码， 模拟书法字体的缺损情况； S24、 字体掩码分别加入数据集Dataset ‑11中， 得到类缺失图片集 合； S25、 将类缺失图片集 合进行配对， 构建数据集Dataset ‑11。 4.根据权利要求3所述的基于深度元学习和生成对抗网络的字体修复系统， 其特征在 于， 所述S3包括： S31、 构造 字体补全网络FDR ‑Net， 循环生成对抗网络和字体结构审核模型； S32、 利用MAML的方法对字体补全网络FDR ‑Net进行预训练； S33、 将字体补全网络FDR ‑Net修复后的字体放入循环生成对抗网络进行局部风格调 整， 输出风格转换后的字体图像。 5.根据权利要求4任一项所述基于深度元学习和生成对抗网络的字体修复方法， 其特 征在于， 将所述数据集Dataset ‑11放入所述Font ‑Meta模块中进行学习， 初始化并预训练字 体补全网络FDR ‑Net， 步骤为： S321、 获取字体笔画数据； S322、 获取字体结构数据； S323、 构造模拟书法字体残缺的数据集， 进行残缺数据和原 始数据配对； S324、 构造 字体补全网络FDR ‑Net模型； S325、 训练字体补全网络FDR ‑Net。 6.根据权利要求4所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， 所述S33包括： S331、 初始并预训练循环生成对抗网络；权　利　要　求　书 1/2 页 2 CN 115170403 A 2S332、 得到待修复的书法字体数据， 并对字体补全网络FDR ‑Net精调， 进行风格和字体 内容结构学习； S333、 预训练和精调后得到精调后的字体补全网络FDR ‑Net； S334、 对缺失部分进行补全， 得到初步 修复后的图片； S335、 将初步修复后的图片输入循环生成对抗网络中进行局部风格迁移， 得到迁移后 的图像。 7.根据权利要求5所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， 所述预训练字体补全网络FDR ‑Net， 能够补全缺 失部分的笔画结构， 得到补全后的书法字体 M1。 8.根据权利要求1所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， 所述S4包括： S41、 预训练笔画完整度网络、 结构完整度网络和风格相似度网络； S42、 将风格转换后的图像输入笔画完整度网络进行打 分， 得到Score1； S43、 将风格转换后的图像输入结构完整度网络进行打 分， 得到Score2； S44、 将风格转换后的图像输入风格相似度网络进行打 分， 得到Score3； S45、 通过分别计算笔画完整度网络、 结构完整度网络和风格相似度网络三个网络打分 结果的加权平均值， 能得到最终的分值序列， 选择得分最高的修复后的书法字体图片进行 输出。 9.根据权利要求1所述基于深度 元学习和生成对抗网络的字体修复方法， 其特征在于， Font‑Meta模块包括FDR ‑Net模块和CycleGAN模块； FDR‑Net模块， 用于生成网络和深度元 学习的方法学习如何进行字体补全； ycleGAN模块， 用于补全字体的局部风格转换。 10.一种基于深度元学习和生成对抗网络的字体修复系统， 其特征在于， 其包括如下模 块： 数据获取模块， 用于获取已有的书法字体数据集Dataset ‑1以及字体的笔画和结构数 据； 数据处理模块， 用于将数据针对不同任务进行不同方式的处 理； Font‑Meta模块， 用于对残缺的书法字体进行补全； 字体审核模块， 用于寻找最 好的补全字体； 字体输出模块， 用于 输出修复字体。权　利　要　求　书 2/2 页 3 CN 115170403 A 3