(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210573730.5 (22)申请日 2022.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 114663552 A (43)申请公布日 2022.06.24 (73)专利权人 武汉纺织大 学 地址 430073 湖北省武汉市洪山区纺织路1 号 (72)发明人 姜明华　史衍康　余锋　花爱玲　 周昌龙　宋坤芳　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06T 11/60(2006.01) G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 105354876 A,2016.02.24 CN 10415 6966 A,2014.1 1.19 CN 111768472 A,2020.10.13 CN 112613439 A,2021.04.0 6 CN 112232914 A,2021.01.15 CN 103578004 A,2014.02.12 CN 111787242 A,2020.10.16 CN 112233222 A,2021.01.15 CN 113012303 A,2021.0 6.22 CN 113781164 A,2021.12.10 CN 113052980 A,2021.0 6.29 CN 114419335 A,2022.04.29 US 20170249 28 A1,2017.01.26 CN 103597519 A,2014.02.19 GB 201510752 D0,2015.08.0 5 US 2021133919 A1,2021.0 5.06 (续) 审查员 夏兵秀 (54)发明名称 一种基于2D图像的虚拟试衣方法 (57)摘要 本发明公开了一种基于2D图像的虚拟试衣 方法， 涉及虚拟试衣技术领域。 本发明方法包括： 输入虚拟试衣需要的图像数据， 经过预处理操作 生成试穿区域语义图、 非试穿区域语义图和服装 修正图； 经过端到端的语义拼接网络， 在引入集 成判别器和多层次损失函数的约束下， 生成试穿 后的人体语义分割图； 通过服装变形网络， 在引 入频域分类器和正则约束损失函数的约束下， 预 测出变形后的服装图像； 将试穿者图像和变形后 的服装图像拼接得到粗糙的试穿结果图； 经过归 一化网络计算并缩小伪影区域， 最终得到精细的 试穿结果图。 本发明方法解决现有技术中服装与 人体错位产生伪影的问题， 使得生成的图片保持更多的细节， 生成高分辨 率的试衣图片。 [转续页] 权利要求书4页 说明书9页 附图2页 CN 114663552 B 2022.08.16 CN 114663552 B (56)对比文件 JP 2020097803 A,2020.0 6.25 KR 20140125 507 A,2014.10.2 9 US 202104981 1 A1,2021.02.18 CN 104813 340 A,2015.07.2 9 WO 20210 08166 A1,2021.01.21 CN 110852941 A,2020.02.28 EP 3091510 A1,2016.1 1.09 JP 2016038812 A,2016.0 3.22 CN 109740 529 A,2019.0 5.10US 2020015575 A1,2020.01.16 WO 2019193467 A1,2019.10.10 KR 20210 099353 A,2021.08.12 WO 2022002961 A1,202 2.01.06 US 20193 33267 A1,2019.10.31 WO 20161098 84 A1,2016.07.14 WO 2020131518 A1,2020.0 6.25 CN 111709874 A,2020.09.25 CN 112330580 A,2021.02.0 5 US 20170840 35 A1,2017.0 3.23 US 2020151807 A1,2020.0 5.142/2 页 2[接上页] CN 114663552 B1.一种基于2D图像的虚拟试衣方法， 其特 征在于， 包括如下步骤： 步骤 （1） ， 输入试穿者的2D图像、 人体语义分割图和服装图像， 经过预处理操作将人体 语义分割图分为试穿区域和非试穿区域两部分， 对服装图像进行掩模和 修正处理， 生成服 装掩模图和服装修 正图； 步骤 （2） ， 输入服装语义图和 非试穿区域语义 图， 经过端到端的语义拼接网络， 在引入 集成判别器和多层次损失函数的约束下， 生成试穿后的人体 语义分割图； 步骤 （3） ， 根据试穿后的语义分割图、 人体姿态图和服装图像， 通过服装变形网络， 在引 入频域分类 器和正则约束损失函数的约束下， 预测出变形后的服装图像； 步骤 （3） 中服装变形网络是端到端的网络， 输入是试穿后的语义分割图、 服装图像和人 体姿态图， 在人体姿态图中若干个关键点位置的约束下， 经过两条支路通过深度卷积网络 分别提取试穿后的语义分割图和服装图像的关键点位置的像素信息， 引入频域分类器， 使 用插值法预测变形后服装图像的像素信息， 引入正则约束损失函数控制服装的变形程度， 最后输出变形后的服装图像； 正则约束损失函数表示 为： 上式中， 分别表示变形 前后坐标点的 x值， 分别表示变形 前后坐标点的 y值， 表示x轴方向上坐标的变化 量的平方， 表示y方向上坐标的变化量， α, β为两个可学习的参数， 用于 控制服装在 x轴和y轴方向的变形程度； 服装变形网络的损失函数表示 为： 上式中， 是条件对抗损失函数， 是像素交叉熵损失函数， 是正 则约束损失函数， λ1，λ2，λ3是系数， 用于调节三个损失函数对总损失函数的影响； 步骤 （3） 中频域分类器指在频域空间， 通过设置阈值来对特征进行划分， 一方面更多地 把关注点放在生成低频特征信息上， 增强 图像的内容信息， 另一方面借助试穿后的语义分 割图区别开噪点和高频信息， 提取更多有用的高频信息， 使用插值法增强 图像高频区域的 纹理精细度， 从而提高生成图片的质量； 频域分类 器的具体流 程包括： 首先， 由卷积层提取服装图像的空间域特征图， 使用离散傅里叶变换得到频域特征图， 可表示为： 其中，Si,j表示空间域特征图中第 i行第j列的空间特征分量， Fi,j表示频域特征图中第 i权　利　要　求　书 1/4 页 2 CN 114663552 B 3