(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210568501.4 (22)申请日 2022.05.23 (71)申请人 感知阶跃 （深圳） 数字科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道滨海社区海天一路19、 17、 18号深圳 市软件产业基地 4栋423 (72)发明人 杨涵　于新蕊　臧延龙　刘子纬　 (74)专利代理 机构 深圳茂达智联知识产权代理 事务所(普通 合伙) 44394 专利代理师 骆晶 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/40(2017.01) G06V 10/26(2022.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) (54)发明名称 基于循环 三级变换的全 方位虚拟试穿方法、 系统及介质 (57)摘要 本发明公开了一种基于循环三级变换的全 方位虚拟试穿方法、 系统及介质， 所述方法包括 以下步骤： 基于服装、 人体姿态和人体语义的表 示， 结合循环 三级变换的语义生成算法生成试穿 语义布局信息； 根据所述语义布局信息， 采用基 于移动最小二乘法的图像形变方法和相似保留 约束对目标服装进行变形以转移纹理； 根据所述 试穿语义布局信息和已经变形的服装图像， 生成 穿着服装的人。 相较于现有技术， 本发明能实现 更高质量的服装变形， 以实现精细化虚拟换装。 权利要求书3页 说明书10页 附图3页 CN 114820294 A 2022.07.29 CN 114820294 A 1.一种基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述方法包括以下步 骤： 基于服装、 人体姿态和人体语义的表示， 结合循环三级变换的语义生成算法生成试穿 语义布局信息； 根据所述语义布局信 息， 采用基于移动 最小二乘法的图像形变方法和相似保留约束对 目标服装进行变形以转移纹 理； 根据所述试穿语义布局信息和已经变形的服装图像， 生成穿着服装的人。 2.根据权利要求1所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 基于服装、 人体姿态和人体语义的表示， 结合循环三级变换 的语义生成算法生成试穿语义 布局信息的步骤 包括： 基于服装、 人体姿态和人体语义的表示， 结合循环三级变换的语义生成算法， 找出服装 和姿态图二 者之间的对应关系； 根据所述 服装和姿态图二 者之间的对应关系生成试穿语义布局信息 。 3.根据权利要求2所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 基于服装、 人体姿态和人体语义的表 示， 结合循环三级变换的语义生 成算法， 找出服装和姿 态图二者之间的对应关系的步骤 包括： 将最初的人体语义图设为 衣服图设为 姿态图表示成 第t层的人体语义图 和衣服图 是由第t层的姿态图 中的注意力掩码更新， 其中应用了sigmo id门控卷积： 其中， convS→C和convS→P指卷积层， σ 是激活函数； 找出 和 的对应关系。 4.根据权利要求3所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 根据所述 服装和姿态图二 者之间的对应关系生成试穿语义布局信息的步骤 包括： 将 和 分别展平成 和 是第t层的人体姿态图 reshape 到RHW×C的表示符号， 是第t层的衣服图 reshape到RHW×C的表示符号， RHW×C表示一个长为 H×W宽为C的矩实数矩阵， 即维度为[H ×W， C]， 相关矩阵 由成对的特 征计算： 其中， 指的是x′tC， x′tP的特征， 指的是对应相似性； 然后使用非局部对应矩阵 从 中展平的衣服向量 其中， α 是锐化 参数， 是使用滑动窗口展开的， softmaxv是行维度操作的softmax操作； 然后重新将扁平化的衣服向量 变为 使用计算出的注意力掩码 和 衣服和姿势被更新 为： 权　利　要　求　书 1/3 页 2 CN 114820294 A 2其中，⊙指的是哈达 玛积； 然后提取高级特征以计算相 关性矩阵 得到转换后的衣服编码 将人体语义编码 按以下公式更新 为： 其中， γ(·)， β(·)表示条件尺度和偏移参数计算， 遵循空间特 征变换SFT。 5.根据权利要求4所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 根据所述语义布局信息， 采用基于移动最小二乘法的图像形变方法和相似保留约束对目标 服装进行变形以转移纹 理的步骤 包括： 将均匀采样的初始控制点定义为q， 将预测的目标点定义为q ′， 给定图像中的一个点v， 应用衰减权 重为每个点v计算 不同的仿射变换： 其中， α 是默认值 为1的衰减参数， i表示第i个点。 6.根据权利要求5所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 根据所述语义布局信息， 采用基于移动最小二乘法的图像形变方法和相似保留约束对目标 服装进行变形以转移纹理的步骤中施加了相似保留约束， 所述相似保留约束在所述预测的 目标点q′的每个四边形内计算， 通过惩罚变形的三角形{q ′0， q′1， q′2}来强制每个三角形进 行相似变换。 7.根据权利要求6所述的基于循环三级变换的全方位虚拟试穿方法， 其特征在于， 所述 相似保留约束在所述预测的目标点q ′的每个四边形内计算， 通过惩罚变形的三角形{ q′0， q′1， q′2}来强制每 个三角形进行相似变换的步骤 包括： 定义相对坐标q1{x01， 0}， q2{0， y02}， 其中x01， y02是均匀采样控制点的固定间隔， q2由q0 和q1定义为： 其中， R90表示逆时针旋转90度， 给定q ′0和q′1按以下公式计算出q ′2的期望位置： 然后使用的正则项 按以下公式计算得到： 其中 指的是q′2的误差项； 类似地， 将相同的机制应用于同一四边形中的另一个三角形的q ′1： 其中每个四边形的误差相加形成最终的正则化损 失， 训练时， 再根据试穿后的真实图 像图和真实语义图得到试穿后的真实衣服图cgt， 计算变形的服装cwarp和cgt之间的L1损失； 之后将原衣服图c和试穿后的真实衣服图cgt分别经过vgg19 网络来提取特征得到cfeature和 cgt‑feature， 再通过变形时预测的矩阵grid将cfeature进行变换； 对变换后的图像和cgt‑feature计 算逐像素之差作为感知损失。权　利　要　求　书 2/3 页 3 CN 114820294 A 3