(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632304.4 (22)申请日 2022.06.03 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 张丽清　刘悦　牛力　丛文艳　 招浩华　 (74)专利代理 机构 上海交达专利事务所 31201 专利代理师 王毓理　王锡麟 (51)Int.Cl. G06T 19/20(2011.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于照相机视角 域编码的空间变换图像自 动编辑方法 (57)摘要 一种基于照相机视角 域编码的空间变换图 像自动编辑方法， 通过照相机视角域编码网络从 背景图像中提取角度编码， 利用图像特征提取网 络提取前景图像特征和背景图像特征， 将复制平 铺后的背景图像角视角域码与前景背景图像特 征拼接， 得到增强图像特征； 将增强图像特征输 入空间变换网络得到预测的前景图像的空间变 换参数， 通过该参数从原始的前景图像中采样， 利用双线性差值方法得到扭曲的前景图像， 再将 扭曲的前景图像和输入的背景图像进行图像合 成， 得到符合几何透视关系的合成图像。 本发明 利用前景和背景图像在照相机视角域上的编码 之间的距离， 衡量两张图像拍摄时透视角度的相 似性， 经空间变换后实现前景图像和背景图像具 有相似的透 视角度。 权利要求书2页 说明书4页 附图3页 CN 114943820 A 2022.08.26 CN 114943820 A 1.一种基于照相机视角域编码的空间变换图像自动编辑方法， 其特征在于， 通过照相 机视角域编 码网络从背景图像中提取角度编码， 利用图像特征提取网络提取前景图像特征 和背景图像特征， 将复制平铺后的背景图像角视角域码与前景背景图像特征拼接， 得到增 强图像特征； 将增强 图像特征输入空间变换网络得到预测的前景图像的空间变换参数， 通 过该参数从原始的前景图像中采样， 利用双线性差值方法得到扭曲的前景图像， 再将扭曲 的前景图像和输入的背景图像进行图像合成， 得到符合几何透 视关系的合成图像； 所述的照相机视角域编码网络根据 前景或者背景图像， 将输入图像映射到照相机视角 域空间， 输出该图像在视角域空间的编 码， 该编码表示图像拍摄时照相机透视角度的信息， 两张图像在视角域空间的编码之间的欧式距离能够表示两张图像透 视角度之间的相似性； 所述的图像特征提取网络根据前景或者背景图像， 将输入图像映射到特征空间， 输出 该图像包 含空间特 征的特征图。 2.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的照相机视角域编码网络包括： 四个基本单元、 设置于基本单元后的一层平均池 化层和一层卷积层， 其中： 四个基本单元根据图像的特征图信息， 进行特征提取处理， 得到 图像的高层特征图结果， 平均池化层根据图像的特征图信息， 进 行池化处理， 得到聚合特征 图重要信息、 降低计算量的结果， 卷积层根据经过池化层聚合的图像特征图信息， 进 行卷积 处理， 得到图像在相机 视角域内的编码。 3.根据权利要求2所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 每个所述的基本单元包括： 一层部分卷积层、 一层实例归一化层与一个线性整流单 元， 其中： 部 分卷积层根据图像的特征图信息， 进 行卷积处理， 得到图像的高层特征图结果， 实例归一化层根据图像的特征图信息， 进行归一化处理， 保证图像实例 独立性同时使数据 分布一致， 加速模型收敛， 线性整流单元根据归一化后的图像特征图信息， 进 行线性整流处 理， 引入非线性 运算， 使神经网络具 备拟合非线性 函数的能力。 4.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的图像特征提取网络包括： 五个串联的基本单元， 各个基本单元根据图像的特征 图信息， 进 行特征聚合处理， 得到图像的高层特征图结果， 每个基本单元包括一层卷积层与 一个线性整流单元， 其中： 卷积层根据图像的特征图信息， 进行卷积处理， 得到图像的高层 特征图结果， 线性整流单元根据图像的特征图信息， 进行线性整流处理， 引入非线性运算， 使神经网络具 备拟合非线性 函数的能力。 5.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的空间变换网络包括： 空间变换参数预测网络、 采样网格生成网络以及采样网 络， 其中： 空间变换参数预测网络根据原始前景图像、 前景背 景图像特征图和背 景图像照相 机视角域编 码预测得到空间变换参数， 采样网格生成网络根据空间变换参数计算得到空间 变换前后图像像素 的坐标对应关系， 采样网络根据图像像素坐标对应关系进行采样， 在原 始前景图像上利用双线性差值 算法计算得到空间变换之后图像各点的像素值； 所述的空间变换参数 预测网络包括： 堆叠的全连接层和线性整流单 元。 6.根据权利要求1所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的照相 机视角域编码网络、 图像特征提取网络和空间变换网络均使用鉴别器根 据真实图像与合成 图像输出的对抗损失函数以及基于对比学习的三联体损失函数作为约权　利　要　求　书 1/2 页 2 CN 114943820 A 2束， 其中： 真实图像即数据集中包含与目标前景属于同一类别的前景或包含目标前景， 通过 直接拍摄得到的图像； 合成图像即数据集中不包含同类别前景的背景图像， 与经过空间变 换网络调整的目标 前景按照前 景掩码直接合成的图像。 7.根据权利要求6所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的对抗损失函数 其中： It为合成图像， I为真实图像， 为合成图像对应的数据分布上的数学期望， EI[·]为真实图像对应的数据分布上的 数学期望， D [·]为鉴别器网络的输出。 8.根据权利要求6所述的基于照相机视角域编码的空间变换图像自动编辑方法， 其特 征是， 所述的基于对比学习的三联体损失函数为 L1+L2， 其中： 为经过几何校正 的前景图像的视角域编码， 为原始的前 景图像的视角域编码， zf和zb分别表示包含该前景 的真实图像中前景图像和背 景图像的视角域编码， d( ·，·)函数指的是欧氏距离， m表 示允 许的余量。 9.根据权利要求6或7所述的基于照相机视角域编码的空间变换图像自动编 辑方法， 其 特征是， 所述的鉴别器包括： 依次堆叠的卷积层和带泄露的线性整流单元， 其中： 卷积层根 据图像的特征图信息， 进 行卷积处理， 得到图像的高层特征图结果， 线性整流单元根据图像 的特征图信息， 进 行线性整流处理， 引入非线性运算， 使神经网络具备拟合 非线性函数的能 力； 所述的鉴别器由对抗损失函数约束， 使得目标， 即对抗损失函数LD取得最小值， 该对抗 损失函数 其中： It为合成图像， 为合成图像对应的数据分布上 的数学期望， pt为空间变换网络预测的空间变换参数， || ·||2为L2范数， D[ ·]为鉴别器网 络的输出。权　利　要　求　书 2/2 页 3 CN 114943820 A 3