(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210606204.4 (22)申请日 2022.05.31 (71)申请人 中国地质大 学 （武汉） 地址 430000 湖北省武汉市洪山区鲁磨路 388号 (72)发明人 朱翱宇　陈珺　罗林波　官文俊　 熊永华　 (74)专利代理 机构 武汉知产时代知识产权代理 有限公司 42 238 专利代理师 胡青 (51)Int.Cl. G06T 7/80(2017.01) G06T 5/20(2006.01) G06V 10/74(2022.01) G06T 15/00(2011.01)G06T 3/40(2006.01) (54)发明名称 一种基于互相关函数和法向量损失的三维 重建方法及装置 (57)摘要 本发明提供一种基于互相关函数和法向量 损失的三维重建方法及装置， 包括： 获取待重建 场景的多视角图像以及对应的相机参数； 将图像 下采样并缩小相机的内参； 在最小的尺度以随机 初始化的方式建立初始平面假设； 根据中心值归 一化互相关函数和法向量损失函数计算多视角 匹配的代 价； 将邻域内低代价的平 面假设传递到 当前点的平 面假设； 通过随机扰动寻找更优的假 设； 将当前尺度最优的假设通过联合双边上采样 方法上采样， 并作为下一个尺度的平 面假设初始 化结果继续进行代价计算、 假设传播、 平面扰动 优化以及上采样步骤直到图像原始尺度。 从而达 到提高了弱纹理区域的多视角稠密匹配的准确 度， 提升了重建点云弱纹理区域的准确度和完整 度的目的。 权利要求书4页 说明书13页 附图3页 CN 114943776 A 2022.08.26 CN 114943776 A 1.一种基于互相关函数和法向量损失的三维重建方法， 其特征在于， 所述三维重建方 法包括以下步骤： S1： 获取待重建场景的多视角图像以及对应的相机参数； S2： 将图像下采样并缩小相机的内参； S3： 将图像调为 最小的尺度， 以随机初始化的方式建立初始的平面 假设πp； S4： 从待重建的多视角图像中轮流地选取一张作为参考图像， 和剩余的图像进行成对 的稠密匹配， 利用中心值归一化互相关函数计算多视角图片之间的光度一致代价； 剩余的 图像为源图像； S5： 通过棋盘格的形式在待处理的像素点p的邻域内的八个方向各选一个代价最低的 点作为候选点pj， 将候选点对应的平面假设πpj和初始的平面假设πp构成候选平面假设集合 Sπ； S6： 利用光度一 致代价进行图像 像素级的视角选择， 计算 不同视角的代价 值的权重； S7： 以参考图像和某一张源图像构成图像对， 然后进行双目立体匹配， 计算Sπ中每一个 平面假设对应的光度一致代价、 深度一致代价和法向量一致代价， 并按步骤S6中计算得到 的权重， 对多视角图像进行加权平均处 理， 得到综合代价； S8： 选取综合代价 最低时对应的平面 假设作为像素点p的新平面 假设； S9： 通过随机扰动寻找 代价更低的平面 假设并更新 步骤S8中的新平面 假设； S10:在当前尺度下， 重复执行步骤S4 ‑S9四次， 随着迭代次数的增加， 综合代价逐渐降 低； S11： 将当前尺度下最优的平面假设进行联合双边上采样方法处理， 作为下一个尺度的 平面假设的初始化结果， 并放大相机的内参； S12： 继续进行类同于步骤S4 ‑S7的综合代价计算、 步骤S8的假设传播、 步骤S9的平面扰 动优化以及步骤S10 ‑S11的迭代及上采样 操作， 直到当前尺度达 到图像的原 始尺度。 2.如权利要求1所述的基于互相关函数和法向量损失的三维重建方法， 其特征在于， 所 述S4包括： S4.1： 对于待重建的多视角图像集合I,轮流地从中选取一张图像作为参考图像Iref， 剩 余的图像统一命名为源图像Isrc， 对Iref和Isrc进行成对的稠密匹配； S4.2： 计算单应性矩阵H： 其中Kref是Iref相机内参， Ksrcj是第j张Isrc的相机内参， R表示对应图像的相机旋转矩阵， Rsrcj表示源图像的相机旋转矩阵， 表示参考图像的相机旋转矩阵的转置， c是列向量表 示对应相机的光心在世界坐标系下的坐标， cref表示参考图像的坐标， csrcj表示源图像的坐 标， 是行向量， 表示法向量， dist为cref到平面假设的距离； S4.3： 通过单应性矩阵H， 将Iref中以p为中心的固定大小窗口内所有像素点xi映射到 Isrcj中的像素点yi， 即yi＝Hxi； S4.4： 用联合双边滤波算法的权 重作为窗口中某点像素的权 重， 权重计算公式为：权　利　要　求　书 1/4 页 2 CN 114943776 A 2||p‑xi||2表示xi和p坐标之间的L2距离， |Cp‑Cxi|表示两点之间的像素值之差的绝对 值， σs和σc为固定的参数， 最终通过加权归一化互相关函数计算Iref和Isrcj中对应的两个窗 口内像素值的相似度： 其中j表示对应的源图像是Isrcj， p是Iref中的某个像素点， πp是该点对应的平面假设， Wp 是以p为中心的大小为11 ×11的窗口， Cp表示该点对应的像素值， 表示窗口内的像素值 的平均值； S4.5： 对NCC中的窗口均值进行改进， 用窗口中心值的像素取代窗口平均值命名为 NCCC， 计算公式如下： 其中p′表示p点映射到Isrcj上的对应点， 比较NCC和NCCC计算的相似度结果， 选取其中数 值高的结果作为两点的相似度， 将相似度改写成代价函数形式， 通过下面的公式计算得到 光度一致代价 的变化范围为[0,2]。 3.如权利要求2所述的基于互相关函数和法向量损失的三维重建方法， 其特征在于， 所 述S5包括： S5.1： 统计 小于2的Isrcj的个数， 命名为 N,若N大于零， 则 πp的光度一 致代价为： 若N等于零， 则： ep(p, πp)＝2 在p点邻域内选择八个候选的假设点。 4.如权利要求1所述的基于互相关函数和法向量损失的三维重建方法， 其特征在于， 所 述S6包括： S6.1： 对于m张源图像和八个候选点对应的八个候选平面假设， 计算代价损失， 将得到8 ×m大小的代价矩阵：权　利　要　求　书 2/4 页 3 CN 114943776 A 3