(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593034.0 (22)申请日 2022.05.27 (71)申请人 中国计量大 学 地址 310016 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 罗哉　洪诚康　杨力　江文松　 郭斌　 (74)专利代理 机构 杭州杭诚专利事务所有限公 司 33109 专利代理师 刘正君 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/13(2017.01) G06T 7/11(2017.01) G06T 19/20(2011.01)G06T 5/00(2006.01) G06T 3/00(2006.01) G06F 30/27(2020.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) (54)发明名称 一种基于孪生网络的点云文物碎片的三维 虚拟拼接方法 (57)摘要 本发明一种基于孪生网络的点云文物碎片 的三维虚拟拼接方法。 解决现有技术中采用人工 拼接， 存在工作量大、 耗时长， 容易对文物造成二 次伤害的问题。 方法包括扫描获取碎片点云数 据， 输入孪生网络输出相似度高的碎片对， 对碎 片点云中每个点根据其法向量对点云的外表面 进行分割， 从分割的面中筛选出断裂面， 计算断 裂面的几何特征， 进行特征匹配， 获得两个碎片 的拼接可视化结果， 根据获取的多个拼接可视化 结果， 转化得到完整的文物可视化模型。 本发明 基于断裂面特征， 对点云进行虚拟拼接， 分割点 云表面， 并根据断裂面处的几何特征进行匹配， 完成点云的配对， 相比现有人工拼接， 减少了人 力物力财力的消耗。 权利要求书2页 说明书7页 附图1页 CN 114998103 A 2022.09.02 CN 114998103 A 1.一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其特征在于： 包括以下步 骤： S1.扫描获取碎片点云数据， 对点云数据进行 预处理； S2.预先训练好相似点判断孪生网络， 将预处理后碎片点云数据以成对形式输入孪生 网络， 获取高相似度的两个碎片； S3.对于匹配的两个碎片， 对碎片点云中每个点根据其法向量对点云的外表面进行分 割， 从分割的面中筛选出断裂面， 计算断裂面的几何特征， 进行特征匹配， 获得两个碎片的 拼接可视化结果； S4.根据获取的多个拼接可视化结果， 转 化得到完整的文物可视化模型。 2.根据权利要求1所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述点云数据进行 预处理包括， S11.多视角点云合并， 将两个视角下扫描获取的碎片点云进行配准， 形成完整的碎片 点云模型； S12.点云去噪， 删除碎片点云模型外孤点， 保留全部碎片点云保存为第一碎片点云文 件； S13.均匀降采样， 对第一碎片点云文件进行均匀降采样， 保存为第二碎片点云文件。 3.根据权利要求1或2所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其特征是预先训练孪生网络的过程包括： S21.利用3D软件形成多种不同形状的瓷器模型， 且分别复制多个相同的模型； S22.对瓷器模型进行虚拟破碎， 随机生成碎片， 并在碎片断裂面处加入噪声； S23.将碎片点云模型以三维形式进行保存； S24.对每 个碎片点云均匀降采样为设定点数； S25.将两 两碎片点云组成为 一个训练样本， 对两碎片点云根据是否相邻进行 标记； S26.搭建基于PointNet的孪生网络， 将训练样本输入孪生网络进行训练， 训练完成后 保存训练好的孪生网络模型。 4.根据权利要求2所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述的对碎片点云中每 个点根据其法向量对点云的外表面进行分割的过程包括： S301.根据匹配的两个碎片获取原始碎片点云， 采用PCA对碎片点云中所有点进行平面 拟合， 计算平面的法线作为该点的法向量； S302.将获取的原始碎片点云和法向量作为输入， 根据 区域生长分割法对点云的外表 面进行分割， 获得分割后碎片点云的多个面。 5.根据权利要求4所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是在计算获取碎片点云各点法向量后， 对法向量进行中值滤波， 过程包括： 建立碎片点云之间的拓扑关系， 检索每个点周围最近的若干邻点的法向量信息， 将邻 点的曲率值按 大小进行排序， 取中间值作为当前点的曲率值， 且将邻点法向量的XYZ分量分 别按大小 进行排序， 取中间值作为当前点的法向量。 6.根据权利要求4所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述的从分割的面中筛 选出断裂面包括： 将分割后的多个面根据点云数量进行排序， 剔除两个点的个数最多的面， 剩下的面为权　利　要　求　书 1/2 页 2 CN 114998103 A 2碎片的断裂面。 7.根据权利要求6所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述的计算断裂面的几何特征， 进行特征匹配， 获得两个碎片的拼接可视化结果包 括： S311.计算断裂面的角点； S312.用球领域 查找角点的附近点， 获得角点附近点 集； S313.根据角点附近点集计算各断裂面特征描述子， 通过两个断裂面特征描述子的特 征匹配进 行相互对应估计， 计算两个断裂面配准的R， T矩阵， 采用随机采样一致性方法剔除 错误的对应关系； S314.将计算得到的R， T矩阵作 为初始旋转平移矩阵， 用迭代最近点法对不同断裂面角 点附近点集进行点云匹配， 获得准确的旋转平移矩阵， 根据准确的旋转平移矩阵对两个碎 片进行拼接， 获得两个碎片的拼接可视化结果。 8.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述计算断裂面的角点过程包括： S3111.以断裂面点云中选取点p作为原点建立一个局部坐标系， Z轴为p点法线方向， X， Y轴方向和Z轴垂直； S3112.在p点上建立一个边长为d的正方体检测窗口， d为10倍第一碎片点云文件的点 云平均间距， 将正方体检测窗口在断裂面点云曲面上移动， 判断正方体检测窗口内点云个 数， 若点云个数 大于设定阈值， 则将正方体 检测窗口所在 p点作为该断裂面 点云的角点。 9.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述的通过两个断裂面特 征描述子的特 征匹配进行相互对应估计过程包括： 根据第一个断裂面点集中的点到第 二个断裂面点集中搜索对应点， 然后 根据第二个断 裂面点集中的点到第一个 断裂面点集中搜索对应点， 取对应点交集作为最终对应点， 随机 选取其中N个点 为最佳匹配点。 10.根据权利要求7所述的一种基于孪生网络的点云文物碎片的三维虚拟拼接方法， 其 特征是所述步骤S4具体包括： 获取多个碎片点云之间的R， T矩阵， 经过齐次矩阵相乘， 转化得到完整的物体可视化模 型。权　利　要　求　书 2/2 页 3 CN 114998103 A 3