(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210810379.7 (22)申请日 2022.07.11 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 张哲绎　梁博超　王彩苗　齐泽萱　 宋鹏烁　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. B29C 64/393(2017.01) B29C 64/118(2017.01) B33Y 50/02(2015.01) G06T 17/00(2006.01)G06T 5/00(2006.01) G06V 10/74(2022.01) G06T 7/33(2017.01) (54)发明名称 基于三维重建技术的3D打印机逆反馈检测 方法及系统 (57)摘要 本发明为基于三维重建技术的3D打印机逆 反馈检测方法及系统， 依 靠RGBD深度摄像头以及 携带旋转升降机构的3D打印机， 对在打印零件实 现全方位的扫描， 依靠RGBD算法与MVS算法分别 对在打印零件进行三维重建， 随后将两种算法下 的重建模型进行对比， 如两模型的相似程度大于 所规定的阈值， 则将MVS和 RGBD算法三维重建后 的重建模型分别与含支撑材料的三维设计模型 进行对比， 否则重新进行两种算法的三维重建。 该发明以实现对在打印零件的加工误差检测， 并 将正在打印的不合格零件及时发现问题， 采取对 应措施， 实现3D打印检测过程的完全自动化， 提 高3D打印工作的工作效率和可靠性。 权利要求书3页 说明书12页 附图4页 CN 115139535 A 2022.10.04 CN 115139535 A 1.一种基于三维重建技术的3D打印机逆反馈检测方法， 其特征在于， 包括3D打印机和 能围绕3D打印机的打印平台做圆周运动并能高度变化的RGBD深度摄像头， 该检测方法包括 以下内容： (1)在3D打印机中导入要打印的模型， 设置中断时间， 3D 打印机生成含支撑材料的三维 设计模型开始打印， 在打印至中断时间后， 执行中断操作， 将Y轴移动的打印平台移动至一 端， 等待进行扫描工作， 保存 含支撑材 料的三维设计模型的STL格式文件； (2)RGBD深度摄 像头进行升降和旋转操作， 开始进行扫描工作： 在扫描过程中， 首先RGBD深度摄像头位置维持在Z轴零点即3D打印机的打印平台所在 平面， 绕打印平台中心旋转， 其旋转速度为每秒10度， 每秒进行一次RGB图片拍摄保存， 每30 度进行一次RGBD扫描点云图的采集； 在Z轴零点完成扫描之后， RGBD深度摄像头上升至已打印部分零件中心处， 重复完成每 秒10度的旋转， 以及每秒进行一次RGB图片拍摄保存， 每30度进行一次RGBD扫描点云图的保 存的工作； 在打印零件已打印部分零件中心处 的扫描工作完成后， RGBD深度摄像头上升至已打印 部分零件顶端， 重复完成每秒10度的旋转， 以及每秒进行一次RGB图片拍摄保存， 每30度进 行一次RGBD扫描点云图的保存的工作； (3)RGBD算法重建： RGBD深度摄像头每旋转30度扫描生成一次点云， 随后对每帧点云进 行SOR滤波， 将此帧点云与下一帧点云进 行配准拼接， 随后再拿拼接好的点云与下一帧点云 进行拼接， 对依靠RGBD深度摄像头采集到的重合度超过60％的点云图进行三维重建工作， 在全部完成拼接后， 将此点云保存成PLY格式文件， 随后进行点云处理， 获得只含在打印零 件的完整点云， 并对该PLY格式文件进行补洞操作， 随后依靠球面重建的方式进行三维重 建， 生成STL格式文件， 获得RGBD算法下的重建模型； MVS算法重建： 在RGBD深度摄像头每旋转10度拍摄一次照片， 并将图片导入VISUAL  SFM 软件， 进行对应点匹配， 生成稀疏点云， 依靠CMVS软件进行稠密重建， 依靠SOR滤波算法和 RANSAC平面提取进 行点云处理操作， 获得PLY格式的只含在打印零件的完整点云， 并进行补 洞操作， 随后进行球面 三维重建， 生成STL格式文件， 获得MVS算法下的重建模型； (4)将MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件， 均转变为均匀点 云， 将二者的均匀点云进行ICP配准、 相 似度计算， 若相似度计算即散点匹配重合率大于相 似度阈值85％， 则进行 下一步， 否则返回步骤(2)重新采集； (5)将含支撑材料的已打印部分的STL格式文件也转变为均匀点云， 再将RGBD算法生成 的STL格式文件、 MVS算法生 成的STL格式文件 所对应的均匀点云分别与含支撑材料的STL格 式文件的均匀点云进行ICP配准、 相 似度计算； 若相 似度计算均大于85％， 则3D打印机恢复 原状态继续打印， 否则进 行反馈处理， 反馈处理过程是为： 若仅一者相似度计算结果不大于 85％， 则重新返回步骤(2)重新采集， 若两者相 似度计算结果均不大于85％， 则提示打印出 错， 进行报警处 理。 2.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法， 其特征在于， MVS算法的三维重建过程是： (1)导入拍摄的108张不同角度和高度的RGB图片至VISUAL  SFM软件； (2)随后利用SIFT算法进行每张图片的特 征点提取， 与对应点的匹配；权　利　要　求　书 1/3 页 2 CN 115139535 A 2(3)开始进行三维点云的稀疏重建； (4)依靠CMVS算法进行点云的稠密重建； (5)随后对点云进行处 理， 提取在打印物体的点云； (6)对在打印物体的点云进行球面 算法的三维重建。 3.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法， 其特征在于， RGBD算法的三维重建过程是： (1)导入拍摄的3 6张重叠度较高的点云数据至Po int Cloud Library软件； (2)对导入的点云数据进行SOR滤波， 去除离 散的噪声杂点； (3)对所有的点云文件， 进行尺寸自动调整的ICP算法下的点云配准与拼接； (4)保存拼接好后的3 6点云数据至一个PLY文件， 即完成点云拼接 工作； (5)随后对点云进行处 理， 提取在打印物体的点云； (6)对在打印物体的点云进行球面 算法的三维重建。 4.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法， 其特征在于， MVS算法生 成的STL格式文件与RGBD算法生 成的STL格式文件进行模 型匹配与相似度计算的 过程是： (1).对MVS算法三维重建后的扫 描点云文件转成STL格式的文件， 并在自动 完成补洞工 作； (2).将RGBD算法三维重建后的扫描点云文件转成STL格式的文件， 并在自动完成补洞 工作； (3).将RGBD算法三维重建的STL格式文件与MVS算法三维重建的STL格式文件均转变 PLY点云文件； (4).将MVS算法三维重建的点云与RGBD算法三维重建的点云采用ICP算法完成配准， 即 统一坐标系； (5).对MVS算法三维重建的点云与RGBD算法三维重建的点云， 两点云文件进行KDTREE 的半径算法， 依靠欧氏距离的KDTREE半径进行点云计算， 设计KDTREE半径参数为0.1mm， 首 先对MVS算法三维重建的点云的每个点， 在KDTREE半径内寻找是否存在RGBD算法三维重建 的点云中的点， 若存在， 则此点匹配成功， 以总的匹配成功点数比MVS重建模型的总点数为 P1， 求出MVS算法三 维重建的点云中符合RGBD算法三维重建的点云的比例； 随后对RGBD算法 三维重建的点云的每个点， 在KDTREE 半径内寻找是否存在MVS算法三 维重建的点云中的点， 若存在， 则此点匹配成功， 以总的匹配成功点数比总的RGBD重建模型点数为P2， 求出在在 RGBD算法三维重建的点云模型中符合MVS算法三维重建的点云的比例； (6).计算MVS算法下的重建模型与RGBD重建模型的匹配程度P为P＝1 ‑(1‑P1)‑(1‑P2)。 5.一种基于三维重建技术的3D打印机逆反馈检测系统， 其特征在于， 所述反馈检测系 统包括RGBD深度摄像头模块、 打印平台、 打印喷头、 打印机运动机构、 负反馈检测系统控制 模块、 PC端模块， 所述打印平台设于 打印喷头的下方， 经由所述打印喷头 打印出的零件设于 打印平台上， 打印机运动机构带动打印喷头运动， 打印出规则零件； 所述 RGBD深度摄像头模 块包括RGBD深度摄像头和升降旋转机构， 在升降旋转机构的作用下实现RGBD深度摄像头的 旋转和升降动作； RGBD深度摄像头既能采集深度图像又能采集彩色图像； RGBD深度摄像头 设于打印平台的侧方， 围绕打印平台做圆周运动， 且高度可变化； 所述负反馈检测系统控制权　利　要　求　书 2/3 页 3 CN 115139535 A 3