(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822459.4 (22)申请日 2022.07.12 (71)申请人 中国人民解 放军海军航空大 学 地址 264000 山东省烟台市芝罘区二马路 188号 (72)发明人 王志乐　付战平　李浩铭　胡文婷　 周秀芝　孙文柱　 (74)专利代理 机构 青岛联智专利商标事务所有 限公司 37101 专利代理师 王艳珍 (51)Int.Cl. G06T 19/00(2011.01) G06V 10/74(2022.01) (54)发明名称 基于自适应模板的座舱仪表盘虚实融合配 准方法 (57)摘要 本发明公开了一种基于自适应模板的座舱 仪表盘虚实 融合方法， 包括虚拟座舱场景和实物 座舱， 座舱仪表盘虚实融合方法包括： 在实物座 舱的仪表盘上任意选取一位置贴附标识物； 获取 包含有标识物的图像， 并作为合作目标； 确定自 适应匹配窗口， 将视频流的视频帧与合作目标进 行匹配， 自适应匹配窗口的大小满足： 位于自适 应匹配窗口内的视频帧与合作 目标的相似度与 相似度阈值之间的偏差小于设定值； 根据自适应 匹配窗口从视频帧中选定匹配区域图像； 将匹配 区域图像贴图到所述虚拟座舱场景的仪表盘的 位置处。 本方法在自然光环境下即可实现， 实现 实物模拟器座舱仪表盘与虚拟座舱环 境的融合， 不需要绿幕环境和灯光系统。 权利要求书2页 说明书8页 附图2页 CN 115272622 A 2022.11.01 CN 115272622 A 1.一种基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 包括虚拟座舱场景 和实物座 舱， 所述实物座 舱中具有实物仪表盘， 所述 座舱仪表盘虚实融合方法包括： 在实物仪表盘上选取几何中心位置贴附标识 物； VST视频透 视头盔采集实物座 舱的视频流； 获取包含有所述标识 物的图像， 并作为 合作目标； 获取相似度阈值； 确定自适应匹配窗口， 将视频流的视频帧引入所述自适应匹配窗口， 采用改进合作目标识别率算法对所述视频帧进行自适应匹配识别， 包括： 对视频帧中位于 所述自适应匹配窗口内的合作目标采用标记框进 行标注， 通过调节相似度阙值调节所述自 适应匹配窗口的半径， 循环调节所述相似度阈值， 直到 自适应匹配窗口与所述合作目标 的 大小相适应时结束调节所述相似度阈值， 并输出 所述合作目标的中心点 坐标； 根据所述自适应匹配窗口从所述视频帧中选定匹配区域图像， 所述合作目标的中心点 坐标作为实物仪表盘在图像坐标系中的二维坐标； 在UE4环境中将虚拟仪表盘与视频帧中的实物仪表盘图案进行匹配融合， 根据所述合 作目标的深度信息、 坐标信息和实物仪表盘在图像坐标系中的二维坐标， 求得实物仪表盘 在世界坐标系下的坐标， 并将其赋值给虚拟仪表盘， 实现虚拟仪表盘和实物仪表盘的对准。 2.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 对 所述视频帧进行自适应匹配识别还 包括： 载入模板图像； 划分视频帧并进入循环， 将视频流划分成视频帧序列； 使用匹配函数进行匹配， 在所述视频帧序列中寻找与合作目标相似的区域， 作为匹配 区域； 用矩形标记框标注所述匹配区域并输出。 3.根据权利要求2所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 所 述自适应匹配窗口的大小满足： 位于自适应匹配窗口内的视频帧与所述合作目标的相似度 与所述相似度阈值之间的偏差小于设定值； 分别采用平方差匹配法、 标准平方差匹配法、 相关匹配法、 标准相关匹配法、 相关系数 匹配法、 标准相关系数匹配法进 行计算， 分别得到的一组中心 点坐标， 计算各中心 点坐标与 合作目标的实际中心点坐标进行均方根误差计算,选取误差最低的匹配函数， 作为最优匹 配函数； 所述最优匹配函数同时满足最低帧率、 实时性和匹配精度的多重约束。 4.根据权利要求3所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 对 所述视频帧进行自适应匹配识别还 包括： 获取初始的自适应匹配窗口； 匹配循环步骤， 包括： 将初始的自适应匹配窗口与视频帧中的合作目标进行匹配， 并计 算合作目标的相似度； 设置相似度阈值和循环识别次数N， 每次循环时减小相似度阈值， 实现匹配窗口的自动 缩小， 直至所述相似度与所述相似度阈值之间的偏差小于设定值。 5.根据权利要求4所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 所 述最低帧率 为每秒30帧， 相似度阙值 为15%， N取值 为4， 均方根 误差小于 5。权　利　要　求　书 1/2 页 2 CN 115272622 A 26.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 确 定自适应匹配窗口匹配步骤中， 采用标准相关系数匹配函数进行匹配。 7.根据权利要求1所述的基于自适应模板的座 舱仪表盘虚实融合方法， 其特 征在于， 采集实物座 舱的视频流之后， 还 包括： 对所述视频流进行抽样， 抽取 出若干视频帧； 确定自适应匹配窗口步骤中， 将所抽取 出的视频帧与所述 合作目标进行匹配。 8.根据权利要求1所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 通 过校正三维坐标将所述仪表盘显示区域贴图到所述虚拟座舱场景的相对应的位置处的方 法包括： 获取所述实物座 舱的仪表盘在相机坐标系中的二维坐标； 获得所述合作目标在相机坐标系中的三维坐标； 将所述三维坐标导入到虚幻引擎UE4中； 将合作目标在相机坐标系中的坐标 赋值给虚拟座 舱场景中的仪表盘的坐标； 将所述仪表盘显示区域贴图到 仪表盘的坐标位置 。 9.根据权利要求8所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特征在于， 获 得所述合作目标在相机坐标系中的三维坐标步骤中， 通过头戴显示设备的SRWorks中写好 的深度模块， 可以将RGB图像转换为RGB ‑DEPTH图像， 其中DEPTH景深信息 。 10.根据权利要求1 ‑8任一项所述的基于自适应模板的座舱仪表盘虚实融合方法， 其特 征在于， 所述标识 物的样式呈十 字形， 自适应匹配窗口是矩形。权　利　要　求　书 2/2 页 3 CN 115272622 A 3