(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210860369.4 (22)申请日 2022.07.21 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 田永鸿　王艺璇　李家宁　朱林　 项锡捷　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 刘广达 (51)Int.Cl. G06K 9/00(2022.01) G06T 7/246(2017.01) G06T 7/55(2017.01) G06T 7/593(2017.01) G06V 40/18(2022.01)H04J 3/06(2006.01) G06V 10/74(2022.01) (54)发明名称 面向超高速运动场景的双目脉冲深度数据 采集方法及装置 (57)摘要 本申请涉及一种面向超高速运动场景的双 目脉冲深度数据采集方法及装置。 其中， 所述方 法包括： 采集运动场景下的双目脉冲信号； 对所 述双目脉冲信号进行特征提取， 获取所述运动场 景下的脉冲信号降维特征； 根据所述脉冲信号降 维特征和注 意力机制模型， 预估 所述运动场景下 的双目脉冲特征点匹配关系； 对 所述双目脉冲特 征点匹配关系进行视差回归计算， 确定所述运动 场景下的预估深度图。 本申请可有效地解决传统 相机在高速运动模糊、 过曝光 或低光照等运动场 景下无法进行深度估计的问题。 权利要求书2页 说明书9页 附图4页 CN 115422964 A 2022.12.02 CN 115422964 A 1.一种面向超高速运动场景的双目脉冲深度数据采集方法， 其特征在于， 包括以下步 骤： 采集运动场景 下的双目脉冲信号； 对所述双目脉冲信号进行 特征提取， 获取 所述运动场景 下的脉冲信号降维特 征； 根据所述脉冲信号降维特征和注意力 机制模型， 预估所述运动场景下的双目脉冲 特征 点匹配关系； 对所述双目脉冲特征点匹配关系 进行视差回归计算， 确定所述运动场景下的预估深度 图。 2.根据权利要求1所述的双目脉冲深度 数据采集方法， 其特征在于， 所述采集运动场景 下的双目脉冲信号， 包括： 通过神经 形态视觉传感器采集所述 运动场景 下的双目脉冲信号。 3.根据权利要求1所述的双目脉冲深度 数据采集方法， 其特征在于， 所述对所述双目脉 冲信号进行 特征提取， 获取 所述运动场景 下的脉冲信号降维特 征， 包括： 通过脉冲编码器将所述双目脉冲信号累积为积分帧； 将所述积分帧输入沙漏模型， 输出 所述运动场景 下的脉冲信号降维特 征。 4.根据权利要求3所述的双目脉冲深度 数据采集方法， 其特征在于， 所述注意力 机制模 型包括自注意力机制与交叉注意力机制； 其中， 所述自注意力机制在同一脉冲信号上， 计算自特征注意力矩阵， 通过所述自特征注意 力矩阵捕捉所述脉冲信号和所述脉冲信号降维特 征的内部相关性； 所述交叉注意力机制在所述双目脉冲信号上， 计算交叉特征注意力矩阵， 通过所述交 叉特征注意力矩阵捕捉所述双目脉冲信号的像素坐标点之间的特 征相关性。 将所述自注意力机制与所述交叉注意力机制交替连接， 组成所述注意力机制模型。 5.根据权利要求4所述的双目脉冲深度 数据采集方法， 其特征在于， 所述根据 所述脉冲 信号降维特 征和注意力机制模型， 预估所述 运动场景 下的双目脉冲特 征点匹配关系， 包括： 将所述脉冲信号降维特 征输入所述注意力机制模型； 将所述注意力机制模型输出的最后一轮所述交叉特征注意力矩阵作为所述双目脉冲 特征点匹配关系。 6.根据权利要求1所述的双目脉冲深度 数据采集方法， 其特征在于， 所述对所述双目脉 冲特征点匹配关系进行视 差回归计算， 确定所述 运动场景 下的预估深度图， 包括： 对所述双目脉冲特征点匹配关系进行所述视差回归计算， 得到所述运动场景下的视 差； 根据所述视 差， 推出所述运动场景 下的预估深度图。 7.根据权利要求1所述的双目脉冲深度数据采集方法， 其特 征在于， 所述方法还 包括： 在采集所述双目脉冲信号的同时， 通过时钟同步技术采集所述运动场景下的真实深度 图； 将所述真实深度图与所述预估深度图进行比较， 确定所述预估深度图的准确性。 8.一种面向超高速运动场景的双目脉冲深度数据采集装置， 其特征在于， 包括以下步 骤： 采集模块， 用于采集 运动场景 下的双目脉冲信号；权　利　要　求　书 1/2 页 2 CN 115422964 A 2特征提取模块， 用于对所述双目脉冲信号进行特征提取， 获取所述运动场景下的脉冲 信号降维特 征； 匹配关系确定模块， 用于根据所述脉冲信号降维特征和注意力机制模型， 预估所述运 动场景下的双目脉冲特 征点匹配关系； 深度确定模块， 用于对所述双目脉冲特征点匹配关系进行视差回归计算， 确定所述运 动场景下的预估深度图。 9.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指令 适于由处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。 10.一种终端， 其特征在于， 包括： 处理器和存储器； 其中， 所述存储器存储有计算机程 序， 所述计算机程序适于由所述处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。权　利　要　求　书 2/2 页 3 CN 115422964 A 3