(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210677586.X (22)申请日 2022.06.15 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 吴爱红　殷兵　张银田　吴嘉嘉　 胡金水　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 尚文文 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/00(2006.01) G06V 10/10(2022.01) G06V 10/74(2022.01) (54)发明名称 一种图像拼接方法、 装置、 设备及存 储介质 (57)摘要 本申请提出一种图像拼接方法、 装置、 设备 及存储介质， 方法包括： 获取第一图像帧的透视 特征图， 根据第一图像帧的透视特征图对第一图 像帧进行透视校正， 得到第一透视校正图像帧， 并获取第二图像帧的第二透视校正图像帧。 对第 一透视校正图像帧和第二透视校正图像帧进行 拼接， 得到拼接图像。 采用本申请的技术方案， 通 过对图像帧进行透视校正， 减弱图像帧的透视效 果， 能够提高图像帧拼接时， 两帧图像之间匹配 的正确率， 从而提高扫描图像的拼接效果。 权利要求书3页 说明书20页 附图8页 CN 115205113 A 2022.10.18 CN 115205113 A 1.一种图像拼接方法， 其特 征在于， 包括： 获取第一图像帧的透视特征图； 其中， 所述透视特征图用于表征图像帧中的图像内容 的透视效果特 征； 根据所述第 一图像帧的透视特征图对所述第 一图像帧进行透视校正， 得到第 一透视校 正图像帧， 以及， 获取第二图像帧的第二透视校正图像帧； 所述透视校正以消除图像帧中的 图像内容的透 视效果为目标； 对所述第一透 视校正图像帧和所述第二透 视校正图像帧进行拼接， 得到拼接图像。 2.根据权利要求1所述的方法， 其特征在于， 所述第 二透视校正图像帧为预先存储的拼 接图像的最后一帧， 所述第二透视校正图像帧通过根据第二图像帧的透视特征图对所述第 二图像帧进行透 视校正得到 。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取第一图像帧的透 视特征图， 包括： 提取第一图像帧的各个 像素点的梯度信息； 根据所述第 一图像帧的各个像素点的梯度信 息， 构建所述第 一图像帧的梯度叠加图作 为所述第一图像帧的透 视特征图。 4.根据权利要求1所述的方法， 其特征在于， 根据 所述第一图像帧的透视特征图对所述 第一图像帧进行透 视校正， 得到第一透 视校正图像帧， 包括： 从所述第一图像帧的透 视特征图中， 提取需要 进行透视校正的待校正区域； 基于所述待校正区域， 计算所述第一图像帧对应的形变场； 根据所述形变场， 对所述第一图像帧进行透视校正， 得到所述第一图像帧对应的第一 透视校正图像帧。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述待校正区域， 计算所述第一 图像帧对应的形变场， 包括： 基于所述待校正区域的顶点和所述待校正区域的上下边界， 进行直线拟合， 得到拟合 直线； 将所述拟合直线调 整为水平状态得到水平拟合直线， 并确定所述水平拟合直线与 所述 第一图像帧边界的交点作为目标参 考点； 根据所述拟合直线与 所述目标参考点计算出变换矩阵， 并将所述变换矩阵作为所述第 一图像帧的形变场。 6.根据权利要求1所述的方法， 其特征在于， 根据 所述第一图像帧的透视特征图对所述 第一图像帧进行透 视校正， 得到第一透 视校正图像帧之前， 还 包括： 根据所述第 一图像帧的透视特征图和预先设置的校正条件区域， 确定所述第 一图像帧 是否具有透 视校正需求； 所述校正条件区域包括图像帧最左侧的设定区域； 若所述第一图像帧具有透视校正需求， 则根据所述第 一图像帧的透视特征图对所述第 一图像帧进行透 视校正， 得到第一透 视校正图像帧。 7.根据权利要求6所述的方法， 其特征在于， 所述第 一图像帧的透视特征图为第 一图像 帧的梯度叠加图； 根据所述第 一图像帧的透视特征图和预先设置的校正条件区域， 确定所述第 一图像帧 是否具有透 视校正需求， 包括： 若所述第一图像帧中预先设置的校正条件区域内存在待识别字符， 且所述梯度叠加图权　利　要　求　书 1/3 页 2 CN 115205113 A 2的连通域面积达到预设阈值， 则确定所述第一图像帧具有透 视校正需求； 若所述第一图像帧中预先设置的校正条件区域内不存在待识别 字符， 或所述梯度叠加 图的连通 域面积未达 到预设阈值， 则确定所述第一图像帧不具有透 视校正需求。 8.根据权利要求1所述的方法， 其特征在于， 对所述第 一透视校正图像帧和所述第 二透 视校正图像帧进行拼接， 得到拼接图像， 包括： 对所述第一透视校正图像帧与所述第 二透视校正图像帧进行对比， 确定两帧图像的重 叠区域； 基于所述重叠区域， 将所述第一透视校正图像帧与所述第二透视校正图像帧拼接， 得 到拼接图像。 9.根据权利要求8所述的方法， 其特征在于， 对所述第 一透视校正图像帧与 所述第二透 视校正图像帧进行对比， 确定 两帧图像的重 叠区域， 包括： 从所述第一透 视校正图像帧中， 提取 预设的图像区域， 作为匹配区域； 确定所述匹配区域的特征向量， 以及确定所述第 二透视校正图像帧的各个子区域的特 征向量； 根据所述匹配区域的特征向量和所述各个子区域的特征向量， 从所述各个子区域中搜 索与所述匹配区域相似度最高的子区域作为重 叠区域。 10.根据权利要求9所述的方法， 其特征在于， 基于所述重叠区域， 将所述第 一透视校正 图像帧与所述第二透 视校正图像帧拼接， 得到拼接图像， 包括： 根据所述重叠区域和所述匹配区域， 确定所述第 一透视校正图像帧与 所述第二透视校 正图像帧之间的偏移量； 基于所述偏移量， 将所述第一透视校正图像帧与所述第二透视校正图像帧拼接， 得到 拼接图像。 11.根据权利要求9所述的方法， 其特 征在于， 确定所述匹配区域的特 征向量， 包括： 将所述匹配区域分为至少一个图像块， 并确定每 个图像块的权 重； 计算每个图像块的方向梯度直方图特 征； 根据每个图像块的权重， 对所有图像块的方向梯度直方图特征进行加权归一化处理， 得到所述匹配区域的特 征向量。 12.根据权利要求2所述的方法， 其特征在于， 所述获取第 一图像帧的透视特征图之前， 还包括： 分析获取的当前扫描图像与所述第二图像帧之间的目标相似度； 根据所述目标相似度和预先设置的相似度阈值， 确定所述当前扫描图像与 所述第二图 像帧之间的相似关系； 若所述相似关系表示 不相似， 则将所述当前扫描图像作为第一图像帧； 若所述相似关系表示相似， 则将下一帧扫描图像作为当前扫描图像。 13.根据权利要求12所述的方法， 其特征在于， 所述分析获取的当前扫描图像与所述第 二图像帧之间的目标相似度， 包括： 确定获取的当前扫描图像的图像特 征和所述第二图像帧的图像特 征； 计算所述当前扫描图像的图像特 征和所述第二图像帧的图像特 征之间的目标相似度。 14.根据权利要求1所述的方法， 其特 征在于， 还 包括：权　利　要　求　书 2/3 页 3 CN 115205113 A 3