(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210559736.7 (22)申请日 2022.05.23 (65)同一申请的已公布的文献号 申请公布号 CN 114648564 A (43)申请公布日 2022.06.21 (73)专利权人 四川大学 地址 610065 四川省成 都市一环路南 一段 24号 (72)发明人 张蓉竹　李佳文　吴小龑　廖鹏昊　 宋红红　杨晓敏　刘洋　于凯新　 杨斯涵　 (74)专利代理 机构 成都睿道专利代理事务所 (普通合伙) 51217 专利代理师 潘育敏(51)Int.Cl. G06T 7/33(2017.01) G06T 5/00(2006.01) G06T 5/20(2006.01) G06V 10/74(2022.01) (56)对比文件 CN 110021002 A,2019.07.16 CN 104751432 A,2015.07.01 CN 101038669 A,2007.09.19 CN 112288758 A,2021.01.2 9 审查员 陈雪梅 (54)发明名称 用于非稳态目标的可见光和红外图像优化 配准方法及系统 (57)摘要 本发明涉及 图像处理和计算机视觉技术领 域， 尤其涉及用于非稳态目标的可见光和红外图 像优化配准方法及系统， 方法包括： 通过PC算法 提取待配准的可见光图像与红外图像的显著梯 度特征； 再通过EO算法对可见光图像的显著梯度 图像和红外图像的显著梯度图像的NMI进行优化 搜索， 直到NMI达到最大值时， 获得粗配准参数； 最后将粗配准参数作为初始参数， 通过DTV相似 度量函数执行细化配准， 并采用回溯梯度下降算 法对DTV相似度量函数进行优 化， 直到DTV相似度 量函数达到最小值时， 获得最终配准参数， 再通 过最终配准参数对红外图像进行变换， 并获得配 准结果。 系统应用该方法， 通过该方法及系统能 够有效实现非稳态目标的配准。 权利要求书3页 说明书7页 附图4页 CN 114648564 B 2022.08.23 CN 114648564 B 1.用于非稳态目标的可 见光和红外图像优化配准方法， 其特 征在于， 包括如下步骤： S1.通过PC算法提取待配准的可 见光图像与红外图像的显著梯度特 征； 具体如下式， 其中， (x，y)为图像中像素点的坐标， n为小波分解尺度， W(x，y)为坐标( x，y)处基于频 率扩展的权重因子， 为坐标(x，y)处的振幅， 为坐标(x，y)处的相 位变化量， 为常数，Y为噪声阈值， 表示封闭量， 当其中的值为正时， 封闭量等于其自 身的值， 否则封闭量 为0； 所述相位变化 量的计算如下式， 其中， 为坐标(x，y)处的相位， 为坐标(x，y)处的加权平均相位； S2.通过EO算法对可见光 图像的显著梯度图像和红外图像的显著梯度图像的NMI进行 优化搜索， 直到所述 NMI达到最大值时， 获得粗配准 参数； 其中， 所述 NMI的计算方式如下式， 其中，▽F为可见光图像沿 x和y方向的梯度， ▽M为红外图像沿 x和y方向的梯度， H(▽F) 为可见光显著梯度图像的熵， H(▽M)为红外显著梯度图像的熵， H(▽F，▽M)为可见光显著 梯度图像和红外 显著梯度图像的联合熵； 所述▽F与▽M的计算方式如下式， 其中，▽1为x方向上的有限差分算子， ▽2为y方向上的有限差分算子； S3.将所述粗配准参数作为初始参数， 通过DTV相似度量函数执行细化配准， 并采用回 溯梯度下降算法对所述DTV相似度量函数进 行优化， 直到所述DTV相似度量函数达到最小值 时， 获得最终配准参数， 再通过最终配准参数对所述红外图像进行变换， 并获得配准结果； 其中， 所述DTV相似度量 函数具体如下式，权　利　要　求　书 1/3 页 2 CN 114648564 B 2其中，T为粗配准参数， 当所述DTV相似度量函数的值达到最小值时， 则实现可见光图像 与红外图像的边 缘对齐。 2.根据权利要求1所述的用于非稳态目标的可见光和 红外图像优化配准方法， 其特征 在于， 所述S1之前还包括， 获取可见光图像和红外图像， 并对所述可见光图像进行预处理， 预处理后的所述可 见光图像和红外图像再通过 所述S1‑S3继续处 理。 3.根据权利要求2所述的用于非稳态目标的可见光和 红外图像优化配准方法， 其特征 在于， 所述预处理包括对所述可见光图像进行比例调整， 实现可见光图像和红外图像之间 尺度差异的消除， 其中可 见光图像和红外图像的尺度关系可表示 为下式， 其中， 为可见光图像传感器的像元尺寸， 为红外图像传感器的像元尺寸， 为可见光图像传感器物体成像的物理尺寸， 为红外图像传感器物体成像的物理尺 寸， 为可见光图像传感器的焦距， 为红外图像传感器的焦距。 4.根据权利要求3所述的用于非稳态目标的可见光和 红外图像优化配准方法， 其特征 在于， 所述预处 理还包括对所述可 见光图像进行非线性扩散滤波。 5.用于非稳态目标的可见光和 红外图像优化配准系统， 其特征在于， 包括依次连接的 图像采集单 元、 信息处 理单元以及信息 输出单元； 所述图像采集单 元用于采集非稳态目标的红外图像和对应的可 见光图像信息； 所述信息处理单元用于对所述的可见光图像和红外图像进行预处理， 并根据PC算法提 取待配准的可见光图像与红外图像的显著梯度图像， 再根据E O算法对可见光图像的显著梯 度图像和红外图像的显著梯度图像的NMI进 行粗配准优化处理， 以及根据DTV相似度量函数 对所述可见光图像与红外图像进 行细化配准， 并获取最 终的配准参数； 其中， P C算法具体如 下式， 其中， (x，y)为图像中像素点的坐标， n为小波分解尺度， W(x，y)为坐标( x，y)处基于频 率扩展的权重因子， 为坐标(x，y)处的振幅， 为坐标(x，y)处的相 位变化量， 为常数，Y为噪声阈值， 表示封闭量， 当其中的值为正时， 封闭量等于其自 身的值， 否则封闭量 为0； 所述相位变化 量的计算如下式，权　利　要　求　书 2/3 页 3 CN 114648564 B 3